Crowdsourcing dengan Meta-Workers: Cara Baru untuk Menghemat Anggaran
Uncategorized

Crowdsourcing dengan Meta-Workers: Cara Baru untuk Menghemat Anggaran

Crowdsourcing banyak digunakan untuk membuat anotasi pada data besar, misalnya, gambar untuk algoritme pembelajaran mesin berbasis data. Namun, untuk mencapai kualitas label yang memadai, beberapa pekerja diperlukan untuk membubuhi keterangan pada data yang sama.

Algoritme pembelajaran mesin dapat digunakan untuk menyederhanakan tugas anotasi data berbasis crowdsourcing, sekaligus mempertahankan tingkat kualitas yang diperlukan.

Algoritme pembelajaran mesin dapat digunakan untuk menyederhanakan tugas anotasi data berbasis crowdsourcing, sekaligus mempertahankan tingkat kualitas yang diperlukan. Kredit gambar: mikemacmarketing melalui Wikimedia (CC BY 2.0)

Sebuah makalah baru-baru ini di arXiv.org menyarankan menggunakan meta-learning untuk menyederhanakan tugas.

Pertama, tugas dipartisi ke dalam kelompok yang berbeda. Pekerja kerumunan diminta untuk membubuhi keterangan sejumlah tugas yang dekat dengan pusat cluster. Kumpulan data meta-pelatihan dibangun menggunakan data dari Internet. Sekelompok pekerja virtual yang beragam yang dapat dengan cepat menggeneralisasi ke tugas-tugas baru dihasilkan. Mereka kemudian dipekerjakan untuk membubuhi keterangan tugas yang tersisa. Dari ketidaksepakatan di antara anotasi, diputuskan apakah akan mengundang pekerja kerumunan untuk memberikan anotasi tambahan.

Eksperimen membuktikan bahwa metode mencapai kualitas tertinggi saat menggunakan anggaran yang sebanding atau jauh lebih sedikit daripada metode canggih.

Karena tidak dapat diandalkannya pekerja Internet, sulit untuk menyelesaikan proyek crowdsourcing dengan memuaskan, terutama ketika tugas-tugasnya banyak dan anggarannya terbatas. Baru-baru ini, pembelajaran meta telah membawa vitalitas baru ke pembelajaran beberapa kali, memungkinkan untuk mendapatkan pengklasifikasi dengan kinerja yang adil hanya dengan menggunakan beberapa sampel pelatihan. Di sini kami memperkenalkan konsep emph{meta-worker}, sebuah mesin annotator yang dilatih oleh meta learning untuk jenis tugas (yaitu, klasifikasi gambar) yang sesuai untuk AI. Tidak seperti pekerja kerumunan biasa, pekerja meta dapat diandalkan, stabil, dan yang lebih penting, tak kenal lelah dan bebas. Kami pertama-tama mengelompokkan data yang tidak berlabel dan meminta pekerja kerumunan untuk berulang kali memberi anotasi pada instance di dekat pusat cluster; kami kemudian memanfaatkan data beranotasi dan kumpulan data meta-pelatihan untuk membangun sekelompok pekerja meta menggunakan algoritme pembelajaran meta yang berbeda. Selanjutnya, meta-pekerja diminta untuk membubuhi keterangan tugas crowdsourced yang tersisa. Divergensi Jensen-Shannon digunakan untuk mengukur ketidaksepakatan antara anotasi yang diberikan oleh meta-pekerja, yang menentukan apakah pekerja kerumunan harus diundang untuk anotasi lebih lanjut dari tugas yang sama. Akhirnya, kami memodelkan preferensi meta-pekerja dan menghitung anotasi konsensus dengan pemungutan suara mayoritas tertimbang. Studi empiris kami menegaskan bahwa, dengan menggabungkan mesin dan kecerdasan manusia, kami dapat menyelesaikan proyek crowdsourcing dengan anggaran lebih rendah daripada metode penugasan tugas yang canggih, sambil mencapai kualitas yang unggul atau sebanding.

Makalah penelitian: Han, G., Yu, G., Cui, L., Domeniconi, C., dan Zhang, X., “Crowdsourcing dengan Meta-Workers: A New Way to Save the Budget”, 2021. Link: https:// arxiv.org/abs/2111.04068



Posted By : togel hongkon