Panduan Xin Zhiyuan Associate Professor CMU Zachary Lipton percaya bahwa konferensi seperti NeurIPS dan ICML secara bertahap dikikis oleh industri. Mereka tidak lagi terlihat seperti konferensi akademis dan menjadi pameran dagang industri. Dalam jangka panjang, tidak akan! Tindakan harus segera diambil untuk mengkonsolidasikan sifat akademis dari konferensi.Jika non-sarjana meraih suara tetapi para sarjana tidak dapat berpartisipasi, konferensi semacam ini harus diturunkan!
Berapa banyak peserta yang dihadiri NeurIPS pada tahun 2018?
Lebih dari 8000? Selamat-tidak!
Ketika saya keluar untuk menggosok gigi, saya tidak memiliki tiket. Peneliti ingin berpartisipasi dan tidak dapat berpartisipasi. Orang awam yang menyaksikan kegembiraan itu ramai. Sesi Poster memang ramai, namun tidak banyak orang yang benar-benar membicarakan tentang sastra. Ruang pameran industri expo sangat menarik, dan pesta koktail perusahaan terhuyung-huyung ...
Ya, ini konferensi kecerdasan buatan hari ini. Perwakilan NeurIPS dan ICML semakin meningkat. Suasana sepertinya semakin populer. Bahkan sponsor harus merebut tempat ketika mereka memberikan uang.
Pada saat yang sama, cita rasa akademis dari konferensi tersebut semakin melemah, dan orang-orang yang benar-benar melakukan penelitian tidak ingin datang ke konferensi tersebut.
Setelah menghadiri NeurIPS tahun ini, Associate Professor CMU Zachary C. Lipton menuliskan perasaannya yang sebenarnya: Apa sebenarnya seharusnya konferensi akademik itu? Tanpa disadari, konferensi akademik di bidang ilmu komputer telah diserbu oleh perusahaan komersial, jumlah peserta dan jumlah makalah yang diajukan tidak dapat menjelaskan perkembangan nyata penelitian di lapangan, dan suasana yang berapi-api tidak mewakili terobosan dalam penelitian.
Mudah untuk mengkomersialkan konferensi akademik, tetapi sulit untuk membalikkannya. Jika Anda tidak mengambil tindakan dengan cepat, konferensi yang memilih dan mempublikasikan penelitian terbaru di industri akan menjadi tempat bagi perusahaan besar untuk menggali, dan KTT akademis di bidang kecerdasan buatan seperti NeurIPS dan ICML akan menjadi pameran dagang industri seperti CES.
Sebagai seorang peneliti, Lipton menyerukan: Sebelum terlambat, yuk berikan tampilan asli konferensi akademik!
Lipton mulai dari arti pertemuan dan akhirnya memutuskan bagaimana membalikkan status quo Artikel tersebut tidak singkat, tetapi tentu berbicara suara banyak peneliti.
Pernahkah Anda bertanya-tanya apa sebenarnya "pertemuan" itu?
"pertemuan" tentang apakah ini? Definisi umum hanya memberikan gambaran samar dari istilah ini: "Dua orang atau lebih bertemu untuk membahas masalah yang menjadi perhatian bersama" (Kamus Webster a); "Biasanya pertukaran pendapat formal" (Kamus Webster b); "Diskusi formal" (Google a).
Apakah pertemuan itu? Apakah semua pertemuan di mana-mana adalah pertemuan? Seberapa formal pertemuan itu? Haruskah batas-batas pertemuan disepakati? Perlu menentukan nama? Apa itu diskusi? Berapa banyak diskusi yang bisa diadakan rapat? Apa itu sub-rapat?
Di NeurIPS 2018, deretan layar menyulitkan untuk menentukan di mana posisi pembicara. Lihat sumber asli untuk sumber tersebut.
Tanpa konteks, kata tersebut hampir kosong. Namun, dalam bidang profesional, seperti latar belakang ilmu komputer, kata tersebut memiliki arti yang tepat. Google juga memberikan definisi yang lebih populer:
Pertemuan formal yang biasanya berlangsung beberapa hari, pesertanya adalah orang-orang yang memiliki kesamaan minat, terutama yang rutin diadakan oleh suatu perkumpulan atau organisasi.Namun definisi ini terlalu kabur, juga berlaku untuk rapat perusahaan, pameran dagang, seminar dan konferensi penerbitan. Ini mencakup ICML, konferensi pembelajaran mesin internasional, dan juga dapat merujuk ke pameran animasi.
Pameran Komik
Konferensi akademis Ilmu Komputer menjadi buruk
Bahkan di dunia akademis, pengertian istilah ini cukup berbeda, para sarjana di berbagai bidang seringkali tidak dapat saling memahami ketika mereka mengatakan "pertemuan". Misalnya, di kalangan profesional medis, "pertemuan" adalah forum komunikasi dan pendidikan berkelanjutan.
Sebagai seorang ilmuwan komputer yang tinggal di antara para ekonom dan pebisnis, saya menemukan bahwa bagi rekan-rekan saya, "konferensi" adalah forum untuk menyebarkan penelitian, komunikasi, pengajaran, dan rekrutmen. Saat mempresentasikan makalah, mereka ditinjau berdasarkan perluasan abstrak makalah. Mereka persis seperti yang oleh para ilmuwan komputer disebut "bengkel".
Dalam industri teknologi komputer yang lebih luas, "rapat" sering kali berarti " Pameran dagang "(Pameran Dagang). Di antara mereka, konferensi paling terkenal seperti CES, Amazon re: Invent, Google I / O, O'Reilly Strata, dll. Memiliki audiens yang besar, ekstensif, dan aktif. Kecuali untuk biaya pendaftaran, tidak ada kualifikasi. Mereka tidak memenuhi syarat. Ini adalah pertemuan profesional untuk bisnis dan pengembangan bisnis. Meskipun hadirin dan pembicara mempromosikan inovasi dan subversi, inovasi dan subversi di pusat adalah produk dan model bisnis, bukan kemajuan di garis depan pengetahuan manusia. Para sarjana boleh saja berbicara, tetapi hanya untuk menyederhanakan penelitian.
Dalam ilmu komputer, format dan susunan pertemuan sama dengan bidang akademik lainnya. Para sarjana berbagi tema dengan rekan mereka di industri. Namun, dalam ilmu komputer, makna hipotetis dari konferensi telah memperoleh makna baru. Fungsi utama konferensi puncak adalah sebagai tempat penerbitan prestasi akademik utama di lapangan .
Persiapan pertemuan terpenting termasuk melakukan proses peer review beberapa bulan sebelum pertemuan (proses review NeurIPS 8 bulan lebih cepat dari jadwal). Konferensi utama sebenarnya satu-satunya yang penting, dan hal yang paling diperhatikan dalam setiap konferensi adalah pengenalan dan pengakuan terhadap makalah yang diterbitkan tahun itu. Keberadaan tempat-tempat tersebut untuk memajukan kemajuan ilmu pengetahuan, diikuti dengan pengembangan profesionalitas, sebagai sarana untuk mencapai tujuan tersebut.
Ada perbedaan besar antara kalangan akademis dan teknis pada struktur khusus konferensi. Namun, dalam praktik dan penyelenggaraan konferensi ilmu komputer, kita jarang perlu bertanya-apa itu konferensi Ilmu Komputer? Apa tujuannya? Siapa yang harus datang ke konferensi? Kegiatan apa yang harus dilakukan pada pertemuan tersebut? Pertanyaan-pertanyaan ini selalu memiliki jawaban yang pasti, sehingga tidak perlu dijawab.
Siapa yang akan datang? Mereka yang selalu datang. Kenapa mereka disini? Untuk menampilkan karya terbaru mereka, dan melihat orang lain menampilkan karya terbaru mereka. Kegiatan apa yang harus dilakukan? Makan, mendengarkan ceramah, makan, memajang poster, makan ... Detailnya ditentukan oleh penyelenggara. Beberapa pertemuan memiliki makanan yang lebih baik. Beberapa memiliki pidato yang lebih baik. Namun, sifat rapat jarang perlu dipertimbangkan.
Karena selalu tidak ada kebutuhan untuk mengajukan pertanyaan seperti itu, komunitas ML terkejut dengan perubahan terkini. Meski kami tetap memberikan pendaftaran gratis, komposisi dan tujuan peserta sudah berubah. Karena gerai sponsor berkembang dari meja lipat khusus pada tahun 2013 menjadi instalasi besar di ruang pameran, kami hanya menyewa ruangan yang lebih besar dan kemudian mengenakan biaya sponsor yang lebih tinggi.
Tiket konferensi terjual lebih cepat dari tahun ke tahun Kami harus mengakui bahwa orang-orang dalam kelompok penelitian inti (kecuali penulis makalah yang diterima) tidak akan hadir.
Dalam bidang ilmu komputer, kita tidak biasa bertanya "apa itu konferensi", tetapi tiba-tiba kita menemukan bahwa konferensi ini telah berubah, tetapi kita tidak tahu siapa (jika ada) yang menentukan perubahan itu.
Hanya dalam beberapa tahun, gaya NeurIPS telah berubah
Saya pertama kali menghubungi NeurIPS pada 2013, ketika saya menjadi mahasiswa doktoral tahun pertama. Saat itu, konferensi berkembang pesat, dan hampir semua orang yang saya temui terlibat dalam pekerjaan akademis di bidang ini. Bagian sponsor memiliki kurang dari 10 meja lipat, milik Amazon, Google, Microsoft Research, Facebook dan Skytree.
Perusahaan-perusahaan ini tampaknya terutama berfokus pada perekrutan pekerja magang penelitian. Zuckerberg tampaknya muncul di acara pribadi di tempat, menarik orang untuk menonton.
Perubahan jumlah peserta konferensi besar. (Sumber: laporan Indeks AI)
Dua tahun kemudian, saya berpartisipasi dalam konferensi NeurIPS 2015 yang diadakan di Montreal. Meskipun skala konferensi telah berkembang pesat, Sebagian besar peserta masih peneliti aktif . Dapat dikatakan bahwa pertumbuhan lebih disebabkan oleh skala daripada perubahan mendasar dalam sifat peristiwa.
Sebagai gejala pertumbuhan konferensi, setengah dari penonton harus menonton laporan khusus konferensi dalam sarapan prasmanan, dan area sarapan prasmanan berlipat ganda menjadi area tampilan penuh. Tanda-tanda awal tidak hanya peningkatan skala, tetapi juga perubahan sifat, booth sponsor telah lama menjadi fitur konferensi, dan pertemuan tidak resmi mulai mendominasi kegiatan sosial setelah konferensi.
Dengan perubahan ini muncul minuman gratis dan makanan ringan tanpa batas, tetapi ini juga mengancam peran konferensi sebagai tempat pertukaran pendapat murni. Sudah pesta Membagi struktur sosial secara artifisial . Jika Anda tidak secara sadar menentang budaya pesta, maka siapa yang Anda lihat pada malam tertentu bergantung pada siapa yang diundang ke pesta yang sama. Tahun itu, saya bertemu dengan mentor penelitian masa depan pada pertemuan yang diadakan oleh Microsoft Research Labs. Saat berbicara, kami berjalan ke forum lain yang dihosting oleh DeepMind, tetapi karena hanya satu dari kami yang ada di daftar undangan DeepMind, percakapan itu harus diinterupsi.
Namun, pada saat itu, Semua sarjana yang ingin berpartisipasi setidaknya dapat mendaftar (Selama dana memungkinkan).
Dari "konferensi" hingga "sirkus"
Pada musim panas tahun berikutnya, rekan penulis saya David Kale mengundang saya untuk memberikan pidato di konferensi Dunia Strata + Hadoop O'Reilly, yang merupakan konferensi industri besar. Meskipun anggota komunitas ML mungkin sudah mulai mengeluh bahwa NeurIPS menjadi semakin aneh, tetapi di Strata pertemuan ini, saya benar-benar melihat sirkus.
Identitas audiens termasuk manajer, pengembang, staf penjualan, arsitek solusi, pemasar, dan investor. Kebanyakan percakapan adalah kata-kata yang modis. Kedalaman teknis sebagian besar pidato tidak sebaik siaran pers. Ada banyak kaos dan hadiah kecil di ruang sponsorship NeurIPS, yang tampaknya agak berlebihan, tetapi di Strata, hal-hal seperti itu menempati satu lantai penuh. Meskipun stan sponsorship NeurIPS agak aneh. Namun di Strata, ruang pameran adalah inti dari konferensi. Perwakilan perusahaan mencari peluang penjualan di ruang pameran yang dibangun dengan busa. Lampu neon dan layar resolusi tinggi merupakan perlengkapan standar.
Untuk pertama kalinya, peneliti ditolak untuk berpartisipasi dalam KTT akademik
Hanya dua tahun kemudian, pada tahap awal NeurIPS 2017 (Long Beach, California), peneliti terkejut menemukan bahwa pendaftaran (semakin disebut sebagai "tiket") telah terjual habis bahkan sebelum hasil penerimaan makalah seminar diumumkan. Meskipun beberapa penulis makalah simposium yang diterima akhirnya mendapat tempat tambahan, tidak semua penulis makalah dapat berpartisipasi.
Mungkin untuk pertama kalinya, penulis makalah penelitian (kecuali penulis pertama) ditolak untuk menghadiri konferensi , Dan prioritas diberikan kepada sejumlah besar orang non-akademis perekrut, manajer, investor, pengembang, dan jurnalis hanya karena mereka lebih cepat memperoleh suara.
Terinspirasi oleh fenomena absurd ini, saya menulis artikel satir tak lama kemudian, mengklaim bahwa ICML telah terjual habis bahkan sebelum call for paper diumumkan. Meski tergolong sindiran, banyak pembaca yang terbiasa dengan fenomena aneh di bidang ini tetap menganggapnya benar. Artikel ini dicetak ulang oleh beberapa buletin AI (termasuk buletin sains data resmi Universitas New York) dan disebarluaskan sebagai berita. Beberapa penyelenggara ICML dengan tulus meminta saya untuk menarik artikel ini, mereka khawatir meskipun artikel ini mengandung ironi yang jelas, namun akan membuat calon peserta merasa sakit hati. Mereka tidak setuju dengan pandangan saya bahwa inilah tujuan fundamental dari satire, untuk mendorong pembaca menyadari bahwa kenyataan telah menjadi sangat tidak masuk akal.
Tahun ini, dari tanggal 3 hingga 8 Desember, 8.000 peneliti mendaftar untuk konferensi NeurIPS 2018. Demikian pula, karena kekurangan pasokan, para peserta ditinjau ulang.
Ketidakseimbangan antara penawaran dan permintaan begitu serius Tiket konferensi terjual habis dalam 12 menit Naik.
Mungkin ini yang pertama kali Kebanyakan peneliti yang tidak memiliki (satu) makalah konferensi, tidak memiliki makalah seminar penulis pertama, atau tidak memiliki status senior di komunitas tidak dapat berpartisipasi dalam konferensi ini. Beberapa penulis junior mengumpulkan materi yang diajukan untuk seminar, bukan untuk kepentingan akademis, tetapi untuk mendapatkan tiket lotere, yang mungkin memiliki kemungkinan 40-50% untuk menjadi peluang pendaftaran. Namun, karena banyak peneliti yang menonton, banyak dari 25% kursi kosong tersebut terjual habis oleh penonton.
Tahun ini, untuk pertama kalinya, saya menemukan lebih sedikit peneliti di aula dibandingkan tahun sebelumnya. Hal ini mungkin karena peneliti tidak diizinkan masuk, peneliti memilih tidak hadir, dan jumlah orang yang hadir lebih banyak. Banyak ceramah yang diundang, meskipun menarik, cukup populer, sehingga harus sangat populer di TED. menurutku, Sifat pertemuan jelas menyimpang dari penelitian .
Meskipun NeurIPS telah mengambil langkah besar menuju inklusivitas wanita dan orang kulit hitam di bidang pembelajaran mesin masih menjadi sorotan dalam konferensi ini ada kekurangan besar dalam dimensi yang secara tradisional tidak perlu dikhawatirkan oleh siapa pun. Konferensi ini berupaya untuk memastikan partisipasi komunitas riset itu sendiri. Dengan keterbatasan kapasitas dan bertambahnya jumlah pendaftaran, maka pendaftaran menjadi permainan zero-sum.
Jumlah peserta yang banyak tidak berarti penelitiannya dilakukan dengan baik; konferensi akademik harus mempertemukan para sarjana
Laporan tak bernyawa itu, baik yang ditulis oleh media atau orang dalam, seperti Indeks AI 2018 Melalui jumlah peserta, jumlah makalah yang diajukan, jumlah investasi dan data lainnya secara kasar merangkum perkembangan bidang kecerdasan buatan. Statistik ini sangat bagus dan menunjukkan bahwa AI berkembang, tetapi itu sendiri tidak ada artinya. Apa konferensi itu, apa yang diwakili oleh makalah, dan apa yang sebenarnya dilakukan rekan-rekan AI semuanya hilang dalam proses penggalian indikator ini. Situasi sebenarnya dari penelitian ini sama sekali tidak terlihat dari indikator-indikator ini .
Kita harus menganggap berita di era Internet sebagai cerita peringatan. Ketika konsumen beralih ke model konsumsi satu titik, kita tiba-tiba dapat melacak dan mengamati indikator kuantitatif yang mewakili "kesuksesan" (seperti klik, tayangan, dan penggemar), dan karakteristik media berita berubah dengan cepat.
Dalam proses mengejar indikator data berpandangan sempit ini, kami kehilangan pemahaman tentang sifat pelaporan berita. Saat ini, hanya melihat indikator kunci untuk mengukur "keberhasilan" konten online, tidak mungkin untuk mengetahui apakah konten tersebut adalah berita atau pornografi. Ukuran perkembangan dan kesuksesan kami di bidang kecerdasan buatan tidak dapat membedakan antara pembelajaran mesin dan pameran dagang industri sama.
Konferensi akademik tiba-tiba menjadi pameran perdagangan, yang harus membangkitkan kewaspadaan semua anggota bidang AI dan memastikan bahwa tindakan segera diambil untuk mengkonsolidasikan sifat yang tepat dari konferensi akademik Hal terpenting adalah mengumpulkan orang-orang dari akademisi .
Mahasiswa doktor yang aktif dan bersemangat tidak boleh berpaling hanya karena ada orang awam yang berpartisipasi dalam pameran. Bahkan bagi mereka yang dapat hadir, perubahan selera konferensi akademik sekarang memungkinkan semakin banyak peneliti di antara mereka untuk tidak menghadiri konferensi, tetapi memilih untuk mengalokasikan waktu mereka ke forum kecil yang lebih akademis.
Kita harus membentuk kelompok kerja di tingkat tertinggi untuk memperhatikan acara ini, dan menetapkan mekanisme penghargaan dan hukuman. Ketika penulis kedua, ketiga, dan keempat tidak dapat menghadiri konferensi profesional untuk memamerkan karya mereka, ratusan ribu Ketika non-sarjana mendapatkan tiket, Tegaslah menurunkan pertemuan semacam ini .
Akan terlambat jika tidak ada tindakan yang diambil!
Sebelum NeurIPS dan ICML tersapu oleh arus deras yang bergejolak ini ke pantai datar pameran perdagangan industri, dan sebelum sesi poster yang seharusnya dihadiri diubah secara permanen menjadi tempat sosial, kami hanya memiliki waktu yang sangat terbatas untuk mengambil tindakan guna meningkatkan konferensi ini. Akademik, mengembalikannya ke dunia akademik, dan mengembalikannya menjadi tempat pertemuan para peneliti.
Jadi, apa yang bisa kita lakukan sekarang? Berikut adalah beberapa saran:
1. Tetapkan masa pendaftaran dua bulan yang hanya terbuka untuk akademisi
Dua bulan setelah konferensi dibuka untuk pendaftaran, hanya sarjana yang diizinkan mendaftar. Para "sarjana" di sini dapat berupa siswa dan guru saat ini, atau penulis makalah sebelumnya. Periode waktu ini harus berlangsung hingga lokakarya ditentukan untuk diadakan.
2. Putuskan bagian mana dari NeurIPS yang akan diungkapkan kepada publik
Konferensi tahun ini salah menangani media: media dilarang menghadiri lokakarya, membuatnya seolah-olah NeurIPS adalah konferensi rahasia kelas atas, tidak! Pasalnya, tim urusan konferensi tidak menyadari bahwa konferensi tahun ini telah menjadi a Acara publik .
Singkatnya, setiap bagian konferensi harus jelas apakah itu untuk umum atau hanya untuk akademisi. Bagian yang terbuka untuk umum juga harus terbuka untuk wartawan. Jika kita tidak puas dengan reporter yang menghadiri konferensi, mengapa kita tidak keberatan duduk bersama para eksekutif perusahaan dan mempresentasikan makalah?
3. Mengurangi atau menurunkan skala pameran Ekspo
Aula Expo, yang menampilkan konten terkait industri, telah menarik sebagian besar perhatian orang ke kalangan akademisi. Aula pameran penuh dengan gadget gratis, makanan gratis, kursi yang nyaman, dan pemandangan yang membutuhkan biaya jutaan dolar untuk membangunnya. Ceramah sains dan poster tidak dapat bersaing dengan ruang pameran mewah gaya CES, juga tidak boleh bersaing dengan ruang pameran semacam itu.
Salah satu cara yang mungkin dilakukan adalah menutup aula Expo pada hari-hari tertentu atau pada waktu-waktu tertentu. Sebaliknya, EMNLP tahun ini jauh lebih baik. Selama istirahat, orang-orang akan berkumpul di ruang pameran untuk membicarakan banyak hal, tetapi sebagian besar dosen akademik (termasuk perwakilan perusahaan) hadir.
4. Reformasi kegiatan sponsor, terbuka untuk semua peneliti:
Ide perusahaan untuk merekrut talenta di pertemuan tersebut sepenuhnya masuk akal. Apa yang ingin dilakukan perusahaan setelah rapat harian dan setelah jam kerja berada di luar kendali tim konferensi. Namun, dimungkinkan untuk mendapatkan sponsor untuk menandatangani perjanjian untuk mengubah konten kegiatan mereka (yang mungkin memerlukan upaya bersama) untuk menyertakan semua peneliti.
Situasi saat ini adalah bahwa partai-partai ini penuh dengan orang-orang yang memiliki hubungan baik (terlepas dari disiplin ilmu), stok potensial atau bibit yang baik (mahasiswa doktoral dan peneliti junior yang sangat baik dan agak terkenal), dan peneliti terkenal.
Namun, orang-orang yang paling diuntungkan dari aktivitas ini, dan peneliti muda yang paling banyak bertemu dengan calon pemberi kerja, konsultan, dan mentor melalui aktivitas ini, dikecualikan.
- Di restoran Cina, dia berspesialisasi dalam membunuh orang Tionghoa Amerika, dan adegannya kejam ...
- Forum Tiga Inovasi Alumni Tsinghua telah sukses diselenggarakan, dan Kompetisi Tiga Inovasi Divisi Beijing-Tianjin-Hebei secara resmi diluncurkan.
- Haima Motor dan "Monster Hunt 2" meluncurkan perlengkapan Tahun Baru Imlek, apakah ide pemasaran untuk ditingkatkan?
- Wang Qicheng dan istrinya memiliki kekayaan, kekayaan bersih 24,5 miliar, dan orang terkaya di China setelah 1980-an.
- Kami memberikan Lynk & Co 01 penilaian yang sangat tinggi karena mencerminkan kualitas mereknya sendiri
- Harga saham Alibaba naik karena stimulus kinerja, Jack Ma mengalahkan Wang Jianlin dan menjadi orang terkaya
- Pada tahun 2018, ketika AI memasuki bidang medis, apakah itu kegembiraan orang-orang yang berpandangan ke depan atau ketakutan terhadap kaum konservatif?
- 5300km arah barat (lima) off-road hanya bisa dianggap sebagai magang, keseruan sebenarnya ada dalam berkendara