Tahun 2019 jelas merupakan tahun yang luar biasa untuk pembelajaran mesin grafik (GML). Untuk konferensi akademik, jaringan neural grafik akan selalu penuh.
Alasan mengapa penelitian pembelajaran mesin grafik tiba-tiba menjadi panas pada tahun 2019 adalah bahwa meskipun pembelajaran mendalam telah mencapai kesuksesan besar dalam data di ruang Euclidean dalam beberapa tahun terakhir, data dalam banyak skenario aplikasi praktis sering terjadi. Itu dihasilkan dari ruang non-Eropa.
Seperti yang pernah disebutkan Akademi Ali Dharma pada tahun 2019: Pembelajaran mendalam murni telah matang, dan penelitian grafik yang dikombinasikan dengan pembelajaran yang dalam menggabungkan pembelajaran ujung ke ujung dengan penalaran induktif, yang diharapkan dapat menyelesaikan penalaran relasional yang tidak dapat ditangani dengan pembelajaran yang mendalam. Masalah penjelasan dan lainnya. "
Dalam beberapa tahun terakhir, pembelajaran mesin grafik telah mengalami perkembangan yang pesat, yang juga dapat dilihat dari adegan populer pembelajaran mesin grafik di konferensi-konferensi besar.
Satu bulan telah berlalu sejak tahun baru, jadi bisakah kegemaran pembelajaran mesin grafik di tahun 2020 terus berlanjut? Tren penelitian baru apa yang akan ada? ICLR 2020 yang akan diselenggarakan di Ethiopia pada bulan April merupakan konferensi yang dapat merefleksikan isu tersebut dengan baik.
Konferensi ini dipimpin oleh Yoshua Bengio dan Yann LeCun, yang kedua dari tiga raksasa pembelajaran mendalam, untuk fokus pada penelitian mutakhir tentang berbagai aspek pembelajaran mendalam.
Di ICLR 2020, terdapat 150 kiriman terkait graph machine learning, dan hampir 1/3 paper telah diterima, yang juga menunjukkan bahwa graph machine learning masih hot.
Kami mungkin juga membagi makalah ini berdasarkan teori, aplikasi, grafik pengetahuan, dan penyematan grafik untuk melihat sekilas tren penelitian pembelajaran mesin grafik pada tahun 2020.
Catatan: Untuk makalah yang terlibat dalam artikel ini, harap ikuti akun WeChat resmi "AI Technology Review" di Leifeng.com dan balas unduhan "GML Trends 2020" di latar belakang.
1. Pengetahuan teoritis GNN akan lebih solid
Dari bentuk saat ini, bidang pembelajaran mesin grafik semakin maju ke arah yang matang, tetapi masih banyak ruang untuk perbaikan dalam jaringan saraf tiruan. Dalam setahun terakhir, jaringan syaraf tiruan grafik terus ditingkatkan, begitu banyak studi teoritis telah lahir. Sebelum kita memprediksi tahun 2020, mari kita tinjau secara singkat hasil teoritis penting dari jaringan saraf tiruan!
Grafik apa yang tidak bisa dipelajari jaringan saraf: kedalaman vs lebar
https://openreview.net/forum?id=B1l2bp4YwS
Makalah ini oleh Andreas Loukas dari Federal Institute of Technology di Lausanne tidak diragukan lagi merupakan model dalam makalah dalam hal pengaruh, kesederhanaan dan kedalaman pemahaman teoritis.
Ini menunjukkan bahwa ketika kita menggunakan GNN untuk menghitung masalah grafik umum, dimensi node embedding (lebar jaringan, w) dikalikan dengan jumlah lapisan (kedalaman jaringan, d) harus proporsional dengan ukuran grafik n, yaitu, dW = O (n).
Namun kenyataannya banyak implementasi GNN saat ini yang tidak dapat memenuhi kondisi tersebut, karena jumlah layer dan ukuran embedding tidak cukup besar dibandingkan dengan ukuran grafik. Di sisi lain, jaringan yang lebih besar tidak cocok untuk operasi yang sebenarnya, yang akan menimbulkan pertanyaan tentang bagaimana merancang GNN yang efektif.Tentu saja, masalah ini juga menjadi fokus pekerjaan peneliti di masa depan. Perlu dicatat bahwa makalah ini juga mendapat inspirasi dari model komputasi terdistribusi tahun 1980-an dan membuktikan bahwa GNN pada dasarnya melakukan hal yang sama.
Artikel ini juga mengandung banyak kesimpulan berharga, sangat disarankan untuk membaca teks aslinya. Anda dapat mengikuti akun resmi WeChat "AI Technology Review" Leifeng.com, dan membalas ke "GML Trends 2020" untuk mengunduh makalah di latar belakang.
Demikian pula, dalam dua makalah lainnya, Oono et al. Mempelajari kapabilitas GNN. Artikel pertama adalah "Graph Neural Network Lost Expressive Ability in Node Classification", dan artikel kedua adalah "Logical Expression of Graph Neural Network".
Grafik Jaringan Neural Secara Eksponensial Kehilangan Daya Ekspresif untuk Klasifikasi Node
https://openreview.net/forum?id=S1ldO2EFPr
Makalah ini menunjukkan bahwa: "Ketika jumlah lapisan meningkat ketika bobot dalam kondisi tertentu diketahui, GCN tidak akan dapat mempelajari apa pun selain derajat node dan komponen yang terhubung." Hasil ini memperluas "konvergensi proses Markov" Ke titik ekuilibrium unik , dan menunjukkan bahwa kecepatan konvergensi ditentukan oleh nilai eigen dari matriks transisi.
Ekspresi Logis Jaringan Neural Grafik
https://openreview.net/pdf?id=r1lZ7AEKvB
Makalah ini menunjukkan hubungan antara GNN dan tipe pengklasifikasi node. Sebelumnya, kami telah memahami bahwa GNN sekuat uji isomorfisme WL. Tetapi bisakah GNN mendapatkan fungsi klasifikasi lainnya? Tidak secara intuitif, karena GNN adalah mekanisme penyampaian pesan. Jika tidak ada hubungan antara satu bagian grafik dan bagian lainnya, maka tidak ada pesan yang akan diteruskan di antara keduanya.
Oleh karena itu, makalah ini mengusulkan solusi sederhana: tambahkan operasi baca setelah agregasi lingkungan, sehingga setiap node terhubung dengan semua node lain dalam grafik ketika semua elemen diperbarui.
Ada banyak karya teoritis lainnya, termasuk Hou et al. Mengukur penggunaan informasi grafik GNN. Serta pembahasan mengenai persamaan penyematan node berbasis peran dan penyematan node berbasis jarak yang dikemukakan oleh Srinivasan dan Ribeiro.
Tautan ke kertas adalah sebagai berikut:
Mengukur dan Meningkatkan Penggunaan Informasi Grafik di Graph Neural Networks
https://openreview.net/forum?id=rkeIIkHKvS
Tentang Kesetaraan antara Positional Node Embeddings dan Structural Graph Representationshttps: //openreview.net/forum? Id = SJxzFySKwH
2. Aplikasi keren baru terus bermunculan
Dalam beberapa tahun terakhir, GNN telah diterapkan dalam beberapa tugas praktis. Misalnya, beberapa program telah digunakan untuk bermain game, menjawab tes IQ, mengoptimalkan grafik kalkulasi TensorFlow, menghasilkan molekul, dan membuat pertanyaan dalam sistem dialog.
HARAPAN: MEMPELAJARI TRANSFORMASI GRAFIK UNTUK MENDETEKSI DAN MEMPERBAIKI BUGS DALAM PROGRAM
https://openreview.net/pdf?id=SJeqs6EFvB
Dalam makalah tersebut, penulis mengusulkan metode untuk mendeteksi dan memperbaiki kesalahan pada kode Javascript secara bersamaan. Operasi spesifiknya adalah mengubah kode menjadi pohon sintaksis abstrak, dan kemudian membiarkan GNN melakukan praproses untuk mendapatkan penyematan kode, dan kemudian memodifikasinya melalui beberapa putaran operator pengeditan grafik (menambah atau menghapus node, mengganti nilai atau tipe node). Untuk memahami node grafik mana yang harus dimodifikasi, penulis makalah menggunakan jaringan Pointer, yang menggunakan embedding grafik untuk memilih node untuk diperbaiki menggunakan jaringan LSTM. Tentu saja, jaringan LSTM juga menerima penyematan grafik dan pengeditan konteks.
LambdaNet: Inferensi Jenis Probabilistik menggunakan Graph Neural Networks
https://openreview.net/pdf?id=Hkx6hANtwH
Aplikasi serupa juga tercermin dalam makalah di atas. Penulis dari University of Texas di Austin telah mempelajari cara menyimpulkan jenis variabel dalam bahasa seperti Python atau TypeScript. Lebih khusus lagi, penulis memberikan tipe hipergraf ketergantungan (tipe hipergraf ketergantungan), yang berisi variabel program sebagai node dan hubungan di antara mereka, seperti hubungan logis, batasan konteks, dll.; Dan kemudian melatih model GNN untuk grafik Dan jenis variabel yang mungkin untuk menghasilkan embedding, dan dikombinasikan dengan kemungkinan prediksi.
Abstrak Penalaran Diagrammatic dengan Jaringan Grafik Multipleks
https://openreview.net/pdf?id=ByxQB1BKwH
Dalam penerapan pengujian IQ, makalah di atas menunjukkan bagaimana GNN melakukan pengujian IQ, seperti Raven Test (RPM) dan Figure Syllogism (DS). Secara khusus, dalam tugas RPM, setiap baris matriks membentuk grafik, dan penyematan tepi diperoleh melalui model feedforward, lalu grafik tersebut diringkas. Karena ada 8 kemungkinan jawaban di baris terakhir, 8 grafik berbeda akan dibuat dan setiap grafik akan dihubungkan dengan dua baris pertama untuk memprediksi skor IQ melalui model ResNet. Seperti yang ditunjukkan di bawah ini:
Dari: https://openreview.net/pdf?id=ByxQB1BKwH
Pembelajaran Algoritma Genetika yang Diperkuat untuk Mengoptimalkan Grafik Komputasi
https://openreview.net/pdf?id=rkxDoJBYPBDeepMind
Dalam makalah di atas, algoritme RL diusulkan untuk mengoptimalkan biaya grafik kalkulasi TensorFlow. Grafik diproses oleh GNN standar terlebih dahulu, lalu embedding diskrit yang sesuai dengan prioritas penjadwalan setiap node dalam grafik dibuat, dan terakhir embedding diumpankan ke algoritme genetik BRKGA untuk pelatihan model, sehingga mengoptimalkan grafik TensorFlow yang sebenarnya diperoleh Overhead perhitungan. Perlu dicatat bahwa algoritma genetika menentukan tata letak dan penjadwalan setiap node.
Aplikasi keren serupa termasuk pembuatan struktur molekul Chence Shi, permainan game Jiechuan Jiang, dan permainan game Yu Chen.
Tautan ke makalah adalah sebagai berikut: Grafik Pembelajaran Penguatan Konvolusional
https://openreview.net/forum?id=HkxdQkSYDB
Model Graph-to-Sequence Berbasis Pembelajaran Penguatan untuk Pembuatan Pertanyaan Alami
https://openreview.net/forum?id=HygnDhEtvr
3. Grafik pengetahuan akan menjadi lebih populer
Pada konferensi ICLR tahun ini, terdapat banyak makalah tentang penalaran grafik pengetahuan.
Contoh grafik pengetahuan (sumber: https://arxiv.org/abs/1503.00759)
Intinya, grafik pengetahuan adalah cara terstruktur untuk merepresentasikan fakta. Berbeda dengan grafik umum, node dan edge grafik pengetahuan sebenarnya memiliki arti tertentu, seperti nama aktor dan film. Pertanyaan umum dalam grafik pengetahuan adalah bagaimana menjawab beberapa pertanyaan kompleks, seperti Film Spielberg manakah yang memenangkan Oscar sebelum tahun 2000? Pertanyaan ini diterjemahkan ke dalam bahasa kueri yang logis: {Win (Oscar, V) Disutradarai (Spielberg, V) ProducedBefore (2000, V)} Query2box:
Penalaran atas Grafik Pengetahuan dalam Ruang Vektor Menggunakan Kotak Embeddings
https://openreview.net/forum?id=BJgr4kSFDS
Kerangka Penalaran Query2Box Dalam karya Hongyu Ren dan lainnya di Universitas Stanford, mereka menyarankan untuk menyematkan kueri di ruang tersembunyi alih-alih sebagai satu titik (sebagai kotak persegi panjang).
Dua operasi QUERY2BOX dan contoh geometrik dari fungsi jarak. Metode ini memungkinkan untuk melakukan operasi persimpangan secara alami (yaitu, penghubung ) untuk mendapatkan kotak persegi panjang baru. Tetapi untuk operasi serikat (yaitu disjungsi ) tidak sesederhana itu, karena dapat menghasilkan daerah yang tidak tumpang tindih.
Selain itu, untuk menggunakan embeddings untuk memodelkan semua kueri secara akurat, kompleksitas fungsi jarak antara embeddings (diukur dengan dimensi VC) akan sebanding dengan jumlah entitas di peta.
Namun, ada teknik yang baik untuk mengubah kueri disjungsi () menjadi bentuk DNF. Saat ini, operasi gabungan hanya dilakukan di akhir penghitungan grafik, yang secara efektif dapat mengurangi penghitungan jarak untuk setiap subkueri.
Pembelajaran Aturan Numerik yang Dapat Dibedakan dalam Grafik Pengetahuan
https://openreview.net/forum?id=rJleKgrKwSCMU Po-Wei
Sebuah artikel tentang topik serupa oleh Wang et al. Mengusulkan metode untuk menangani entitas dan aturan digital.
Contoh Sitasi Grafik Pengetahuan (Kutipan KG) Misalnya, untuk mengutip grafik pengetahuan (Kutipan KG), terdapat aturan: pengaruh (Y, X) kolegaOf (Z, Y) supervisorOf (Z, X) hasCitation > (Y, Z) Ini adalah situasi khas di mana siswa X dipengaruhi oleh rekan mentornya Z, Y (Y memiliki tingkat kutipan yang lebih tinggi).
Setiap relasi di sisi kanan aturan ini dapat dinyatakan sebagai matriks, dan proses menemukan tautan yang hilang dapat dinyatakan sebagai produk matriks kontinu dari relasi tersebut dan vektor entitas. Proses ini disebut pembelajaran aturan. Karena cara matriks dibangun, metode jaringan saraf hanya dapat bekerja di bawah aturan klasifikasi rekan (Z, Y).
Kontribusi penulis adalah bahwa mereka membuktikan melalui metode baru bahwa dalam praktiknya, matriks ini tidak perlu diekspresikan secara eksplisit, sehingga secara efektif menangani hasCitation yang serupa > (Y, Z), aturan jumlah operasi negasi, yang sangat mengurangi waktu berjalan.
Anda DAPAT Mengajari Anjing Tua Trik Baru!
Tentang Penyematan Grafik Pengetahuan Pelatihanhttps: //openreview.net/forum? Id = BkxSmlBFvr
Arah penelitian yang sering muncul pada graph neural network (atau machine learning) tahun ini adalah: evaluasi ulang model yang ada dan evaluasi dalam lingkungan yang adil.
Artikel di atas adalah salah satunya.Penelitian mereka menunjukkan bahwa performa model baru sering kali bergantung pada detail "sekunder" dalam pelatihan eksperimental, seperti bentuk fungsi kerugian, regulator, dan skema pengambilan sampel.
Dalam studi ablasi skala besar mereka, penulis mengamati bahwa kinerja SOTA dapat diperoleh dengan menyesuaikan hyperparameter dari metode lama secara tepat (seperti model RESCAL). Tentunya masih banyak karya menarik lainnya di bidang ini.Berdasarkan penelitian terbaru tentang embedding kata, Allen dkk mengeksplorasi lebih jauh ruang tersembunyi dari pembelajaran representasi relasi dan entitas. Asai et al. Menunjukkan bagaimana model mengambil jalur penalaran pada grafik Wikipedia yang menjawab pertanyaan yang diberikan.
Tabacof dan Costabello membahas masalah penting dalam kalibrasi probabilitas model embedding grafik.Mereka menunjukkan bahwa model embedding yang populer saat ini TransE dan ComplEx (yang memperoleh probabilitas dengan mengubah fungsi logit ke fungsi sigmoid) memiliki ketidaksejajaran, yaitu fakta Ada prediksi yang kurang atau terlalu banyak prediksi.
Tautan ke makalah adalah sebagai berikut: Tentang Memahami Representasi Grafik Pengetahuan
https://openreview.net/forum?id=SygcSlHFvS
Belajar Mengambil Jalur Penalaran melalui Grafik Wikipedia untuk Menjawab Pertanyaan
https://openreview.net/forum?id=SJgVHkrYDH
Kalibrasi Probabilitas untuk Model Penyematan Grafik Pengetahuan
https://openreview.net/forum?id=S1g8K1BFwS
4. Kerangka baru untuk penyematan gambar
Penyematan grafik adalah topik penelitian jangka panjang dari pembelajaran mesin grafik. Tahun ini ada beberapa ide baru tentang bagaimana kita harus mempelajari representasi grafik.
GraphZoom: Pendekatan Spektral Bertingkat untuk Penyematan Grafik yang Akurat dan Skalabel
https://openreview.net/forum?id=r1lGO0EKDH
Cornell's Chenhui Deng et al. Mengusulkan metode untuk meningkatkan waktu berjalan dan akurasi, yang dapat diterapkan pada masalah klasifikasi node metode embedding yang tidak diawasi. Ide umum dari artikel ini adalah menyederhanakan grafik asli menjadi grafik yang lebih kecil, sehingga node embedding dapat dihitung dengan cepat, dan kemudian mengembalikan embedding grafik aslinya.
Awalnya, berdasarkan kesamaan atribut, ekspansi tepi tambahan dilakukan pada grafik asli, yang berhubungan dengan hubungan antara k tetangga terdekat dari node. Kemudian grafik dibuat kasar: setiap node diproyeksikan ke dalam ruang berdimensi rendah dengan metode spektrum lokal, dan digabungkan ke dalam cluster. Setiap metode penyematan grafik tanpa pengawasan (seperti DeepWalk, Deep Graph Infomax) dapat memperoleh node embeddings pada grafik kecil. Pada langkah terakhir, embedding node yang diperoleh (pada dasarnya mewakili embedding cluster) disiarkan secara iteratif dengan operator smoothing untuk mencegah node yang berbeda memiliki embedding yang sama. Dalam percobaan, kerangka kerja GraphZoom telah mencapai akselerasi 40 kali lipat dibandingkan dengan node2vec dan DeepWalk, dan tingkat akurasi juga meningkat sebesar 10%.
Perbandingan Yang Adil dari Jaringan Syaraf Tiruan Grafik untuk Klasifikasi Grafik
https://openreview.net/forum?id=HygDF6NFPB
Banyak makalah telah melakukan analisis rinci terhadap hasil penelitian klasifikasi grafik. Federico Errica dari Universitas Pisa dan yang lainnya mengevaluasi kembali model GNN pada masalah klasifikasi grafik.
Penelitian mereka menunjukkan bahwa baseline sederhana yang tidak menggunakan topologi grafik (hanya berlaku untuk fitur node agregat) dapat mencapai kinerja yang mirip dengan SOTA GNN. Faktanya, penemuan mengejutkan ini dipublikasikan oleh Orlova dkk. Pada tahun 2015, namun tidak menarik perhatian luas.
Memahami Bias Isomorfisme dalam Kumpulan Data Grafik
https://openreview.net/forum?id=rJlUhhVYvSSkolkovo
Ivanov Sergey dari Institut Sains dan Teknologi dan yang lainnya menemukan dalam penelitian mereka bahwa dalam kumpulan data umum seperti MUTAG dan IMDB, banyak grafik akan memiliki salinan isomorfik bahkan jika atribut node dipertimbangkan. Selain itu, banyak dari grafik isomorfik ini memiliki label target yang berbeda, yang secara alami menyebabkan gangguan label ke pengklasifikasi. Ini menunjukkan bahwa sangat penting untuk menggunakan semua informasi meta yang tersedia (seperti atribut node atau edge) di jaringan untuk meningkatkan performa model.
Apakah Jaringan Neural Graf yang Kuat Diperlukan? Diseksi Klasifikasi Graf
https://openreview.net/forum?id=BJxQxeBYwH
Pekerjaan lainnya adalah pekerjaan tim UCLA Sun Yizhou. Pekerjaan ini menunjukkan bahwa jika fungsi agregasi tetangga terdekat linier digunakan untuk menggantikan fungsi agregasi tetangga terdekat nonlinier asli, kinerja model tidak akan menurun. Hal ini bertentangan dengan pandangan sebelumnya bahwa "kumpulan data grafik memiliki pengaruh yang kecil terhadap klasifikasi". Pada saat yang sama, pekerjaan ini juga menimbulkan pertanyaan tentang bagaimana menemukan kerangka kerja verifikasi yang sesuai untuk tugas-tugas tersebut. Ikuti akun resmi WeChat "AI Technology Review" Leifeng.com, dan balas ke "GML Trends in 2020" di latar belakang untuk mengunduh paket koleksi makalah dalam artikel.
Konten artikel dipilih dari menujudatascience.com, Tren Teratas Pembelajaran Mesin Grafik di 2020
~ Pengiriman Kesejahteraan ~
Kirim kalender AI
- Para pemimpin Distrik Yuncheng, Kota Yunfu, membawa hujan untuk menyampaikan belasungkawa kepada penjaga garis depan
- Untuk membumi, untuk mengatakan yang sebenarnya, berteriak keras: "Rasa tanah" kekuatan panji "anti-epidemi"
- Bala bantuan malam berbintang tentara elit AI! Zhongguancun memulai "epidemi" perang teknologi tinggi
- Apa yang harus saya lakukan jika gym belum dibuka? Rencana kebugaran yang dapat diganti di rumah Kebugaran ilmiah dalam satu menit
- Tantangan "Identifikasi lesi sinar-X pneumonia": Dalam menghadapi epidemi, pengembang dapat melakukan lebih banyak lagi