Daftar Isi
Pembelajaran online metode sub-gradien adaptif dan optimasi stokastik
putus sekolah: mencegah jaringan neural dari overfitting
Analisis Kerangka Semantik Bersama Multi-domain Berbasis Bidirectional RNN-LSTM
Analisis semantik skala besar tanpa pasangan pertanyaan dan jawaban
Evaluasi Sistem Lisan: Bidang ATIS
Pembelajaran online metode sub-gradien adaptif dan optimasi stokastik
Judul Makalah: Metode Subgradien Adaptif untuk Pembelajaran Online dan Optimasi Stochastic
Penulis: John Duchi / Elad Hazan / Yoram Singer
Waktu posting: 2011/7/11
Tautan ke makalah:
Alasan yang direkomendasikan
Inti masalah: Cara belajar optimasi oleh neural netizens adalah konten yang sangat penting. Saat Anda mempelajari deep learning, Anda harus mempelajari algoritme penurunan gradien terlebih dahulu, tetapi metode ini memiliki beberapa masalah, sehingga banyak algoritme hebat telah lahir.
Poin inovasi: Penulis mengusulkan keluarga baru metode sub-gradien yang dapat secara dinamis menyerap informasi dari data yang dilihat sebelumnya untuk melakukan pembelajaran berbasis gradien. Ia dapat menemukan fitur yang sangat informatif.
Signifikansi penelitian: Algoritme pengoptimalan selalu menjadi salah satu poin penting dari pembelajaran mendalam.
putus sekolah: mencegah jaringan neural dari overfitting
Nama kertas: Dropout: Cara Sederhana untuk Mencegah Jaringan Neural dari Overfitting
Penulis: Nitish Srivastava / Geoffrey Hinton / Alex Krizhevsky / Ilya Sutskever / Ruslan Salakhutdinov
Waktu publikasi: 2014/11/12
Tautan ke makalah:
Alasan yang direkomendasikan
Inti masalah: Masalah yang sering dihadapi pada jaringan neural adalah over-fitting. Ada banyak metode untuk mengatasi over-fitting, dan salah satunya diperkenalkan di sini.
Inovasi: Artikel ini mengusulkan metode putus sekolah, metode ini saat ini merupakan metode paling populer untuk menyelesaikan overfitting jaringan saraf
Signifikansi penelitian: Overfitting adalah masalah serius. Jaringan skala besar juga lambat digunakan, dan sulit untuk menggunakan jaringan neural skala besar yang berbeda untuk menangani pengujian overfitting dengan menggabungkan prediksi banyak orang.
Analisis Kerangka Semantik Bersama Multi-domain Berbasis Bidirectional RNN-LSTM
Nama kertas: Penguraian Bingkai Semantik Bersama Multi-Domain menggunakan Bi-directional RNN-LSTM
Penulis: Dilek Hakkani-Tur / Gokhan Tur / Asli Celikyilmaz / Yun-Nung Chen / Jianfeng Gao / Li Deng / Ye-Yi Wang
Waktu publikasi: 2016/2/12
Tautan ke makalah: https://www.microsoft.com/en-us/research/wp-content/uploads/2016/06/IS16_MultiJoint.pdf
Alasan yang direkomendasikan
Masalah inti: Ini adalah artikel untuk sistem dialog. Tiga masalah utama dari sistem dialog adalah klasifikasi domain, pengenalan maksud, dan pengisian entitas. Ketiga tugas ini semuanya merupakan sub-masalah dari nlp. Banyak model menggunakan pipeline. Bentuk, lakukan secara mandiri, artikel ini membahas model bersama
Inovasi:
Penulis mengusulkan arsitektur RNN-LSTM untuk pemodelan gabungan dari pengisian celah, penentuan maksud dan klasifikasi domain.
Model multi-domain bersama dibuat untuk mendukung pembelajaran mendalam multi-tugas, dan data di setiap domain saling melengkapi.
Penulis mempelajari arsitektur alternatif untuk pemodelan konteks leksikal dalam pemahaman lisan.
Signifikansi penelitian: Hasil eksperimen menunjukkan bahwa dibandingkan dengan metode alternatif berdasarkan pembelajaran dalam domain tunggal / tugas, metode ini lebih mampu pada data pengguna nyata Microsoft Cortana.
Analisis semantik skala besar tanpa pasangan pertanyaan dan jawaban
Nama kertas: Parsing Semantik Skala Besar tanpa Pasangan Tanya-Jawab
Penulis: Siva Reddy / Mirella Lapata / Mark Steedman
Waktu publikasi: 2014/2/15
Tautan ke kertas: https://sivareddy.in/papers/reddy2014semanticparsing.pdf
Alasan yang direkomendasikan
Pertanyaan inti: Pada sistem tanya jawab, pengetahuan awal yang sering kita miliki adalah tanya jawab berpasangan, dan tugasnya dilakukan dengan mencocokkan pertanyaan dan jawaban, namun bagaimana jika tidak ada pertanyaan dan jawabannya benar? Bagaimana cara mempelajari jawaban dari data?
Inovasi: Model dalam makalah ini tidak memerlukan pasangan tanya jawab, dan menggunakan bahasa natural untuk query Freebase untuk mengkonseptualisasikan analisis semantik sebagai masalah pencocokan grafik.
Signifikansi penelitian: Kumpulan data benchmark eksperimental evaluasi dari subset FREE917 dan WEBQUESTIONS menunjukkan bahwa pengurai semantik kami lebih maju daripada teknologi paling canggih.
Evaluasi Sistem Lisan: Bidang ATIS
Judul Makalah: Evaluasi Sistem Bahasa Lisan: Domain ATIS
Penulis: P J. Price.
Waktu posting: 1990/6/24
Tautan ke makalah: https://www.aclweb.org/anthology/H90-1020.pdf
Alasan yang direkomendasikan
Artikel ini agak lama, saya membagikannya karena saya ingin merekamnya.
Artikel ini memperkenalkan beberapa latar belakang masalah, menguraikan masalah dan percobaan awal untuk mengevaluasi sistem bahasa lisan di domain tugas "publik", yang disebut ATIS
Membahas pengenalan ucapan otomatis dan berbagai aspek pemahaman bahasa alami. Penilaian sistem bahasa lisan merupakan langkah besar di luar mekanisme penilaian yang dijelaskan sebelumnya.
- Makalah Hari Ini | Rekonstruksi dan denoising GAN; embedding visual siklik; metode optimasi stokastik; Xiaobing dll
- Today Paper | Model multi-tugas bersama; rekonstruksi tubuh manusia 3D; pemahaman visual tentang terjemahan mesin; studi mendalam tentang penyearah, dll.
- Aksi dan adegan tidak perlu terikat erat untuk mengurangi penyimpangan adegan, dan dapat dengan mudah mengidentifikasi pusat perbelanjaan yang sedang menari
- Tim Tsinghua mencapai terobosan lain! Mengembangkan sistem penyimpanan dan perhitungan memristor multi-larik pertama di dunia
- Mendengar! Aplikasi seluler dapat memantau panggilan tanpa otorisasi, dan tingkat keberhasilannya setinggi 90%
- Makalah Hari Ini | Prediksi status penyakit; teknologi pemangkasan jaringan; menjadi berita utama untuk laporan berita, dll.