1 Xinzhiyuan Asli
Pada hari yang buruk, saya tidak ada hubungannya dengan pengemudi di rental, dan mengatakan kepadanya bahwa profesinya adalah kecerdasan buatan. Master pengemudi segera membuka percakapan: kecerdasan buatan, saya tahu, bahwa AlphaGo bermain Go, tidak ada yang bisa memainkannya, bukan? La la la ... Suatu kali saya naik kereta bawah tanah, saya mendengar tiga sampai lima anak muda di kereta bawah tanah berbicara tentang jaringan saraf yang dalam. Tampaknya pembelajaran mesin telah terbang ke rumah orang-orang biasa dalam semalam, dan ada tren pembelajaran mesin yang kuat untuk semua orang.
Namun, jika Anda menarik paman di jalan dan berkata: Mari kita bahas mekanisme SVM, paman harus membebaskan diri dan berteriak: Jangan tunda belanjaan saya! Algoritme pembelajaran mesin itu rumit dan rumit. Teori Tanpa makan siang gratis memberi tahu kita bahwa setiap model memiliki preferensinya sendiri. Tugas pembelajaran yang berbeda perlu diselesaikan dengan model yang berbeda. Seorang insinyur algoritme mungkin memerlukan latihan bertahun-tahun untuk menguasai karakteristik tiap algoritme. Saat menangani masalah, dia masih perlu menggunakan berbagai trik dan menghabiskan banyak waktu untuk menyesuaikan model guna mencapai hasil terbaik.
Pekerja ilmu komputer didasarkan pada prinsip membiarkan komputer melakukannya tanpa usaha manusia, dan tentu saja tidak dapat menanggung jenis pekerjaan yang berulang dan membosankan ini. Oleh karena itu, Pembelajaran Mesin Otomatis (AutoML) muncul, yang secara otomatis dapat menyelesaikan pemilihan algoritme dan hyperparameter. Untuk insinyur pembelajaran mesin, AutoML dapat membebaskan mereka dari pekerjaan berulang; untuk pemula pembelajaran mesin, tidak perlu lagi khawatir tentang model yang dipilih tidak berfungsi atau parameter super tidak menyatu. Yang diperlukan hanyalah menerima yang terlatih. model.
AutoML seperti mengandalkan pedang langit untuk membunuh pisau naga. Ini telah sangat meningkatkan keterampilan insinyur pembelajaran mesin. Namun, sepertinya tidak banyak orang yang tahu tentang senjata semacam itu belum lama ini. Pada 18 Mei 2017, Google Developers Conference (I / O) "Belajar untuk belajar" (belajar untuk belajar) adalah slogan yang mendorong AutoML ke mata lebih banyak orang. Faktanya, pekerjaan penyetelan otomatis telah muncul sejak akhir abad ke-20 dan awal abad ke-21, dan AutoML sering kali muncul di konferensi teratas pembelajaran mesin dan kecerdasan buatan setiap tahun. Sejak 2014, setiap tahun tim ML4AAD (Pembelajaran Mesin untuk Desain Algoritme Otomatis) dari Universitas Freiburg di Jerman akan menyelenggarakan lokakarya AutoML di konferensi pembelajaran mesin teratas ICML, yang merupakan tahapan untuk pertukaran terpusat pekerja AutoML dari seluruh dunia . Dalam beberapa tahun terakhir, universitas korporat terkenal di dunia seperti Google dan MIT juga telah menerbitkan artikel untuk bergabung dalam bidang ini.
Karena AutoML telah dikembangkan selama bertahun-tahun, tidak mungkin hanya petir dan hujan. Produk AutoML sudah online. Auto-weka (2013) dan auto-sklearn (2015) adalah perwakilannya. Kedua alat ini adalah produk grup ML4AAD. Pemimpin grup ini adalah Dr. Frank Hutter. Arahan penelitian orang ini selama Ph.D-nya adalah AutoML, tetapi sebagian besar hasil terkait dengan pemilihan parameter super otomatis. Setelah lulus, ia pindah ke bidang optimasi Bayesian dan menjadi penulis utama algoritma SMAC. Penerapan teknologi pengoptimalan Bayesian di bidang AutoML, dan pengenalan terus menerus dari produk AutoML yang matang, bisa dikatakan sangat populer.
Artikel ini memperkenalkan dua alat pembelajaran mesin otomatis, auto-weka dan auto-sklearn, dalam urutan kronologis dan hasil sebagai petunjuk, serta karya yang diterbitkan oleh Google Brain dan MIT di ICLR tahun ini. Diantaranya, karya auto-weka, auto-sklearn, dan Google Brain diperkenalkan secara mendetail, dan karya MIT secara singkat diperkenalkan.
Dari algoritme pengoptimalan non-gradien hingga pembelajaran mesin otomatis penuh, dan WEKA Otomatis: pengklasifikasi untuk membantu Anda memilih pengklasifikasi
Optimasi Bayesian merupakan representasi dari optimasi non-gradien.Karena tidak perlu mengetahui informasi gradien, dan tidak perlu mengoptimalkan masalah, ia memiliki sifat matematis yang baik, sehingga memiliki jangkauan aplikasi yang lebih luas daripada optimasi gradien dan sering digunakan untuk menyelesaikan masalah optimasi yang kompleks.
Pengoptimalan Bayesian memiliki hubungan yang tidak terpisahkan dengan dua alat utama autoML, auto-weka dan auto-sklearn. Alasan mengapa pembelajaran mesin dapat diotomatiskan adalah karena proses algoritmanya mengikuti langkah-langkah tetap, secara umum, pemrosesan data, pemilihan fitur, pemilihan model, dan pengoptimalan hyperparameter. Di Auto-weka dan auto-sklearn, proses pembelajaran mesin direduksi menjadi masalah pemilihan algoritma dan optimasi hyper-parameter (CASH).
Gambar 1: Diagram pohon pemilihan algoritma Auto-weka
CASH menggunakan struktur pohon (seperti yang ditunjukkan pada Gambar 1) untuk mendeskripsikan langkah-langkah pemilihan algoritma dan pengaturan hyperparameter dalam pembelajaran mesin. Kombinasi dari setiap algoritma dan pilihan hyperparameter sesuai dengan sampel, dan tingkat kesalahan validasi silang k-fold Sebagai indeks evaluasi. SMAC adalah algoritma pengoptimalan Bayesian berdasarkan hutan acak. Struktur dan pengaturan pengoptimalan keduanya kompatibel dengan masalah CASH, dan bertanggung jawab untuk mengoptimalkan CASH. SMAC juga menyelesaikan tugas ini dengan baik.Dalam kompetisi ChaLearn AutoML challenge, auto-sklearn memenangkan unit otomatis dan unit trek tweakathon.
Auto-weka dan auto-sklearn masing-masing sesuai dengan lingkungan java dan python, dan pemanggilan keduanya juga sangat sederhana, seperti yang ditunjukkan pada Gambar 2 dan 3. Auto-weka memiliki antarmuka visual, dan pelatihan dapat diselesaikan hanya dengan mengklik mouse. Auto-sklearn juga hanya membutuhkan beberapa baris kode untuk membangun model yang dapat digunakan. Pengoperasiannya sangat sederhana, dan tidak perlu khawatir dengan model yang tidak berfungsi setelah pelatihan. Apakah layak untuk bereksperimen?
Gambar 2: Antarmuka visual Auto-weka
Gambar 3: Kode panggilan sklearn otomatis
Arah baru AutoML: Google, MIT menggunakan pembelajaran penguatan untuk secara otomatis menghasilkan CNN, RNN, dan arsitektur lainnya
Mengurangi AutoML menjadi masalah pengoptimalan dan kemudian menyelesaikannya secara langsung dengan algoritme pengoptimalan non-gradien adalah cara berpikir menuju pembelajaran mesin otomatis. Karya Google Brain "Neural Architecture Search with Reinforcement Learning" di ICLR 2017 menggabungkan pembelajaran mendalam dan pembelajaran penguatan untuk memberi kami cara lain untuk memecahkan masalah ini.
1. Google Brain: Gunakan pembelajaran penguatan untuk menghasilkan sub-jaringan
Dalam kerja Google Brain, jaringan syaraf tiruan yang akan dibangkitkan disebut sub-jaringan. Struktur setiap lapisan dalam sub-jaringan tersebut dianggap sebagai hasil keluaran dari momen tertentu dalam deret waktu. Pengontrol semacam itu (diwakili oleh jaringan RNN) ) Dapat digunakan untuk menghasilkan struktur setiap lapisan sub-jaringan (ditunjukkan pada Gambar 4), dan akurasi sub-jaringan pada set verifikasi setelah pelatihan digunakan sebagai evaluasi sub-jaringan.
Oleh karena itu, masalah tersebut diubah menjadi pengoptimalan bobot pengontrol sehingga dapat menghasilkan sub-jaringan dengan akurasi sebanyak mungkin. Namun gradien tidak dapat diperoleh secara langsung saat pengoptimalan bobot pengontrol, dalam hal ini diperlukan gradien melalui pembelajaran perkuatan. Jika prediksi struktur pengontrol untuk setiap lapisan dianggap sebagai tindakan, maka tingkat akurasi dapat dianggap sebagai nilai imbalan setelah serangkaian tindakan, dan gradien pengontrol dapat diperkirakan menggunakan aturan REINFORCE untuk memperbarui bobot guna menghasilkan sub-jaringan berikutnya.
Gambar 4: Skema diagram sub-jaringan pembangkit pengontrol
Perlu dicatat bahwa overhead komputasi dari setiap pelatihan sub-jaringan sangat besar. Dalam pekerjaan ini, metode paralel asinkron digunakan untuk mempercepat pelatihan sub-jaringan, yang sangat meningkatkan permintaan sumber daya komputasi. Struktur CNN dihasilkan pada CIFAR-10 Dalam percobaan tersebut, Google Brain menggunakan 800 GPU untuk menyelesaikan pekerjaan pelatihan. Dalam percobaan, metode ini digunakan untuk menghasilkan struktur jaringan secara otomatis seperti CNN dan RNN. Kemampuan generalisasi dari jaringan yang dihasilkan setara dengan struktur jaringan yang dirancang secara artifisial, tetapi skalanya sedikit lebih kecil daripada jaringan buatan, yang menunjukkan keefektifan metode.
Pada saat yang sama, metode ini perlu mengatur kedalaman jaringan (jumlah langkah pengontrol) saat membuat sub-jaringan, dan struktur di setiap lapisan juga dipilih dari kandidat struktur yang telah ditentukan, sehingga tidak memiliki fleksibilitas dalam menghasilkan jaringan.
2. MIT: Hasilkan CNN dengan Q-learning
Secara kebetulan, peneliti yang sama di MIT di ICLR 2017 juga menggunakan pembelajaran penguatan untuk secara otomatis menghasilkan struktur CNN dalam "Mendesain Arsitektur Jaringan Neural menggunakan Pembelajaran Penguatan".
Gambar 5: Diagram skematik CNN yang dihasilkan oleh Q-learning
Pekerjaan ini juga memperoleh struktur jaringan melalui pembuatan lapisan demi lapisan. Tidak seperti Google Brain, dalam pekerjaan ini, struktur jaringan lapisan sebelumnya dianggap sebagai keadaan, dan struktur lapisan berikutnya diprediksi sebagai tindakan. Keakuratan jaringan pada kumpulan data verifikasi dianggap sebagai nilai reward. Metode pembelajaran-Q digunakan untuk terus meningkatkan fungsi Q, dan akhirnya prediksi tindakan dengan akurasi verifikasi tinggi diberikan, dan struktur jaringan dengan kinerja generalisasi yang baik dihasilkan.
Biarkan mesin belajar untuk belajar dan membuat insinyur pembelajaran mesin lebih berharga
Alat seperti Auto-sklearn telah keluar beberapa tahun yang lalu, tetapi alat tersebut belum banyak digunakan oleh para ilmuwan pemelajaran mesin. Salah satu alasannya adalah kualitas model sangat bergantung pada pembersihan data sebelum melatih model. Seperti yang dikatakan Francois Chollet, bapak Keras, "Pembersihan data sulit diotomatiskan. Biasanya memerlukan pengetahuan domain profesional dan pemahaman yang jelas dan tingkat tinggi tentang apa yang ingin dicapai oleh insinyur."
Oleh karena itu, meskipun pemilihan algoritme dan hyperparameter dilakukan dengan cukup baik, alat AutoML hanya bisa mendapatkan model yang baik, bukan model yang cukup baik. Tentu saja, hasil seperti itu tidak memuaskan para ilmuwan pemelajaran mesin yang berjuang untuk mencapai kesempurnaan. Munculnya jaringan dalam telah mengubah fenomena ini, Google Brain menunjukkan dalam makalah ICLR 2017: "Jaringan dalam telah berhasil mengubah paradigma pembelajaran mesin dari desain fitur ke desain struktur jaringan."
Singkirkan masalah pembersihan data, AutoML tampaknya dapat membebaskan diri dari kendala pencarian struktur yang baik dan bersinar. Faktanya, pencarian AutoML bergantung pada evaluasi struktur jaringan atau kombinasi algoritme. Di sebagian besar pekerjaan saat ini, tingkat kesalahan validasi silang k-fold digunakan sebagai kriteria evaluasi. Jika struktur dan algoritme diubah sedikit, pelatihan ulang diperlukan. Waktu dan overhead komputasi Ini sangat besar sehingga pencariannya tidak cukup menyeluruh, dan itu juga akan mempengaruhi efek AutoML, sehingga otak Google "bertengkar hebat" dalam pekerjaannya, menggunakan 800 GPU untuk menyelesaikan pelatihan model yang dipercepat. Cara menghilangkan redundansi komputasi saat model berubah, dan secara efisien mendapatkan indeks evaluasi model, juga merupakan masalah mendesak untuk AutoML.
AutoML saat ini menghadapi banyak kesulitan, tetapi dengan penggunaan GPU dalam skala besar dan munculnya TPU perangkat komputasi generasi baru, performa hardware telah meningkat secara signifikan. Dalam hal teknologi, kematangan deep learning dan pengembangan pembelajaran penguatan juga telah menyuntikkan vitalitas baru ke dalam AutoML.
Biarkan mesin belajar untuk belajar adalah tujuan akhir AutoML. Setiap langkah yang mendekati tujuan ini merupakan terobosan dalam teknologi pembelajaran mesin. Setelah kesulitan teratasi, penerapan AutoML akan membebaskan tenaga kerja dari mayoritas insinyur pembelajaran mesin dan sangat mengurangi ambang pembelajaran mesin. Namun seperti yang dikatakan Francois Chollet, "Pekerjaan insinyur pembelajaran mesin tidak akan hilang. Sebaliknya, insinyur akan bergerak lebih tinggi dalam rantai nilai." Ini juga pesona AutoML. Ini mewujudkan nilai insinyur pembelajaran mesin, yang juga menarik para insinyur. Terus berjuang untuk itu.
[Wawancara dengan Associate Professor Yu Yang dari Universitas Nanjing] AutoML Fully Automatic Machine Learning
Untuk lebih memahami "Pembelajaran Mesin Otomatis" (AutoML), Xinzhiyuan secara khusus mewawancarai Dr. Yu Yang, profesor madya di Departemen Ilmu Komputer dan Teknologi Universitas Nanjing.
Bidang penelitian utama Dr. Yu Yang adalah kecerdasan buatan, pembelajaran mesin, komputasi evolusioner, dan penggalian data. Mempublikasikan lebih dari 40 makalah, termasuk banyak jurnal internasional terkemuka dan makalah konferensi tentang kecerdasan buatan, pembelajaran mesin dan penggalian data seperti Artificial Intelligence, IJCAI, AAAI, NIPS, KDD, dll., Dan hasil penelitian memperoleh IDEAL'16 Best Paper, KDD'12 Best Poster , Makalah Teori Terbaik GECCO'11, Makalah Terbaik PAKDD'08, juara kompetisi data mining PAKDD'06 dan makalah lainnya serta penghargaan kompetisi. Memenangkan Penghargaan Sains dan Teknologi Pemuda Masyarakat Komputer Jiangsu 2017.
Yu Yang ikut mensponsori dan menjadi tuan rumah Asian Reinforcement Learning Workshop (AWRL) dan China Evolutionary Computing and Learning Workshop (ECOLE). Karena peran utama pengoptimalan non-gradien dalam pembelajaran mesin otomatis, pembelajaran mesin otomatis juga menjadi salah satu minat penelitiannya baru-baru ini.
1. Xinzhiyuan: Ada beberapa konsep yang menyebutkan "belajar untuk belajar". Selain pembelajaran mesin otomatis (autoML), ada juga "meta-learning" dan "pembelajaran mesin seumur hidup". pembelajaran mesin). Apa hubungan antara AutoML dan pembelajaran mesin seumur hidup dan pembelajaran meta?
Yu Yang: Pembelajaran mesin klasik terutama mempertimbangkan pembelajaran pada kumpulan data tertentu. Semua konsep ini mengungkapkan harapan bahwa sistem pembelajaran mesin dapat menjadi lebih pintar dan lebih efektif. Tidak hanya mempelajari kumpulan data tertentu, tetapi juga dapat menangani tugas pembelajaran yang berbeda di berbagai lingkungan dengan lebih baik. "Meta-learning" (Meta-learning) adalah kata yang berasal dari psikologi pendidikan, awalnya dimaksudkan untuk mengontrol perilaku belajar pribadi. Di bidang pembelajaran mesin, sejak tahun 1976, penelitian J. Rice tentang pemilihan algoritme memperkenalkan konsep pembelajaran-meta. Sekumpulan pekerjaan penelitian pembelajaran-meta muncul pada 1990-an. Misalnya, Giraud-Carrier percaya bahwa pembelajaran-meta adalah tentang pemahaman Hubungan interaktif antara mekanisme pembelajaran dan konteks pembelajaran spesifik. Terlihat bahwa pembelajaran dalam meta-learning dibagi menjadi dua lapisan, lapisan atas mengekstraksi dan mempelajari pengetahuan-meta serta memandu lapisan bawah untuk belajar di lingkungan tertentu. Pembelajaran meta adalah bidang yang didefinisikan secara luas, dan "belajar untuk belajar" adalah istilah yang mudah dipahami untuk pembelajaran meta. Misalnya, blog terbaru C. Finn tentang belajar untuk belajar adalah ulasan tentang pembelajaran-meta.
Pembelajaran mesin seumur hidup lebih memperhatikan fakta bahwa mesin berada dalam lingkungan yang mirip dengan manusia, yaitu, mereka menghadapi satu tugas pembelajaran demi satu. Misalnya, Profesor B. Liu dari UCI memperkenalkan dalam tutorial pembelajaran seumur hidup bahwa pembelajaran mesin seumur hidup mempertahankan hasil dan abstrak masa lalu Pengetahuan, dan digunakan untuk membantu pembelajaran dan pemecahan masalah di masa depan. Dalam Seminar Pembelajaran Mesin Seumur Hidup AAAI, tugas utama yang tercantum meliputi penemuan representasi data tingkat tinggi, transfer pengetahuan, pemeliharaan basis pengetahuan, dan integrasi informasi panduan eksternal.
Pembelajaran mesin otomatis baru-baru ini semakin mendapat perhatian. Dari perspektif ilmiah, pembelajaran mesin otomatis termasuk dalam pembelajaran meta, tetapi pembelajaran mesin otomatis lebih didorong oleh persyaratan aplikasi: Sistem pembelajaran mesin memiliki banyak hyperparameter, dan perlu mengandalkan pengetahuan ahli domain dalam aplikasi, dan memiliki pekerjaan penyesuaian parameter manual yang berat. Pembelajaran mesin otomatis berharap dapat menyelesaikan tugas berat ini secara otomatis. Misalnya, proyek Auto-Weka hanya menyediakan tombol "pembelajaran otomatis" untuk mencapai "pembelajaran sekali klik".
2. Xinzhiyuan: Sejauh mana pembelajaran mesin dapat diotomatiskan? Seperti apa interaksi manusia-komputer setelah penerapan pembelajaran mesin otomatis sepenuhnya?
Yu Yang: Sistem pembelajaran mesin dapat mencakup pemrosesan awal data, ekstraksi fitur, pembelajaran model, dll. Setiap tautan memiliki beberapa algoritme untuk dipilih, dan setiap algoritme memiliki beberapa hyperparameter yang dapat disesuaikan. Algoritme pembelajaran model juga memiliki penumpukan rekursif. Bisa jadi. Pembelajaran mesin otomatis menemukan kombinasi algoritme yang lebih baik dan hyperparameternya di antara semua kemungkinan, menghadapi ruang pencarian yang besar dan rumit. Sedangkan untuk evaluasi setiap kombinasi algoritma dan pemilihan hyperparameter, biasanya diperlukan proses pembelajaran yang memakan waktu dan biaya komputasi yang sangat tinggi, sehingga pembelajaran mesin otomatis juga menghadapi kesulitan biaya evaluasi yang tinggi. Selain itu, ruang konfigurasi algoritme yang besar meningkatkan risiko overfitting data, dan menyulitkan untuk mengevaluasi secara akurat kemampuan generalisasi konfigurasi (yaitu, akurasi prediksi yang sebenarnya).
Secara umum, pembelajaran mesin otomatis menghadapi kesulitan seperti ruang yang besar, evaluasi yang mahal, dan pengujian yang tidak akurat. Saat ini, masih sulit untuk mencapai otomatis penuh yang ideal. Pada alat pembelajaran mesin otomatis yang ada, ruang pencarian dibatasi, sehingga pemilihan algoritma otomatis dan hyperparameter dapat dilakukan pada data yang tidak terlalu besar dalam ruang yang lebih kecil. Setelah penerapan pembelajaran mesin otomatis penuh, interaksi manusia-komputer akan sangat sederhana, seperti yang ditunjukkan oleh Auto-Weka, pengguna hanya perlu menginput data, lalu "pembelajaran sekali klik", dan menunggu hasil pembelajaran.
3. Xinzhiyuan: Bagaimana Anda mengharapkan bidang pembelajaran mesin otomatis berkembang dalam 3 sampai 5 tahun ke depan?
Yu Yang: Jika kami dapat mengatasi kesulitan dengan lebih baik seperti ruang yang besar, evaluasi yang mahal, dan pengujian yang tidak akurat, dapat diperkirakan bahwa pembelajaran mesin otomatis akan mencapai kinerja yang lebih kuat. Saat ini, kita dapat melihat bahwa ada beberapa perkembangan teknologi baru untuk setiap masalah. Misalnya, pembelajaran mesin otomatis terutama mengandalkan pengoptimalan non-gradien, dan metode pengoptimalan non-gradien telah ditingkatkan secara teori dan efisiensi dalam beberapa tahun terakhir. Dalam 3 hingga 5 tahun ke depan, dengan peningkatan teknologi dan peralatan komputasi, untuk jenis data umum yang lebih kecil, pembelajaran mesin otomatis diharapkan dapat mencapai efek pembelajaran di luar konfigurasi manual.
referensi:
Thornton C, Hutter F, Hoos H H, dkk 2013. Auto-WEKA: Gabungan seleksi dan optimasi hyperparameter dari algoritma klasifikasi Dalam Prosiding konferensi internasional ACM SIGKDD ke-19 tentang penemuan Pengetahuan dan data mining, 847-855.
Feurer M, Klein A, Eggensperger K, dkk. 2015. Pembelajaran mesin otomatis yang efisien dan kuat. Dalam Kemajuan dalam Sistem Pemrosesan Informasi Neural, 2962-2970.
Zoph B, Le Q V. 2016. Pencarian arsitektur saraf dengan pembelajaran penguatan arXiv preprint, 1611.01578.
Baker B, Gupta O, Naik N, dkk 2016. Mendesain arsitektur neural network dengan menggunakan reinforcement learning. ArXiv preprint, 1611.02167.
lampiran:
Tautan ML4AAD AutoML:
Tautan weka otomatis:
Tautan sklearn otomatis:
Klik untuk membaca teks asli untuk melihat detail pekerjaan dan berharap Anda bergabung ~
- Peran pemain lokal telah sangat melemah, dan penurunan Luneng di musim ini tidak bisa membiarkan bantuan asing kembali!
- Dulunya merupakan "tempat terlarang" di musim dingin, tetapi sekarang menjadi tempat rahasia es dan salju yang digunakan oleh para dewa dan manusia, dengan tiket serendah 500
- Setelah penurunan tajam harga rumah Australia, ekonomi Australia menjadi semakin rapuh, dan pembeli China mungkin pergi lebih awal
- Tempat menyelam ini semuanya surga dingin! Festival Musim Semi tidak hanya dapat dipesan, tetapi juga dapat digunakan untuk memverifikasi paket