Leifeng.com AI Technology Review Catatan: Artikel ini menjelaskan makalah Spotlight "NAS-BENCH-201: Memperluas Cakupan Pencarian Arsitektur Saraf yang Dapat Direproduksi" yang diterbitkan oleh mahasiswa doktoral University of Technology Sydney Xuanyi Dong di ICLR 2020. NAS-Bench-201 yang diusulkan dalam makalah ini dapat sangat meningkatkan reproduktifitas algoritma NAS dan mengurangi persyaratan komputasi dari algoritma NAS (misalnya, pencarian dapat diselesaikan hanya dalam 0,1 detik).
Tautan ke makalah: https://arxiv.org/abs/2001.00326
Pengenalan latar belakang NAS
Struktur jaringan saraf memainkan peran penting dalam kinerja berbagai aplikasi di bidang pembelajaran yang mendalam.Saat ini, paradigma desain struktur jaringan telah berangsur-angsur berubah dari desain manual oleh para ahli menjadi pencarian otomatis oleh mesin. Neural Architecture Search (NAS) bertujuan untuk mempelajari cara menemukan secara otomatis struktur jaringan berkinerja tinggi, presisi tinggi, dan berefisiensi tinggi di ruang pencarian tertentu.
Dalam beberapa tahun terakhir, semakin banyak peneliti yang mengabdikan diri pada bidang penelitian NAS, semakin banyak metode NAS telah diusulkan, dan banyak terobosan telah dibuat di seluruh bidang. Saatnya meninjau aspek baik dan buruk bidang NAS. Selain dikenal karena kinerjanya yang baik, NAS juga telah membuat banyak peneliti enggan karena persyaratan komputasi yang masif. Pada saat yang sama, pengaturan eksperimental dari berbagai algoritme NAS saat ini berbeda, dan sulit untuk mengukur kualitas sebenarnya dari algoritme NAS.
Untuk lebih mempromosikan reproduktifitas algoritme NAS, untuk mengurangi persyaratan komputasi algoritme NAS, agar semua orang dapat fokus pada esensi algoritme NAS, dan untuk menginspirasi algoritme NAS berikutnya, kami mengusulkan NAS-Bench-201.
Apa itu NAS-Bench-201?
NAS-Bench-201 melatih lebih dari 15.000 jaringan saraf pada tiga kumpulan data (CIFAR-10, CIFAR-100, ImageNet-16-120) berdasarkan benih nomor acak yang berbeda dan hyperparameter yang berbeda untuk beberapa kali. Memberikan waktu pelatihan dan pengujian setelah setiap periode pelatihan, fungsi kehilangan model dan akurasi dalam set pelatihan / set validasi / set pengujian, parameter model setelah pelatihan, ukuran model, jumlah kalkulasi model, dan informasi penting lainnya. NAS-Bench-201 mengatur informasi diagnostik yang berguna ini dan menyediakan API yang nyaman untuk mendapatkannya. Jalankan "pip install nas-bench-201" untuk menginstal NAS-Bench-201 API dengan satu klik, dan Anda akan mendapatkan semua informasi dari 15000+ jaringan neural! Gambar di bawah ini adalah visualisasi dari 15000+ kinerja jaringan.
Apa yang dapat dilakukan dengan NAS-Bench-201?
1. Mempercepat Algoritma NAS Menggunakan NAS-Bench-201, Regularized Evolutionary Algorithm / Random Search / REINFORCE dan algoritma NAS lainnya dapat menyelesaikan proses pencarian dalam 0,1 detik dan memberikan kinerja dari jaringan yang ditemukan.
2. Pelacakan real-time performa algoritme NAS Untuk algoritme One-shot NAS, NAS-Bench-201 dapat digunakan untuk mengamati performa struktur jaringan yang diprediksi saat ini di node waktu mana pun tanpa melatih ulang strukturnya.
3. Bandingkan setiap algoritma NAS secara adil. Artikel yang berbeda menggunakan hyperparameter / peningkatan data / regulasi / dll yang berbeda saat melatih ulang struktur jaringan yang dicari. Sekarang menggunakan NAS-Bench-201 API, setiap peneliti dapat membandingkan struktur jaringan yang dicari.
Apa lagi yang disediakan NAS-Bench-201?
Kami menerapkan dan membuka 10 algoritme NAS yang berbeda di bawah satu basis kode. Kami membandingkan dan menguji kinerja algoritme ini seadil mungkin. Hasilnya adalah sebagai berikut:
500 hasil menjalankan REA / MEMPERKUAT / RANDOM / BOHB
Tiga hasil run dari enam algoritma One-shot NAS
Tindakan pencegahan untuk menggunakan NAS-Bench-201
NAS-Bench-201 bertujuan untuk menyediakan lingkungan ramah komputasi yang adil untuk komunitas NAS. Karena kinerja setiap jaringan dapat dengan mudah diperoleh dengan menggunakan API kami, kondisi nyaman ini mungkin secara tidak terlihat membuat algoritme NAS baru yang dirancang terlalu sesuai dengan struktur terbaik. Untuk tujuan ini, kami menyiapkan beberapa aturan untuk mencegah overfitting.
1. Tidak mungkin untuk mengatur operasi tertentu. Misalnya, batasi jumlah operasi koneksi lewati.
2. Gunakan kinerja jaringan kami yang disediakan. Strategi pelatihan mempengaruhi kinerja akhir dari struktur jaringan. Kami merekomendasikan pengguna NAS-Bench-201 untuk menggunakan kinerja setiap jaringan yang disediakan oleh tolok ukur kami, meskipun mereka menggunakan strategi pelatihan lain untuk mendapatkan kinerja yang lebih baik. Untuk memastikan keadilan.
3. Umumkan hasil dari beberapa percobaan pencarian. Proses pencarian berulang dapat menunjukkan efek algoritma NAS dengan lebih stabil.
Tampilan sampel NAS-Bench-201 API
Sangat mudah untuk menggunakan data NAS-Bench-201. Tidak perlu mengatur data sendiri. Kami menyediakan antarmuka API yang nyaman yang dapat dengan mudah memanggil berbagai informasi diagnostik yang berguna untuk algoritme NAS. Di bawah ini kami untuk sementara memberikan beberapa penggunaan dasar:
Semuanya, datang dan cobalah! Analisis kode, data, dan algoritme selalu memiliki apa yang Anda butuhkan.
Resource terkait NAS-Bench-201
Implementasi PyTorch dari 10+ algoritma NAS: https://github.com/D-X-Y/AutoDL-Projects
Panduan reproduksi NAS-Bench-201: https://github.com/D-X-Y/AutoDL-Projects/blob/master/docs/NAS-Bench-201.md
Pemasangan pip API NAS-Bench-201: https://pypi.org/project/nas-bench-201/1.0/
Tautan artikel NAS-Bench-201: https://openreview.net/forum?id=HJxyZkBKDr
Daftar artikel NAS yang sangat baik: https://github.com/D-X-Y/Awesome-NAS
Lei Feng.com melaporkan. Lei Feng
- Apakah jaringan saraf Bayesian tidak berarti? Perdebatan medan perang ganda Twitter dan Reddit, penuh dengan bubuk mesiu
- Hasil dari "Kompetisi Kecerdasan Buatan Nasional" sudah keluar! Hadiah tertinggi mencapai 1 juta yuan
- Abu dari 18 petugas pemadam kebakaran yang dikorbankan dikirim kembali ke Ningnan, dan puluhan ribu orang "membawa pulang pahlawan itu"
- Letakkan bunga untuk batu nisan 2728 martir satu per satu, Biro Urusan Veteran Yantai Laiyang memberi penghormatan kepada para pahlawan