Ikan dan domba tiga belas dari kuil cekung Laporan Qubit | Akun Publik QbitAI
Dewa Agung (kelompok) membuat gerakan aneh untuk menendang jaringan saraf aula.
Masih tim yang akrab, atau tanda tangan yang familier, Lab AI Facebook, berinovasi dan menantang paradigma desain jaringan baru.
Yah, Ross yang familiar, He Yuming yang familiar, mereka membawa yang baru RegNet .
Tidak hanya paradigma desain jaringan yang "bertentangan dengan arus utama": model yang sederhana dan mudah dipahami juga dapat memiliki kompleksitas komputasi yang tinggi.
Dan dalam kondisi serupa, kinerjanya lebih baik daripada EfficientNet, dan kecepatan pada GPU juga meningkat 5 kali !
Paradigma desain jaringan baru yang menggabungkan Desain jaringan secara manual dengan Pencarian jaringan saraf Keuntungan (NAS):
Seperti desain jaringan manual, tujuannya adalah interpretabilitas, yang dapat menjelaskan beberapa prinsip desain umum jaringan sederhana dan menggeneralisasikannya dalam berbagai pengaturan.
Seperti NAS, proses semi-otomatis dapat digunakan untuk menemukan model sederhana yang mudah dipahami, dibuat, dan digeneralisasi.
Makalah ini tidak diragukan lagi juga memenangkan CVPR 2020.
PS: Makalah ini diterbitkan di arXiv pada tanggal 30 Maret, jadi jangan khawatir jika itu adalah lelucon April Mop ...
Perbandingan dari tiga set eksperimen, hampir seperti "Grand Slam"
RegNet sangat luar biasa dalam performa.
Percobaan dilakukan pada dataset ImageNet, dan tujuannya sangat jelas: Tantang jaringan saraf di berbagai lingkungan .
Mari kita lihat dulu Jaringan Neural Seluler Perbandingan.
Baru-baru ini, banyak pekerjaan desain jaringan yang difokuskan pada rezim seluler (~ 600MF).
Tabel di atas adalah hasil perbandingan RegNet 600MF dengan jaringan tersebut. Dapat dilihat bahwa RegNe berkinerja sangat baik baik berdasarkan desain manual atau jaringan NAS.
Tim He Yuming menekankan bahwa model RegNet menggunakan jadwal 100 epoch dasar (jadwal) dan tidak menggunakan regularisasi apa pun kecuali untuk redaman berat.
Dan sebagian besar jaringan seluler menggunakan penjadwalan yang lebih lama dan berbagai peningkatan, seperti pengawasan mendalam, Cutout, DropPath, dll.
Selanjutnya, RegNet dan ResNet baseline standar dengan ResNeXT Perbandingan.
Agar adil, para peneliti membandingkan mereka di bawah pengaturan pelatihan yang sama, seperti yang ditunjukkan pada gambar berikut:
Secara umum, dengan mengoptimalkan struktur jaringan, model RegNet telah sangat ditingkatkan di bawah semua indikator kompleksitas.
Para peneliti juga menekankan bahwa model RegNet yang baik juga cocok untuk berbagai lingkungan komputasi, termasuk lingkungan komputasi rendah di mana ResNet dan ResNeXT tidak terlalu cocok.
Pada tabel di atas (a), perbandingan yang dikelompokkan berdasarkan aktivasi ditampilkan.
Peneliti mendefinisikan aktivasi sebagai ukuran tensor keluaran dari semua lapisan konv, yang akan berdampak lebih besar pada tingkat akselerasi seperti GPU.
Peneliti mengatakan bahwa setting ini sangat berarti, karena waktu pelatihan model mengalami bottleneck. Di masa mendatang, mungkin berguna untuk meningkatkan waktu penalaran dalam skenario seperti mengemudi otonom. Dengan waktu inferensi atau pelatihan yang tetap, RegNet sangat efektif.
Pada tabel di atas (b), perbandingan yang dikelompokkan berdasarkan jepit ditampilkan.
Terakhir, RegNet dan EfficientNet Perbandingan.
EfficientNet merupakan teknologi paling populer saat ini. Hasil perbandingannya ditunjukkan pada gambar di bawah ini:
Dapat dilihat bahwa ketika flop rendah, EfficientNet masih memiliki keuntungan, tetapi seiring dengan peningkatan flop, RegNetX dan RegNetY secara bertahap mengerahkan kekuatannya.
Selain itu, tim He Yuming menemukan bahwa untuk EfficentNet, aktivasi dan jepit memiliki hubungan linier; untuk RegNet, aktivasi dan akar kuadrat jepit memiliki hubungan linier.
Hal ini menyebabkan pelatihan GPU dan kecepatan inferensi EfficiententNet melambat. RegNeTX-80005 kali lebih cepat dari Efficient entNet-B5 dan memiliki error yang lebih rendah, seperti yang ditunjukkan pada tabel berikut:
Dengan performa seperti itu, pertanyaan selanjutnya adalah, bagaimana RegNet dibuat?
Bangun ruang desain jaringan terlebih dahulu
Pertama, mari kita perkenalkan apa yang Radosavovic dkk. Ruang desain web Konsep (ruang desain jaringan).
Ide intinya adalah bahwa model dapat diambil sampelnya di ruang desain untuk menghasilkan distribusi model, dan alat dalam statistik klasik dapat digunakan untuk menganalisis ruang desain.
Dalam studi yang dilakukan oleh tim He Yuming ini, para peneliti mengusulkan untuk merancang versi yang disederhanakan secara bertahap dari ruang desain awal yang tidak dibatasi. Proses ini disebut Desain desain ruang (Desain desain ruang).
Di setiap langkah proses desain, masukan adalah ruang desain awal, dan keluarannya adalah model yang disederhanakan dari model kinerja yang lebih sederhana atau lebih baik.
Dengan mengambil sampel model dan memeriksa distribusi kesalahannya, kualitas ruang desain dapat dikarakterisasi.
Misalnya, pada gambar di atas, mulai dari desain awal ruang A, dua langkah pengoptimalan diterapkan untuk menghasilkan desain ruang B, lalu C.
CBA, kita dapat melihat bahwa dari A ke B ke C, distribusi kesalahan secara bertahap meningkat.
Dengan kata lain, tujuan dari setiap langkah desain adalah menemukan prinsip desain yang dapat menghasilkan model yang lebih sederhana dan efektif.
Desain ruang awal yang dirancang oleh para peneliti adalah AnyNet .
Desain dasar jaringan sederhana: tulang punggung (konvolusi 3 × 3 dengan langkah 2, 32 saluran keluaran) + badan utama jaringan yang melakukan banyak kalkulasi + kepala kategori keluaran yang diprediksi (penyatuan rata-rata, kemudian lapisan yang terhubung sepenuhnya).
Bagian utama jaringan terdiri dari serangkaian tahapan yang beroperasi pada resolusi yang menurun secara bertahap.
Kecuali untuk blok pertama (menggunakan konvolusi 2 langkah), setiap tahap berisi serangkaian blok yang identik.
Meskipun struktur keseluruhannya sederhana, jumlah jaringan yang mungkin ada di ruang desain AnyNet sangat besar.
Sebagian besar eksperimen menggunakan blok hambatan residual standar dengan konvolusi yang dikelompokkan, yang oleh para peneliti disebut blok X, dan ruang desain AnyNet yang dibangun di atasnya disebut AnyNetX.
Di AnyNetX, peneliti bertujuan untuk mencapai 4 tujuan:
- Sederhanakan desain struktur ruang
- Tingkatkan interpretabilitas ruang desain
- Meningkatkan atau menjaga kualitas desain ruang
- Pertahankan keragaman model di ruang desain
Oleh karena itu, AnyNetX awal disebut AnyNetXA, dan proses pengoptimalan "A B C D E" dimulai.
Pertama, untuk semua tahapan ruang desain AnyNetXA, uji rasio kemacetan bersama (rasio kemacetan) bi = b, dan ruang desain yang dihasilkan menjadi AnyNetXB.
Demikian pula, di bawah pengaturan yang sama, 500 model diambil sampelnya dan dilatih dari AnyNetXB.
AnyNetXA dan AnyNetXB memiliki EDF yang hampir sama dalam kondisi rata-rata dan terbaik. Ini menunjukkan bahwa tidak ada kehilangan akurasi saat kopling bi. Dan, AnyNetXB lebih mudah dianalisis.
Kemudian, dimulai dengan AnyNetXB, gunakan lebar grup bersama untuk semua tahapan untuk mendapatkan AnyNetXC.
Seperti sebelumnya, EDF hampir tidak berubah.
Kemudian, para peneliti menguji struktur jaringan tipikal dari jaringan baik dan buruk di AnyNetXC.
Mereka menemukan bahwa lebar jaringan yang baik semakin meningkat.
Oleh karena itu, mereka menambahkan prinsip desain wi + 1 wi, dan menyebut ruang desain dengan batasan ini sebagai AnyNetXD.
Ini sangat meningkatkan EDF.
Kiri: AnyNetXD, kanan: AnyNetXEUntuk model terbaik, tidak hanya lebar panggung yang bertambah, peneliti menemukan bahwa kedalaman panggung juga memiliki kecenderungan yang sama, kecuali untuk tahap terakhir.
Oleh karena itu, setelah dijumlahkan kondisi kendala di + 1 di, hasilnya ditingkatkan kembali. Yaitu AnyNetXE.
Pengamatan lebih lanjut dari AnyNetXE mengarah ke titik inti RegNet: Lebar dan kedalaman jaringan yang baik dapat dijelaskan dengan fungsi linier terkuantisasi.
Dari AnyNetXA ke RegNetX, dimensi telah dikurangi dari 16 dimensi menjadi 6 dimensi, dan ukurannya telah dikurangi hampir 10 kali lipat.
Seperti dapat dilihat dari gambar di bawah ini, model di RegNetX memiliki rata-rata error yang lebih rendah daripada model di AnyNetX. Selain itu, efisiensi pencarian acak RegNetX jauh lebih tinggi, mencari sekitar 32 model acak dapat menghasilkan model yang baik.
Desain generalisasi ruang
Pada awalnya, untuk meningkatkan efisiensi, peneliti merancang desain ruang RegNet dengan beban komputasi rendah dan metode pelatihan epoch rendah.
Namun, tujuan mereka bukan untuk menargetkan lingkungan tertentu, tetapi untuk menemukan prinsip umum desain jaringan.
Oleh karena itu, mereka membandingkan RegNetX dengan AnyNetXA dan AnyNetXE dalam jaringan 5 langkah dengan flop yang lebih tinggi, epoch yang lebih tinggi, dan berbagai jenis blok.
Dalam semua kasus, tidak ada overfitting pada ruang desain.
Dengan kata lain, RegNet memiliki kemampuan generalisasi yang baik.
Terakhir, mari perkenalkan tim impian penelitian AI ini seperti biasa.
Wajah akrab, tim akrab
Ross dan He Yuming, kombinasi ini sangat familiar.
Lima penulis kali ini semuanya dari Facebook AI Research Institute.
Untuk makalah pertama, Ilija Radosavovic, asisten pengajar sarjana di Imperial College London, magang di Facebook.
Raj Prateek Kosaraju dan Ross Girshick, Ph.D. masing-masing lulus dari Institut Teknologi Georgia dan Universitas Chicago, adalah ilmuwan dalam bidang visi komputer FAIR.
Penulis terakhir, Piotr Dollar, lulus dengan gelar Ph.D. dari University of California, San Diego, dan saat ini bekerja di FAIR.
Orang China paling akrab dengan He Kaiming, seorang peneliti AI yang berbakat.
Selain itu, RegNet yang diusulkan oleh tim He Yuming terlihat seperti mahakaryanya pada Penghargaan Kertas Terbaik CVPR tahun ResNet-2016.
Selain itu, Kaiming Great God juga meraih penghargaan CVPR dan ICCV Best Paper Awards pada tahun 2009 dan 2017, dan masih sulit menemukan pendatang baru.
(Terus menyembah ...)
Menariknya, dalam penelitian ini, ResNet juga digunakan sebagai dasar perbandingan.
Namun tak heran, dari penelitian beberapa tahun terakhir ini, He Yuming juga terus-menerus menerobos metode dan penelitian sebelumnya.
Dalam perjalanan untuk melampaui He Yuming, He Yuming sendiri masih menjadi pelari tercepat.
Nah, kebahagiaan dewa agung itu begitu bersahaja dan rendah hati.
Mari kita beri penghormatan untuk filmnya terlebih dahulu, dan serahkan pada Anda cara mengevaluasi RegNet ~
Pintu gerbang
Alamat kertas: https://arxiv.org/pdf/2003.13678.pdf
- Selesai -
Qubit QbitAI · Toutiao Ditandatangani
Perhatikan kami dan dapatkan perkembangan terbaru dalam teknologi mutakhir
- Perpustakaan digital ACM gratis dan terbuka: jurnal komputer teratas dan makalah konferensi gratis untuk diunduh
- Horizon meluncurkan generasi baru platform pengembangan "Tiangong Kaiwu" untuk menjadikan AI sepopuler "tenaga air dan batu bara"
- Lima ahli di Forum Masyarakat Komputer China memperdebatkan: Apakah komputer kuantum matang dalam 10 tahun?
- Letakkan "tambalan" di jalan, dan mobil pintar bisa langsung kehilangan kendali di jalan dengan kecepatan tinggi!
- Morning Reading AgencyApa yang harus dilakukan tentang perselisihan konsumen terkait epidemi? Pakar hukum mengatakan demikian