Xiaocha dari kuil cekung Kompilasi Qubit | akun publik QbitAI
Hari ini OpenAI memperbarui laporan volume kalkulasi AI, menganalisis konsumsi daya komputasi dengan algoritma AI sejak 2012.
Berdasarkan penyesuaian data aktual, OpenAI menyimpulkan: Jumlah perhitungan AI tumbuh 10 kali lipat setiap tahun . Dari AlexNet hingga AlphaGo Zero, permintaan akan model AI paling canggih untuk komputasi telah meningkat 300.000 kali .
Huang Renxun dari Nvidia telah menekankan bahwa Hukum Moore sudah mati, meskipun tidak mati, ia tidak dapat menahan permintaan yang begitu besar untuk daya komputasi.
Lalu mengapa laporan volume perhitungan AI dirilis? OpenAI mengatakan itu untuk Jumlah perhitungan Indikator yang sederhana dan dapat diukur ini digunakan untuk mengukur proses pengembangan AI, dan dua faktor lainnya Inovasi algoritme dengan data Sulit untuk diperkirakan.
10 kali per tahun
OpenAI melakukan penyesuaian berdasarkan data aktual tahun-tahun ini dan menemukan bahwa jumlah penghitungan model AI paling canggih berlipat ganda setiap 3,4 bulan, yang merupakan peningkatan tahunan 10 kali lipat, yang jauh lebih cepat daripada penggandaan Hukum Moore dalam 2 tahun.
Satuan ordinat pada gambar di atas adalah PetaFLOPS × hari (Selanjutnya disingkat pfs-day), pfs-day dihitung dengan kecepatan 1015 operasi floating point per detik, atau total sekitar 1020 operasi floating point.
Perlu dicatat bahwa gambar di atas menggunakan koordinat logaritmik, jadi AlphaGoZero memiliki 5 kali lipat lebih banyak kalkulasi daripada AlexNet.
Sejak 2012, menurut Hukum Moore, daya komputasi chip hanya meningkat 7 kali lipat, sedangkan permintaan daya komputasi oleh AI telah meningkat 300.000 kali lipat dalam 7 tahun ini. Apakah produsen perangkat keras merasa tertekan?
OpenAI juga menganalisis data sebelumnya, dari jaringan saraf pertama sensor (Perceptron) lahir menjelang wabah teknologi AI pada tahun 2012.
Dalam dekade sebelumnya, tingkat pertumbuhan kalkulasi AI pada dasarnya disinkronkan dengan Hukum Moore, dan tahun 2012 menjadi batas antara dua periode AI.
(Catatan: Laporan OpenAI asli mengutip 18 bulan sebagai waktu penggandaan untuk Hukum Moore, yang direvisi menjadi 2 tahun kemudian.)
4 era perangkat keras AI
Ledakan permintaan daya komputasi juga telah melahirkan perangkat keras yang didedikasikan untuk komputasi AI. Sejak tahun 1959, perangkat keras AI telah melalui empat periode berbeda.
Akankah ada pertumbuhan pesat di masa depan?
OpenAI percaya bahwa kami memiliki banyak alasan untuk percaya bahwa permintaan akan pertumbuhan yang cepat dalam komputasi AI akan terus berlanjut. Tetapi kita tidak perlu terlalu khawatir tentang tidak memiliki daya komputasi yang cukup.
Pertama, semakin banyak perusahaan yang mengembangkan chip khusus AI, yang akan sangat meningkatkan daya komputasi per unit daya atau harga satuan (FLOPS / W atau FLOPS / $) dalam satu atau dua tahun. Di sisi lain, komputasi paralel juga akan menjadi arus utama, dan tidak ada chip yang terlalu kuat yang dapat ditumpuk.
Kedua, komputasi paralel juga merupakan metode yang efektif untuk menyelesaikan operasi skala besar, dan akan ada inovasi algoritma paralel di masa mendatang, seperti pencarian arsitektur dan SGD paralel masif.
Namun, hukum fisik membatasi efisiensi chip, dan biaya akan membatasi komputasi paralel.
Saat ini, biaya akuisisi perangkat keras untuk melatih model terbesar mencapai beberapa juta dolar.Tidak semua perusahaan dapat melatih model dengan 512 V100 dalam 10 hari seperti yang dilakukan NVIDIA.
Laporkan alamat: https://openai.com/blog/ai-and-compute/
- Selesai -
Qubit QbitAI · Toutiao Ditandatangani
Perhatikan kami dan dapatkan perkembangan terbaru dalam teknologi mutakhir
- Pisau terbang gurun! West Heat mencetak 8 tiga poin untuk penyelamat, 19 poin membalikkan keterampilan kepalanya! Kembalinya teka-teki kejuaraan
- Su Qun berbincang tentang naturalisasi Jeremy Lin, atau bisa mengejar ketinggalan! Akankah Yao Ming mencobanya?
- Baidu pulih dan nilai pasarnya naik 16 miliar dalam semalam; Robin Li: Saya lebih suka inovatif dan berisiko daripada biasa-biasa saja dan konservatif
- Laporan Tahunan GitHub: Python mengalahkan Java untuk pertama kalinya, dan China menjadi kontributor open source terbesar kedua
- 10 detik sebelum mobil yang dapat mengemudi sendiri menabrak pejalan kaki dan mengenali pejalan kaki sebagai mobil dan "lainnya"
- Lalu lintas lebih nyaman dan efisien! Jembatan Pinghu Dongfang telah selesai dan dibuka untuk lalu lintas hari ini
- "Jangan lupa hati asli Anda, dan berangkat lagi" kunjungan klinik gratis ke Desa Shuangshan, Jalan Datian
- Kelompok Pusat Pembelajaran Teoritis dari Komite Kerja Partai di Jalan Shaojiadu mengadakan pertemuan pembelajaran khusus ketiga dengan tema "Jangan lupakan hati asli Anda, ingatlah misi Anda"
- Peri bertarung! Pada musim 2006, Zhan Huang rata-rata mencetak 31,4 poin per game dan menempati peringkat ketiga dalam daftar pencetak gol. Siapa dua teratas?