1 Kompilasi Xinzhiyuan
Sumber: Riset Google
Penyusun: Liu Xiaoqin
AI dilanjutkan, Vientiane diperbarui!
Xinzhiyuan mengucapkan Selamat Tahun Ayam kepada semua pelanggan!
Xinzhiyuan meluncurkan babak baru perekrutan : COO, Pemimpin Redaksi Eksekutif, Pemimpin Redaksi, Kompilator Senior, Penulis Utama, Direktur Operasi, Manajer Akun, Direktur Konsultasi, Asisten Administrasi dan 9 posisi lainnya terbuka penuh.
Melanjutkan pengiriman: j obs@aiera.com.cn
HR WeChat: 13552313024
Xinzhiyuan memberi COO dan editor eksekutif insentif gaji tahunan hingga satu juta yuan; menyediakan sistem pelatihan terlengkap untuk karyawan kunci, Gaji dan bonus lebih tinggi dari rata-rata industri.
Bergabunglah dengan Xinzhiyuan dan bekerja dengan para pemimpin industri kecerdasan buatan untuk mengubah dunia.
Panduan Xin Zhiyuan Blog resmi Google baru-baru ini merilis TensorFlow Fold, yang memecahkan masalah yang disebabkan oleh ukuran dan struktur masukan yang berbeda dengan membuat grafik kalkulasi terpisah untuk setiap masukan. Selain itu, melalui pemrosesan batch dinamis, peningkatan ini telah mencapai lebih dari 10 kali lipat pada CPU dan 100 kali lipat pada GPU. Makalah yang dirilis pada saat yang sama menjelaskan detail teknis dari fungsi baru secara rinci, alamat makalah: https://openreview.net/pdf?id=ryrGawqex
Di sebagian besar pembelajaran mesin, data yang digunakan untuk pelatihan dan inferensi perlu menjalani langkah-langkah pra-pemrosesan, di mana sejumlah besar input (seperti gambar) diskalakan ke ukuran yang sama dan kemudian disimpan dalam kelompok. Dengan cara ini, library deep learning berperforma tinggi seperti TensorFlow dapat menjalankan grafik komputasi yang sama untuk semua input dalam penyimpanan batch secara paralel. Pemrosesan batch menggunakan kinerja instruksi tunggal multiple data stream (SIMD) dari GPU modern dan CPU multi-core untuk mempercepat eksekusi. Namun, karena perbedaan ukuran dan struktur data masukan, seperti pohon parse dalam pemahaman bahasa natural, pohon sintaks abstrak dalam kode sumber, pohon DOM di halaman web, dll., Proses ini ada. banyak pertanyaan. Dalam hal ini, input yang berbeda dari grafik kalkulasi tidak dapat langsung diproses secara batch, yang menyebabkan penggunaan prosesor, memori dan cache yang buruk.
TensorFlow Fold yang dirilis oleh Google hari ini bertujuan untuk mengatasi tantangan ini. TensorFlow Fold memudahkan penerapan model deep learning yang menangani berbagai ukuran dan struktur data. Selain itu, keuntungan dari TensorFlow Fold adalah model ini diproses secara batch. Dibandingkan dengan implementasi alternatif lainnya, kecepatan pada CPU meningkat lebih dari 10 kali lipat, dan kecepatan pada GPU meningkat 100 kali lipat. Hal ini dicapai melalui pengelompokan dinamis. Untuk detailnya, lihat makalah kami: Pembelajaran Mendalam dengan Grafik Komputasi Dinamis.
Animasi di atas menunjukkan jaringan neural berulang yang berjalan menggunakan pemrosesan batch dinamis. Operasi dengan warna yang sama dibagi menjadi beberapa batch sehingga TensorFlow dapat menjalankannya lebih cepat. Operasi Embed mengubah kata-kata menjadi representasi vektor. Operasi koneksi penuh (FC) menggabungkan vektor kata untuk membentuk representasi vektor frase. Keluaran jaringan adalah representasi vektor dari kalimat lengkap. Meskipun gambar di atas hanya menampilkan pohon parse kalimat, jaringan yang sama dapat berjalan di beberapa pohon parse dengan bentuk atau ukuran apa pun dan melakukan operasi pemrosesan batch.
Library TensorFlow Fold pertama-tama membuat grafik kalkulasi terpisah untuk setiap input. Karena setiap masukan mungkin memiliki ukuran dan struktur yang berbeda, begitu pula grafik perhitungannya. Pemrosesan batch dinamis kemudian secara otomatis menggabungkan grafik aliran ini untuk memanfaatkan peluang untuk melakukan pemrosesan batch di dalam dan di antara input, dan memasukkan instruksi tambahan untuk memindahkan data di antara operasi batch. (Silakan lihat kertas untuk detail teknis spesifik)
Kami berharap TensorFlow Fold bermanfaat bagi peneliti dan praktisi yang menggunakan grafik komputasi dinamis untuk mengimplementasikan jaringan neural di TensorFlow. Pelajari lebih lanjut: https://github.com/tensorflow/fold
Makalah: Pembelajaran Mendalam dengan Grafik Komputasi Dinamis
Abstrak kertas:
Dalam banyak bidang seperti pemrosesan bahasa alami (pohon analisis) dan kemoinformatika (grafik molekuler), jaringan saraf yang melakukan kalkulasi pada struktur grafik cocok untuk menyelesaikan banyak masalah. Namun, karena pertanyaan perhitungan memiliki bentuk dan ukuran yang berbeda untuk setiap masukan, jaringan seperti itu tidak dapat secara langsung mendukung pelatihan atau inferensi batch. Mereka juga sulit diterapkan di pustaka deep learning yang populer, karena umumnya didasarkan pada grafik aliran data statis. Kami mengusulkan sebuah teknologi yang disebut Dynamic Batching, yang tidak hanya dapat memproses batch antara grafik input dengan bentuk yang berbeda, tetapi juga proses batch antara node yang berbeda dari grafik input yang sama. Teknologi ini memungkinkan kita membuat grafik statis dan menggunakan pustaka populer untuk mensimulasikan grafik komputasi dinamis dalam berbagai bentuk dan ukuran. Kami selanjutnya mengusulkan pustaka blok konstituen tingkat tinggi untuk menyederhanakan proses pembuatan model grafik dinamis. Dengan menggunakan pustaka ini, kami membuktikan implementasi pemrosesan batch yang ringkas dan paralel dari beberapa model dalam literatur sebelumnya.
Alamat asli: https://research.googleblog.com/2017/02/announcing-tensorflow-fold-deep.html
[Mencari AI Unicorn] Xinzhiyuan bergabung dengan 10 ibu kota utama
Mulailah Kompetisi Kewirausahaan 2017
Kompetisi Kewirausahaan AI terdiri dari Xinzhiyuan dan 10 lembaga modal ventura utama AI: Blue Run Ventures, Sequoia Capital China Fund, Hillhouse Smart Artificial Intelligence Fund, Blue Lake Capital, Blue Elephant Capital, IDG Capital, Gaorong Capital, CITIC Diluncurkan bersama oleh Jiantou Securities, Mingshi Capital, dan Songhe Yuanwang Fund, disponsori oleh Xinzhiyuan, didukung oleh Komite Manajemen Taman Sains Zhongguancun Beijing dan Komite Manajemen Taman Haidian Taman Sains Zhongguancun, ini adalah pertemuan para pemimpin teknologi AI dan pemimpin investasi Acara besar. Xinzhiyuan memberikan peluang yang kuat untuk terhubung dengan sumber modal ventura ke AI unicorn yang ambisius di masa depan, dan modal ventura top TS sedang menunggu Anda.
Klik di bagian bawah artikel untuk membaca teks asli dan mengisi formulir aplikasi online. Formulir pendaftaran diperlukan untuk mengikuti seleksi.
Jika Anda memiliki informasi lebih lanjut (seperti BP, dll.), Anda dapat mengirimkannya ke xzy100@aiera.com.cn. Harap sebutkan nama perusahaan di subjek email. Jika Anda memiliki pertanyaan, Anda juga dipersilakan untuk mengirim surat ke kotak surat.
- Li Ka-shing menghabiskan sepuluh juta untuk makan sisa makanan di kantin gratis? Kesedihan dan kasih sayang tak terduga di balik keajaiban Hong Kong
- Universitas Lakeside Bicaralah dengan orang-orang tentang pasar setiap hari, Anda mungkin tidak tahu apa itu pasar
- Hari Jadi Reformasi ke-40 dan Keterbukaan | Tahun-tahun berlalu Liu Guorui, pahlawan keamanan publik tingkat dua, masuk ke CCTV "Ping An 365"
- "Algoritme Tertinggi" Lima sekolah pembelajaran mesin, dapatkah algoritme pamungkas menyatukan dunia
- Dari renminbi ke minyak hingga hutang AS, China mungkin diam-diam meletakkan tiga kartu truf dolar AS
- Sungguh seorang pengemudi wanita, Anda tidak pernah mengira bahwa karakter di jalan ini lebih kuat dari mereka!