Teknisi Otak Google Eric Jang baru-baru ini mengalami filter pertukaran gender Snapchat dan menulis artikel pengalaman. Lei Feng Klub Penelitian AI Susun artikel ini sebagai berikut.
Filter pertukaran gender Snapchat adalah sumber kesenangan dan pesta tanpa akhir, dan hasil konversinya sangat memuaskan. Sebagai seseorang yang berurusan dengan algoritma pembelajaran mesin setiap hari, kekuatan dari fungsi ini bisa dikatakan sangat luar biasa.
Saya sangat tertarik dengan fitur ini. Sebagai bayi yang penasaran, saya mendaftar ke Snapchat pagi ini dan mencobanya sebentar, mencoba mencari tahu prinsip di baliknya dan bagaimana saya meretasnya. Catatan: Ini bukan untuk merekayasa balik file API Snapchat atau untuk mempelajari bagaimana aplikasi lain merancang fungsi yang serupa. Ini hanya beberapa pengujian hipotesis dasar. Kapan itu akan berlaku dan kapan tidak akan berlaku, tentu saja, tambahkan sedikit narsisme Keseruan selfie di kamar mandi.
Pengamatan awal
Foto di tengah adalah foto asli selfie kamar mandi. Di sebelah kiri adalah efek filter "pria", dan di sebelah kanan adalah efek filter "wanita".
Hal pertama yang mungkin diperhatikan sebagian besar pengguna adalah bahwa filter ini bekerja secara real time, Anda dapat menggunakan beberapa sudut berbeda, dan dapat berjalan tanpa koneksi internet. Saat mengenakan topi wol, rendering rambut juga sangat alami.
Gambar di bawah ini adalah gambar animasi yang diambil saat saya menoleh. Aplikasi tampaknya dapat mendeteksi apakah wajah mengarah ke arah yang ditentukan, dan efek filter hanya akan dipicu saat nilai Boolean terpenuhi.
Filter pertukaran jenis kelamin dapat disesuaikan dengan berbagai kondisi cahaya, tetapi rambut tampaknya tidak menghasilkan bayangan.
Apa menurutmu aku sangat imut yang berubah menjadi gangster wanita?
Berikut adalah contoh yang menurut saya adalah rambut sintetis-keren dapat menangkap sumber utama cahaya.
Tes oklusi
Dari pengamatan sebelumnya, ini bekerja dengan sangat baik. Jadi bisakah kita membuatnya gagal? Filter ini dapat mendeteksi apakah wajah dalam pose yang salah, tetapi bagaimana jika ada sesuatu yang menghalangi wajah? Apakah wajah yang diblokir juga akan "diubah"? Jawabannya iya. Di bawah ini adalah tes (oklusi horizontal) di mana saya menggeser objek ke wajah saya. Jika hanya separuh wajah yang diblokir, filter berfungsi normal, tetapi jika wajah diblokir terlalu banyak, opsi "Haruskah saya mengubah wajah saya" akan disetel ke False.
Mari kita lihat lagi oklusi vertikal, Efek filter di sini tampaknya bergantung pada "persentase area wajah yang tersumbat", bukan pada penyumbatan fitur semantik penting (seperti mata dan bibir). Tepat sebelum filter memutuskan bahwa "Haruskah saya mengubah wajah saya" harus dialihkan ke "Salah", Anda dapat melihat bahwa botol putih di tangan Anda kabur. Selain itu, ketika saya meletakkan botol di tengah pandangan saya, rambut saya berubah menjadi keemasan. Efek ini sangat menarik. Menurut pendapat saya, ini pasti pembelajaran mesin di tempat kerja, ini akan mengekstrak beberapa data dari data terlatih untuk rendering. Jadi pertanyaannya adalah, apakah si pirang akan terus melakukan lebih banyak tutorial makeup?
Saya menutupi sebagian wajah saya dengan topeng arang aktif hitam, dan efek rendering tampak stabil. Filter wanita sedikit menghilangkan topeng. Jelas dari GIF di bawah ini bahwa fungsi "pertukaran wajah" terbatas untuk melacak area persegi panjang di kepala (perhatikan potongan tajam saat rambut mencapai bahu saya).
Setelah saya menutupi seluruh wajah dengan masker, filter berhenti bekerja. Yang menarik adalah area wajah saya yang terpapar sepertinya masih terdeteksi sebagai wajah, dan filter akan terus melakukan konversi gaya wajah pada area tersebut. Anda bisa melihat rendering kerlipan kepala dan wajah seperti cerita horor Ito Junji.
Saat mask dilepas, efek rendering secara mengejutkan stabil.
Lapisan rambut
Saya sangat terkesan dengan realisme rambut, jadi saya ingin mengetahui apakah ada model jala rambut untuk pencahayaan dinamis, atau apakah semuanya didasarkan pada pembelajaran mesin.
Rambut tampaknya ditampilkan sebagai lapisan atas (seperti lapisan Photoshop), tetapi tidak seperti filter telinga / lidah anak anjing yang biasa digunakan, lapisan rambut ini memiliki saluran alfa transparan sebagian. Jika diperhatikan lebih dekat, ada juga masker split clear pada rambut yang bisa menampakkan wajah. Snapchat mungkin melacak kepala untuk menentukan posisi kepala dan menghitung topeng alfa 2D rambut.
Bagaimana cara kerjanya? Berikut tebakan saya.
Sekilas yang muncul di benak saya adalah arsitektur CycleGAN, yang memetakan sebaran wajah laki-laki ke wajah perempuan, begitu pula sebaliknya. Kumpulan data harus mencakup miliaran selfie yang diunggah oleh pengguna ke Snapchat (dan belum dihapus oleh Snapchat) dalam 8 tahun terakhir.
Tapi ini menimbulkan banyak pertanyaan:
Apakah pengonversi gambar yang mereka latih benar-benar tidak membutuhkan gambar yang disandingkan? Jika benar, ini akan sangat mengejutkan, mengingat CycleGAN memiliki banyak masalah, bahkan mungkin tidak mungkin untuk melakukan ini sama sekali. Maka saya yakin mereka memiliki tujuan penyelarasan yang tidak berpasangan, yang diatur oleh sekumpulan data pasangan nyata yang terbatas, seperti gambar pasangan saudara laki-laki / perempuan, dan bahkan beberapa data dirancang secara manual untuk konversi gender. Hasilnya, ini bisa digunakan sebagai augmentasi data (misalnya, efek membuat kontur mandibula lebih membulat bisa dilakukan tanpa machine learning).
Transformasi rambut dan wajah tampaknya dikomposisikan secara independen, karena mereka menempati lapisan yang berbeda (atau mungkin digabungkan bersama dan dibagi menjadi beberapa lapisan berbeda sebelum rendering). Ini juga pertama kalinya saya melihat GAN digunakan untuk merender saluran alfa. Saya agak ragu apakah rambut itu benar-benar diproduksi oleh GAN. Di satu sisi, jelas ada beberapa fungsi penghalusan, yang dapat mengganti sorotan dan warna rambut sesuai dengan posisi objek yang terhalang, yang menunjukkan bahwa warna tersebut mungkin sebagian dipelajari dari data. Di sisi lain, rambutnya sangat stabil dan saya hampir tidak percaya bahwa itu sepenuhnya disintesis dengan generator GAN. Saya telah melihat beberapa contoh pria Asia Timur lainnya mengubah wajah dengan gaya rambut yang serupa, yang menunjukkan bahwa mungkin ada perpustakaan template haridos yang besar (ditingkatkan dengan beberapa model pembelajaran mesin).
Bagaimana teknisi ML Snap mengetahui apakah CycleGAN telah berkumpul setelah pelatihan pada kumpulan data yang begitu besar?
Dengan sumber daya komputasi yang terbatas, bagaimana mereka menjalankan jaringan saraf tingkat ini? Berapa resolusi gambar yang mereka hasilkan secara dinamis?
Jika memang CycleGAN, maka ketika filter pria diterapkan ke gambar filter wanita saya, itu harus dikembalikan ke gambar asli, bukan?
Seperti yang ditunjukkan pada animasi di atas, rasio foto ini pada dasarnya tidak berubah, tetapi saat kami memperbesarnya sangat dekat, wajah ini memang lebih seperti wajah saya. Saya kira sebelum gambar wajah standar dimasukkan ke dalam jaringan saraf, akan ada langkah preprocessing untuk memotong dan mengubah ukurannya. Mungkin ada subrutin lain pada filter ini, seperti mengatur ukuran rahang, tidak menggunakan CycleGAN, tetapi penambahannya akan membuat filter M2F dan F2M tidak lagi sepenuhnya berlawanan.
Lamunan teknologi
Hal ini terjadi pada teman saya, yang harus melakukan banyak pekerjaan sebelum melakukan cross-dressing. Saya sangat senang dengan teknologi ini karena akan memudahkan makeup artist, role player dan drag artist untuk mencoba ide dan identitas baru dengan cara yang lebih murah dan lebih cepat.
Teknologi seperti perubahan wajah dan suara telah memperlebar jarak antara karakter Internet publik dan orang yang sebenarnya di balik karakter ini. Tapi ini belum tentu hal yang buruk: jika Anda seorang pria, tetapi ingin menjadi gadis anime lucu online, identitas mana yang harus kita nilai? (Tautannya adalah video Youtube) Saat media sosial harian kita menormalkan distorsi gender, akankah fluiditas gender dan budaya cross-dressing menjadi lebih normal di masyarakat?
Masa depan sangat menyenangkan.
melalui https://blog.evjang.com/2019/05/fun-with-snapchats-gender-swapping.html
Menyusun dan mengatur: Pita
Leifeng.com AI Research Institute dihimpun dan dihimpun, konten yang lebih menarik, selamat datang untuk mengunjungi komunitas Leifeng.com AI Research Institute.
[Sumber gambar sampul: nama situs web Eric Jang, pemilik: Eric Jang]
- Anda akan mati jika Anda tidak mengikuti saya? Sihir PUA yang secara khusus menjebak wanita akhirnya diselidiki!
- Air mata! 3 Legenda Cristiano Ronaldo di Serie A dalam bingkai yang sama Pitotine Deved with barb shot mengejutkan Buffon, keringat dingin
- Pembagian makanan kolektif anak-anak di Distrik Fengtai Buat garis pertahanan lapis ganda "segel + label"
- Yao Ming mendukung Cai Xukun untuk mendukung NBA: ini dapat menarik lebih banyak orang muda, model ini layak untuk CBA
- Suami kaya Wang Nan berusia 50 tahun menunjukkan kasih sayang! Berpegangan tangan untuk peringatan 17 tahun kebersamaan, seolah baru saja jatuh cinta
- Timnas sepak bola Piala Dunia di Qatar, kembalinya Lippi adalah pilihan yang paling tepat? Lebih dari setengah netizen tidak setuju
- Setelah putus, atau mobil listrik akan kembali, paman berusia 56 tahun di Hangzhou mencabut sayuran yang ditanam oleh mantan pacarnya.
- Pria yang lucu! Zhou Qi memijat Zhai Xiaochuan di kamarnya: Berikan perawatan kepada kakak tertua tim Beijing, Chuan menikmati wajahnya
- Xing Aimin, pilot helikopter generasi pertama dari Angkatan Polisi | Tuliskan kesetiaan di langit biru