Mungkin di saat tertentu Anda iri dengan lukisan Van Gogh dan Monet; mungkin di usia tertentu Anda pernah berfantasi menjadi tokoh anime di dimensi kedua; mungkin Anda pernah bermimpi kembali ke zaman kuno dan membayangkan diri Anda dalam kostum kuno. Sekarang, "stilisasi gambar" dapat mengubah impian Anda menjadi kenyataan.
Mungkin Anda belum pernah mendengar istilah "image stylization", maka coba lihat gambar-gambar berikut ini:
Gambar gaya seni primitif
+
Gambar biasa
Hasil penggabungan gaya artistik asli ke dalam gambar biasa
Benar, ini adalah proses penataan gambar!
Penataan gambar: Memberi cita rasa artistik pada "Bidikan"
Penataan gambar juga bisa disebut transfer gaya, yaitu pemindahan gaya suatu gambar yang bercirikan artistik ke gambar biasa, sehingga gambar asli tetap mempertahankan konten aslinya dan memiliki gaya artistik yang unik, seperti kartun dan komik. , Lukisan cat minyak, cat air, tinta dan sebagainya.
Apakah fitur ini fitur yang sudah lama ditunggu? Tapi kita tidak terlahir sebagai jurusan seni, bagaimana kita bisa membuat foto landscape yang kita ambil menjadi sangat artistik, atau mengubah foto kita menjadi sketsa atau kartun? Anda mungkin mengira sudah ada banyak software serupa Meitu di Internet yang bisa langsung dibuat, tapi bagaimana jika tidak ada gaya yang Anda suka dalam metode pemrosesan gambar ini? Saat ini, teknologi stilisasi gambar DIY dapat membantu kita.
Tentunya proses pengembangan teknologi unggulan selalu panjang dan sulit. Dalam bidang ikonografi non fotorealistik, seni gambar dibagi menjadi tiga metode:
-
Rendering Berbasis Stroke: Yaitu, untuk mempelajari informasi goresan dalam gambar gaya, tetapi metode ini tidak dapat hanya diperluas untuk mentransfer gaya lain, yang sangat membatasi penggunaannya.
-
Analogi Gambar: Butuh banyak pasangan gambar asli dan gambar hasil gaya.
-
Pemfilteran Gambar: Memang cepat dan dapat memenuhi kebutuhan dunia industri, tetapi metode ini terlalu sederhana untuk membuat migrasi gaya yang rumit.
Namun, metode penataan gambar saat ini telah mengatasi masalah di atas, dan dapat menyediakan "alat pembuat satu klik", tidak perlu menguasai teknologi pemrosesan gambar profesional untuk segera membuat efek gambar yang Anda inginkan.
Dua teknik pemrosesan stilisasi gambar klasik
Dalam beberapa tahun terakhir, kecerdasan buatan telah berkembang pesat, dan pembelajaran mendalam telah menjadi salah satu hotspot penelitian. Dengan berkembangnya pembelajaran mendalam di bidang pemrosesan gambar, penataan gambar yang cepat berdasarkan pembelajaran dalam telah muncul. Metode stilisasi gambar ini sangat meningkatkan kecepatan pembuatan gambar, dan membuat gambar yang dihasilkan memiliki efek visual yang lebih baik.
1 , Stilisasi gambar berbasis CNN
Gatys, pelopor bidang transfer stilisasi gambar, pertama kali menerbitkan artikel di NIPS, dan mengusulkan metode pemodelan tekstur berbasis CNN-TextureSynthesis Using Convolutional Neural Networks, yang menggunakan matriks Gram yang diperoleh untuk mewakili informasi tekstur gambar. Dan pada 2015, diusulkan untuk menggunakan CNN untuk stilisasi.
Temuan kunci dari makalah ini adalah bahwa ekspresi gaya dan konten dalam jaringan saraf konvolusional dapat dipisahkan, dan informasi yang diekspresikan pada tingkat yang berbeda berbeda (lapisan yang lebih tinggi mewakili informasi konten, dan lapisan bawah mewakili informasi gaya).
Diagram skematis dari berbagai tingkat ekstraksi fitur CNN
Gatys memasukkan gambar asli, gambar gaya, dan gambar inisialisasi ke dalam jaringan saraf konvolusional, dan menghitung perbedaan konten antara gambar inisialisasi dan gambar asli, dan perbedaan gaya antara gambar gaya dan gambar gaya di lapisan konvolusional, yang diekspresikan dengan fungsi kerugian. Melalui propagasi balik yang salah, metode penurunan gradien digunakan untuk terus memperbarui gambar inisialisasi hingga diperoleh hasil yang memuaskan.
Namun, metode ini membutuhkan waktu terlalu lama untuk memenuhi permintaan pendaratan produk.
Pada tahun 2016, Li Feifei, seorang sarjana wanita yang luar biasa di bidang kecerdasan buatan, mengusulkan metode stilisasi cepat. Terobosan utama dari karyanya adalah mempersingkat waktu untuk menghasilkan gambar. Hanya perlu sepersepuluh detik untuk menghasilkan gambar di GPU!
Struktur jaringan yang diusulkan oleh Li Feifei meliputi jaringan konversi citra dan jaringan rugi. Jaringan konversi gambar adalah jaringan konvolusional sisa yang dalam, dan jaringan yang hilang menggunakan struktur jaringan VGG16 yang telah dilatih sebelumnya.
Sistem ini mencakup dua tahap:
(1) Tahap model pelatihan.
Parameter model yang akan dilatih di jaringan adalah parameter jaringan konversi gambar. Masukkan gambar set pelatihan, dan ubah gambar input x menjadi gambar gaya melalui fungsi konversi.
Gambar yang dihasilkan, gambar gaya, dan gambar konten masuk dan keluar dari jaringan yang hilang, dan menghitung selisih antara keluaran gambar hasil bergaya dengan jaringan konversi gambar dan gambar isi (gambar yang akan dikonversi) dan gambar gaya (gambar gaya target). Ini diekspresikan dalam bentuk fungsi kerugian dan diteruskan ke jaringan konversi gambar.Dengan meminimalkan kerugian total, parameter jaringan konversi gambar diperbarui hingga model yang ideal akhirnya tercapai.
(2) Tahap pembuatan citra.
Saat ini, cukup masukkan gambar asli, Anda bisa mendapatkan hasil bergaya, yang sangat nyaman dan efeknya sangat bagus.
2 , Stilisasi gambar berbasis GAN
Stylization begitu panas akhir-akhir ini, bagaimana bisa GAN tidak ikut bersenang-senang. GAN adalah untuk menghasilkan jaringan konfrontasi. Ide intinya berasal dari Nash equilibrium of game theory, yaitu satu pihak mendapat keuntungan sedangkan pihak lain harus kalah.
GAN terdiri dari dua bagian, diskriminator dan generator. Tujuan generator adalah untuk mempelajari distribusi data nyata dan menghasilkan sampel yang mendekati distribusi data nyata; tujuan diskriminator adalah untuk membedakan apakah data masukan berasal dari data nyata atau generator. Dengan terus mengoptimalkan generator dan diskriminator, hasil dari keduanya akan dioptimalkan.
Kerangka algoritma GAN
Di tahun 2017, tim Zhu Junyan menggunakan ide GAN untuk membuahkan hasil yang mengesankan. Efeknya terlihat pada gambar di bawah ini. Lihat apakah itu luar biasa! Benar saja, GAN sedang melakukan tugas pembuatan gambar. Terlepas dari kesulitan pelatihan, tidak ada lagi yang bisa dikatakan!
Diagram skematik CycleGan menghasilkan hasil
Tim Zhu Junyan mengusulkan struktur CycleGAN. Itu tidak hanya dapat menyelesaikan konversi antara gaya gambar, seperti mengubah foto menjadi lukisan artistik, tetapi juga melakukan migrasi gambar musiman, musim panas ke musim dingin, migrasi spesies, zebra ke kuda, dll.
CycleGAN pada dasarnya adalah dua GAN simetris cermin yang membentuk jaringan cincin. Salah satu generator mengubah gambar di domain X menjadi gambar di domain Y, dan yang lainnya mengubah gambar di domain Y menjadi gambar di domain X. Kedua diskriminator tersebut masing-masing menentukan apakah gambar itu domain gambar nyata atau gambar yang dihasilkan.
Skenario aplikasi stilisasi gambar
Tentu saja, karya penataan gambar tidak lagi terbatas pada seni gambar, lihat aplikasi tambahan berikut, apakah Anda merasa luar biasa!
-
Tidak masalah untuk mengganti model mobil (transfer gaya semantik)
-
Sesekali pasang artis besar (grafiti menjadi lukisan cat minyak)
-
Perubahan avatar artistik (migrasi gaya potret)
-
Saya malas dan tidak ingin melukis secara manual (mewarnai sampel)
-
Masih ada beberapa produk di industri
Hasil penelitian Institute of Automation
Bidang yang menarik dan praktis seperti itu tentu saja membutuhkan partisipasi para peneliti dari Institut Otomasi Akademi Ilmu Pengetahuan China. Apakah Anda ingat avatar yang Anda ubah selama Piala Dunia? Ya, itu adalah salah satu hasil riset Institute of Automation!
ZHANG, Yong, Weiming DONG dkk. Penataan kartun wajah berbasis data. SIGGRAPH ASIA Technical Briefs (2014).
Hal yang begitu menarik tidak dapat menghentikan laju penelitian. Tidak ada yang terindah, hanya lebih indah!
ZHANG, Yong, Weiming DONG dkk. Data-DrivenSintesis Wajah Kartun Menggunakan Gaya Berbeda Dalam: IEEE Transactions onimage processing2017. 26 (1), hlm.464-478
Tentu saja, setiap tahun di bidang visi komputer, ada metode pengoptimalan tanpa akhir untuk skenario semacam itu. Jika Anda bisa melakukannya sendiri, itu akan sangat memuaskan!
- Menolak label "tradisional", SAIC-GM menerapkan "teknik keseimbangan" dalam gelombang teknologi baruJingguan Auto
- BALMAIN bergandengan tangan dengan GESAFFELSTEIN untuk debut di Festival Musik Coachella, mengenakan baju besi hitam dan memancarkan cahaya yang menyilaukan
- Southern + Union Provinsi Guangdong Federasi Serikat Pekerja mengirim kesejahteraan, May Day pergi ke Menara Canton, janji?
- Pemotretan Jalanan di Shanghai Fashion Week di Musim Gugur / Musim Dingin 2019-Saksikan para fashionista kota ajaib menampilkan tren jalanan terbaru!
- Tidak tahu lipstik apa yang harus digunakan? Lipstik Miss Coco yang mempesona dari Chanel membuat Anda merasa nyaman saat membeli secara membabi buta!