Pers tinjauan teknologi AI Leifeng.com: Kunci untuk menghilangkan konten video adalah dengan mengisi bagian-bagian video yang hilang. Namun, karena video memiliki dimensi waktu yang lebih banyak daripada gambar, maka sulit untuk menjaga konsistensi ruang dan waktu konten video. Teknologi saat ini masih sangat menantang. Namun, artikel ini akan menunjukkan metode Deep Flow-Guided baru yang diusulkan oleh para peneliti seperti Zhou Bolei dari Chinese University of Hong Kong untuk menghilangkan konten video. Teknologi ini tidak lagi secara langsung mengisi RGB piksel dari setiap frame, tetapi mengubahnya menjadi masalah ekspansi piksel.Hasil penelitian ini terpilih sebagai makalah CVPR 2019.
Gambar 1 Penghapusan konten video
Langkah implementasi khusus
Langkah pertama adalah menggunakan jaringan saraf sintesis bidang aliran optik dalam yang baru dirancang (DFC-Net) untuk mensintesis bidang aliran optik yang mewakili hubungan antara ruang dan waktu pada bingkai video, yaitu pergerakan setiap piksel di seluruh gambar video dari waktu ke waktu; kemudian Gunakan bidang aliran optik ini sebagai panduan perluasan piksel untuk mengisi area yang hilang dalam video secara akurat. Dalam proses sintesis bidang aliran optik, DFC-Net mengikuti prinsip penghalusan kasar hingga halus Dikombinasikan dengan penambangan sampel aliran optik yang sulit, kualitas seluruh jaringan saraf telah ditingkatkan lebih lanjut.
Terakhir, bidang aliran optik sintetis dapat digunakan sebagai panduan untuk mengisi area video yang hilang secara akurat. Metode ini dievaluasi secara kualitatif dan kuantitatif pada kumpulan data DAVIS dan YouTube-VOS, dan hasilnya menunjukkan bahwa kualitas dan kecepatan operasinya telah menunjukkan tingkat teknis yang luar biasa.
Kerangka
Gambar 2 Pengecatan Bingkai Dipandu Aliran
Kerangka kerja metode ini terdiri dari dua langkah - langkah pertama adalah mensintesis bidang aliran optik yang hilang, dan langkah kedua adalah memperluas titik piksel berdasarkan bidang aliran optik sintetis.
Pada langkah pertama, DFC-Net digunakan untuk mensintesis medan aliran optik dari kasar ke halus. DFC-Net terdiri dari tiga sub-jaringan serupa bernama DFC-S; sub-jaringan pertama memperkirakan aliran optik dalam skala yang relatif kasar, dan mengirimkannya kembali ke sub-jaringan kedua dan ketiga untuk penyempurnaan lebih lanjut. Pada langkah kedua, dipandu oleh bidang aliran optik yang disintesis, piksel di area yang diketahui diperluas oleh aliran optik bingkai yang berbeda untuk mengisi sebagian besar area yang hilang. Kemudian jaringan saraf restorasi gambar tradisional digunakan untuk mengisi beberapa area detail yang tersisa di seluruh video.
Justru karena metode ini memperkirakan aliran optik dengan lebih akurat pada langkah pertama, maka mudah untuk mendapatkan video lengkap yang koheren setelah sebagian konten video dihilangkan.
Hasil eliminasi
Gambar 3 Tampilan proses eliminasi video
Gambar 3 menunjukkan proses menggunakan Deep Flow-Guided untuk menghilangkan konten video. Untuk setiap urutan masukan (garis ganjil), gambar menunjukkan bingkai perwakilan dengan topeng cakupan area yang hilang; di garis genap, hasil eliminasi akhir ditampilkan.
Gambar 4 Perbandingan hasil dengan metode lain
Gambar 4 menunjukkan perbandingan hasil metode Deep Flow-Guided dan metode Huang et al setelah penghapusan konten video, terlihat bahwa hasil eliminasi metode ini lebih akurat dan koneksi bagian eliminasi lebih natural.
Untuk lebih banyak konten, Leifeng.com AI Technology Review mengaturnya sebagai berikut:
Tautan asli
https://nbei.github.io/video-inpainting.html
Alamat kertas
https://arxiv.org/abs/1905.02884?context=cs
Alamat sumber terbuka Github
https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting
Ulasan Teknologi AI Leifeng.com
- Gaya barat! Belajar merajut sweater kasmir ini dengan lengan kecil, baskom, dan kerah, yang lebih indah daripada yang dibeli (dengan foto)
- Pernahkah Anda melihat kotak daun bawang versi malas? Setengah kati, dua kali makan lagi akan kenyang
- Lisensi komersial 5G akan dikeluarkan hari ini; Huawei dan Suning akan membuat TV; Microsoft Oracle mengintegrasikan komputasi awan | Lei Feng Morning Post
- Kolam renang atap 360 ° yang sepenuhnya transparan, pernahkah Anda mempertimbangkan perasaan orang-orang dengan acrophobia?