Bayangkan jika Anda ingin memberikan kotak kecil di tangan Anda kepada seseorang dengan elegan, Anda dapat mengirimkannya dengan memegang sisi kotak dengan tangan Anda?
Atau ulurkan tangan yang memegang bagian bawah kubus?
Jadi jika lawannya adalah robot, apakah cara memegang kotak kecil akan mempengaruhi pengenalan robot yang cepat dan akurat?
Jawabannya iya"!
Oleh karena itu, peneliti Nvidia (Nvidia) merancang cara baru bagi robot manusia untuk mengirimkan barang, saat robot menghadapi manusia, ia menilai dan mengklasifikasikan tindakan mencengkeramnya, kemudian merancang cara untuk mengirimkan barang. Metode ini lebih halus dari baseline dan dapat memberikan ide-ide baru untuk desain robot kolaboratif, sehingga meningkatkan produktivitas pekerja gudang.
Pada 12 Maret 2020 waktu setempat, makalah terkait Human Grasp Classification for Reactive Human-to-Robot Handovers diterbitkan di situs pracetak arXiv.
Memecahkan masalah saling menghalangi antara benda dan tangan
Leifeng.com mengetahui bahwa semakin banyak penelitian yang berfokus pada pengiriman objek yang mulus antara manusia dan robot. Untuk saat ini, sebagian besar penelitian berfokus pada tantangan pemindahan objek dari robot ke tangan manusia, dengan asumsi bahwa manusia dapat menempatkan objek di gripper robot untuk operasi terbalik.
Namun, salah satu tantangan pengiriman manusia-robot yang mulus adalah bahwa robot tidak memiliki persepsi yang andal dan berkelanjutan. Dalam proses pengiriman barang, barang dan tangan manusia pasti akan menutupi satu sama lain, dan orang sering melakukan hal lain pada saat yang bersamaan saat mengirimkan barang, oleh karena itu robot kurang akurat dalam memperkirakan status dan posisi tangan dan barang manusia.
Berkaitan dengan hal tersebut, strategi yang diajukan oleh peneliti adalah dengan memperkirakan pergerakan tangan manusia dan keadaan 6D benda dengan meminjam metode yang sudah jadi dari komunitas computer vision. Namun, cara ini hanya berfokus pada tangan atau benda manusia.
Berdasarkan hal tersebut, peneliti Nvidia melakukan serangkaian perbaikan.
Klasifikasikan tindakan orang yang memegang benda
Pertama, para peneliti menggunakan SDK pelacakan tubuh (perangkat pengembangan perangkat lunak) dari sensor kedalaman Microsoft Azure Kinect untuk mendapatkan titik cloud berpusat tangan yang terdeteksi, mengedit kumpulan data, dan melatih model AI.
Selain itu, peneliti menunjukkan gambar sampel memegang benda dan merekam tindakan serupa yang dilakukan oleh tangan manusia dalam waktu 20-60 detik. Selama periode ini, orang dapat terus menggerakkan tubuh atau tangannya untuk memastikan perspektif yang berbeda. Itu dimengerti Kumpulan data tim peneliti memiliki lebih dari 150.000 gambar.
Atas dasar ini, peneliti membagi aksi mencengkeram ke dalam beberapa kategori, misalnya saat memegang kotak kecil di tangan, aksi dapat digambarkan sebagai telapak tangan terbuka, tertancap di bawah, tertancap di atas, tertancap di samping. "Atau" angkat ".
Para peneliti menyatakan:
Saat ini, sistem kami mencakup 77% orang yang memegang benda, dan kami akan mengembangkannya ke jangkauan yang lebih luas di masa mendatang.
Selanjutnya, para peneliti memodelkan tugas pengiriman barang, berdasarkan "Sistem Logis-Dinamis yang Kuat" (Sistem Logika-Dinamis yang Kuat), dan merancang lintasan barang yang dikirim, menghilangkan kebutuhan akan jenis tangan tertentu dan kontak manual. Masalah.
Lei Feng.com memahami bahwa sistem ini harus beradaptasi dengan semua kemungkinan gerakan mencengkeram manusia untuk bereaksi dan menilai cara mendekati manusia dan mengirimkan barang. Sistem akan selalu menunggu di posisi "rumah" hingga dapat memperkirakan dengan tepat bagaimana manusia akan memegang benda tersebut.
Faktanya, para peneliti secara sistematis meninjau semua kemungkinan posisi dan gerakan tangan manusia dalam serangkaian percobaan, dan menentukan model klasifikasi dan model tugas. Pada saat yang sama, para peneliti juga mempertimbangkan operasi tambahan yang mungkin terlibat dalam proses ini (gambar berikut menunjukkan kemungkinan operasi tambahan dalam urutan prioritas yang menurun).
Tingkat keberhasilan serah terima adalah 100%
Lei Feng.com memperhatikan bahwa dalam percobaan tersebut, para peneliti menggunakan dua "robot Panda" yang berbeda dari perusahaan robot Munich, Franka Amika, yang masing-masing dipasang pada posisi yang berbeda pada meja yang sama. Menerima item dengan 4 warna berbeda dari manusia.
Kedua penulis makalah tersebut menyatakan bahwa dibandingkan dengan dua metode dasar (satu tidak menilai keadaan tangan manusia, yang lain hanya bergantung pada keadaan tangan dan benda), metode mereka meningkatkan tingkat keberhasilan pengiriman barang manusia-robot tanpa batas. , Dan mempersingkat waktu perencanaan dan pelaksanaan - tingkat keberhasilan serah terima adalah 100% (tertinggi kedua adalah 80%), tingkat keberhasilan penilaian 64,3% (tertinggi kedua adalah 29,6%), dan total perencanaan dan pelaksanaan tindakan adalah 17,34 detik ( Waktu terpendek kedua adalah 36,34 detik).
Namun, para peneliti juga dengan jelas menyebutkan kekurangan dari sistem ini dan arah penelitian selanjutnya:
Meningkatkan tingkat keberhasilan penilaian akan menjadi salah satu upaya kami di masa depan, karena meskipun sistem dapat menangani sebagian besar adegan di mana objek dan tangan manusia saling menghalangi, ketidakpastian semakin tinggi, dan terkadang robot harus membuat penilaian baru.
Selain itu, mereka berencana untuk membiarkan sistem mempelajari jenis grip yang berbeda dari data daripada mengandalkan aturan manual.
Bahan referensi:
https://arxiv.org/pdf/2003.06000.pdf
https://venturebeat.com/2020/03/16/nvidia-researchers-use-ai-to-teach-robots-how-to-hand-objects-to-humans/
https://venturebeat.com/2018/11/26/how-munichs-franka-emika-wants-to-reinvent-industrial-robotic-assistants/
- Today Paper | Rendering objek; harmoni gambar; metode pemrosesan data yang tidak bias; deteksi pemalsuan wajah, dll.
- IPad terkuat dalam sejarah telah hadir! Chip AI + Lidar baru, harga bergerak, dan Anda harus mematikan komputer
- Kemajuannya tidak lebih lambat dari di luar negeri! Vaksin mahkota baru rekombinan memasuki uji klinis dan siap untuk kontrol kualitas dan produksi skala besar