Cara utama kita berinteraksi dengan dunia nyata adalah dengan tangan, dan hal yang sama berlaku untuk interaksi kita dengan dunia VR.
Dari tingkat awal interaksi gerakan, seperti Inmeji dan HoloLens, yang hanya memiliki beberapa gerakan tetap, hingga Leap Motion dan uSens, yang melacak gerakan sendi jari pengguna dan mensimulasikan seluruh tangan di ruang virtual, untuk berinteraksi di ruang virtual dengan pegangan. Gagang dan Sentuhan Vive, serta produk yang menambahkan dimensi lebih interaktif, seperti umpan balik gaya yang dikembangkan oleh Dexmo dan Microsoft.
Hampir semua perusahaan VR harus berurusan dengan interaksi tangan pengguna dengan dunia VR. Apa saja masalah interaksi tangan saat ini? Bagaimana cara membuat interaksi kita dengan dunia VR lebih nyata dan alami?
Di kelas terbuka ini, kami mengundang Zhang Menghan, seorang ahli teknis di bidang VR, untuk menafsirkan masalah ini untuk semua orang.
Pengenalan tamu
Zhang Menghan, pria, ahli teknis dan insinyur senior di bidang VR. Sejak 2012, ia terlibat dalam penelitian dan pengembangan teknologi di bidang VR / AR, dan saat ini berfokus pada eksplorasi dan penelitian teknis di bidang interaksi VR / AR.
Konten berikut diatur dari kelas terbuka.
Metode interaksi VR arus utama
Sebelum menjawab pertanyaan ini, saya ingin menjelaskan arti interaksi dalam ARVR.
Bentuk produk dari produk VR saat ini secara bertahap menyatu, dan hanya ada sedikit perusahaan di dunia yang dapat menyediakan layar, optik, chip, dan komponen serta bahan utama lainnya yang memenuhi syarat. Setelah pengenalan produsen utama, ada lebih banyak desain referensi. Helm VR Masa depan adalah pekerjaan pajangan manufaktur, dan semakin sedikit titik diferensiasi.
Microsoft Kinect
Saat ini, semua orang bekerja keras dalam interaksi VR. Dalam jangka pendek, ini adalah permintaan yang berbeda dari produk itu sendiri. Ini tidak hanya terkait dengan pengalaman pengguna, tetapi juga ekologi konten itu sendiri. Mengambil Microsoft Kinect sebagai contoh, game yang dikembangkan berdasarkan desain interaksi somatosensori telah menjadi game eksklusif platform de facto, dan telah menjadi alasan utama bagi banyak orang untuk membeli Xbox.
Dalam jangka panjang, perangkat VR dan AR saling terkait di bidang interaksi, dan Tahap saat ini hanyalah periode perintis: antarmuka operasi bergeser dari bidang dua dimensi ke ruang tiga dimensi, tetapi belum membentuk paradigma interaktif yang diakui secara universal mirip dengan antarmuka mouse dan keyboard di era PC. Peluang seperti itu harus dikatakan untuk semua orang. Kesempatan langka bagi para profesional dalam interaksi komputer seumur hidup.
Dengan latar belakang ini, saya cenderung memperluas cakupan interaksi VRAR:
Salah satunya adalah tindakan interaktif yang diprakarsai oleh orang-orang yang umumnya menjadi perhatian semua orang , Seperti interaksi tangan, interaksi somatosensori, dll., Jenis interaksi ini sering mengirimkan pesan perintah deterministik, memerlukan pencapaian tujuan tertentu yang akurat, dan akan menghabiskan energi dan kekuatan fisik paling banyak.
Ada juga tindakan interaktif yang dimulai oleh mesin. , Seperti pelacakan mata, elektroensefalografi, pelacakan posisi kepala, pengenalan ekspresi wajah, dll., Jenis interaksi ini adalah mesin untuk memahami keadaan pengguna untuk berinteraksi, seringkali pengguna tidak perlu melibatkan terlalu banyak energi.
Kategori lain yang tidak dapat diabaikan adalah persepsi dan interaksi mesin terhadap lingkungan , Seperti rekonstruksi tiga dimensi, persepsi pemandangan, segmentasi dan pengenalan objek, dll. Dalam banyak kasus, terutama dalam AR, interaksi antara manusia dan mesin dapat berjalan mulus hanya jika lingkungan eksternal dapat dirasakan dengan baik.
Ini adalah kategori interaksi yang saya pahami. Topinya memang agak besar dan menutupi terlalu banyak hal, namun saat ini kami masih fokus pada satu poin kunci, yaitu interaksi tangan.
Pentingnya interaksi tangan VR
Betapa pentingnya tangan bagi Anda, interaksi tangan sama pentingnya.
Selain mulut, tangan harus menjadi organ keluaran informasi yang paling sering digunakan oleh manusia.Sebagian besar antarmuka interaktif tradisional juga dirancang di sekitar tangan manusia, dengan kepastian tinggi dan kompatibilitas yang baik.
Ada begitu banyak paradigma interaktif di era PC, dan akhirnya mouse dan keyboard semuanya terkait dengan tangan.
Tentu saja, kita tidak bisa hanya mengatakan bahwa interaksi tangan saja adalah masa depan VRAR. Melakukan interaksi yang baik selalu merupakan proses manajemen yang komprehensif.
Dan dengan perkembangan AI, interaksi yang diprakarsai oleh mesin secara bertahap dapat mewujudkan keputusan instruksi deterministik, sehingga pentingnya interaksi tangan mungkin menjadi lebih lemah.
Gambar "halo" permainan, di mana sersan dapat langsung berinteraksi dengan AI yang dipasang di chip otak, yang merupakan situasi yang lebih ideal
Tetapi untuk waktu yang lama dari sekarang, interaksi tangan masih merupakan cara paling dewasa untuk mengendalikan interaksi manusia-komputer, dan pengalamannya masih jauh dari sempurna, ada baiknya berinvestasi dalam kesempurnaan.
Jenis metode masukan tangan VR
Menurut perbedaan saya, ada dua jenis tangan kosong dan tangan tidak telanjang, yang dapat dibagi lagi menurut bentuk produk dan prinsip teknis yang berbeda.
Interaksi tangan kosong Google Project Soil
Tangan telanjang merupakan interaksi tangan yang tidak membutuhkan media apapun Misalnya Leap Motion berbasis computer vision, Google Soli berbasis radar gelombang milimeter, dan ada beberapa solusi berbasis ultrasound dan infra merah. Secara umum perkembangan pengolahan citra visual paling matang dan efeknya saat ini paling baik.
Oculus Touch
Tangan yang tidak telanjang merupakan interaksi tangan yang membutuhkan media tertentu , Yang umum adalah pegangan 3DoF atau 6DoF seperti Daydream Controller dan Oculus Touch, dan lebih banyak lagi berbagai sarung tangan data, berdasarkan penglihatan, inersia, sensor lentur, dll., Secara umum, pegangan masih yang paling dapat diterima , Namun tren saat ini adalah bahwa gagang dan sarung tangan secara bertahap akan bergabung menjadi satu, membentuk bentuk baru media interaksi manusia-komputer.
Setelan penangkapan gerak seluruh tubuh Noiton
Dalam VR, kedua tangan kosong dan tangan yang tidak telanjang sebenarnya banyak digunakan, dan secara relatif, tangan yang tidak telanjang memiliki keuntungan tertentu: Dalam VR, orang terutama berinteraksi dengan objek virtual dan lingkungan, dan realisme interaksi dapat ditingkatkan melalui media tertentu.
Dalam AR, karena orang tidak hanya berinteraksi dengan objek virtual tetapi juga melihat pemandangan dan objek nyata, ada lebih banyak kasus tangan kosong di AR.
Keuntungan dan kerugian dari metode input tangan yang berbeda
Ada banyak dimensi untuk mengevaluasi kelebihan dan kekurangan teknologi tertentu. Dari perspektif produk, biaya dan konsumsi daya dapat mematikan sebagian besar solusi interaktif. Tentu saja, kami masih berharap untuk menganalisisnya dari perspektif pengalaman.
Pro dan kontra dari tangan kosong
Menurut metode klasifikasi saya, mari kita bicara tentang pro dan kontra dari tangan kosong:
Nyaman, Anda tidak perlu memakai sarung tangan setiap hari, atau memakai helm untuk mencari pegangan;
Jika tidak untuk membeli modul yang berdiri sendiri (menggunakan kamera di telepon) atau membayar biaya otorisasi yang tinggi, maka akan lebih murah dengan tangan kosong;
Mengenai apa yang banyak orang katakan bahwa interaksi dengan tangan kosong lebih natural dan lebih sesuai dengan kebiasaan orang, saya tidak setuju dengan VR, tapi kebanyakan hal benar di AR atau MR.
Kekurangannya adalah keakuratannya tidak sesuai standar, dan banyak elemen yang kurang saat digunakan di lingkungan VR. Nanti akan saya uraikan.
Pro dan kontra dari tangan yang tidak telanjang
Akurasinya bagus, Anda cukup mengeklik sekali, atau dua kali, Anda tidak perlu khawatir tentang kesalahan pengetikan hampir sepanjang waktu;
Mengandalkan media untuk memberikan umpan balik, ini sangat penting dalam VR;
Kekurangan: Tidak nyaman, harus dipikirkan untuk dibawa kemanapun Anda pergi; ada biaya belajar, tentunya juga tergantung dari kualitas desain UX; di lingkungan AR dan MR, akan menghambat interaksi antara manusia dan kenyataan yang paling mematikan.
Secara umum kelebihan dan kekurangan tangan kosong dan tangan tidak telanjang saling melengkapi, oleh karena itu di lingkungan VR, kedua jenis interaksi tangan ini akan ada secara bersamaan. Dalam jangka panjang, era AR / MR lambat laun akan menjadi arus utama tangan kosong. Atau kita dapat menemukan rencana integrasi, menurut saya pribadi ini adalah arah yang layak untuk upaya semua orang.
Mengapa interaksi dengan tangan kosong belum menjadi arus utama?
Terlepas dari biaya dan konsumsi daya (sebenarnya keduanya yang paling mematikan), dari segi pengalaman, Anda juga bisa mengetahui inti masalahnya dengan menilai kelebihan dan kekurangan yang saya katakan di atas.
Leap Motion diterapkan ke PC
Solusi pelacakan tangan seperti Leap Motion muncul di akhir era PC. Tujuannya adalah untuk menggantikan mouse dan keyboard. Akibatnya, semua orang telah melihatnya, karena mouse dan keyboard di bawah PC sebenarnya merupakan paradigma yang diakui, dan semua orang tidak memilikinya selama penggunaan. Saya merasa ada terlalu banyak ketidaknyamanan, bahkan jika tidak nyaman, saya sudah terbiasa. Hal ini menyebabkan kebanyakan orang tidak menerima permintaan untuk cara baru interaksi PC, dan mereka yang membuat produk tahu apa artinya tidak ada permintaan.
Leap Motion untuk interaksi VR
Setelah munculnya VR, interaksi dengan tangan kosong akhirnya membuka peluang, karena mouse dan keyboard tidak mudah digunakan dalam VR. Sekarang akhirnya ada permintaan untuk interaksi dengan tangan kosong? Padahal, masih terlalu dini untuk berbahagia, karena saat ini ada handel non-naked dan touchpad yang bersaing dengan tangan kosong (lihat EPSON BT200).
EPSON BT200
Versi sentuh headset Huawei VR
Dibandingkan dengan perangkat interaktif ini, keuntungan interaksi tangan kosong tidak jelas: Interaksi tangan kosong di bawah premis input yang benar, masalah lama konfirmasi rendah sebenarnya belum terpecahkan.Bahkan dengan tingkat konfirmasi 95%, saat bermain game, ada 20 tembakan dan satu macet, dan pegangan dimasukkan dengan benar. Tingkat konfirmasi tidak diragukan lagi mendekati 100%.
Ini saja membuat tangan kosong tak mampu menggantikan perangkat interaktif seperti gagang yang dibawanya Pertanyaan lain yang lebih kritis: Di mana skenario yang diperlukan dan cukup untuk interaksi dengan tangan kosong? Ini juga pertanyaan yang telah saya diskusikan dengan banyak teman yang melakukan interaksi isyarat.
Sebuah teknologi yang tidak cukup matang dan tidak murah harus memiliki prasyarat jika ingin diterima secara luas. Kita harus menemukan scene yang cukup dan perlu untuk itu. Dalam scene ini tidak tergantikan, kecuali tangan kosong. Interaksi lain bisa lebih baik, dan jika adegan ini adalah adegan yang kaku, bahkan adegan yang tidak dewasa pun bisa ditoleransi.
Namun, adegan interaksi tangan kosong di bawah VR belum ditemukan. Banyak pabrikan domestik menggunakan interaksi tangan kosong untuk mengoperasikan bilah kemajuan, menjeda pemutaran, dll., Operasi semacam itu dapat diselesaikan lebih mudah dengan menggunakan pegangan atau panel sentuh pada helm; dan Juga bermasalah untuk mendeskripsikan interaksi tangan kosong dalam skenario seperti rumah di dalam kendaraan. Suara mungkin lebih menguntungkan dalam skenario ini (terutama saat mengemudi, di mana tangan tidak dapat meninggalkan setir).
Jadi dari era ponsel hingga VR, saya pikir interaksi dengan tangan kosong sangat menyakitkan, karena tidak ada permintaan yang benar-benar kaku, pengguna dan pengembang sering kali tertarik dengan kesejukan Leap Motion, tetapi antusiasme yang impulsif ini akan muncul. Saya dengan cepat dilenyapkan oleh banyak masalah tangan kosong, jadi saya pribadi berpikir bahwa hal yang paling mendesak adalah menemukan pemandangan yang cukup dan perlu untuk keberadaan tangan kosong sehingga semua orang dapat bertahan hidup.
Dari VR hingga AR / MR, perlunya interaksi dengan tangan kosong akan menjadi semakin penting. (Tentu saja, desain interaksi juga harus ditekankan. Gestur Hololens terlalu blak-blakan dan jelas-jelas dipaksakan). Menurut saya pribadi Adegan yang cukup dan perlu semacam ini akan muncul dalam periode waktu ini, dan ini masih sedikit lebih awal.
Mengapa banyak tangan di VR terlihat palsu?
Pertama-tama, salah tidak berarti buruk, tetapi ketika seseorang menganggap ada sesuatu yang salah, maka itu tidak berarti ada sesuatu yang salah.
Pertama-tama, dalam interaksi tangan VR, pegangannya lebih realistis dalam skenario tertentu. Banyak karakter game desain orang pertama sendiri yang selalu memegang senjata. Dalam skenario ini, memegang pegangan akan lebih realistis daripada tangan kosong. Saat ini, Ada juga beberapa solusi yang mengandalkan gaya geser untuk mensimulasikan ayunan dan rekoil pengambilan gambar. Banyak hal yang dapat dilakukan melalui media pegangan, yang akan memudahkan peningkatan pengalaman.
Dan jika kita ingin beroperasi dengan tangan kosong di lingkungan interaktif VR, maka kita akan menghadapi lebih banyak situasi yang tampak palsu. Hal pertama yang perlu ditekankan adalah bahwa yang dibutuhkan VR bukanlah pengenalan gerakan (Gesture Recognition), tetapi pelacakan tangan (Hand Tracking). Pengenalan gerakan dan pelacakan tangan diperkirakan menjadi dua hal yang berbeda. Satu-satunya adegan yang kami gunakan dalam kehidupan sehari-hari adalah bahasa isyarat, sehingga Anda dapat menggunakan gerakan untuk beroperasi di lingkungan VR. Tidak nyaman, ini juga kesalahpahaman yang paling umum.
Meskipun Pelacakan Tangan lebih sejalan dengan kebiasaan interaksi sehari-hari orang, saya dapat melihat seluruh model tangan dan melacaknya secara real time (baik dengan Tulang atau hanya Tip dan Telapak Tangan), masih banyak situasi yang tampak salah: tidak mudah untuk memperkirakan Tangan gemetar, tumpang tindih mudah hilang, jika dilakukan berdasarkan penglihatan akan hilang jika melebihi jangkauan visual, dll.
Ini hanyalah palsu tangan, semua objek dan pemandangan di lingkungan VR Anda adalah palsu, yang akan menyebabkan fenomena "tangan hantu" yang terkenal. Tangan Anda ingin menggenggam objek virtual, menyentuh dinding atau meja virtual, Anda akan mendapati bahwa Anda tidak dapat menggenggam, menyentuh, dan umpan balik visual tidak mudah, sehingga Anda harus mendesain tangan Anda untuk melewati objek apa pun. Anda adalah eksistensi hantu dalam adegan seperti itu, tentu saja palsu dan palsu.
Desain tangan di Simulator Pekerjaan
Jadi Anda dapat melihat bahwa penyebab sebenarnya dari "salah" relatif komprehensif. Sulit untuk menyelesaikannya sepenuhnya dalam jangka pendek. Umpan balik visual yang baik termasuk desain UI sebenarnya adalah fokus solusi saat ini seperti Leap Motion. Ini juga memiliki banyak hasil. Meskipun menurut pengguna itu palsu, mereka tidak merasa lebih tidak nyaman, dan terkadang jika Anda benar-benar tidak dapat melakukannya sepenuhnya, itu baik untuk menjadi palsu. Simulasi apa pun adalah masalah dengan lembah luar biasa.
Gambar Leap Motion, Anda dapat melihat bahwa tidak hanya ada tangan, tetapi juga jejak lengan bawah
Selain itu, perlu ditekankan bahwa selain keaslian part Hand, banyak developer yang justru mengabaikan pentingnya part Arm. Jika hanya menampilkan sepasang tangan di udara, itu akan sangat palsu. Leap Motion mempertimbangkan hal ini dan juga akan Arm Memasukkan itu sebenarnya tidak hanya kuat untuk algoritme, tetapi juga sangat membantu untuk meningkatkan pengalaman interaksi.
Untuk "tangan virtual", kenyamanan lebih penting daripada kenyataan
Saya hanya mengatakan bahwa menggunakan pegangan dalam interaksi tangan VR akan lebih realistis, karena ada umpan balik waktu nyata di tangan. Dan perilaku tangan pengguna virtual yang Anda (host) katakan harus mengacu pada Oculus Touch, karena tidak ada pegangan lain yang memiliki kemampuan untuk mensimulasikan tangan yang sebenarnya. Banyak dari kita pernah mengalami Oculus Touch, dan kita semua tahu prinsip yang sama, hal ini bergantung pada beberapa titik sensor proximity light, yang memang dapat mensimulasikan beberapa perubahan halus di tangan, dan desainnya sangat pintar.
Tapi yang Anda katakan itu wajar, menurut saya tidak ada di VR. Ini sebenarnya sesuatu yang selalu ingin saya tekankan. Alam belum tentu sesuatu yang harus dikejar di scene VR, karena objeknya virtual, dan tangan kalian diestimasi dengan simulasi. Hal ini tidak wajar.Kita lebih mengejar kelancaran, kecepatan, dan konsumsi energi yang minimal. Diperlukan waktu dan upaya untuk menyelesaikan interaksi, dan terkadang hal ini bertentangan dengan alam.
Misalnya, banyak desain interaksi yang sengaja dibuat agar benar-benar konsisten dengan pemandangan sebenarnya, seperti mengambil beberapa bagian halus dan mengeluarkan laci dari jarak jauh. Kelihatannya cukup keren, tetapi tidak akan ada yang tahan setelah waktu yang lama, seperti Saat melakukan pantomim, kita harus beroperasi seolah-olah tidak ada apa-apa, dan inkoordinasi semacam ini akan memperburuk rasa lelah dan ketidaknyamanan orang.
Jadi dalam banyak kasus, karena kita tidak memiliki cara untuk membuat interaksi menjadi nyata dalam VR, kita mungkin juga berpikir lebih banyak tentang bagaimana membuat interaksi lebih nyaman, seperti membuat kontrol interaktif lebih besar dan memperkenalkan raycast untuk mengoperasikan objek jarak jauh, yang tidak nyata. Namun sederhana, efektif, hemat waktu dan tenaga kerja, tetapi lebih diminati oleh konsumen.
Jika ini mengejar realitas dengan segala cara, kecuali jika itu adalah skenario simulasi dari beberapa industri vertikal, yang tidak sensitif terhadap biaya, itu benar-benar cara berpikir yang lain, dan saya tidak berpikir VR perlu melangkah sejauh itu.
Bagaimana cara membuat interaksi dengan tangan kosong lebih populer?
Masalah interaksi tangan kosong berbasis visual dapat diringkas sebagai berikut: tingkat konfirmasi di bawah input yang benar buruk, ketahanannya juga buruk, kurangnya umpan balik, rentang interaksi relatif sempit (di luar garis pandang akan hilang), dan mudah lelah (lebih seperti Efek samping dari interaksi nyata, efek lembah luar biasa). Masing-masing masalah ini mengerikan dan membutuhkan manajemen dan penyelesaian yang komprehensif.
Beberapa peningkatan pertama lebih sulit daripada algoritme. Semakin akurat perkiraan model Anda dan semakin baik performa waktu nyata, Anda akan mendapatkan keuntungan. Namun, meskipun Anda melakukannya dengan sempurna, masalah umpan balik dan masalah kelelahan interaksi berikutnya tidak dapat diselesaikan. Jadi kedua bagian itu harus dilakukan pada waktu yang bersamaan.
Beberapa desain menggunakan tangan manusia sebagai antarmuka operasi, dan menggunakan tangan lain untuk mengklik menu virtual untuk menyelesaikan interaksi. Meskipun akan menemui masalah seperti kehilangan pelacakan yang tumpang tindih, tetap merupakan ide yang baik untuk memberikan umpan balik.
Masalah jarak interaksi yang sempit lebih serius pada scene Inside-Out. Alasan utama Leap Motion menggunakan Dual Fisheye Camera adalah untuk memperluas jangkauan interaksi sebanyak mungkin. FoV dan resolusi dari structured light dan ToF Kontradiksi adalah sebuah kekurangan, yang membutuhkan spesifikasi perangkat itu sendiri untuk ditingkatkan.
Adapun cara mendesain agar pengguna dan pengembang lebih populer, Saya masih menekankan beberapa poin: lupakan yang disebut alam dan tekankan kehalusan, kecepatan, waktu dan tenaga. Yang terpenting adalah menemukan adegan terbaik dan paling nyaman dan perlu yang hanya dapat dilakukan dengan interaksi tangan kosong. Adegan ini harus menjadi cawan suci semua pengembang interaksi dengan tangan kosong, dan semua orang dapat hidup jika menemukannya. Baik.
Masalah dan keterbatasan sarung tangan umpan balik gaya
Mengenai pentingnya umpan balik, saya sebutkan sebelumnya bahwa untuk mengatasi masalah tangan hantu, menambahkan mekanisme umpan balik sangat penting. Tetapi terlepas dari biaya dan biayanya, sarung tangan umpan balik kekuatan masih memiliki banyak masalah.
Pertama-tama, satu hal yang tidak diselesaikan dengan baik oleh semua sarung tangan data adalah kenyamanan dan kemudahan pemakaian, yang merupakan faktor terbesar yang membatasi masuknya sarung tangan ke pasar tingkat konsumen. Banyak sarung tangan data menggunakan beberapa fusi IMU untuk melacak dan menangkap posisi tangan, tetapi agar akurat, setiap sensor harus ditempatkan secara akurat pada kondilus, dan kalibrasi awal tidak dapat dihindari, yang tidak dapat diterima untuk produk tingkat konsumen.
Selain itu, ada banyak masalah dengan cara menambahkan umpan balik. Umpan balik dibagi menjadi umpan balik gaya / umpan balik getaran / umpan balik taktil untuk membentuk pengalaman HAPICS yang lebih baik.Namun, sulit untuk memberikan redaman yang cukup dengan struktur mekanis kecil di bidang umpan balik gaya. Selain itu, struktur mekaniknya sendiri memiliki resiko terjadinya ngebut yang dapat dengan mudah menyebabkan kerusakan otot manusia.
Mekanisme umpan balik lain juga memiliki banyak kekurangan, seperti umpan balik taktil non-invasif, yang dengan sendirinya sangat dipengaruhi oleh lingkungan, dan efek umpan balik akan terpengaruh segera setelah tangan berkeringat, dan larutan pencelupan implantasi elektroda jelas tidak Diterima oleh konsumen.
Ada banyak topik dalam aspek feedback, untuk data gloves, apa yang dilakukan semua orang masih tergolong awal, dan hanya ada scene industri yang membutuhkan ketelitian tinggi. Akan ada kebutuhan yang jelas dalam scene medis dan desain, yang jauh dari level konsumen. Pasarnya jauh. Kami juga telah melihat banyak perusahaan yang mencoba menyederhanakan sistem dan mencoba memasuki bidang konsumen dengan harga yang relatif rendah, tetapi saya masih berharap mereka dapat menyelesaikan masalah kemudahan pemakaian dan penggunaan, dan yang lainnya adalah mencari cara untuk menggunakannya.
Masa depan interaksi tangan
Secara terpisah, interaksi tanpa tangan dari sarung tangan pegangan akan terus ada untuk waktu yang lama, dan semua orang melakukan perbaikan terkait hal ini. Dari Oculus Touch hingga pengontrol Vive generasi berikutnya, kita semua bisa tahu Melihat tren ini, lebih banyak fungsi telah ditambahkan, lebih cocok untuk bentuk tangan, pelacakan 6DoF, getaran dan umpan balik gaya, dll dapat dilakukan.Ini semua keuntungan dari interaksi tangan berdasarkan medianya.Tidak diragukan lagi kita harus mencari cara untuk melanjutkan. .
Interaksi tangan kosong mungkin masih sulit dalam jangka pendek. Untungnya, semua orang melihat dengan jelas perlunya interaksi tanpa tangan di era AR / MR, sehingga akan terus berkembang, selain itu juga untuk meningkatkan stabilitas algoritme itu sendiri. Beberapa desain UX yang dapat meningkatkan pengalaman juga dapat meningkatkan pengalaman, mendukung semua orang untuk bertahan dari kebangkitan AR. Selain itu, saya masih perlu menekankan bahwa menemukan cawan suci: adegan interaksi tangan kosong yang diperlukan adalah hal yang paling penting, saya rasa mudah untuk membicarakan hal lain.
Tautan QA
1. Bagaimana cara mengevaluasi interaksi gerakan HoloLens? Apakah interaksi gerakan dari program ini dapat digunakan sebagai produk untuk penggunaan sehari-hari?
Zhang Menghan: Pertama-tama, harus ada banyak teman yang pernah mengalami Hololens, dan semua orang percaya bahwa mereka memiliki perasaan tentang hal itu.
Ini adalah semacam "pengenalan isyarat", bukan semacam "pelacakan tangan". Tidak ada umpan balik visual untuk Anda. Bahkan sulit bagi Anda untuk menilai apakah keadaan saya saat ini berada dalam jangkauan interaksi yang efektif.
Dalam hal ini, efisiensi interaksi secara alami sangat berkurang, dan ada juga masalah. Karena sistem saya secara keseluruhan menggunakan penglihatan kepala untuk memilih target interaksi, apakah saya akan menggunakan touchpad sederhana untuk menyentuhnya daripada itu? Jepitan dua jari yang tidak dapat diandalkan lebih nyaman untuk konfirmasi.
Setidaknya untuk saat ini, saya pribadi berpikir bahwa fokus utama Hololens bukanlah pada gerak tubuh, hanya cara interaksi. Saya bahkan berpikir bahwa metode interaktif ini mungkin baru terwujud setelah perangkat keras selesai, jadi saya membuat isyarat dengan sistem visual. Bahkan, saya pikir mungkin lebih baik menambahkan touchpad di samping.
Terlepas dari desain Hololens itu sendiri, menurut saya interaksi dengan tangan kosong mutlak diperlukan pada perangkat AR. Tetapi harus ada kerjasama desain interaksi yang sesuai. Misalnya, di bawah AR, banyak kali objek interaktif target saya diposisikan pada objek nyata, dan bahkan gerakan objek virtual akan berinteraksi dengan objek nyata.Pada saat ini, interaksi dengan tangan kosong jelas merupakan pilihan terbaik.
Kembali ke Hololens, dari antarmuka interaktifnya, saya benar-benar tidak melihat perlunya menggunakan gerakan, yang berarti mereka tidak menemukan Cawan Suci yang saya sebutkan.
2. Terkait interaksi gerakan 3D, apakah ada masalah teknis atau masalah desain lainnya? Apa arah yang lebih baik untuk menyelesaikan interaksi 3D secara teknis? Seberapa jauh dari kedewasaan?
Zhang Menghan: Ada banyak masalah teknis dan desain, dan masalah terbesar adalah pemandangan yang diperlukan dan memadai belum ditemukan. Saya telah menekankan hal ini berkali-kali.
Secara teknis, saya merasa bahwa sekadar meningkatkan akurasi dan presisi tidak dapat sepenuhnya menyelesaikan masalah aplikasi pelacakan tangan dalam. Tentu saja, penyedia solusi interaksi tangan kosong akan terus meningkatkan indikator objektif, tetapi secara bertahap kami akan menemukan bahwa banyak indikator objektif telah ditingkatkan. Sulit untuk menunjukkannya dalam pengalaman.
Terutama dalam skenario Inside-out, betapapun tingginya tingkat akurasinya, masalah kelelahan dan jarak interaksi yang sempit tidak dapat diselesaikan.Memecahkan dua yang terakhir ini bukan hanya masalah teknis, tetapi masalah desain, jadi saya katakan sebelumnya, kita perlu mengintegrasikan Tata Kelola.
Sebelum menemukan adegan yang diperlukan untuk interaksi gerakan, saya ingin mempertahankan pengguna dan membiarkan pengguna ingin menggunakan gerakan yang dalam. Menurut saya kuncinya adalah menggunakan umpan balik yang komprehensif seperti akustik visual untuk memberikan informasi konfirmasi yang jelas kepada pengguna sebanyak mungkin, sehingga pengguna dapat menggunakannya sebanyak mungkin. Pegangan tahu saat dipilih.
Hanya ketika konfirmasi semacam ini mendekati level pegangan, kenyamanan gerakan tangan telanjang dapat sepenuhnya ditunjukkan. Jika tidak mahal, mungkin saya ingin menggunakannya. Adapun hal lainnya, saya pikir saya akan menunggu sampai tujuan kecil ini tercapai.
Atau kita bisa memperbaiki Holy Grail secara langsung dan menemukan skenario bisnis yang hanya bisa dilakukan dengan tangan kosong Kemudian, tidak peduli berapa banyak masalah yang ada, saya bersedia menggunakannya dan menunggu Anda untuk berkembang. Biarkan pengguna tidak punya pilihan, Anda bisa menjadi tak terkalahkan.
3. Pengenalan gerakan atau pelacakan gerakan, terutama berdasarkan pada penglihatan mesin, atau beberapa fusi sensor, saat ini lebih banyak digunakan, dan teknologi apa yang lebih canggih?
Zhang Menghan: Masalah kekokohan sebenarnya terkait dengan desain, kemungkinan kesalahan dalam mengoperasikan perangkat kecil dan tombol besar dengan akurasi yang sama pasti berbeda. Berbasis fusi multi sensor dapat memecahkan masalah interaksi di bawah trans-horizon, juga dapat dilacak di dalam saku, merupakan masalah yang tidak dapat dipecahkan oleh hand tracking berbasis vision.
Namun, dalam kasus ini, juga akan ada masalah seperti akumulasi drift jangka panjang dari giroskop dan perlu diinisialisasi. Dari sudut pandang ini, solusi vision yang selalu dapat memeriksa dan mengkalibrasi memiliki keunggulan lain. Baru-baru ini, ada banyak solusi yang menekankan ketahanannya, misalnya banyak radar gelombang milimeter berbasis 60GHz lebih tahan terhadap interferensi daripada solusi visual, terutama di lingkungan luar ruangan.
Sekalipun didasarkan pada prinsip penglihatan, skema perangkat yang berbeda juga berdampak, Kamera Ganda RGB akan memiliki kemampuan interferensi anti-infra merah yang lebih kuat daripada cahaya terstruktur di luar ruangan, tetapi kebalikannya dibalik dalam lingkungan cahaya gelap.
Solusi tanpa kerugian belum muncul. Saat ini, Dual Camera lebih banyak digunakan karena FoV dapat dibuat lebih besar, dan ukuran jangkauan interaksi lebih penting daripada ketahanan.
- Dia dan Huang Xuan diklasifikasikan sebagai idol pada usia yang sama. Dan Bai Baihe membintangi drama baru untuk membuktikan kemampuan aktingnya?
- Film baru Donnie Yen berubah menjadi guru sekolah menengah untuk membantu putra kembar Tang Zhenye membuat film pertama
- Hari Pertama Apple yang sangat direkomendasikan juga sedang diskon! Aplikasi pemenang penghargaan ini harus dikumpulkan Xianmian Online