Sumber: RealAI
Artikel ini adalah tentang 3674 kata , Dianjurkan untuk membaca 9 menit
Artikel ini memperkenalkan inkubator Institut Penelitian AI Universitas Tsinghua, RealAI (Reliance Intelligence) secara resmi meluncurkan platform alat pertama untuk deteksi dan penguatan keamanan algoritme AI di lingkungan ekstrem dan konfrontatif-platform keamanan kecerdasan buatan RealSafe.
Dengan perkembangan teknologi kecerdasan buatan, kecerdasan buatan secara bertahap menggantikan atau mengkoordinasikan berbagai tenaga kerja manusia dalam berbagai skenario, dapat menjadi mata, telinga, lengan, bahkan otak manusia. Di antara mereka, visi mesin adalah teknologi dasar era AI, dan algoritme AI di belakangnya selalu menjadi hot spot yang dikejar oleh berbagai raksasa teknologi dan perusahaan rintisan. Namun, di balik skenario aplikasi mainstream tersebut, seringkali ada yang tersembunyi Risiko keamanan algoritme yang disebabkan oleh kerusakan teknis .
Misalnya, dalam skenario ekstrem yang tidak dapat dicakup oleh data pelatihan, mobil yang dapat mengemudi sendiri dapat membuat keputusan yang tidak terbayangkan, yang menyebabkan risiko keselamatan bagi penumpang. Sejak 2016, sistem mengemudi berbantuan dan otonom perusahaan seperti Tesla dan Uber telah mengalami kecelakaan serius yang menyebabkan kematian. Dan situasi ekstrem seperti itu juga dapat dibuat dengan jahat dan digunakan untuk meluncurkan "serangan sampel balik." Pada Juli tahun lalu, lembaga penelitian seperti Baidu menggunakan pencetakan 3D untuk memungkinkan pengemudi otonom "mengabaikan" rintangan, menyebabkan kendaraan jatuh. Risikonya juga mengancam keselamatan berkendara.
Alasan utama serangan yang berhasil adalah karena visi mesin dan visi manusia sangat berbeda. Oleh karena itu, dimungkinkan untuk menambahkan perubahan gangguan kecil ke informasi input seperti gambar dan objek (yaitu, "anti-sampel" yang sengaja disebutkan di atas), yang dapat menyebabkan kesalahan algoritme yang besar. Selain itu, dengan pengembangan lebih lanjut dari AI dan penerapan model algoritme untuk skenario inti yang lebih penting seperti pengambilan keputusan keuangan dan diagnosis medis, ancaman "kerentanan" AI tersebut akan menjadi lebih menonjol.
Dalam beberapa tahun terakhir, akademisi Zhang Bo, dekan Institute of Artificial Intelligence of Tsinghua University, dan Shen Xiangyang, mantan wakil presiden eksekutif Microsoft, semuanya menganjurkan pengembangan kecerdasan buatan yang aman, andal, dan kredibel serta kecerdasan buatan yang bertanggung jawab. Aplikasi keamanan Keduanya adalah petunjuk utama.
Namun, keamanan AI adalah bidang yang baru muncul. Meskipun metode serangan seperti sampel permusuhan menjadi semakin kompleks, dengan dukungan komunitas sumber terbuka dan toolkit, metode serangan tingkat lanjut telah berkembang pesat, tetapi pemasyarakatan dan promosi metode pertahanan terkait tidak dapat mengikuti. Dalam proses pengembangan dan penerapan algoritme AI, terdapat hambatan teknis yang tinggi untuk mendeteksi kerentanan algoritme seperti sampel adversarial. Saat ini, terdapat kekurangan alat deteksi otomatis di pasaran, dan sebagian besar perusahaan dan organisasi tidak memiliki keterampilan profesional di bidang ini untuk mengatasi peningkatan menyerang dengan sengaja.
1. Dari evaluasi keamanan hingga peningkatan pertahanan, RealSafe membuat AI lebih aman dan terkendali
Untuk mengatasi masalah di atas, baru-baru ini, Institut Penelitian AI Universitas Tsinghua menginkubasi perusahaan RealAI (Ruilai Wisdom) secara resmi meluncurkan platform alat pertama untuk deteksi dan penguatan keamanan algoritme AI di lingkungan yang ekstrim dan konfrontatif Platform keamanan kecerdasan buatan RealSafe.
Dipahami bahwa platform ini memiliki algoritma penanggulangan serangan dan defensif AI terdepan, dan memberikan solusi keseluruhan dari evaluasi keamanan hingga penguatan pertahanan. Saat ini, platform tersebut dapat digunakan untuk menemukan situasi ekstrem di mana algoritma AI umum, termasuk pencocokan wajah, mungkin salah, dan untuk mencegah potensi. Serangan konfrontatif.
RealAI mengatakan bahwa di era keamanan jaringan, penetrasi serangan jaringan dalam skala besar melahirkan software anti-virus, yang menemukan potensi ancaman virus komputer, dan menyediakan fungsi seperti optimasi sistem sekali klik, pembersihan sampah, dan perbaikan kerentanan. Tim R&D RealSafe berharap dapat menciptakan kecerdasan buatan melalui platform RealSafe. "Perangkat lunak anti-virus" dari era kecerdasan memberikan dukungan untuk pembangunan firewall sistem kecerdasan buatan, dan membantu perusahaan secara efektif menangani "virus baru" yang dihasilkan oleh celah algoritme di era kecerdasan buatan.
Platform RealSafe saat ini mendukung dua modul fungsional utama: evaluasi keamanan model dan solusi pertahanan.
diantara mereka, Evaluasi keamanan model Terutama memberi pengguna layanan evaluasi keamanan model AI. Pengguna hanya perlu mengakses antarmuka SDK atau API dari model evaluasi yang diperlukan, dan memilih kumpulan data yang dibangun di platform atau diunggah sendiri. Platform akan menghasilkan serangan simulasi sampel adversarial berdasarkan berbagai algoritme, dan mengintegrasikannya ke dalam algoritme, iterasi, dan gangguan yang berbeda. Efek model berubah di bawah serangan, dan skor keamanan model dan laporan evaluasi rinci diberikan (seperti yang ditunjukkan pada gambar di bawah). Saat ini, metode serangan kueri kotak hitam dan metode serangan migrasi kotak hitam didukung.
Solusi pertahanan Ini untuk menyediakan layanan peningkatan keamanan model kepada pengguna. Saat ini, platform RealSafe mendukung lima metode pertahanan umum untuk menghilangkan anti-noise, yang dapat mewujudkan pemrosesan denoising otomatis dari data input dan menghancurkan anti-noise yang ditambahkan oleh penyerang dengan jahat. Berdasarkan hasil evaluasi keamanan model di atas, pengguna dapat memilih sendiri rencana pertahanan yang sesuai untuk meningkatkan keamanan model dengan satu klik. Selain itu, dalam hal efek pertahanan, menurut pengukuran aktual, beberapa API perbandingan wajah pihak ketiga dapat ditingkatkan lebih dari 40% dengan menggunakan skema pertahanan platform RealSafe.
Dengan perluasan berkelanjutan dari metode serangan model, platform RealSafe terus menyediakan metode pertahanan AI yang ekstensif dan mendalam untuk membantu pengguna mendapatkan kemampuan deteksi dan perbaikan kerentanan secara real-time dan otomatis.
2. "Sampel konfrontasional" telah menjadi "virus AI", dan algoritme pengenalan wajah asing arus utama telah "diretas" satu per satu
Berdiri di depan terminal pengenalan wajah, verifikasi identitas diselesaikan melalui kamera pengenalan wajah. Otentikasi identitas pengenalan wajah serupa telah tercakup dalam adegan kehidupan seperti pembayaran wajah, pendaftaran check-in hotel, verifikasi identitas pemeriksaan, dan perbandingan identifikasi pribadi.
Mempertimbangkan bahwa publik mungkin agak kabur tentang konsep sampel permusuhan, platform RealSafe memilih adegan perbandingan wajah yang paling dikenal (perbandingan wajah banyak digunakan dalam adegan otentikasi identitas yang disebutkan di atas) untuk memberikan pengalaman online. Selain itu, untuk mempelajari secara mendalam dampak "sampel permusuhan" pada efek pengenalan perbandingan wajah, tim RealAI melakukan pengujian pada layanan demonstrasi platform AI arus utama asing berdasarkan fungsi ini.
Pilih sekelompok gambar wajah yang berbeda (seperti yang ditunjukkan pada gambar di bawah), dan gunakan platform RealSafe untuk membuat sampel konfrontasi pada salah satu gambar, tetapi tidak memengaruhi penilaian secara kasat mata. Setelah menambahkan "sampel konfrontasi", masukkan ke dalam platform perbandingan wajah pihak ketiga untuk melihat kesamaannya gelar.
Hasil akhir menunjukkan bahwa sebelum menambahkan "noise", kedua gambar tersebut dinilai oleh Azure dan AWS sebagai bukan milik orang yang sama, namun setelah menambahkan "noise", layanan demo dari kedua platform di atas memberikan hasil yang salah dan dianggap sebagai dua gambar Milik orang yang sama, bahkan layanan demo di platform Azure berubah sebanyak 70% sebelum dan sesudah menambahkan "kebisingan".
Untuk mengeksplorasi keuniversalan hasil, tim RealAI memilih tiga platform perbandingan wajah utama di China untuk pengujian. Hasil tersebut juga menunjukkan bahwa setelah menambahkan gangguan, gambar yang awalnya dinilai sebagai "wajah yang berbeda" secara keliru diidentifikasi sebagai "orang yang sama". "Wajah", kisaran variasi kemiripan sebelum dan sesudah bisa mencapai lebih dari 20%. Setelah melewati pemfilteran "de-noise" firewall RealSafe, pengenalan "kesalahan" dari platform perbandingan wajah ini telah dikoreksi ke berbagai tingkat, dan efek pengenalan terus ditingkatkan.
Tim RealAI telah melaporkan potensi risiko ini dan metode pertahanan terkait kepada perusahaan yang disebutkan di atas untuk membantu mengurangi risiko.
Pengujian sebenarnya membuktikan bahwa "sampel permusuhan" dapat sangat mengganggu hasil pengenalan sistem perbandingan wajah. Menurut laporan, banyak perusahaan kecil dan menengah di pasar saat ini memilih untuk menggunakan Internet yang telah diuji di atas ketika mereka menerapkan aplikasi pengenalan wajah. SDK perbandingan wajah terbuka atau antarmuka API perusahaan, jika teknologi perbandingan wajah mereka memiliki kerentanan keamanan yang jelas, itu berarti akan ada risiko keamanan dalam skenario aplikasi yang lebih luas.
Selain rasio wajah, serangan sampel permusuhan juga dapat muncul dalam skenario aplikasi untuk deteksi target. Dengan perluasan, hal ini dapat membahayakan deteksi risiko keamanan di bidang industri dan keamanan. Misalnya, sistem pemantauan menara transmisi jaringan listrik tertentu, karena persyaratan perlindungan keamanan yang tinggi dari menara transmisi, untuk mencegah derek, derek menara, dan kembang api merusak saluran transmisi, perlu dilakukan pemantauan waktu nyata semua cuaca di dalam dan di luar menara transmisi, dan sistem pemantauan waktu nyata ini didasarkan pada tujuan. Algoritma deteksi AI untuk memberikan perlindungan.
Tim peneliti RealAI menemukan bahwa selama RealSafe melakukan serangan sampel permusuhan tertentu pada algoritme pendeteksian target, hal itu akan menyebabkan sistem pemantauan gagal, menyebabkannya gagal mengidentifikasi situasi kembang api yang sangat jelas. Jika situasi serupa terjadi dalam kenyataan, hal itu dapat menyebabkan kesulitan. Estimasi kerugian.
Faktanya, risiko keamanan AI yang disebutkan di atas disebabkan oleh kelemahan teknis dalam algoritme AI yang mendasarinya dan seringkali relatif tersembunyi. Namun, jika memengaruhi seluruh tubuh, kerentanan risiko yang "tidak terduga" ini kemungkinan besar akan melemah. Solusi pertahanan yang diluncurkan secara bersamaan oleh platform RealSafe dapat secara efektif meningkatkan keamanan algoritme AI di berbagai bidang aplikasi.
3. "Zero coding" + "quantifiable", dua keuntungan untuk merespons ancaman algoritma secara efisien
Menurut laporan, platform deteksi keamanan model algoritme yang diluncurkan oleh RealAI kali ini memiliki dua keunggulan utama berikut selain membantu perusahaan secara efektif menangani ancaman algoritme:
- Evaluasi online terkomponen dan tanpa kode : Dibandingkan dengan alat open source seperti ART dan Foolbox yang perlu diterapkan dan dikodekan sendiri, platform RealSafe mengadopsi pengaturan fungsional terkomponen dan tanpa kode, yang menghilangkan upaya dan konsumsi waktu untuk membuat ulang roda. Pengguna hanya perlu menyediakan data yang sesuai. Menyelesaikan evaluasi online sangat mengurangi kesulitan teknis evaluasi algoritme, dan biaya pembelajaran rendah. Anda juga bisa memulai tanpa memiliki keahlian algoritme profesional. Misalnya, dalam pengujian di atas untuk platform pihak ketiga seperti Microsoft dan Amazon, seluruh proses diselesaikan sesuai dengan petunjuk langkah demi langkah, dan hasil evaluasi dapat dilihat hanya dalam beberapa menit.
- Hasil evaluasi visual dan terukur : Untuk membantu pengguna meningkatkan konsep keamanan model, platform RealSafe menggunakan formulir yang dapat dihitung untuk menampilkan hasil evaluasi keamanan, dan skor berdasarkan kinerja model terhadap serangan sampel. Semakin tinggi skor, semakin tinggi keamanan model. Selain itu, platform RealSafe menyediakan tampilan perubahan keamanan, dan perubahan skor keamanan dan efek model setelah pemrosesan defensif terlihat jelas sekilas.
4. Mendaratkan produk periferal keselamatan untuk mengawal lebih banyak skenario
Faktanya, sampel permusuhan pada awalnya merupakan fenomena menarik dari model pembelajaran mesin, tetapi setelah peningkatan dan evolusi berkelanjutan, "sampel permusuhan" telah berkembang menjadi metode serangan jenis baru, dan menyebar dari dunia digital ke dunia fisik: menempelkan stiker sampel permusuhan di jalan untuk meniru merger Strip tersebut menyesatkan mobil self-driving untuk berubah menjadi jalur retrograde, memasang stiker sampel konfrontasi di dada, dan mencapai stealth di bawah peralatan pemantauan ...
Oleh karena itu, selain meluncurkan platform evaluasi keamanan untuk model algoritme dunia digital, tim RealAI juga bekerja sama dengan AI Research Institute of Tsinghua University untuk mengimplementasikan serangkaian produk keamanan ofensif dan defensif AI berdasarkan hasil penelitian terkemuka dunia yang terakumulasi selama bertahun-tahun, yang bertujuan untuk memenuhi AI dalam lebih banyak skenario. Persyaratan keamanan.
Misalnya, dalam hal teknologi penyerangan, tim RealAI menggunakan teknologi "sampel konfrontasi" pertama di dunia untuk memecahkan ponsel komersial untuk membuka kunci wajah, sehingga ponsel dapat salah mengidentifikasi peretas yang mengenakan "kacamata khusus" sebagai pemiliknya.
Gambar: Satu-satunya kasus di dunia untuk memecahkan kunci wajah ponsel komersial melalui teknologi sampel konfrontasi AI
Dengan memasang pola khusus pada pakaian orang target, pemantauan AI tidak dapat mendeteksi orang tersebut, mencapai "siluman", dan dengan mengecat pola khusus pada kendaraan, menghindari deteksi AI pada kendaraan.
Gambar: Hindari deteksi kendaraan AI dengan menggunakan AI terhadap pola sampel
Saat menemukan jenis kerentanan baru di atas, RealAI juga memperkenalkan teknologi pertahanan yang sesuai untuk mendukung deteksi kerentanan keamanan dalam algoritme AI arus utama, dan menyediakan firewall keamanan AI untuk secara efektif mencegat serangan pada model AI.
Gelombang kecerdasan buatan akan datang, dan risiko keamanan yang akan datang akan semakin beragam. Terutama dalam beberapa tahun terakhir, risiko pelanggaran yang disebabkan oleh teknologi AI yang belum matang juga sering terjadi. Dapat dikatakan bahwa kerentanan algoritme secara bertahap menjadi kelanjutan dari keamanan jaringan. , Keamanan data adalah masalah keamanan utama lainnya.
Untungnya, tim AI teratas yang diwakili oleh RealAI ini telah memulai perjalanan mereka di bidang keamanan AI, dan telah mulai menggunakan produk standar untuk membantu industri mengurangi ambang batas dan biaya dalam merespons risiko keamanan. Peluncuran platform keamanan kecerdasan buatan RealSafe kali ini merupakan upaya kecil dari RealAI, namun untuk seluruh industri, ini akan menjadi langkah besar bagi industri kecerdasan buatan untuk bergerak menuju perkembangan yang sehat dan terkendali.
-Selesai-
Ikuti platform publik WeChat resmi dari Institut Ilmu Data Tsinghua-Qingdao " Pai Data AI "Dan nomor saudara perempuan" Data Pie THU "Dapatkan lebih banyak manfaat kuliah dan konten berkualitas.
- Robot kecil membantu mengambil! Taman Sains dan Teknologi Zhongguancun Dongsheng, "senjata pencegahan" ini membantu melanjutkan pekerjaan dan produksi
- Pipa pemanas tidak panas, pipa air bocor ... "tim parkour" komunitas memperbaiki lebih dari 1.000 kali dalam 60 hari
- Bagaimana Anda mengevaluasi "Properti Sains dan Inovasi" dari Dewan Inovasi Sains dan Teknologi? Panduan SFC ada di sini
- Chen Yixin: Perang pertahanan Wuhan telah memasuki tahap baru pertempuran dan kemenangan yang menentukan
- Kementerian Pertanian dan Pedesaan: Pasokan dan permintaan daging babi diharapkan secara umum stabil selama Festival Musim Semi
- Apakah bahasa latihan militer gabungan Sino-Pakistan tidak jelas? Masih menundukkan "teroris" dalam sepuluh menit