Laporan Xinzhiyuan
Sumber: HIN
Penulis: Ming, Wen Fei
Panduan Xin Zhiyuan Pusat Klinis NIH baru-baru ini merilis DeepLesion, kumpulan data terbuka gambar CT medis klinis beranotasi tingkat lesi terbesar yang beranotasi tingkat lesi, DeepLesion. Atas dasar ini, para peneliti telah melatih jaringan saraf dalam dan membuat deteksi lesi serba guna skala besar dengan kerangka terpadu Ini dapat mengukur ukuran semua lesi pada pasien dengan lebih akurat dan otomatis, dan mewujudkan penilaian awal kanker di seluruh tubuh.
-
4427 pasien anonim independen
-
10594 CT scan (rata-rata, setiap pasien memiliki 3 tindak lanjut)
-
32.735 contoh lesi yang ditandai
-
Total 928020 gambar penampang CT (resolusi 512 × 512)
Ini adalah kumpulan data citra CT skala besar terbaru DeepLesion yang dirilis oleh National Institutes of Health (NIH) Clinical Center. Kumpulan data citra medis klinis akses terbuka terbesar di dunia dengan berbagai kategori dan anotasi tingkat lesi .
"Kami berharap pekerjaan ini dapat lebih membantu ahli radiologi untuk mendiagnosis dan memecahkan masalah klinis yang benar-benar berarti." Dr. Lu Le, pemimpin teknis proyek DeepLesion, yang sekarang telah meninggalkan NIH dan menjabat sebagai dekan Institut Riset Timur Teknologi Ping An Dalam sebuah wawancara dengan Xinzhiyuan, dia berkata, Pekerjaan ini tidak terlepas dari kolaborator dokter kami Ronald M. Summers di NIH. Dia adalah seorang dokter yang memiliki pemahaman yang sangat mendalam tentang teknologi. Ini memberikan bantuan dan panduan besar untuk mendapatkan kumpulan data medis skala besar klinis ini. "
"Berdasarkan kumpulan data DeepLesion, kami mengembangkan file Detektor lesi universal, Untuk pertama kalinya, ini memberikan kemungkinan teknis untuk membantu ahli radiologi menemukan semua jenis lesi pada pasien . Penuntas utama proyek DeepLesion, kata Yan Ke, peneliti postdoctoral di NIH Clinical Center.
Saat ini, sebagian besar kumpulan data gambar medis yang tersedia untuk umum hanya berisi label klasifikasi tingkat gambar, sedangkan jumlah kumpulan data dengan anotasi tingkat lesi seringkali kurang dari 1.000, dan kebanyakan dari mereka untuk satu jenis lesi, sehingga model yang terlatih hanya dapat Deteksi lesi. Namun demikian, ada begitu banyak jenis lesi yang sebenarnya, metode ini agak tidak efisien.
Pada tahun 2017, tim peneliti pusat klinis NIH lainnya, juga dipimpin oleh Dr. Lu Le dan Ronald Summers, merilis kumpulan data gambar beranotasi yang berisi lebih dari 100.000 rontgen dada anonim, yang sangat mempromosikan AI medis terkait. Penelitian dan pengembangan memberikan bantuan pengambilan keputusan yang lebih baik kepada dokter dalam diagnosis klinis.
Kali ini, Lu Le, Ronald Summers, dan kolega mereka di NIH bergerak menuju tujuan yang lebih ambisius-untuk membangun sebuah Kumpulan data beranotasi yang berisi berbagai lesi , Dan desain a Model deep learning mampu mendeteksi berbagai lesi , Agar lebih akurat dan otomatis mengukur ukuran semua lesi di tubuh pasien, dan mencapai penilaian kanker seluruh tubuh.
Diagram alir deteksi lesi umum dibuat berdasarkan DeepLesion. sumber:
Dokter memberi label gambar CT secara manual, yang tidak sesuai untuk pelatihan AI
"Database medis klinis di Amerika Serikat telah mengumpulkan data anotasi dari ribuan pasien yang ditinggalkan oleh dokter dalam praktik klinis," kata Dr. Lu Le: "Namun, anotasi ini seringkali tidak lengkap, dan digunakan oleh dokter untuk membantu mereka. Pekerjaan yang sedang berjalan tidak cocok untuk melatih sistem AI. "
Untuk melatih sistem AI, tidak realistis meminta dokter untuk secara spesifik memberi label gambar medis dalam jumlah besar, karena hal ini membutuhkan banyak tenaga dan biaya waktu. Oleh karena itu, hal ini hanya dapat dilakukan dengan algoritma deep learning rancangan komputer.
dan Untuk merancang algoritma pembelajaran yang mendalam, kuncinya adalah data besar citra medis dengan label yang akurat . Tidak banyak data besar medis publik setelah penghapusan privasi, dan tidak seperti jenis anotasi data lainnya, anotasi citra medis memerlukan pengalaman klinis yang kaya. Bahkan dokter senior terkadang tidak setuju dengan anotasi tertentu.
Akibatnya, set data citra medis berlabel yang benar-benar dapat digunakan menjadi langka, meskipun ada akumulasi data citra medis dalam jumlah besar di berbagai rumah sakit dan klinik.
Untuk merancang algoritma pembelajaran yang mendalam untuk memecahkan masalah klinis, perlu memiliki pemahaman yang mendalam tentang teknologi dan praktik klinis, Dr. Lu Le berkata: AI bukan tentang melakukan radiologi lagi. Apa yang dibutuhkan secara klinis mendesak Apa yang dibutuhkan, kebutuhan apa yang dapat dipenuhi oleh teknologi saat ini? Saat menggabungkan radiologi, ilmu komputer, dan kecerdasan buatan, ada banyak hal yang membutuhkan pertimbangan mendalam dan penimbangan yang cermat, dan kekerasan tidak cukup. "
Untuk membangun kumpulan data DeepLesion, para peneliti menghabiskan lebih dari satu tahun di Konferensi Internasional Komputasi Citra Medis dan Intervensi Berbantuan Komputer (MICCAI), Konferensi Tahunan Radiologi Amerika Utara (RSNA) dan konferensi pencitraan medis dan radiologi internasional lainnya dan CVPR. Dia telah menerbitkan 12 makalah penelitian.
Mereka mengumpulkan hasil kerja mereka sebagai "DeepLesion: penambangan otomatis anotasi lesi skala besar dan deteksi lesi universal dengan pembelajaran mendalam", yang diterbitkan dalam "Journal of Medical Imaging".
Sekarang, siapa pun dapat mengakses dan menggunakan kumpulan data DeepLesion NIH (lihat tautan di bagian akhir artikel). Dokter dapat melakukan pengukuran lesi klinis otomatis dengan lebih baik atau mengambil kasus serupa, dan peneliti AI dapat lebih meningkatkan dan mempromosikan pengembangan diagnosis AI serta teknologi dan produk perawatan. Penelitian dan Pengembangan.
Selanjutnya, Pusat Klinik NIH berharap dapat terus meningkatkan DeepLesion dan meningkatkan akurasi pendeteksiannya dengan mengumpulkan lebih banyak data. Para peneliti juga mempertimbangkan perluasan lebih lanjut dari DeepLesion, yang sekarang hanya berisi gambar CT, seperti menggabungkan gambar MRI dan menggabungkannya dengan data dari rumah sakit lain untuk membangun perpustakaan gambar medis klinis yang lebih kaya.
DeepLesion: Data sumber terbuka citra medis klinis beranotasi tingkat lesi dan multi-kategori terbesar yang disetel hingga saat ini
Di Pusat Klinik NIH, setiap kali pasien menyelesaikan CT scan, gambar pemindaian yang sesuai akan dikirim ke ahli radiologi, dan kemudian dokter akan menafsirkan gambar tersebut.
Selanjutnya, ahli radiologi akan menggunakan alat yang mirip dengan penanda elektronik untuk mengukur dan menandai temuan yang signifikan secara klinis dalam CT scan. Mirip dengan penanda fisik biasa, ahli radiologi akan menyimpan lokasi penanda dan menandai temuan penting sehingga dapat ditinjau kembali nanti.
Isi dan bentuk penanda ini sangat kompleks, termasuk tanda panah, garis, panjang dan diameter pendek, serta deskripsi teks yang digunakan untuk menandai lokasi dan ukuran lesi secara tepat sehingga para ahli dapat mengidentifikasi perkembangan penyakit atau menemukan penyakit baru.
Di bidang computer vision, untuk mengumpulkan tag gambar, peneliti akan menggunakan crowdsourcing atau perayapan mesin pencari, tetapi ini tidak berlaku untuk gambar medis, karena anotasi gambar medis membutuhkan banyak pengetahuan medis dan pengalaman klinis.
Saat mengembangkan kumpulan data DeepLesion, para peneliti memutuskan untuk menggunakan "diameter RECIST" di database PACS klinis NIH (Kriteria Evaluasi Respon Pada Tumor Padat) Label diameter panjang dan pendek, label semacam ini digunakan oleh dokter untuk mengukur ukuran lesi. Lesi yang diukur umumnya dianggap lebih penting oleh dokter, dan dapat memberikan informasi yang paling akurat untuk memastikan keabsahan data. Selain itu, jenis anotasi ini juga merupakan jenis anotasi dengan proporsi tertinggi dari semua jenis anotasi di database NIH.
Garis biru melambangkan panjang dan panjang lesi yang ditandai oleh dokter dalam pekerjaan sehari-hari. Sumber:
Setelah memutuskan jenis anotasi yang akan digunakan, nama proyek DeepLesion dan Dr. Wang Tongsong dari NIH Clinical Center bernegosiasi dengan staf manajemen teknis NIH PACS untuk menentukan rencana pengunduhan. Kemudian tim membuat program untuk mengekstrak citra, atribut citra dan keterangan yang berisi diameter panjang dan pendek dari data aslinya, kemudian sesuai dengan nomor pasien, nomor CT scan (indeks studi), nomor seri (nomor seri) dan nomor irisan (nomor irisan) ) Dan seterusnya.
Dalam skenario yang sebenarnya, setiap pasien akan menjalani beberapa CT scan (titik waktu setiap pemindaian berbeda), dan setiap pemindaian akan menghasilkan beberapa urutan (peningkatan agen kontras setiap urutan, parameter rekonstruksi pemindaian, dll.) Berbeda, dan masing-masing Setiap urutan adalah gambar 3D yang terdiri dari puluhan hingga ratusan gambar penampang.
Pembersihan dan desensitisasi data adalah proyek besar. Karena bookmark elektronik yang diunduh mengandung kesalahan individu, peneliti merancang beberapa aturan untuk menghilangkan kesalahan tersebut, Perhitungan kebisingan dan informasi interval irisan, dll, juga dikoreksi secara manual.
Garis merah bersilangan mewakili label diameter panjang dan pendek yang ditandai harian dokter, kotak hijau mewakili kotak pembatas dihitung berdasarkan diameter panjang dan pendek, titik kuning mewakili pusat kotak pembatas, dua garis biru yang saling tegak lurus mewakili sumbu x dan sumbu y lesi, z Sumbu dihitung berdasarkan SSBR. sumber:
Untuk informasi pribadi yang mungkin terdapat dalam gambar, pertama-tama mereka menggunakan algoritme untuk mendeteksi teks dalam gambar, kemudian secara manual memeriksa apakah ada perhiasan khusus atau wajah yang terlihat jelas pada gambar, dan terakhir menghapus bagian yang relevan secara manual.
"Gambar CT memiliki rentang dinamis yang besar, jadi kami menggunakan format png kompresi lossless 16-bit untuk menyimpan semua gambar. Untuk penggunaan gambar ini, lihat file FAQ dari kumpulan data atau kode sumber makalah."
" Sebelum memulai proyek ini, saya tidak menyangka akan membangun database yang begitu rumit, " Yan Ke, penulis pertama makalah DeepLesion dan peneliti postdoctoral di NIH Clinical Center, mengatakan kepada Xin Zhiyuan: " Namun memikirkan manfaat yang bisa membawa peneliti lain, kami memiliki motivasi untuk terus maju. "
Buat model deteksi penyakit umum untuk mempromosikan ketepatan dan pengobatan yang dipersonalisasi
Kumpulan data DeepLesion yang diselesaikan berisi 32.735 contoh lesi berlabel, termasuk temuan pencitraan utama dari berbagai bagian tubuh, seperti nodul paru, tumor hati, dan limfadenopati.
Hasil visualisasi subset (15%) dari kumpulan data DeepLesion meliputi data pada berbagai bagian tubuh seperti tulang, hati, paru-paru, perut, dan jaringan lunak. Diagram sebar digambarkan sesuai dengan posisi relatif lesi di tubuh, yang dapat dianggap sebagai foto frontal tubuh manusia. sumber:
Selama percobaan, para peneliti menyadari bahwa meskipun kemunculan lesi yang berbeda sangat berbeda, algoritme pembelajaran dalam saat ini sepenuhnya mampu mendeteksi berbagai lesi pada saat yang sama, sehingga memberikan arah baru yang menjanjikan Buat detektor lesi universal skala besar dengan kerangka kerja terpadu .
Detektor umum ini dapat digunakan sebagai alat deteksi awal, dan jika perlu, hasil deteksi dikirim ke model deteksi khusus lainnya yang dilatih tentang jenis lesi tertentu.
Yan Ke berkata: "Kumpulan data kami berisi berbagai lesi, dan pelatihan yang diperoleh adalah detektor umum. Meskipun akurasi dari jenis lesi tertentu mungkin tidak lebih baik daripada detektor khusus, keuntungannya adalah dapat mencakup berbagai lesi. , Yang dapat digunakan untuk melakukan skrining awal satu kali dari gambar pindaian pasien untuk mengurangi deteksi yang terlewat. "
Kotak kuning dan oranye menunjukkan kebenaran dasar, kotak hijau adalah lesi yang terdeteksi dengan benar oleh algoritme, dan kotak merah adalah deteksi palsu. Algoritme dapat mendeteksi berbagai lesi dengan baik, tetapi masih ada beberapa deteksi yang terlewat dan salah. Sumber: Kertas
Deteksi lesi umum jauh lebih sulit daripada deteksi lesi spesifik. DeepLesion mencakup berbagai lesi seperti paru-paru, hati, ginjal, getah bening, pankreas, tulang, dan jaringan lunak. Ada perbedaan besar dalam kategori lesi dan perbedaan kecil antara kategorinya (lesi paru dan hati relatif relatif Sangat mudah untuk mendeteksi beberapa, dan beberapa lesi di rongga perut kurang berbeda dari jaringan normal di sekitarnya). Terus kumpulkan data untuk lebih meningkatkan akurasi. Selain itu, masih banyak ruang untuk perbaikan dalam algoritme.
Untuk meningkatkan akurasi deteksi lesi, peneliti NIH menerbitkan makalah "Jaringan Saraf Konvolusional Berbasis Wilayah yang Ditingkatkan Konteks 3D untuk Deteksi Lesi End-to-End" di MICCAI 2018, dan mengusulkan algoritme deteksi menggunakan informasi 3D untuk mengidentifikasi lesi Tingkat akurasi meningkat menjadi 84,37% (4 positif palsu per gambar). Lihat kode algoritma.
Database medis klinis berskala besar adalah satu-satunya cara AI untuk benar-benar mendarat di klinik
Selain mendeteksi lesi secara otomatis, DeepLesion juga dapat digunakan untuk beberapa masalah lain, seperti mengukur setiap lesi dalam kumpulan data. "Pengukuran lesi adalah salah satu tugas utama ahli radiologi," kata Yan Ke: "DeepLesion dapat digunakan untuk merancang dan melatih algoritme untuk mengukur lesi secara otomatis, mengurangi beban pada dokter dan mengurangi perbedaan individu yang disebabkan oleh dokter yang berbeda."
Selain itu, kumpulan data ini juga dapat digunakan untuk penelitian segmentasi dan klasifikasi lesi. Dr. Cai Jinzheng dan Dr. Tang Youbao dari NIH Clinical Center menggunakan DeepLesion untuk mengusulkan algoritme segmentasi lesi yang diawasi dengan lemah. Makalah terkait "Segmentasi Lesi Dalam yang Diawasi dengan Akurat menggunakan Anotasi Klinis Skala Besar: Pembuatan Masker 3D dari Slice-Propagated dari 2D RECIST" diterbitkan tahun ini Konferensi pencitraan medis teratas MICCAI 2018. Karya Cai Jinzheng dan Tang Youbao juga mengubah semua pengukuran diameter dua dimensi menjadi pengukuran volume tumor tiga dimensi berkualitas tinggi menggunakan algoritme pembelajaran mendalam berlabel lemah.
Berdasarkan DeepLesion, algoritma segmentasi lesi dengan pengawasan lemah yang diusulkan telah dipuji secara luas oleh ahli radiologi di Amerika Utara. Sumber: Twitter
Pekerjaan ini telah menimbulkan respon yang kuat di bidang ahli radiologi di Amerika Utara, dan menerima ulasan positif yang sangat tinggi! Alasan utamanya adalah Sejauh ini, pengukuran diameter dua dimensi pada penampang terbesar dari gambar tumor berdasarkan anotasi manual ahli radiologi, juga disebut sebagai RECIST, adalah standar klinis terkini untuk menghitung dan membandingkan ukuran tumor. . Dalam pekerjaan yang sebenarnya, itu akan menyebabkan keraguan besar. Pengukuran ukuran tumor berdasarkan volume tiga dimensi absolut adalah standar emas yang diterima, tetapi belum banyak digunakan dalam praktik klinis karena produksi yang memakan waktu.
Pekerjaan ini didasarkan pada database DeepLesion dan mengusulkan algoritma segmentasi gambar tumor pembelajaran mendalam berdasarkan pengawasan yang lemah. Anotasi RECIST asli langsung digunakan dari data besar klinis, dan segmentasi tumor tiga dimensi dapat dipelajari dan dipulihkan tanpa penjelasan manual tambahan. Dan pengukuran volume, dan mencapai hasil kuantitatif dan kualitatif yang baik. Versi jurnal diperpanjang sedang disiapkan untuk diserahkan ke "Radiologi".
"Perkembangan teknologi AI medis membuat para dokter menggunakannya dengan berharga dan senang menggunakannya," kata Dr. Lu Le: "Kecerdasan yang ditingkatkan untuk menambah nilai klinis!"
Ubah semua pengukuran diameter 2D menjadi pengukuran volume tumor 3D berkualitas tinggi
Kebanyakan pasien di DeepLesion memiliki banyak data CT scan, dan setiap scan memiliki beberapa lesi berbeda yang ditandai, yang memberikan kemungkinan untuk mempelajari hubungan antara lesi yang berbeda dan perubahan lesi yang sama dari waktu ke waktu.
"Singkatnya, ini adalah kumpulan data yang memberi orang banyak imajinasi dan ruang," kata Yan Ke.
Database klinis skala besar adalah satu-satunya cara AI untuk benar-benar mendarat di klinik ; Namun anotasi tersebut hampir tidak pernah sempurna, yang menempatkan persyaratan yang semakin tinggi pada algoritme pembelajaran mendalam yang baru dan lebih kuat.
Metode untuk memperoleh DeepLesion juga menentukan bahwa ia memiliki batasan tertentu. Misalnya, dokter biasanya hanya menandai lesi yang representatif dalam pekerjaannya, oleh karena itu ada beberapa lesi yang tidak bertanda di kumpulan data. "Kami juga mendorong dokter dengan kapasitas cadangan untuk terus melengkapi pelabelan lesi di DeepLesion agar bermanfaat bagi sebagian besar peneliti."
Download kumpulan data gambar DeepLesion (230G)
https://nihcc.box.com/v/DeepLesion
Referensi
Ke Yan, Xiaosong Wang, Le Lu, Ronald M. Summers, DeepLesion: penambangan otomatis anotasi lesi skala besar dan deteksi lesi universal dengan pembelajaran mendalam, J. Med. Imag. 5 (3), 036501 (2018), doi : 10.1117 / 1.JMI.5.3.036501. (Konstruksi kumpulan data dan deteksi lesi)
https://arxiv.org/abs/1707.03891 (ISBI2017, regresi bagian tubuh)
https://arxiv.org/abs/1711.10535 (CVPR 2018, Deep Lesion Graphs in the Wild: Relationship Learning dan Organisasi Temuan Gambar Radiologi Signifikan dalam Database Lesi Beragam Skala Besar, pengambilan dan pencocokan lesi)
https://arxiv.org/abs/1807.01172 (MICCAI 2018; Segmentasi Lesi Dalam yang Diawasi dengan Lemah Akurat menggunakan Anotasi Klinis Skala Besar: Pembuatan Topeng 3D Slice-Propagated dari 2D RECIST, segmentasi lesi)
https://arxiv.org/abs/1806.09648 (MICCAI 2018, Jaringan Neural Konvolusional Berbasis Wilayah yang Ditingkatkan 3DContext untuk Deteksi End-to-EndLesion, deteksi lesi yang ditingkatkan), Alamat kode sumber: https://github.com/rsummers11/CADLab/tree/master/lesion_detector_3DCE
https://arxiv.org/abs/1806.09507 (MICCAI2018, Pelabelan RECIST Semi-Otomatis pada CT Scan dengan Jaringan Neural Konvolusional Bertingkat, pengukuran lesi)
https://arxiv.org/abs/1807.07144 (MLMI 2018; Peningkatan Citra CT Menggunakan Jaringan Adversarial Generatif Bertumpuk dan Pembelajaran Transfer untuk Perbaikan Segmentasi Lesi, peningkatan citra lesi)
K Yan, Bethesda, MD; X Wang, PhD; L Lu, PhD; L Zhang; AP Harrison, PhD; M Bagheri, MD; dkk. "Pembelajaran Hubungan dan Organisasi Temuan Gambar Radiologi Signifikan untuk Pengambilan dan Pencocokan Lesi" ( Makalah Ilmiah RSNA)
Y Tang, PhD, Bethesda, MD; J Cai; L Lu, PhD; A P Harrison, PhD; K Yan; J Xiao; dkk. "Peningkatan Citra CT untuk Segmentasi Lesi Menggunakan Jaringan Adversarial Generatif Bertumpuk" (Poster Ilmiah RSNA)
K Yan, Bethesda, MD; M Bagheri, MD; R M Summers, MD, PhD; "Jaringan Saraf Konvolusional Berbasis Wilayah yang Ditingkatkan 3DContext untuk Deteksi Lesi Universal dalam Database Besar 32.735 Lesi yang Diukur Secara Manual di BodyCT" (RSNA Alternate)
Youbao Tang, Adam P. Harrison, Mohammadhadi Bagheri, Jing Xiao, Ronald M. Summers. "Pelabelan RECIST Semi-Otomatis pada Pemindaian CT dengan Jaringan Saraf Konvolusional Bertingkat" (Alternatif RSNA)
https://arxiv.org/abs/1710.01766 (versi awal, RSNA 2017)
Xinzhiyuan AI WORLD 2018 Conference [Tiket Early Bird]
Dijual!
Xinzhiyuan akan mengadakan konferensi AI WORLD 2018 di National Convention Center di Beijing pada tanggal 20 September, mengundang ayah baptis pembelajaran mesin, profesor CMU Tom Mitchell, Mikes Tekmark, Zhou Zhihua, Tao Dacheng, Chen Yiran dan para pemimpin AI lainnya untuk memperhatikan kecerdasan mesin. Dan takdir manusia.
Situs web resmi konferensi:
Mulai sekarang hingga 19 Agustus, Xinzhiyuan akan menjual tiket early bird dalam jumlah terbatas untuk berkomunikasi dengan para pemimpin AI global dan menyaksikan lompatan perkembangan industri kecerdasan buatan global.
-
Tautan pembelian tiket jalur aktivitas:
-
Kode QR untuk pembelian tiket jalur aktivitas:
- Trump menandatangani Undang-Undang Otorisasi Pertahanan Nasional, melarang pegawai pemerintah AS menggunakan peralatan Tiongkok seperti Huawei, ZTE, Haikang, dan Dahua
- "Huawei" Kirin 980 "parameter rinci mengekspos" Proses 7nm TSMC, dilengkapi dengan NPU generasi baru, kinerja meroket!
- SUV yang kecewa di bulan Mei: Saya tahu setelah kehilangan penjualan, tidak ada yang akan menjadi kenyataan