Platform komputasi awan Microsoft Azure baru-baru ini mengumumkan pembaruan untuk tiga layanan data, termasuk versi resmi layanan penyimpanan data lake Data Lake Storage Gen2 dan layanan data yang dikelola sepenuhnya, Data Explorer. Selain itu, versi pratinjau layanan integrasi data hybrid Data Factory juga diluncurkan. Berharap untuk memberi pengguna layanan analisis data komputasi awan yang hemat biaya dan aman.
Layanan penyimpanan data lake Data Lake Storage Gen2 cocok untuk analisis data yang sangat besar, menggabungkan skalabilitas, model keamanan, dan fungsi yang kaya dari layanan penyimpanan tak terstruktur Azure Blob Storage, ditambah performa tinggi yang dirancang untuk analisis Sistem file juga kompatibel dengan sistem file terdistribusi Hadoop, memungkinkan pengguna untuk memilih layanan data lake komputasi awan tanpa harus memilih antara biaya dan kinerja.
Sumber gambar: Microsoft
Microsoft menunjukkan bahwa salah satu tujuan utama layanan penyimpanan data lake miliknya adalah agar kompatibel dengan ekosistem Apache. Untuk mencapai hal ini, Microsoft mengembangkan driver sistem file Azure Blob, yang secara resmi menjadi bagian dari Apache Hadoop dan Spark. , Dan melekat pada banyak versi komersial Hadoop.
Untuk lebih meningkatkan kinerja analisis Data Lake Storage Gen2, Microsoft menggunakan namespace hierarkis untuk mengintegrasikan kumpulan file ke dalam direktori hierarki dan subdirektori bersarang. Namespace semacam ini sangat penting untuk arsitektur analisis data dalam jumlah besar, karena Hive atau Alat seperti Spark sering kali menulis keluaran ke lokasi sementara dan mengganti nama lokasi di akhir operasi. Jika tidak ada namespace hierarkis, penggantian nama biasanya membutuhkan waktu lebih lama daripada proses analisis itu sendiri. Oleh karena itu, namespace hierarkis Karena lebih sedikit operasi yang diperlukan untuk dieksekusi, ini dapat mempercepat pelaksanaan pekerjaan dan mengurangi biaya.
Data Explorer adalah layanan analisis data terkelola sepenuhnya yang cepat dan sangat skalabel yang dapat melakukan analisis waktu nyata dari sejumlah besar data streaming. Ia dapat meminta 1 miliar catatan dalam satu detik tanpa mengubah struktur data. Selain itu, , Layanan dapat dihubungkan ke layanan komputasi awan Microsoft lainnya, seperti Penyimpanan Danau Data, Gudang Data SQL, dan Power BI. Untuk meningkatkan kecepatan dan menyederhanakan operasi, Data Explorer terdiri dari dua layanan terpisah: Layanan mesin dan layanan manajemen data, keduanya disebarkan di Azure dalam bentuk sekumpulan node komputasi.
Sumber gambar: Microsoft
Layanan manajemen data bertanggung jawab untuk mencerna berbagai jenis data mentah, dan mengelola tugas-tugas seperti pembersihan data, kegagalan eksekusi, dan tekanan balik. Layanan ini juga dapat dengan cepat memproses data melalui mekanisme pengindeksan dan kompresi otomatis. Layanan Engine bertanggung jawab untuk memproses input data mentah dan kueri pengguna, dan mencapai sasaran performa tinggi melalui Auto Scaling dan sharding data.
Terakhir, update Microsoft kali ini juga meluncurkan versi pratinjau dari layanan integrasi data hybrid Data Factory. Layanan Data Factory merupakan layanan yang digunakan untuk mengotomatiskan perpindahan dan transformasi data. Memiliki lebih dari 80 data built-in terkait data terstruktur, semi-terstruktur, dan tidak terstruktur. Tautan sumber. Selain itu, layanan ini juga menyediakan alat visualisasi alur kerja data Pemetaan Aliran Data, yang memberikan pengalaman visual kepada pengguna dalam proses merancang, membangun, dan mengelola konversi data tanpa harus mempelajari Spark atau memiliki pemahaman mendalam tentang infrastruktur terdistribusi. .
- Seragam maskapai penerbangan rumah orang lain sudah siap! Inventaris seragam maskapai penerbangan yang mengesankan
- Di luar dua perang kehilangan 51 poin! Kemenangan beruntun Xinjiang masih memperlihatkan kekurangannya. Bagaimana dengan Jiang, yang hanya mencetak 6 lemparan tiga angka dalam dua putaran berturut-tu
- Para insinyur Honda menjawab bahwa gangguan pada Earth Dream bukanlah cacat teknis, tetapi kekurangan oli
- Zhao Wei, Huang Xiaoming, Zhou Dongyu berlari ke pulau kecil Thailand di mana restoran itu dibuka. Apakah akan panas di masa depan?