Tidak suka iklan? Pergi Bebas Iklan Hari ini 

Pengaturan dan Validasi Skema Apache Avro

DataPengembangTeks

IKLAN · HAPUS?

[iotools_apache_avro_schema_formatter_validator]

IKLAN · HAPUS?

Memandu

Pengaturan Skema Avro & Validator Apache

Formatr dan Validator Skema Apache Avro

Tempelahkan skema JSON Apache Avro dan dapatkan versi yang rapi serta divalidasi terhadap spesifikasi resmi Avro di browser Anda. Alat ini menangkap masalah yang akan dilewatkan oleh pengecekan JSON biasa atau model pembelajaran mesin (LLM), seperti gabungan tipe yang tidak valid, nilai default yang tidak sesuai dengan cabang pertama gabungan, nama field yang duplikat, referensi tipe yang tidak teresolusi, simbol enum yang melanggar aturan penamaan, dan lainnya.

Itu juga menghasilkan Bentuk Parsing Canonical yang ditentukan oleh spesifikasi Avro, yang merupakan representasi deterministik yang digunakan untuk pencocokan schema dan pemeriksaan kompatibilitas produsen/pengguna.

Cara Penggunaan

Tempelkan .avsc masukkan skema (dokumen JSON) ke area input, atau taruh file ke atas pengunggah.
Pilih gaya indentasi yang diinginkan untuk output yang telah diformat — 2 spasi, 4 spasi, tab, atau penuh minified.
Opsi untuk menandai Urutkan kunci objek secara alfabetis untuk perbedaan yang deterministik antara revisi skema.
Centang Output Bentuk Parsing Canonical ketika Anda membutuhkan input fingerprint yang ditentukan oleh spesifikasi. Opsi indentasi dan pengurutan diabaikan dalam mode ini.
Baca status bar hijau/merah di atas output — ini menunjukkan valid/invalid serta jumlah record, field, enum, union, dan fixed. Peringatan (seperti nilai default yang tidak null tidak sesuai dengan cabang pertama union) muncul di bawahnya.
Gunakan tombol salin atau unduh di output untuk mengekspor skema yang telah diformat.

Fitur

Validasi ketat spesifikasi Avro – memeriksa tipe primitif dan kompleks, sintaks nama dan namespace, aturan cabang union, serta deteksi duplikasi tipe yang diberi nama.
Kemampuan nilai default – memverifikasi setiap nilai default terhadap tipe yang dideklarasikan, dengan penanganan khusus terhadap aturan cabang pertama union.
Pengolahan tipe yang diberi nama – menyelesaikan referensi seperti com.example.User terhadap definisi sebelumnya dalam dokumen yang sama.
Bentuk Parsing Canonical – menghasilkan JSON deterministik yang ditentukan oleh spesifikasi untuk digunakan sebagai fingerprint schema.
Opsi format – output dengan 2/4 spasi, tab, atau minified, dengan pengurutan alfabetis kunci opsional untuk perbedaan yang stabil.
Statistik inline – jumlah record, field, enum, union, dan fixed yang ditampilkan setelah setiap validasi.
Berjalan sepenuhnya di browser Anda – tidak ada skema yang diunggah ke server, sehingga alat ini aman untuk skema milik pribadi atau internal.

IKLAN · HAPUS?

 Tanya Jawab Umum

Apa itu Apache Avro?

Apache Avro adalah sistem serialisasi data berbasis baris yang banyak digunakan dalam ekosistem Hadoop dan Kafka. Ia menggambarkan data dengan skema JSON dan mengubah payload menjadi format biner yang kompak. Skema tersebut bergerak bersama (atau dirujuk oleh) data, yang membuat Avro populer untuk pipeline data yang berkembang.
Mengapa nilai default Avro harus sesuai dengan cabang pertama dari union?

Pembaca Avro menyelesaikan union dengan membandingkan indeks cabang penulis dengan cabang yang kompatibel pada pembaca. Ketika suatu field tidak ada dalam data, pembaca tidak memiliki indeks untuk dilihat, sehingga spesifikasi memerlukan nilai default dapat diwakili sebagai cabang pertama dari union pembaca. Itulah sebabnya field nullable biasanya ditulis sebagai ['null', T] dengan nilai default null.
Apa itu Bentuk Parsing Canonical?

Ini adalah serialisasi JSON yang dinormalisasi yang ditentukan oleh spesifikasi Avro. Nama pendek diganti dengan nama lengkap, atribut tidak esensial seperti doc dan aliases dihilangkan, urutan kunci diatur, dan semua spasi dihapus. Dua skema menghasilkan bentuk canonical yang sama (dan fingerprint yang sama) ketika secara semantik setara, bahkan jika JSON yang ditulisnya berbeda.
Bagaimana namespace diresolusi?

Nama tanpa titik diberi kualifikasi oleh namespace terluar yang paling ketat. Nama yang mengandung titik dianggap sebagai nama lengkap dan digunakan secara langsung. Setiap record, enum, dan fixed harus memiliki nama lengkap yang unik dalam dokumen skema.
Apakah tipe logis didukung?

Tipe logis seperti decimal, date, time-millis, dan timestamp-millis adalah tipe primitif Avro dengan tambahan annotasi. Alat ini memverifikasi tipe primitif dasar dan mempertahankan metadata tipe logis dalam output yang telah diformat, tetapi tidak mengenakan kendala khusus tipe logis (misalnya, presisi dan skala decimal).