Detektor Enkoding Karakter

Teks yang berantakan — tanda tanya di tempat huruf yang diaksenkan seharusnya berada, atau string seperti é menggantikan é — hampir selalu berarti file ditulis dalam satu enkoding karakter dan dibaca kembali dalam enkoding lain. Detektor Enkoding Karakter memeriksa byte mentah dari teks yang ditempel atau file yang diunggah dan melaporkan enkoding yang paling mungkin, beserta bukti tingkat byte di balik tebakan itu.

Cara menggunakannya

Tempel teks ke Input Text, atau lepaskan file ke uploader untuk memeriksa byte aslinya. Hasilnya diperbarui secara otomatis dan menampilkan Detected Encoding, persentase Confidence, BOM apa pun yang ditemukan, jumlah byte, dan baris Reasoning dalam bahasa Inggris. Tabel All candidates considered di bawahnya mencantumkan setiap enkoding yang ditimbang detektor, masing-masing dengan tingkat kepercayaan dan alasannya sendiri, sehingga Anda dapat melihat tebakan runner-up dan mengapa mereka mendapat skor lebih rendah.

Cara kerja deteksi

Deteksi berjalan melalui urutan pemeriksaan yang tetap, dari paling hingga paling tidak pasti:

1. Byte order mark (BOM). Beberapa enkoding menambahkan urutan byte tetap ke file — EF BB BF untuk UTF-8, FF FE/FE FF untuk UTF-16, dan varian 4-byte untuk UTF-32. Menemukan satu hampir pasti: 99% kepercayaan.
2. ASCII murni. Jika setiap byte berada dalam rentang 0x00–0x7F, itu adalah ASCII valid — dan, karena ASCII adalah subset ketat dari UTF-8, secara bersamaan valid UTF-8. Dilaporkan dengan 100% kepercayaan.
3. UTF-8 valid. Tanpa BOM, validator UTF-8 nyata berjalan melalui aliran byte: memeriksa bahwa byte lanjutan memiliki bit tinggi yang benar, menolak enkoding "panjang berlebih" (lebih banyak byte daripada yang diperlukan codepoint), dan menolak out-of-range codepoint atau byte pengganti UTF-16 yang terisolasi. Itu adalah pemeriksaan tata bahasa yang sebenarnya, bukan hanya "apakah dekoding melempar" — jadi menangkap urutan yang salah bentuk bahwa decoder yang longgar akan diam-diam terima. Teks yang lulus dengan bersih dilaporkan sebagai UTF-8 dengan 97% kepercayaan.
4. Tebakan charset warisan single-byte. Jika byte gagal validasi UTF-8, detektor kembali ke heuristik frekuensi byte antara Windows-1252 dan ISO-8859-1 (Latin-1), dua enkoding Barat single-byte paling umum. Byte dalam rentang 0x80–0x9F adalah kode kontrol yang tidak terdefinisi dalam Latin-1 tetapi tanda baca yang dapat dicetak (tanda kutip keriting, garis putus-putus) dalam Windows-1252, jadi kehadiran mereka menunjuk ke Windows-1252. Cabang ini dibatasi jauh di bawah 70% kepercayaan, karena itu adalah tebakan statistik, bukan kepastian — byte yang sama sering valid dalam lebih dari satu charset.

Apakah data saya diunggah ke mana pun?

Tidak. Deteksi berjalan sepenuhnya di browser Anda (atau, melalui API, di handler permintaan) — tidak ada yang dikirim ke layanan pihak ketiga.

Mengapa file saya tidak terdeteksi sebagai Shift_JIS, Big5, atau enkoding CJK lainnya?

Enkoding multi-byte Asia warisan itu tidak tercakup — menebak mereka dari rentang byte saja menghasilkan banyak false positive, tidak seperti pemeriksaan BOM atau pemeriksaan tata bahasa UTF-8. Jika Anda tahu file adalah Shift_JIS atau GBK, dekode langsung dengan label itu daripada mengandalkan deteksi.