Deteksi Konten AI

Deteksi konten AI menganalisis pola statistik dalam tulisan yang berbeda antara tulisan manusia dan teks yang dihasilkan oleh AI. Mereka mencari tanda-tanda seperti panjang kalimat dan struktur yang seragam, distribusi kata yang prediktif (perplexitas), bahasa penyesuaian yang konsisten, kurangnya cerita pribadi atau variasi emosional, transisi topik yang formal, dan kesetaraan kualitas yang seragam sepanjang teks yang sulit dipertahankan manusia.

Kecerdasan (perplexity) adalah ukuran seberapa prediktif suatu urutan kata dalam sebuah model bahasa. Tekst yang dihasilkan oleh AI cenderung memiliki nilai perplexity yang rendah karena model memilih urutan kata yang statistiknya mungkin karena memilih kata-kata yang paling mungkin secara probabilitas. Tulisan manusia biasanya memiliki perplexity yang lebih tinggi karena manusia menggunakan pilihan kata yang tidak terduga, ekspresi kreatif, slang, dan gaya pribadi yang membuat teks menjadi kurang prediktif bagi model bahasa.

Ya, detektor konten AI dapat menghasilkan false positif, terutama dengan tulisan yang sangat formal atau teknis, penutur bahasa Inggris asli yang mungkin menulis dengan pola yang teratur, tulisan yang telah banyak diedit atau dihaluskan, dan konten yang mengikuti pedoman gaya yang ketat. Studi telah menunjukkan bahwa alat deteksi dapat salah klasifikasikan tulisan manusia sebagai tulisan AI dengan tingkat kesalahan yang bervariasi dari 2% hingga lebih dari 20% bergantung pada alat dan jenis teks tersebut.

Pembuatan watermark mengembunkan pola statistik tak terlihat dalam teks AI yang dihasilkan pada saat pembuatan, sehingga dapat dikenali kemudian dengan akurasi hampir sempurna. Pengenalan, oleh karenanya, menganalisis teks setelahnya tanpa sinyal yang terembunkan, bergantung pada sifat statistik dari tulisan. Pembuatan watermark lebih dapat diandalkan tetapi memerlukan kerjasama dari penyedia AI, sementara pengenalan bekerja pada setiap teks tetapi secara alami probabilistik dan kurang akurat.