Generator & Validator Robots.txt

Generator & Validator Robots.txt

Buat file robots.txt yang sesuai spesifikasi dengan editor visual, atau validasi yang ada terhadap RFC 9309. Termasuk preset untuk konfigurasi umum, penyorotan sintaks, dan penguji URL untuk memeriksa apakah jalur tertentu diblokir atau diizinkan.

Cara Penggunaan

Beralih antara tab Generator dan Validator. Dalam mode Generator, pilih preset atau bangun aturan khusus dengan menambahkan grup agen pengguna dengan jalur izinkan/tolak, pengaturan crawl-delay, dan URL sitemap. Dalam mode Validator, tempel konten robots.txt Anda untuk memeriksa kesalahan sintaks, lalu uji URL tertentu terhadap aturan.

Fitur

• Pembuat Aturan Visual – Tambahkan beberapa grup agen pengguna dengan jalur izinkan/tolak, wildcard, dan jangkar akhir URL
• Preset Cerdas – Izinkan Semua, Blokir Semua, Blokir Bot AI, Default WordPress, Template E-niaga
• Validasi RFC 9309 – Pemeriksaan sintaks dengan penyorotan kesalahan dan peringatan baris per baris
• Penguji URL – Periksa apakah URL tertentu diblokir atau diizinkan untuk agen pengguna mana pun
• Dukungan Crawl-Delay – Atur crawl delay per grup agen pengguna
• Beberapa Sitemap – Tambahkan beberapa URL sitemap ke robots.txt Anda
• Salin & Unduh – Salin ke clipboard atau unduh sebagai file robots.txt