Penguji Robots.txt

Penguji Robots.txt

Tempel file robots.txt Anda dan uji apakah URL tertentu diizinkan atau diblokir untuk perayap mana pun. Memvalidasi sintaks terhadap RFC 9309, menyoroti kesalahan, dan mengekstrak referensi sitemap.

Cara Penggunaan

Tempel konten robots.txt Anda ke kolom input, masukkan path URL untuk diuji, dan pilih User-agent. Alat ini secara instan menunjukkan apakah URL diizinkan atau diblokir, aturan mana yang cocok, dan masalah sintaks dalam file robots.txt Anda.

Fitur

• Penguraian Sesuai RFC 9309 – Pengurai robots.txt sesuai spesifikasi dengan prioritas arahan yang benar
• Pencocokan Pola URL – Dukungan wildcard penuh dengan pola * dan $
• Pemilihan User-Agent – Uji terhadap Googlebot, Bingbot, GPTBot, ClaudeBot, dan lainnya
• Validasi Sintaksis – Menyoroti arahan yang salah format, bidang yang tidak dikenal, dan kesalahan umum
• Tampilan Aturan Pencocokan – Menampilkan secara tepat aturan Allow/Disallow mana yang cocok dan mengapa
• Ekstraksi Sitemap – Mencantumkan semua arahan Sitemap yang ditemukan dalam file
• Deteksi Crawl-Delay – Mengidentifikasi pengaturan crawl-delay per User-agent
• Contoh Robots.txt – Contoh yang sudah dimuat sebelumnya untuk pengujian cepat