Lewati ke konten utama
iotools.cloudiotools.cloud

Penguji Akses Bot AI

Periksa crawler AI mana saja yang diblokir robots.txt Anda. Menguji GPTBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot, dan 28 lainnya terhadap robots.txt yang Anda tempel menggunakan prioritas RFC 9309, dikelompokkan berdasarkan apakah bot melatih model, menggerakkan penelusuran AI, atau mengambil halaman atas permintaan pengguna — lalu menghasilkan blokir siap-tempel untuk yang masih diizinkan.

Input

Tempel robots.txt yang ingin Anda periksa — milik Anda, atau yang akan segera Anda deploy.

Jalur seperti /blog/post, atau URL lengkap (hanya bagian path + query-nya yang dipakai).

Output

Hasil per crawler
CrawlerOperatorTujuanAksesAturan penentu
No data yet

Pengambilan yang dipicu pengguna berjalan karena seseorang menempelkan tautan Anda ke chatbot. Beberapa operator menyatakan bahwa ini mengabaikan robots.txt, jadi perlakukan hasil “Blocked” di sana sebagai permintaan, bukan jaminan — tegakkan di edge jika itu penting.

Blokir sisanya

Blokir robots.txt untuk setiap crawler yang masih diizinkan
Apakah ini membantu?

Panduan

Tempel robots.txt dan lihat dalam satu tabel, crawler AI mana yang sebenarnya diblokir. Alat ini menguji 33 user-agent AI yang terdokumentasi — GPTBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot, Bytespider, Applebot-Extended, dan lainnya — terhadap path yang Anda pilih, menggunakan aturan prioritas RFC 9309 yang sama seperti yang diterapkan crawler sungguhan.

Cara menggunakannya

  1. Tempel robots.txt Anda ke kotak pertama. Belum perlu aktif — memeriksa file sebelum Anda men-deploy-nya itulah intinya.
  2. Atur path yang Anda pedulikan. / menjawab "apakah seluruh situs saya terbuka untuk AI?"; /blog/some-post menjawabnya untuk satu halaman, yang penting saat aturan Anda memakai wildcard.
  3. Opsional: persempit daftar ke satu tujuan — pelatihan, pencarian AI, atau dipicu pengguna.
  4. Baca kolom Aturan penentu. Kolom ini menyebutkan direktif dan nomor baris yang tepat yang menghasilkan setiap keputusan, sehingga hasil yang mengejutkan tetap bisa ditelusuri, bukan misterius.
  5. Salin blok yang dihasilkan di bagian bawah untuk menolak setiap crawler yang masih diizinkan.

Tiga jenis crawler AI

Mereka didaftarkan terpisah karena memblokirnya adalah tiga keputusan yang berbeda:

  • Pelatihan model — mengumpulkan halaman untuk melatih atau menyempurnakan model (GPTBot, ClaudeBot, CCBot, Google-Extended). Memblokirnya adalah bentuk opt-out dari korpus pelatihan dan tidak merugikan Anda dalam pencarian.
  • Pencarian AI — mengindeks halaman sehingga mesin jawaban bisa mengutipnya (OAI-SearchBot, PerplexityBot, Claude-SearchBot, DuckAssistBot). Memblokirnya menghapus Anda dari jawaban AI — biasanya kebalikan dari yang diinginkan pemilik situs.
  • Dipicu pengguna — mengambil satu halaman karena seseorang menempelkan tautan Anda ke chatbot (ChatGPT-User, Claude-User, Perplexity-User). Memblokirnya memutus tautan bagi pengunjung sungguhan.

Disallow: / yang menyeluruh dan ditujukan ke "AI" kena pada ketiganya. Itulah sebabnya alat ini memisahkan mereka.

Mengapa Googlebot tidak ada dalam daftar?

Karena memblokirnya akan menghapus Anda dari Google Search, bukan hanya dari jawaban AI. Begitu pula bingbot. Opsi opt-out pelatihan AI Google adalah token terpisah Google-Extended, yang ada dalam daftar — itulah yang perlu Anda blokir jika Anda ingin pencarian biasa tetap berjalan tetapi tidak ingin model dilatih.

Apakah memblokir bot di robots.txt benar-benar menghentikannya?

Untuk crawler yang berperilaku baik, ya — operator utama menerbitkan token mereka justru agar Anda bisa opt-out. Untuk pengambil yang dipicu pengguna, beberapa operator menyatakan secara gamblang bahwa pengambilan yang dipicu orang bukanlah crawl dan tidak berkonsultasi dengan robots.txt. Jika Anda butuh penegakan, bukan sekadar permintaan, blokir berdasarkan user-agent atau rentang IP di CDN atau server web Anda.

Mengapa menempelkan file alih-alih memasukkan domain?

Supaya semuanya berjalan sepenuhnya di browser Anda. Tidak ada yang diunggah, tidak ada batas kecepatan, dan ini berfungsi pada file draf yang belum di-deploy ke mana pun.

Alat terkait

Untuk menguji satu crawler tertentu terhadap satu path dengan daftar lengkap aturan yang berlaku, gunakan Penguji Robots.txt. Untuk membangun robots.txt dari awal alih-alih mengaudit, gunakan Generator Robots.txt. Jika Anda memeriksa pengaturan crawl sebuah situs secara lebih luas, Generator XML Sitemap mencakup separuh lainnya dari file yang dicari crawler.

airobots.txtcrawlerseogptbotllm

Use it from code

From 3 credits per call

REST API

curl -X POST https://api.iotools.cloud/v1/tool/ai-bot-access-tester \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "robots": "User-agent: *\nDisallow: /admin/\n\nUser-agent: GPT…",
    "testUrl": "/",
    "purpose": "all"
  }'

Swap in your own key from your account. The tool's fields are the body — no wrapper.

Ask an AI agent

Use the IOTools `ai-bot-access-tester` tool (AI Bot Access Tester) on this input:

YOUR_INPUT_HERE

Paste this at any agent connected to the IOTools MCP server, then add your input.

Suka alat-alatnya? Hilangkan iklannya.

Satu kali pembayaran menghapus semua iklan dari akun Anda, selamanya. Tanpa langganan, tanpa pelacakan.

Hapus iklan