AIボットのアクセスチェッカー

robots.txt を貼り付けると、どの AI クローラーを実際にブロックしているかが1つのテーブルに表示されます。このツールは、記録されている 33 の AI ユーザーエージェント — GPTBot、ClaudeBot、Google-Extended、PerplexityBot、CCBot、Bytespider、Applebot-Extended など — を、選んだパスに対して、実際のクローラーと同じ RFC 9309 の優先順位ルールでテストします。

使い方

1. 最初のボックスに robots.txt を貼り付けます。まだ公開済みである必要はありません — デプロイする前にファイルを確認するのが本来の目的です。
2. 気になるパスを設定します。/ は「サイト全体が AI に開かれているか?」に答えます。/blog/some-post は1ページ分に答えます。ルールがワイルドカードを使う場合はこれが重要です。
3. 必要に応じて、リストを目的別に絞り込みます — トレーニング、AI 検索、ユーザー発動。
4. 決定ルール 列を読みます。各判定を生み出した正確なディレクティブと行番号が示されるので、意外な結果も謎のままではなく追跡できます。
5. 下部に生成されたブロックをコピーして、まだ許可されているすべてのクローラーを禁止します。

AI クローラーの3つの種類

これらが別々に並べられているのは、それぞれをブロックすることが3つの異なる判断だからです:

• モデルのトレーニング — モデルをトレーニングまたはファインチューニングするためにページを収集します (GPTBot、ClaudeBot、CCBot、Google-Extended)。これをブロックすることはトレーニングコーパスからのオプトアウトであり、検索には一切影響しません。
• AI 検索 — 回答エンジンが引用できるようにページをインデックスします (OAI-SearchBot、PerplexityBot、Claude-SearchBot、DuckAssistBot)。これをブロックすると AI の回答から外れます — 通常、サイト所有者が望むこととは逆です。
• ユーザー発動 — 誰かがチャットボットにリンクを貼ったために1ページを取得します (ChatGPT-User、Claude-User、Perplexity-User)。これをブロックすると、実際の訪問者にとってのリンクが壊れます。

「AI」を対象にした全面的な Disallow: / は3つすべてに当たります。だからこそ、このツールはそれらを分けているのです。

なぜ Googlebot はリストにないのですか?

Googlebot をブロックすると、AI の回答だけでなく Google Search からも除外されるからです。bingbot も同じです。Google の AI トレーニングのオプトアウトは別の Google-Extended トークンで、これはリストに 含まれています — 通常の検索は維持しつつモデルのトレーニングだけを避けたい場合に禁止すべきなのはこちらです。

robots.txt でボットをブロックすると本当に止まるのですか?

行儀の良いクローラーには当てはまります — 主要な運営者は、オプトアウトできるようにトークンを公開しています。ユーザー発動の取得については、いくつかの運営者が、人が発動した取得はクロールではなく robots.txt を参照しないと明言しています。要望ではなく強制が必要な場合は、CDN または Web サーバーでユーザーエージェントや IP レンジ単位でブロックしてください。

ドメインを入力せずにファイルを貼り付けるのはなぜですか?

すべてが完全にブラウザ内で実行されるからです。アップロードはなく、レート制限もなく、まだどこにもデプロイされていないドラフトファイルでも動作します。

関連ツール

特定の1つのクローラーを、適用可能なルールの全リスト付きで1つのパスに対してテストするには、robots.txt テスター を使用してください。robots.txt を監査するのではなくゼロから作成するには、robots.txt ジェネレーター を使用してください。サイトのクロール設定をもっと広く確認する場合は、XML サイトマップジェネレーター が、クローラーが探すファイルの残り半分をカバーします。