Robots.txt テスター
Robots.txtテスター robots.txtファイルを貼り付け、特定のURLがどのクローラーに対して許可されているかブロックされているかをテストします。RFC 9309に対して構文を検証し、エラーをハイライトし、サイトマップ参照を抽出します。 使用方法 robots.txtの内容を入力フィールドに貼り付け、テストするURLパスを入力し、User-agentを選択します。ツールは、URLが許可されているかブロックされているか、どのルールが一致したか、robots.txtファイル内の構文の問題を即座に表示します。 特徴 RFC 9309準拠の解析 – 適切なディレクティブの優先順位を持つ仕様準拠のrobots.txtパーサー URLパターンマッチング – *および$パターンによる完全なワイルドカードサポート User-Agent選択 – Googlebot、Bingbot、GPTBot、ClaudeBotなどでテスト 構文検証 ...
ツールを試す »