Robots.txt テスター

Robots.txt テスター

robots.txt ファイルを貼り付けて、特定の URL がどのクローラーに対して許可またはブロックされているかをテストします。RFC 9309 に対して構文を検証し、エラーをハイライト表示し、サイトマップ参照を抽出します。

使い方

robots.txt コンテンツを入力フィールドに貼り付け、テストする URL パスを入力し、User-agent を選択します。ツールは、URL が許可されているかブロックされているか、どのルールが一致したか、robots.txt ファイルに構文上の問題があるかを即座に表示します。

特徴

• RFC 9309 準拠の解析 – 適切なディレクティブの優先順位を持つ、仕様に準拠した robots.txt パーサー
• URL パターンのマッチング – * および $ パターンによる完全なワイルドカードサポート
• User-Agent の選択 – Googlebot、Bingbot、GPTBot、ClaudeBot などに対してテスト
• 構文検証 – 形式が正しくないディレクティブ、不明なフィールド、一般的な間違いをハイライト表示
• マッチングルールの表示 – どの Allow/Disallow ルールが一致したか、その理由を正確に表示
• サイトマップの抽出 – ファイル内で見つかったすべての Sitemap ディレクティブを一覧表示
• Crawl-Delay の検出 – User-agent ごとの crawl-delay 設定を特定
• robots.txt の例 – クイックテストのためのプリロードされた例