Robots.txtジェネレーター＆バリデーター

Robots.txtジェネレーター＆バリデーター

仕様に準拠したrobots.txtファイルをビジュアルエディターで作成するか、RFC 9309に対して既存のファイルを検証します。一般的な構成のプリセット、構文ハイライト、特定のパスがブロックされているか許可されているかを確認するためのURLテスターが含まれています。

使い方

ジェネレーターとバリデーターのタブを切り替えます。ジェネレーターモードでは、プリセットを選択するか、ユーザーエージェントグループに許可/拒否パス、crawl-delay設定、サイトマップURLを追加してカスタムルールを作成します。バリデーターモードでは、robots.txtの内容を貼り付けて構文エラーを確認し、特定のURLをルールに対してテストします。

特徴

• ビジュアルルールビルダー – 許可/拒否パス、ワイルドカード、URL末尾アンカーを持つ複数のユーザーエージェントグループを追加
• スマートプリセット – すべて許可、すべてブロック、AIボットをブロック、WordPressのデフォルト、eコマーステンプレート
• RFC 9309検証 – 行ごとのエラーと警告のハイライトによる構文チェック
• URLテスター – 特定のURLがユーザーエージェントによってブロックされているか許可されているかを確認
• Crawl-Delayサポート – ユーザーエージェントグループごとにクロール遅延を設定
• 複数のサイトマップ – robots.txtに複数のサイトマップURLを追加
• コピー＆ダウンロード – クリップボードにコピーするか、robots.txtファイルとしてダウンロード