robots.txt チェッカー｜構文検証・AIクローラーブロック診断
robots.txtの構文エラー・Disallow/Allowルール・AIクローラーブロック状況を無料で一括検証。URLを入力するだけで自動取得＆診断。
robots.txt チェッカー｜構文検証・AIクローラーブロック診断とは
robots.txtの構文エラー・Disallow/Allowルールの矛盾・AIクローラー（GPTBot・ClaudeBot・Google-Extended）ブロック状況を無料で一括診断。URLを入力するだけでrobots.txtを自動取得＆検証します。サイト全体ブロックの誤設定やSitemapディレクティブの欠如も検出。Google Search Consoleでは確認できないAIクローラー対応状況もマトリックス表示で一目瞭然。
使い方
- 1URLを入力してチェックする場合は「URL」タブを選択し、ドメイン（例: https://example.com）を入力して「チェックする」をクリックします。
- 2robots.txtのテキストを直接検証する場合は「テキスト」タブを選択し、内容をそのまま貼り付けて「チェックする」をクリックします。
- 3構文チェック結果が表示されます。エラー（赤）・警告（黄）・OK（緑）でルールごとの状態を確認できます。
- 4AIクローラーブロック状況がマトリックス表示されます。GPTBot・ClaudeBot・Google-Extended等15種類のブロック/許可状態を一覧確認できます。
- 5特定のURLパスがクロール可能かテストするには「URLテスト」欄にパスを入力します。指定したUser-agentで許可/禁止の判定結果が表示されます。
メリット・特徴
- URLを入力するだけでrobots.txtを自動取得・構文を一括検証
- AIクローラー15種類（GPTBot・ClaudeBot・Google-Extended等）のブロック状況をマトリックス表示
- サイト全体ブロック（Disallow: /）の危険設定を赤色警告で即検出
- Allow/Disallowルールの矛盾・冗長ルールを自動検出してハイライト
- 無料・登録不要・ブラウザ完結。robots.txtの問題を発見したらジェネレーターですぐ修正可能
robots.txtの構文とよくあるエラーパターン
robots.txtはシンプルなテキストファイルですが、構文ルールを間違えるとクローラーが意図通りに動作しません。よくあるエラーパターンを理解して、本チェッカーで早期発見することが重要です。
構文ルール：User-agent・Disallow・Allow・Sitemapの書式
robots.txtの各行は「ディレクティブ名: 値」の形式です。有効なディレクティブはUser-agent・Disallow・Allow・Sitemap・Crawl-delayの5つです。大文字小文字の区別は公式にはありませんが、一般的な慣行としてディレクティブ名は先頭大文字（User-agent）が推奨されます。パスは必ずスラッシュ（/）で始める必要があります。空行はUser-agentブロックの区切りとして機能します。
よくある構文エラーと検出パターン
本チェッカーが検出する代表的なエラーは次の通りです。① 不明なディレクティブ名（Disalow・User_agent等のスペルミス）② パスの先頭スラッシュ忘れ（Disallow: admin/ → 正しくは Disallow: /admin/）③ User-agentなしのDisallow行 ④ 空のUser-agentブロック ⑤ BOM（バイト順マーク）やUTF-8以外のエンコーディング。これらはクローラーの動作に影響を与えるため、設置前の検証が不可欠です。
サイト全体ブロック誤設定の検出
User-agent: * と Disallow: / の組み合わせはサイト全体をすべてのクローラーからブロックする最も危険な設定です。本チェッカーはこのパターンを自動検出し、赤色の重大警告を表示します。意図的な場合（開発環境など）もありますが、本番サイトでは致命的なSEO被害につながります。
robots.txtのテスト方法とSEO診断
robots.txtの設定が正しいことを確認するには、構文チェックだけでなく、実際のクロール挙動のシミュレーションが重要です。特にAIクローラーの台頭により、従来のSEOボットだけでなくAI学習ボットの制御状況も確認が必要です。
特定URLがクロール可能かテストする仕組み
本チェッカーの「URLテスト」機能では、任意のパス（例: /admin/login）を指定し、特定のUser-agent（例: Googlebot）がそのURLにアクセスできるかを判定します。Disallow/Allowのルールはパスのプレフィックスマッチで評価され、より具体的（長い）パスのルールが優先されます。ワイルドカード（*）や末尾の$も考慮されます。
AIクローラーブロック状況の一覧診断
2024年以降、AIクローラーの制御はSEOと並ぶ重要なrobots.txt設定項目です。本チェッカーはGPTBot（OpenAI）・ClaudeBot（Anthropic）・Google-Extended・Bytespider（ByteDance）・PerplexityBot等15種類のAIクローラーに対するブロック状況を一覧表示します。Google Search Consoleではこの確認はできないため、AI対策の可視化は本ツール独自の機能です。
Google Search Console robots.txtテスターとの使い分け
Google Search Consoleのrobots.txtテスターはGooglebotに特化した公式ツールで、Googleのクロール挙動を正確に確認できます。一方、本チェッカーは全クローラー（AI含む）を横断的にテストでき、アカウント不要で即実行できます。本番サイトではGSCと本ツールの併用が推奨されます。
よくある質問（FAQ）
- robots.txt チェッカーは何を検証しますか？
- 構文エラー（不正なディレクティブ・大文字小文字ミス・パスの書式）、Disallow/Allowルールの矛盾、サイト全体ブロック（Disallow: /）の検出、Sitemapディレクティブの有無、AIクローラー（GPTBot・ClaudeBot等15種）のブロック状況を一括で診断します。
- URLを入力するだけで検証できますか？
- はい。ドメインURL（例: https://example.com）を入力すると、サーバーが自動的に /robots.txt を取得して解析します。robots.txtのテキストを直接貼り付けて検証することも可能です。
- robots.txtが存在しない場合はどう表示されますか？
- robots.txtが見つからない（404）場合は「robots.txt未設置」と通知し、すべてのクローラーがサイト全体をクロール可能な状態であることを表示します。robots.txt ジェネレーターへのリンクも案内されます。
- AIクローラーのブロック状況はどう表示されますか？
- GPTBot（OpenAI）・ClaudeBot（Anthropic）・Google-Extended・Bytespider（ByteDance）等15種のAIクローラーに対し、ブロック済（赤アイコン）/許可中（緑アイコン）をマトリックス形式で一覧表示します。どのAIボットをブロックすべきか一目で判断できます。
- Disallow: / の誤設定は検出できますか？
- はい。User-agent: * の下で Disallow: / が設定されている場合、赤色の重大警告として「サイト全体がすべてのクローラーからブロックされています」と表示します。これはSEOにおいて最も危険な設定ミスの1つです。
- Google Search Consoleのrobots.txtテスターとの違いは？
- Google Search ConsoleのテスターはGooglebotのみが対象で、Googleアカウントとサイト所有権の証明が必要です。本ツールは全クローラー（AI含む15種以上）を一括テストでき、アカウント不要・URL入力だけで即検証できます。
- 問題が見つかった場合はどうすればいいですか？
- 診断結果画面の「robots.txt ジェネレーターで修正する」ボタンから、正しいrobots.txtをUIで即生成できます。構文エラーや設定ミスの具体的な修正方法も各エラーメッセージに記載されています。
不具合や動作がおかしい点を見つけたら教えてください。
不具合報告はこちら →