AIクローラーチェッカー｜GPTBot・ClaudeBot ブロック診断

あなたのサイトがAIクローラー（GPTBot・ClaudeBot・Google-Extended等）をブロックしているか無料で一括診断。

URL

関連記事

SEO

robots.txtの書き方 完全ガイド｜基本設定からAIクローラーブロックまで

robots.txtの基本構文（User-agent・Disallow・Allow・Sitemap）から、GPTB…

続きを読む →

AIクローラーチェッカー｜GPTBot・ClaudeBot ブロック診断とは

あなたのサイトがGPTBot・ClaudeBot・Google-Extended等のAIクローラーをブロックしているか無料で一括診断。URLを入力するだけでrobots.txtを自動取得し、15種類のAI学習ボットに対するブロック/許可状況をマトリックス表示します。AIによるコンテンツ無断学習を防ぎたいサイトオーナー必須のチェックツールです。

使い方

  1. 1サイトのURL（例: https://example.com）を入力して「診断する」をクリックします。
  2. 2robots.txtが自動取得され、15種類のAIクローラーに対するブロック/許可状況がマトリックスで表示されます。
  3. 3ブロック済み（赤）のクローラーはサイトをクロールできません。許可中（緑）のクローラーはコンテンツを収集できる状態です。
  4. 4ブロック推奨のクローラーが許可中の場合、「robots.txt ジェネレーターで修正」ボタンからワンクリックでブロック設定を追加できます。
  5. 5より詳しい構文検証やDisallow/Allowルールの確認はrobots.txt チェッカーをご利用ください。

メリット・特徴

  • URLを入力するだけで15種類のAIクローラーのブロック状況を一括診断
  • GPTBot・ClaudeBot・Google-Extended・Bytespider等の主要AIボットをすべてカバー
  • ブロック済/許可中を色分けマトリックスで一目瞭然に表示
  • Google Search Consoleでは確認できないAIクローラー対応状況を可視化
  • 無料・登録不要・ブラウザ完結。問題があればジェネレーターで即修正可能
01

AIクローラーの種類と各社の対応状況

2023年以降、LLM（大規模言語モデル）の学習データ収集を目的としたクローラーが急増しています。各AI企業が公開しているクローラー名とrobots.txt遵守状況を理解することが、効果的なブロック設定の第一歩です。

OpenAI（GPTBot・ChatGPT-User）

GPTBotはOpenAIがGPTモデルの学習データを収集するために使用するクローラーです。ChatGPT-UserはChatGPTの「Browse with Bing」機能でユーザーの質問に答えるためにWebページを取得するボットです。OpenAIはrobots.txtを遵守すると公式に表明しており、GPTBotをブロックすることで学習データからの除外が可能です。

Anthropic（ClaudeBot・anthropic-ai）

ClaudeBotはAnthropicがClaudeモデルの学習データ収集に使用するクローラーです。anthropic-aiはAnthropicのWeb調査用ボットです。Anthropicもrobots.txtを遵守すると公式に表明しています。両方をブロックすることでAnthropicのAI学習からコンテンツを保護できます。

Google-Extended とその影響

Google-ExtendedはGoogleがGemini（旧Bard）等のAIモデル学習に使用するクローラーです。重要な点として、Google-Extendedをブロックしても通常のGoogle検索のインデックスには影響しません（Googlebotとは別のボットです）。ただしGoogle SGE（AI概要・AI Overview）への表示が止まる可能性があるため、検索流入への影響を考慮して判断してください。

02

AIクローラーブロックの実装と運用

AIクローラーのブロックはrobots.txtの設定だけで完了しますが、適切に運用するためにはいくつかのポイントがあります。

ブロック設定の書き方

AIクローラーをブロックするには、各クローラーのUser-agentに対してDisallow: /を設定します。User-agent: GPTBot + Disallow: / のようにクローラーごとに個別のブロックを記述します。User-agent: * に Disallow: / を書くとGooglebotも含む全クローラーをブロックしてしまうため、必ずクローラー名を個別指定してください。

定期的な監視の重要性

新しいAIクローラーは定期的に登場しています。本ツールで定期的に診断することで、新たに出現したAIボットへの対応漏れを検出できます。robots.txtの変更後は必ず本ツールまたはrobots.txt チェッカーで設定を検証してください。

よくある質問（FAQ）

どのAIクローラーを診断できますか？
GPTBot・ChatGPT-User（OpenAI）、ClaudeBot・anthropic-ai（Anthropic）、Google-Extended（Google）、PerplexityBot、CCBot（Common Crawl）、Bytespider（ByteDance）、Amazonbot、YouBot、cohere-ai、Diffbot、Applebot-Extended、Meta-ExternalAgent、omgili（Webz.io）の15種類を診断します。
AIクローラーをブロックするとSEOに影響しますか？
AIクローラー（GPTBot等）と検索クローラー（Googlebot等）は別のボットです。AIクローラーだけをブロックしても検索順位には影響しません。ただしGoogle-Extendedをブロックすると、Google SGE（AI概要）への表示が止まる可能性があります。
robots.txtでAIクローラーをブロックする効果はありますか？
OpenAI・Anthropic・Google・ByteDance等の主要AI企業はrobots.txtを遵守すると公表しています。ただし非公式のスクレイパーや悪意あるボットはrobots.txtを無視することがあります。robots.txtは法的拘束力のない慣習です。
ブロックすべきかどうかの判断基準は？
オリジナル記事・論文・写真・有料コンテンツを提供するサイトはAIクローラーのブロックを推奨します。ツールサイト・SaaSのLP・ECの商品ページなどAI学習の影響が少ないサイトはブロック不要です。
ブロックされていないAIクローラーを修正するには？
診断結果の「robots.txt ジェネレーターで修正」ボタンをクリックすると、AIクローラーブロック機能付きのジェネレーターに移動します。ブロックしたいAIボットにチェックを入れるだけで正しいrobots.txtが生成されます。

不具合や動作がおかしい点を見つけたら教えてください。

不具合報告はこちら →