robots.txt ジェネレーター｜AIクローラーブロック対応

検索エンジンのボットがサイトを訪問するとき、最初にドメインルートのrobots.txtを確認します。ファイルが存在すればルールを読み込み、それに従ってクロール対象を決定します。robots.txtが存在しないか設定が不適切だと、重要でないページにクロール予算が消費される・主要コンテンツのインデックスが遅れる・最悪の場合サイト全体がクロールされなくなる、といった問題が起きます。

robots.txtはページの「クロール（巡回）」を制御し、noindexメタタグはページの「インデックス（登録）」を制御します。robots.txtでブロックされたページでも、他サイトからリンクされていれば検索結果に表示されることがあります。検索結果から確実に除外したい場合はnoindexタグを使い、robots.txtだけに頼らないようにしましょう。

Googlebotは1サイトに対して1日にクロールできるページ数（クロールバジェット）が決まっています。大規模サイトでこのバジェットが重複URL・パラメーターURL・低品質ページに消費されると、重要なページがクロールされない恐れがあります。robots.txtで /tag/ /search/ などの低価値URLをブロックすることで、クロールバジェットを重要ページに集中させることができます。

どのクローラーにルールを適用するかを指定します。User-agent: * はすべてのクローラーが対象です。User-agent: Googlebot のように特定のクローラー名を指定することもできます。User-agent: GPTBot と指定すればOpenAIのトレーニングボットだけにルールを適用できます。

Disallow: /path/ は指定パス以下のURLをクロール禁止にします。Allow: /path/ は、より広いDisallowルールの中で特定パスだけを許可するために使います。例えば Disallow: /private/ と Allow: /private/public.html を組み合わせると、/private/ 全体を禁止しつつ1ページだけ許可できます。Disallow:（値なし）はすべて許可の意味です。

Sitemap: https://example.com/sitemap.xml のように記述することで、クローラーにXMLサイトマップの場所を伝えられます。これはクロール制限ではなく「コンテンツ発見のヒント」です。複数のSitemap行を記述することも可能です。本ツールではサイトマップURLを入力すると自動でこのディレクティブが追記されます。

Crawl-delay: 10 と記述すると、対応するクローラーはページ間のリクエストを10秒空けます。サーバー負荷軽減に役立ちます。ただしGooglebotはこのディレクティブを無視します。Googleのクロール頻度を下げたい場合はGoogle Search ConsoleのCrawl Rate設定を使ってください。Bingbot・Baiduspiderなどは対応しています。

User-agent: * の下に Disallow: / と書くと、すべてのクローラーがサイト全体をクロールできなくなります。これはサイトをGoogleから消滅させる最も危険な設定です。アップロード前に必ず確認してください。サイトが突然検索結果から消えたらrobots.txtを真っ先に確認しましょう。

/wp-content/ などのアセットフォルダをブロックすると、Googlebotがページをブラウザのようにレンダリングできなくなります。Googleはページの見た目を評価してランキングに反映するため、スタイルやスクリプトが読めない状態では正しく評価されません。管理画面や非公開リソース以外のアセットはブロックしないようにしましょう。

robots.txtはドメイン直下に公開されており、誰でも内容を見ることができます。Disallow: に記載したパスは、悪意ある第三者に「隠しページの場所」を教えてしまうことになります。機密コンテンツの保護には認証やサーバーレベルのアクセス制御を使い、robots.txtを唯一のセキュリティ手段にしないでください。

WordPressはrobots.txtが存在しない場合、デフォルトのファイルを自動生成します。独自のrobots.txtを使うには、生成したファイルをFTPまたはホスティングのファイルマネージャーでWordPressのルートディレクトリにアップロードしてください。Yoast SEOなら「ツール」→「ファイルエディター」、Rank Mathなら「一般設定」→「robots.txt編集」からFTP不要で直接編集できます。

2021年以降のShopifyはrobots.txt.liquidテンプレートで編集できます。Shopify管理画面の「オンラインストア」→「テーマ」→「アクション」→「コードを編集」を開き、テンプレートフォルダの robots.txt.liquid を選択してください。内容を本ツールの生成結果に差し替えるだけで即時反映されます。

Next.js・Astro・Hugo・プレーンHTMLなどの静的サイトでは、robots.txtを public/ または static/ フォルダに置くとドメインルートで配信されます。Wix・Squarespaceなど他のCMSプラットフォームは管理画面のSEO設定にrobots.txtエディターが用意されています。設置後はブラウザで https://yourdomain.com/robots.txt にアクセスして内容を確認してください。