robots.txt テンプレート集｜WordPress・Shopify・Next.js対応

プラットフォーム別のrobots.txtテンプレートをワンクリックコピー。AIクローラーブロック切替付き。

GPTBot・ClaudeBot・Google-Extended等をブロックするルールを追加
📄 robots.txt
# WordPress robots.txt

User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /feed/
Disallow: /trackback/
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /search/

関連記事

SEO

robots.txtの書き方 完全ガイド｜基本設定からAIクローラーブロックまで

robots.txtの基本構文（User-agent・Disallow・Allow・Sitemap）から、GPTB…

続きを読む →

robots.txt テンプレート集｜WordPress・Shopify・Next.js対応とは

WordPress・Shopify・Next.js・Laravel・静的サイト向けのrobots.txtテンプレートをワンクリックでコピー。AIクローラーブロック（GPTBot・ClaudeBot・Google-Extended）のON/OFF切替機能付き。プラットフォームに最適化されたrobots.txtをそのままダウンロードして使えます。

使い方

  1. 1プラットフォーム（WordPress・Shopify・Next.js・Laravel・静的サイト・ECサイト）を選択します。
  2. 2AIクローラーブロックのON/OFFを切り替えます。ONにするとGPTBot・ClaudeBot等のAIクローラーをブロックするルールが追加されます。
  3. 3テンプレートがリアルタイムで更新されます。内容を確認して「コピー」またはrobots.txtとしてダウンロードしてください。
  4. 4必要に応じてSitemap URLを入力すると、Sitemapディレクティブが自動追記されます。
  5. 5テンプレートをカスタマイズしたい場合は、robots.txt ジェネレーターで詳細設定が可能です。

メリット・特徴

  • プラットフォーム別に最適化されたrobots.txtテンプレートを即コピー
  • AIクローラーブロックの切替機能でAI学習対策もワンクリック
  • 初心者でもrobots.txtの書き方を知らずにそのまま使えるテンプレート
  • WordPress・Shopify・Next.js・Laravel等の主要プラットフォームに対応
  • 無料・登録不要・ブラウザ完結。テンプレートをそのままDLしてサーバーへアップロード
01

プラットフォーム別robots.txtの最適設定

プラットフォームごとにデフォルトのURL構造やブロックすべきパスが異なります。テンプレートを使うことで、各プラットフォーム特有のパスを漏れなくカバーできます。

WordPress：/wp-admin/ と /wp-includes/ の制御

WordPressサイトでは/wp-admin/（管理画面）をブロックし、/wp-admin/admin-ajax.phpはプラグインが使用するため許可するのが標準設定です。/wp-includes/内のCSS・JSはGooglebotのレンダリングに必要なためブロックしません。/feed/や/trackback/など低価値URLのブロックも推奨されます。

Shopify：/cart と /checkout の制御

Shopifyサイトでは/cart・/checkout・/account（マイページ）をブロックしてクロールバジェットを節約します。Shopifyはrobots.txt.liquidテンプレートで管理するため、コードエディタから直接編集します。コレクションの並び替え/フィルターURLも重複コンテンツとなるためブロックを推奨します。

Next.js/Astro：public/ フォルダへの配置

静的サイトジェネレーターではrobots.txtをpublic/（またはstatic/）フォルダに配置するとドメインルートで配信されます。APIルート（/api/）やプレビューモードのURL（/_next/）をブロックすることで不要なクロールを防止できます。ビルド時に自動生成する方法もありますが、テンプレートを手動配置する方が確実です。

02

AIクローラーブロックの判断基準

AIクローラーをブロックすべきかどうかはサイトの性質やビジネス目的によって異なります。判断基準を整理します。

ブロックすべきケース

オリジナルコンテンツ（記事・論文・写真・デザイン等）の著作権を保護したい場合、AI学習に利用されることでコンテンツの独自価値が薄れるリスクがある場合、有料コンテンツやサブスクリプション制のコンテンツを提供している場合はAIクローラーのブロックを推奨します。

ブロックしなくてよいケース

ツールサイト・SaaSのランディングページ・ECの商品ページなど、AI学習による影響が少ないコンテンツはブロック不要です。むしろAIの回答で言及されることで認知度が上がるメリットもあります。ブロックしない場合でもrobots.txtにSitemapを記載してクロール効率は最適化しましょう。

よくある質問（FAQ）

どのプラットフォームのテンプレートがありますか？
WordPress・Shopify・Next.js/Astro/Nuxt（静的サイト系）・Laravel/Rails（フレームワーク系）・ECサイト（カート・決済ページ対応）・ブログ/メディアサイトの6種類のテンプレートを用意しています。
テンプレートをそのまま使って大丈夫ですか？
はい。各テンプレートは一般的なベストプラクティスに基づいて設計されています。ただしサイト固有の非公開パスがある場合は、robots.txt ジェネレーターで追加設定することを推奨します。
AIクローラーブロックはどのボットが対象ですか？
GPTBot（OpenAI）・ChatGPT-User（OpenAI）・ClaudeBot（Anthropic）・Google-Extended・Bytespider（ByteDance）・PerplexityBot・CCBot（Common Crawl）の主要7種をブロックします。
テンプレートをカスタマイズしたい場合は？
テンプレートをベースに独自のDisallow/Allowルールを追加したい場合は、robots.txt ジェネレーターをご利用ください。パスのチェックリスト・AIクローラー個別選択・Crawl-delay設定などの詳細カスタマイズが可能です。
Sitemapの設定は必要ですか？
Sitemapディレクティブの追加を強く推奨します。Sitemap URLを入力するとテンプレートに自動追記されます。SitemapによりGoogleがコンテンツを早く発見できるようになります。

不具合や動作がおかしい点を見つけたら教えてください。

不具合報告はこちら →