# AIクローラーの許可設定｜引用は許可、学習は拒否。robots.txtとCloudflareでの確認(2026年9月)

> GPTBot・OAI-SearchBot・ClaudeBotなどのAIクローラーを用途で3種類に分け、AIの回答には出るが学習には使わせないrobots.txtの書き方、CDNやWAFでの気づかないブロック、CloudflareのAI Crawl Controlでの確認手順を公式ドキュメント(2026-09-30確認)をもとに解説します。

発行: 株式会社ウェステリア(https://westeria.jp) / カテゴリ: LLMO(AI検索対策) / 出典: https://westeria.jp/guide/ai-crawler-settings/

ChatGPTやClaude、Perplexityは、目的ごとに別のクローラー(Webページを自動で読みに来るプログラム)を使っています。AIのクローラーをまとめて拒否した結果、AIの回答からも自社が消えていることがあります。この記事では2026-09-30時点の各社の公式ドキュメントをもとに、「AIの回答には出たいが、学習には使われたくない」ときの設定と、CDN・WAF・レンタルサーバーでの見落としの確かめ方を整理します。

## 結論

- AIクローラーは、学習用(GPTBot、ClaudeBot)、AI検索のインデックス用(OAI-SearchBot、Claude-SearchBot、PerplexityBot)、利用者の質問でその場で読みに来るもの(ChatGPT-User、Claude-User、Perplexity-User)の3種類です。AIの回答に出たいなら後の2つを拒否せず、学習を避けたいなら1つ目だけを拒否します
- robots.txtが正しくても、CDNやWAF(不正アクセスを防ぐ仕組み)、レンタルサーバーの海外アクセス制限で止まっていることがあります。Cloudflareは、2026-09-15から新しいドメインの既定を「学習用とエージェント用は広告のあるページでブロック、検索用は許可」にすると説明しています
- robots.txtは相手に任せる「お願い」で、利用者の操作で読みに来るものには適用されないことがあります。設定を変えたら、公開中のrobots.txt、CDNの画面の記録、実際の応答の3つで確かめます

## AIクローラーは用途で3種類に分かれる

robots.txtは、サイトの一番上の階層に置くテキストファイルで、「このクローラーはここを読まないでください」と伝えるためのものです。AIの会社は目的ごとに別の名前のクローラーを用意しているので、名前ごとに許可・拒否を書き分けられます。用途で分けると次の3種類です。

| 種類 | 何をしに来るか | 拒否したときに起きること |
| --- | --- | --- |
| (1) 学習用 | AIモデルの学習に使われる可能性のあるページを集める | 今後の学習に使わないでほしい、という意思表示になる |
| (2) AI検索のインデックス用 | AIの検索機能で、回答の根拠やリンクとして出すページを集めて索引を作る | AI検索の回答に出にくくなる。OAI-SearchBotを拒否するとChatGPTの検索の回答に出なくなる(OpenAI) |
| (3) 利用者の質問でその場で読みに来るもの | 利用者がAIに質問したりURLを渡したりしたときに、そのページを読みに来る | 利用者がAIに自社のページを読ませようとしても読めなくなる |

(1)を拒否しても、(2)と(3)を許可していれば、AIの回答に出る道は残ります。OpenAIは、設定はクローラーごとに独立しており、OAI-SearchBotを許可しつつGPTBotを拒否できると明記しています。

仕様の出典: [OpenAI「Overview of OpenAI Crawlers」](https://developers.openai.com/api/docs/bots)
仕様の出典: [Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler)
仕様の出典: [Perplexity「Perplexity Crawlers」](https://docs.perplexity.ai/guides/bots)

## 各社のクローラーの一覧(2026-09-30時点)

| 会社 | 名前(robots.txtに書く名前) | 種類 | robots.txtの扱い(公式の説明) |
| --- | --- | --- | --- |
| OpenAI | GPTBot | (1) 学習用 | 従う。拒否は学習に使わないでほしいという意思表示 |
| OpenAI | OAI-SearchBot | (2) ChatGPTの検索用 | 従う。変更の反映まで約24時間 |
| OpenAI | ChatGPT-User | (3) 利用者の操作で読みに来る | 利用者の操作が起点なので、robots.txtのルールが適用されないことがある |
| Anthropic | ClaudeBot | (1) 学習用 | 従う。Crawl-delay(読みに来る間隔の指定)にも対応 |
| Anthropic | Claude-SearchBot | (2) 検索用 | 従う |
| Anthropic | Claude-User | (3) 利用者の質問で読みに来る | 従う |
| Perplexity | PerplexityBot | (2) 検索用。基盤モデルの学習には使わない | 従う。変更の反映まで最大24時間 |
| Perplexity | Perplexity-User | (3) 利用者の質問で読みに来る | 利用者の操作が起点なので、原則としてrobots.txtのルールに従わない |
| Google | Googlebot | 通常の検索。AIによる概要・AIモードも、このインデックスを使う | 従う。拒否すると検索にもAIによる概要にも出なくなる |
| Google | Google-Extended | Geminiの学習と、Geminiアプリなどでのグラウンディング(回答時に検索の索引を使うこと)の制御 | 従う。別のクローラーではなくrobots.txtに書く名前。Google検索の掲載や順位には影響しないとGoogleは説明 |

Googleには、AIによる概要・AIモード専用のクローラーはありません。ページがインデックスされ(検索エンジンの索引に登録され)、通常の検索で説明文付きで表示できる状態であれば対象になる、とGoogleは説明しています。一方、Google-Extendedの対象にはGeminiアプリなどでのグラウンディングも入っています。拒否してもGoogle検索には影響しませんが、Geminiアプリの回答の材料には使われにくくなる可能性があります。「学習は拒否」のつもりで拒否する前に、この点を踏まえて決めてください。

仕様の出典: [Google Search Central「Google's common crawlers」(最終更新 2026-07-14)](https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers)
仕様の出典: [Google Search Central「AI features and your website」](https://developers.google.com/search/docs/appearance/ai-features)

## 「AIの回答には出たいが、学習には使われたくない」ときのrobots.txt

考え方は「全体は許可し、学習用の名前だけを個別に拒否する」です。書き方の例を1行ずつ示します(空行はグループの区切りです)。

- User-agent: GPTBot
- Disallow: /
- (空行)
- User-agent: ClaudeBot
- Disallow: /
- (空行)
- User-agent: CCBot
- Disallow: /
- (空行)
- User-agent: *
- Allow: /
- (空行)
- Sitemap: (自社のサイトマップのURL)

### なぜこう書くのか

- 「User-agent: *」は、名前が個別に書かれていないすべてのクローラー向けのルールです。ここを許可にしておけば、OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebotは読みに来られます
- クローラーは、自分の名前が書かれたグループがあれば、そのグループだけに従います。GPTBotは「User-agent: GPTBot」の行に従い、「*」の許可は見ません。だから学習用の名前を個別に書けば、それだけを拒否できます
- CCBotは、Common Crawlという団体が巡回データを集めて公開するためのクローラーで、Cloudflareのマネージドのrobots.txtも拒否の対象にしています
- よくある失敗は、「User-agent: *」に「Disallow: /」を書いてしまうことです。制作中に検索に出ないようにしていた設定が、公開後も残っている例があります

OpenAIとPerplexityは、robots.txtを変えてから反映されるまで最大で約24時間かかると書いています。変更した当日に結果が変わらなくても慌てる必要はありません。

## robots.txtだけでは足りない。CDN・WAF・サーバーでのブロック

robots.txtはお願いするだけのファイルです。これとは別に、サイトの手前でアクセスそのものを止める仕組みがあります。CDN(世界中のサーバーからページを配る仕組み。Cloudflareなど)、WAF(不正なアクセスを止める仕組み)、レンタルサーバーのアクセス制限です。ここで止めていると、robots.txtで許可していても読めません。止めた記録は、持ち主が見に行かない限り目に入りません。

Cloudflareは2025-07-01に、AIクローラーを既定でブロックする方向に変えると発表しました。公式ドキュメント(2026-09-30確認)では、2026-09-15から新しく追加するドメインの既定を、学習用とエージェント用(人の代わりにその場で動くもの)は広告を表示するページでブロック、検索用は許可にすると説明しています。

「マネージドのrobots.txt」という機能を有効にすると、GPTBot、ClaudeBot、CCBot、Google-Extendedなどを拒否する行が、自社のrobots.txtの前に自動で足されます。自社で書いたファイルには出てこないので、公開されている実物を開かないと気づけません。

### よくある見落とし

- 制作会社がCloudflareを設定したとき、AIボットのブロックを有効にしたまま引き渡している
- 不正ログイン対策で、レンタルサーバーの「海外からのアクセス制限」を有効にしている。AIクローラーの多くは海外のサーバーから来るため、一緒に止まることがあります
- IPアドレス(接続元の番号)でAIクローラーを拒否している。Anthropicはこの方法を勧めておらず、robots.txtを読めなくなるため拒否の意思が正しく伝わらないことがある、と説明しています

仕様の出典: [Cloudflare Docs「Block AI bots」(2026-09-30確認)](https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/)
仕様の出典: [Cloudflare Docs「Managed robots.txt」](https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/)
仕様の出典: [Cloudflare Blog「Content Independence Day: no AI crawl without compensation!」(2025-07-01)](https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/)

## CloudflareのAI Crawl Controlで現状を確かめる

Cloudflareを使っているサイトなら、管理画面の「AI Crawl Control」で、どのAIクローラーが来ていて、どれを止めているかが一覧で見られます。すべてのプランで使え、無料プランでは分析の期間が24時間に限られます(2026-09-30時点の公式ドキュメント)。

| 画面(タブ) | 見るところ | こうなっていたら要確認 |
| --- | --- | --- |
| Crawlers(クローラーの一覧) | クローラーごとの種類、リクエスト数(通ったもの・失敗したもの)、robots.txt違反の数、操作(許可・ブロック) | OAI-SearchBotやClaude-SearchBot、PerplexityBotが「ブロック」になっている。失敗したリクエストが多い |
| Track robots.txt(robots.txtの追跡) | robots.txtが正しく返っているか(応答の状態)と、robots.txtで拒否した場所を読みに来たクローラー | robots.txt自体がエラーを返している |

一覧で「Block」を選ぶと、裏側ではWAFのルールが作られます。お願いではなく、アクセスそのものを止める設定です。AI検索用は許可、学習用は方針に応じてブロック、という切り分けをこの画面で行います。

robots.txt違反の表は、現在のrobots.txtと過去のアクセスを突き合わせて作られます。ルールを最近変えると、当時は問題のなかったアクセスが違反と表示されることがある、と公式ドキュメントは注意しています。数だけで、規則を破ったと決めつけないでください。

仕様の出典: [Cloudflare Docs「AI Crawl Control」](https://developers.cloudflare.com/ai-crawl-control/)
仕様の出典: [Cloudflare Docs「Manage AI crawlers」](https://developers.cloudflare.com/ai-crawl-control/features/manage-ai-crawlers/)
仕様の出典: [Cloudflare Docs「Track robots.txt」](https://developers.cloudflare.com/ai-crawl-control/features/track-robots-txt/)

## robots.txtは「お願い」。守らないアクセスもある

robots.txtには強制力がありません。利用者の操作で読みに来るもの(ChatGPT-User、Perplexity-User)には適用されないことがあると各社自身が書いており、名乗りを偽るプログラムもあります。学習に使われることを確実に防ぎたい情報は、ログインの内側に置くか、公開しないのが基本です。

断られても試し続ける自動のアクセスへの備えは別の対策で、「OpenAIのAIエージェントが政府サイトの制限を突破｜自社のWebサイト・公開APIで見直すこと」で整理しています。AIクローラーを一律に遮断してもそうしたアクセスは防ぎにくく、AI検索に出にくくなる副作用のほうが先に来ます。

## 当社のサイト(westeria.jp)での設定

当社のサイトでは、robots.txtはすべて許可にし、サイトマップとllms.txtの案内を書いているだけです。AIクローラーの許可・拒否は、2026-07-21からCloudflareのAI Crawl Controlで行っています。AI検索・AIアシスタント用(OAI-SearchBot、ChatGPT-User、Claude-SearchBot、PerplexityBot、Perplexity-Userなど)は許可し、学習用(GPTBot、ClaudeBot、CCBot、Bytespiderなど)はブロックしています。

Cloudflare側で制御しているのは、実際に来ているクローラーを見ながら判断でき、新しいクローラーにも画面の操作で対応できるからです。2026-09-30に、GPTBotの名乗りでは403(拒否)、OAI-SearchBotの名乗りでは200(表示)が返ることを確かめました。学習用を許可するかどうかは会社ごとに判断が分かれます。

## 日本の会社はどう決めるか。自社でやること・頼むこと

クローラーの仕組みに日本向けの違いはなく、日本語のサイトにも同じクローラーが海外から来ます。日本の中小企業で起きやすいのは、レンタルサーバーの海外アクセス制限や、制作会社が入れたCDNの設定を、社内の誰も把握していないことです。方針は会社が決め、設定は制作会社や情シスに頼む、と分けると進めやすくなります。

| やること | 誰がやるか |
| --- | --- |
| 学習用を許可するか拒否するか、Google-Extendedをどうするかの方針を決める | 自社(経営者・Web担当) |
| 公開されているrobots.txtを開き、AI検索用の名前や「User-agent: *」が拒否になっていないか見る(5分) | 自社 |
| Cloudflare・WAF・レンタルサーバーのアクセス制限の設定を確かめる | 制作会社・情シス(管理画面の権限を持つ人) |
| robots.txtの書き換え、Cloudflareでのクローラーごとの設定 | 制作会社・情シス |

## 設定を変えたあとの確かめ方

- ブラウザで自社の/robots.txtを開き、意図した行が入っているかを見る。CDNが行を足すことがあるので、公開されている実物を見ます
- 変更の1〜2日後に、AI Crawl ControlでAI検索用のクローラーのリクエストが通っているかを見る(反映に最大約24時間かかるため)
- 制作会社に、クローラーの名乗りでアクセスしたときの応答(200か403か)を確かめてもらう。名乗りを真似ただけの確認なので、接続元で本物かを判定する設定では結果が実際と違うことがあります
- 数週間後に、ChatGPTやPerplexityに自社について質問し、自社のページが根拠として出るかを、日付と質問を添えて記録する

## 出典

- OpenAI「Overview of OpenAI Crawlers」(2026-09-30確認): https://developers.openai.com/api/docs/bots
- Anthropic「Does Anthropic crawl data from the web, and how can site owners block the crawler?」(2026-09-30確認): https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Perplexity「Perplexity Crawlers」(2026-09-30確認): https://docs.perplexity.ai/guides/bots
- Google Search Central「Google's common crawlers」(最終更新 2026-07-14): https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
- Google Search Central「AI features and your website」(最終更新 2025-12-10): https://developers.google.com/search/docs/appearance/ai-features
- Cloudflare Docs「AI Crawl Control」(2026-09-30確認): https://developers.cloudflare.com/ai-crawl-control/
- Cloudflare Docs「Manage AI crawlers」(2026-09-30確認): https://developers.cloudflare.com/ai-crawl-control/features/manage-ai-crawlers/
- Cloudflare Docs「Track robots.txt」(2026-09-30確認): https://developers.cloudflare.com/ai-crawl-control/features/track-robots-txt/
- Cloudflare Docs「Block AI bots」(2026-09-30確認): https://developers.cloudflare.com/bots/additional-configurations/block-ai-bots/
- Cloudflare Docs「Managed robots.txt」(2026-09-30確認): https://developers.cloudflare.com/bots/additional-configurations/managed-robots-txt/
- Cloudflare Blog「Content Independence Day: no AI crawl without compensation!」(2025-07-01): https://blog.cloudflare.com/content-independence-day-no-ai-crawl-without-compensation/

## よくある質問

### GPTBotをブロックすると、ChatGPTの回答に自社が出なくなりますか?

OpenAIの説明では、GPTBotは学習用で、ChatGPTの検索の回答に出すためのクローラーは別のOAI-SearchBotです。GPTBotだけを拒否し、OAI-SearchBotを許可していれば、検索の回答に出る道は残ります(2026-09-30時点)。

### Google-Extendedを拒否すると、GoogleのAIによる概要に出なくなりますか?

Googleは、Google-Extendedは検索への掲載や順位に影響しないと説明しています。AIによる概要とAIモードは通常のGooglebotのインデックスを使います。ただしGeminiアプリなどでのグラウンディングも対象のため、Geminiアプリでの見え方には影響する可能性があります。

### robots.txtで許可しているのに、AIクローラーが来ていないのはなぜですか?

CDNやWAF、レンタルサーバーの海外アクセス制限で止まっている可能性があります。Cloudflareを使っているなら、AI Crawl Controlの一覧でブロックになっていないか、リクエストが失敗していないかを見てください。変更直後なら、反映に最大約24時間かかります。

## 関連ページ

- https://westeria.jp/guide/llmo/
- https://westeria.jp/guide/llms-txt/
- https://westeria.jp/guide/llmo-self-check/
- https://westeria.jp/guide/ai-agent-website-defense/

---

株式会社ウェステリアは、AIネイティブな開発スタイルでソフトウェア開発と業務自動化を行う会社です。初回1時間の無料ヒアリングを受け付けています: https://westeria.jp/#contact