【2026最新】AIクローラーとrobots.txt｜何を許可し何を止めるか
結論から書きます。AIクローラーを止めると、AI検索からも外れます。 そしてGoogle-Extendedをブロックしても、Google検索のAI機能からは外れません。この2つは別の仕組みです。
この記事では、AIクローラーの種類、robots.txtでの制御方法、そして止めるべきかどうかの判断を整理します。
まず押さえるべき区別
混同しやすい3つの概念を分けます。
概念 | 何を制御するか |
|---|---|
Googlebot | Google検索のクロール |
Google-Extended | Gemini のアプリ／Vertex AI でのコンテンツ利用 |
AI検索の回答 | Google検索のAI機能（AI Overviews等） |
重要：Google-ExtendedはGoogle検索のAI機能を制御するものではありません。
出典：Google Search Central「Google common crawlers」（2026年9月23日確認）
主なAI関連クローラー
クローラー | 運営 | 用途 |
|---|---|---|
Googlebot | Google検索のクロール | |
Google-Extended | Gemini アプリ／Vertex AI での利用 | |
GPTBot | OpenAI | モデルの学習・改善 |
OAI-SearchBot | OpenAI | ChatGPTの検索機能 |
ChatGPT-User | OpenAI | ユーザー操作によるアクセス |
ClaudeBot | Anthropic | モデルの学習 |
PerplexityBot | Perplexity | 検索インデックス |
注意：同じ運営元でも、学習用と検索用は別のクローラーです。片方を止めると、もう片方に影響が出る場合があります。
判断の分岐
学習用・検索用・Google-Extendedで扱いが異なる
「止めるかどうか」は目的によって変わります。
止めたくない場合（推奨）
AI検索から流入を得たい場合は、検索系のクローラーを許可します。
目的 | 許可するクローラー |
|---|---|
Google検索のAI機能に掲載されたい | Googlebot |
ChatGPTの検索に掲載されたい | OAI-SearchBot |
Perplexityに掲載されたい | PerplexityBot |
AI検索の回答に使われるには、クロールが前提条件です。
止めたい場合
コンテンツを学習に使わせたくない場合は、学習系のクローラーを止めます。
目的 | 止めるクローラー |
|---|---|
モデル学習に使わせたくない | GPTBot、ClaudeBot |
Gemini アプリでの利用を止めたい | Google-Extended |
重要：学習を止めても、検索からの掲載は維持できます。 学習用と検索用が分かれているためです。
robots.txtでの制御方法
特定のクローラーを止める
User-agent: GPTBot
Disallow: /期待される結果：GPTBotがサイト全体をクロールしなくなります。
検索用は許可し、学習用だけ止める
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /期待される結果：ChatGPTの検索には掲載され、学習には使われません。
Google-Extendedを止める
User-agent: Google-Extended
Disallow: /期待される結果：Gemini アプリ／Vertex AI での利用が止まります。
重要：Google検索のAI機能には影響しません。 Google-Extendedは別の仕組みです。
手順：現状を確認する
手順1：robots.txtを確認する
https://（ドメイン）/robots.txtを開きます- AI関連のクローラーが指定されているか確認します
期待される結果：現在の指定状況が分かります。
手順2：意図しないブロックを探す
最も多い事故は、意図せずブロックしているケースです。
確認項目 | 内容 |
|---|---|
| 全クローラーを止めていないか |
| ワイルドカードで止めていないか |
ステージング環境の設定が本番に残っていないか | よくある事故 |
品質チェック：Googlebotがブロックされていないかを必ず確認してください。ブロックされていると、検索からも外れます。
手順3：サーチコンソールで確認する
- サーチコンソールを開きます
- 「設定」→「robots.txt」を確認します
- クロール統計を確認します
期待される結果：Googlebotのアクセス状況が確認できます。
よくある誤解
誤解1：Google-Extendedを止めればAI検索から外れる
外れません。 Google-ExtendedはGemini アプリ／Vertex AI での利用を制御するもので、Google検索のAI機能とは別です。
誤解2：AIクローラーを全部止めれば安全
AI検索からの流入も失います。 検索系のクローラーを止めると、回答に掲載されなくなります。
誤解3：robots.txtで完全に防げる
robots.txtは指示であり、強制力はありません。 遵守しないクローラーもあります。
確実に防ぎたい場合は、サーバー側での制御を検討してください。
誤解4：止めれば学習されない
robots.txtを無視するクローラーには効果がありません。 また、すでに学習された内容は取り消せません。
誤解5：AI検索用に特別な許可設定が必要
必要ありません。 Googleは、AI検索に追加の技術要件はないと説明しています。
出典：Google Search Central「AI features and your website」（2026年9月23日確認）
判断のまとめ
やりたいこと | 設定 |
|---|---|
AI検索からの流入を得たい | 検索系クローラーを許可 |
学習に使わせたくない | 学習系クローラーをブロック |
Gemini アプリでの利用を止めたい | Google-Extendedをブロック |
Google検索のAI機能を止めたい | Google-Extendedでは実現できない |
すべてのAIから外れたい | 各クローラーを個別にブロック |
よくある質問
AIクローラーは止めるべきですか？
目的によります。 AI検索からの流入を得たいなら許可してください。学習に使わせたくないなら、学習系のみをブロックします。
Google-Extendedをブロックするとどうなりますか？
Google検索のAI機能には影響しません。 Gemini アプリ／Vertex AI での利用が止まります。
検索用と学習用は分けられますか？
分けられます。 OpenAIはGPTBot（学習）とOAI-SearchBot（検索）を別々に提供しています。
robots.txtで確実に防げますか？
確実ではありません。 robots.txtは指示であり、強制力はありません。確実に防ぐにはサーバー側の制御が必要です。
ブロックすると検索順位が下がりますか？
Googlebotをブロックすると、検索から外れます。 学習系クローラーのブロックは検索順位に影響しません。
AI検索用の特別な設定は必要ですか？
必要ありません。 Googleは、AI検索に追加の技術要件はないと説明しています。
まとめ
- Google-ExtendedはGoogle検索のAI機能を制御しない
- 学習用と検索用は別のクローラー
- AI検索からの流入を得たいなら検索系を許可
- 学習に使わせたくないなら学習系をブロック
- robots.txtは強制力がない
- Googlebotをブロックすると検索から外れる
まず現在のrobots.txtを確認し、意図しないブロックがないかをチェックしてください。
Author: Gabriel Finch、Auspia。1,200以上のAI回答を検証する検索取得リサーチャー。検索インフラ、取得システム、AIディスカバリーを執筆。
