OpenAIクローラー完全解説：サイトをChatGPT検索に表示させる方法

OpenAIは4つの独立したウェブクローラーを運営しており、それぞれが異なる目的、異なるrobots.txt指示、そしてChatGPTにサイトが表示されるかどうかに異なる影響を与えます。2026年7月14日、Search Engine RoundtableはOpenAIがクローラーのドキュメントをひっそりと更新し、2つの点を明確化したと報じました：ユーザーエージェント文字列のバージョン番号は時間とともに変更される可能性があり、OpenAIはrobots.txtファイルを取得する際にrobots.txtマーカーを追加する場合があるということです。

これは劇的なポリシーの変更ではありません。しかし、robots.txtファイルを監査し、トレーニングクローラーを許可しながら誤ってChatGPTの検索クローラーをブロックしていないか、またはその逆を確認する良い理由となります。4つのクローラーは独立しています——トレーニングを許可せずに検索のみを許可することができ、設定は互いに影響を与えません。

知っておくべき4つのOpenAIクローラー

OpenAIの公式ドキュメント（2026年7月更新、developers.openai.com/api/docs/bots参照）は4つのユーザーエージェントを定義しています。それぞれが特定の役割と特定のrobots.txtトークンを持っています。

ここで最も重要な違いは：OAI-SearchBotとGPTBotは別のクローラーであるということです。GPTBotをブロックしてもChatGPT検索結果はブロックされません。OAI-SearchBotをブロックすると、サイトはChatGPTの検索回答から削除されます（ユーザーがURLを直接入力した場合、ナビゲーショナルリンクとして表示される可能性はあります）。

このアップデートが重要な理由

2026年7月14日のドキュメントアップデートは、新しいクローラーや新しいポリシーに関するものではありません。透明性に関するものです。2つの変更が行われました：

バージョン番号は変更される可能性があります。 ドキュメントに記載されているユーザーエージェント文字列はOAI-SearchBot/1.4とGPTBot/1.4を示していますが、OpenAIはバージョン番号が更新される可能性があることを明示的に述べるようになりました。サーバーログやWAFルールが特定のバージョン文字列（例：OAI-SearchBot/1.2）にマッチしている場合、新しいバージョンを意図せずブロックする可能性があります。常にバージョン番号ではなくボット名にマッチさせてください。

robots.txt取得用のrobots.txtマーカー。 OpenAIがrobots.txtファイルを取得する際、追加のrobots.txtマーカー付きのユーザーエージェント文字列を使用する場合があります。これにより、サイトオーナーはサーバーログでrobots.txtリクエストと通常のリクエストを区別しやすくなります——特にログにパスが含まれていない場合に役立ちます。マーカーは以下のようになります：

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot

バージョン番号の後のrobots.txtトークンは、このリクエストがコンテンツページをクロールしているのではなく、robots.txtファイルを取得していることを示します。

ChatGPT表示のためのrobots.txt設定方法

最も一般的な質問はシンプルです：OAI-SearchBotを許可すべきでしょうか？答えは、ページをChatGPT検索結果に表示させたいかどうかによります。

ChatGPTの検索回答にコンテンツを表示させたい場合、OAI-SearchBotを許可してください：

User-agent: OAI-SearchBot
Allow: /

検索表示は許可したいがAI訓練はブロックしたい場合、OAI-SearchBotを許可し、GPTBotをブロックしてください：

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

検索と訓練の両方をブロックしたい場合（特定の理由がない限り推奨されません）：

User-agent: OAI-SearchBot
Disallow: /

User-agent: GPTBot
Disallow: /

ChatGPT-Userはrobots.txt設定を必要としません。 これらの訪問はユーザー開始（人がChatGPTに質問し、ChatGPTがページを取得して読む）であるため、robots.txtルールは適用されない場合があります。OpenAIのドキュメントはこれを明示的に述べています。ChatGPT-Userを制御するためにrobots.txtに依存することはできません——リアルタイムのページ取得をブロックする必要がある場合は、サーバー側のWAFルールまたはIPベースのブロックが必要です。

IP許可リストの重要性

OpenAIは各クローラーのIP範囲を公開しています。WAFやCDNが不明なIP範囲からのリクエストをブロックしている場合、robots.txtで許可していてもOpenAIのクローラーをサイレントにブロックしている可能性があります。

Cloudflare、AWS WAF、またはボット管理が有効な類似のサービスを使用している場合、これらのIP範囲がチャレンジまたはブロックされていないことを確認してください。クローラーがサーバーに到達できない場合、robots.txtのAllowルールは無意味です。

実用的な監査チェックリスト

以下のチェックリストを実行し、サイトがChatGPT AIインデックス用に適切に設定されていることを確認してください：

OAI-SearchBotのrobots.txtを確認。 明示的に許可またはブロックされていますか？どちらでもない場合、デフォルトでは許可されますが、明示的なルールの方が安全です。

GPTBotを個別に確認。 コンテンツをモデル訓練に使用させたいかどうかを独立的に決定してください。

WAFまたはCDNのボットルールを確認。 robots.txtのみに依存しないでください。OpenAIが公開しているIP範囲がブロックされたりCAPTCHAでチャレンジされたりしていないことを確認してください。

サーバーログのマッチングはボット名で行い、バージョンではない。 OAI-SearchBot/1.2やGPTBot/1.0にマッチするルールがある場合、バージョンに関係なくボット名にマッチするように更新してください。OpenAIはバージョン番号が変更される可能性があることを確認しています。

変更が反映されるまで約24時間待つ。 OpenAIは、robots.txtの更新後、システムが調整されるまでに約24時間かかると述べています。

ChatGPT検索でテスト。 変更後、コンテンツに関連する質問をChatGPTに尋ね、ページが検索結果に表示されるか確認してください。

ChatGPT表示をブロックする一般的な間違い

間違い1：包括的なDisallowですべてのボットをブロック。

User-agent: *
Disallow: /

これはOAI-SearchBotを含むすべてのクローラーをブロックします。特定のボットをブロックしたい場合は、名前で行ってください。

間違い2：GPTBotをブロックし、ChatGPT検索もブロックされていると想定。 GPTBotは訓練専用です。GPTBotをブロックしてもOAI-SearchBotを制限しない場合、ページは依然としてChatGPT検索に表示される可能性があります。ChatGPT検索回答から除外されたい場合は、OAI-SearchBotをブロックする必要があります。

間違い3：WAFルールでバージョン番号にマッチ。 OpenAIはバージョン番号が変更される可能性があることを確認しています。OAI-SearchBot/1.2にマッチするルールは、バージョンが1.3や1.4に更新されると失敗します。バージョンサフィックスなしでOAI-SearchBot文字列にマッチさせてください。

間違い4：ChatGPT-Userを忘れる。 ユーザーがChatGPTに質問した場合、ChatGPTはChatGPT-Userエージェントを使用してリアルタイムでページを取得する可能性があります。これはクロールではなく、ユーザー開始のリクエストです。robots.txtルールは適用されない場合があります。これらのリクエストをブロックする必要がある場合は、robots.txtではなくサーバー側のコントロールを使用してください。

間違い5：IP許可リストを無視する。 一部のCDNやWAFには、不明なクローラーをチャレンジまたはブロックする積極的なボット検出があります。robots.txtが正しくても、クローラーがコンテンツに到達できない可能性があります。OpenAIのIP範囲からのブロックされたリクエストについてWAFログを確認してください。

AI検索表示戦略への影響

ChatGPTはもはやチャットボットだけではありません。リアルタイムのウェブ結果を備えた完全な検索エンジンを持っています。それらの結果にコンテンツを表示させるには、GooglebotやBingbotですでに管理しているのと同じクロールアクセシビリティが必要ですが、OpenAI固有のルールがあります。

注目すべき点：OpenAIは検索と訓練を独立したシステムとして扱っています。モデル訓練に同意せずにChatGPT検索に参加することができます。GoogleもGooglebotの上にGoogle-Extendedで同様のことをしていますが、OpenAIのアプローチは最初からより細かくなっています——4つの独立したクローラー、4つの独立した決定。

AIクローラーのrobots.txt監査を実行している場合は、包括的な許可または拒否ルールを使用するのではなく、クローラーごとに意図的に決定を行ってください。

FAQ

OAI-SearchBotを許可すると、コンテンツがOpenAIのモデル訓練に使用されるということですか？

いいえ。OAI-SearchBotはChatGPT検索結果にのみ使用されます。訓練データの収集は別のクローラーGPTBotによって処理され、独自のrobots.txt指示を持っています。OAI-SearchBotを許可しながらGPTBotをブロックすることができます。

robots.txtの変更が反映されるまでにどのくらいかかりますか？

OpenAIは、robots.txtの更新後、システムが調整されるまでに約24時間かかると述べています。これはGoogleの一般的なrobots.txt更新サイクルより速いです。

OAI-SearchBotをブロックしても、サイトはChatGPTに表示されますか？

はい、ただしナビゲーショナルリンクとしてのみ——検索回答のソースとしては表示されません。ユーザーがChatGPTにURLを直接入力した場合、サイトへのリンクは引き続き表示されます。ただし、ページはChatGPTの検索生成回答のソースとして引用されません。

ユーザーエージェント文字列のrobots.txtマーカーとは何ですか？

OpenAIがrobots.txtファイルを取得する際にユーザーエージェント文字列に追加する追加トークン（robots.txt）です。特にログ形式にリクエストパスが含まれていない場合、サーバーログでrobots.txt取得リクエストと通常のコンテンツクロールリクエストを区別するのに役立ちます。

サーバールールでバージョン番号にマッチすべきですか？

いいえ。OpenAIはバージョン番号が変更される可能性があることを明示的に述べています。WAFルール、ログフィルター、またはアクセスコントロールリストでバージョンサフィックスを含めずにボット名（例：OAI-SearchBotまたはGPTBot）にマッチさせてください。

robots.txtでChatGPT-Userを制御できますか？

信頼性は高くありません。ChatGPT-Userの訪問は自動クロールではなく、ユーザーが質問することによって開始されます。OpenAIのドキュメントは、これらのユーザー開始リクエストにはrobots.txtルールが適用されない場合があると述べています。リアルタイムのページ取得をブロックする必要がある場合は、サーバー側のコントロールを使用してください。

著者：Julian Mercer、Auspiaで14年のテクニカルSEO実践者。Julianはクロール可能性、robots.txt設定、構造化データ、そして検索エンジンとAIシステムの両方によって読み取られるコンテンツを可能にする技術的基盤について執筆しています。