OpenAI 크롤러 완벽 가이드: 사이트를 ChatGPT 검색에 노출시키는 방법

OpenAI는 각각 고유한 목적, 고유한 robots.txt 지시사항, 그리고 웹사이트가 ChatGPT에 노출되는지에 각각 다른 영향을 미치는 4개의 독립적인 웹 크롤러를 운영합니다. 2026년 7월 14일, Search Engine Roundtable은 OpenAI가 크롤러 문서를 조용히 업데이트하여 두 가지를 명확히 했다고 보도했습니다: 사용자 에이전트 문자열의 버전 번호는 시간이 지남에 따라 변경될 수 있으며, OpenAI는 robots.txt 파일을 가져올 때 서버 로그에서 해당 요청을 구별하는 데 도움이 되도록 robots.txt 마커를 추가할 수 있다는 것입니다.

이것은 극적인 정책 변화가 아닙니다. 하지만 robots.txt 파일을 감사하고 학습 크롤러를 허용하면서 실수로 ChatGPT의 검색 크롤러를 차단하지 않았는지, 또는 그 반대의 경우인지 확인해야 하는 좋은 이유가 됩니다. 4개의 크롤러는 독립적입니다 — 학습을 허용하지 않으면서 검색만 허용할 수 있으며, 설정은 서로 영향을 주지 않습니다.

알아야 할 4가지 OpenAI 크롤러

OpenAI의 공식 문서(2026년 7월 업데이트, developers.openai.com/api/docs/bots 참조)는 4개의 사용자 에이전트를 정의합니다. 각각은 특정 역할과 특정 robots.txt 토큰을 가지고 있습니다.

여기서 가장 중요한 차이점은 다음과 같습니다: OAI-SearchBot과 GPTBot은 별개의 크롤러입니다. GPTBot을 차단해도 ChatGPT 검색 결과는 차단되지 않습니다. OAI-SearchBot을 차단하면 사이트가 ChatGPT의 검색 답변에서 제거됩니다(사용자가 URL을 직접 입력하면 탐색 링크로 계속 표시될 수 있음).

이 업데이트가 중요한 이유

2026년 7월 14일 문서 업데이트는 새로운 크롤러나 새로운 정책에 대한 것이 아닙니다. 투명성에 관한 것입니다. 두 가지 변경 사항이 있었습니다:

버전 번호가 변경될 수 있습니다. 문서화된 사용자 에이전트 문자열은 OAI-SearchBot/1.4와 GPTBot/1.4를 보여주지만, OpenAI는 이제 버전 번호가 업데이트될 수 있음을 명시적으로 밝혔습니다. 서버 로그나 WAF 규칙이 특정 버전 문자열(예: OAI-SearchBot/1.2)에 매칭된다면 실수로 새 버전을 차단할 수 있습니다. 항상 버전 번호가 아닌 봇 이름에 매칭하세요.

robots.txt 가져오기를 위한 robots.txt 마커. OpenAI가 robots.txt 파일을 가져올 때 추가 robots.txt 마커가 있는 사용자 에이전트 문자열을 사용할 수 있습니다. 이를 통해 사이트 소유자는 서버 로그에서 robots.txt 요청과 일반 콘텐츠 요청을 구별할 수 있습니다 — 특히 로그에 경로가 포함되지 않은 경우에 유용합니다. 마커는 다음과 같습니다:

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; robots.txt; +https://openai.com/searchbot

버전 번호 뒤의 robots.txt 토큰은 이 요청이 콘텐츠 페이지를 크롤링하는 것이 아니라 specifically robots.txt 파일을 가져오고 있음을 나타냅니다.

ChatGPT 노출을 위한 robots.txt 설정 방법

가장 일반적인 질문은 간단합니다: OAI-SearchBot을 허용해야 할까요? 답은 페이지가 ChatGPT 검색 결과에 나타나기를 원하는지에 따라 다릅니다.

ChatGPT의 검색 답변에 콘텐츠를 노출시키고 싶다면, OAI-SearchBot을 허용하세요:

User-agent: OAI-SearchBot
Allow: /

검색 노출은 허용하지만 AI 학습은 차단하고 싶다면, OAI-SearchBot을 허용하고 GPTBot을 차단하세요:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

검색과 학습 모두를 차단하고 싶다면(특정 이유가 없는 한 권장되지 않음):

User-agent: OAI-SearchBot
Disallow: /

User-agent: GPTBot
Disallow: /

ChatGPT-User는 robots.txt 설정이 필요하지 않습니다. 이러한 방문은 사용자 시작(사람이 ChatGPT에 질문하고 ChatGPT가 페이지를 가져와 읽음)이므로 robots.txt 규칙이 적용되지 않을 수 있습니다. OpenAI의 문서는 이를 명시적으로 밝히고 있습니다. robots.txt에 의존하여 ChatGPT-User를 제어할 수 없습니다 — 실시간 페이지 가져오기를 차단해야 한다면 서버 측 WAF 규칙 또는 IP 기반 차단이 필요합니다.

IP 허용리스트의 중요성

OpenAI는 각 크롤러의 IP 범위를 공개합니다. WAF나 CDN이 알 수 없는 IP 범위의 요청을 차단한다면, robots.txt에서 허용하더라도 OpenAI의 크롤러를 조용히 차단하고 있을 수 있습니다.

Cloudflare, AWS WAF 또는 봇 관리가 활성화된 유사한 서비스를 사용 중이라면 이러한 IP 범위가 차단되거나 도전받지 않는지 확인하세요. 크롤러가 서버에 도달하지 못하면 robots.txt Allow 규칙은 무용지물입니다.

실용적인 감사 체크리스트

다음 체크리스트를 실행하여 사이트가 ChatGPT AI 인덱싱을 위해 올바르게 구성되어 있는지 확인하세요:

OAI-SearchBot에 대한 robots.txt를 확인하세요. 명시적으로 허용 또는 차단되었나요? 둘 다 아니라면 기본적으로 허용되지만 명시적인 규칙이 더 안전합니다.

GPTBot을 별도로 확인하세요. 콘텐츠를 모델 학습에 사용하고 싶은지 독립적으로 결정하세요.

WAF 또는 CDN 봇 규칙을 확인하세요. robots.txt에만 의존하지 마세요. OpenAI가 공개한 IP 범위가 차단되거나 CAPTCHA로 도전받지 않는지 확인하세요.

서버 로그 매칭은 봇 이름으로 확인하고 버전으로는 확인하지 마세요. OAI-SearchBot/1.2나 GPTBot/1.0에 매칭되는 규칙이 있다면 버전에 관계없이 봇 이름에 매칭되도록 업데이트하세요. OpenAI는 버전 번호가 변경될 수 있음을 확인했습니다.

변경 사항이 적용되려면 약 24시간을 기다리세요. OpenAI는 robots.txt 업데이트 후 시스템이 조정되는 데 약 24시간이 걸린다고 밝혔습니다.

ChatGPT 검색으로 테스트하세요. 변경 후 콘텐츠와 관련된 질문을 ChatGPT에 하고 페이지가 검색 결과에 나타나는지 확인하세요.

ChatGPT 노출을 차단하는 일반적인 실수

실수 1: 포괄적인 Disallow로 모든 봇 차단.

User-agent: *
Disallow: /

이것은 OAI-SearchBot을 포함한 모든 크롤러를 차단합니다. 특정 봇을 차단하려면 이름으로 차단하세요.

실수 2: GPTBot을 차단하고 ChatGPT 검색도 차단되었다고 가정. GPTBot은 학습 전용입니다. GPTBot을 차단하지만 OAI-SearchBot을 제한하지 않으면 페이지가 여전히 ChatGPT 검색에 나타날 수 있습니다. ChatGPT 검색 답변에서 제외되려면 specifically OAI-SearchBot을 차단해야 합니다.

실수 3: WAF 규칙에서 버전 번호에 매칭. OpenAI는 버전 번호가 변경될 수 있음을 확인했습니다. OAI-SearchBot/1.2에 매칭되는 규칙은 버전이 1.3 또는 1.4로 업데이트되면 실패합니다. 버전 접미사 없이 OAI-SearchBot 문자열에 매칭하세요.

실수 4: ChatGPT-User를 잊는 것. 사용자가 ChatGPT에 질문하면 ChatGPT는 ChatGPT-User 에이전트를 사용하여 실시간으로 페이지를 가져올 수 있습니다. 이것은 크롤링이 아니라 사용자 시작 요청입니다. robots.txt 규칙이 적용되지 않을 수 있습니다. 이러한 요청을 차단해야 한다면 robots.txt가 아닌 서버 측 제어를 사용하세요.

실수 5: IP 허용리스트를 무시하는 것. 일부 CDN과 WAF는 알려지지 않은 크롤러에 도전하거나 차단하는 공격적인 봇 감지를 가지고 있습니다. robots.txt가 올바르더라도 크롤러가 콘텐츠에 도달하지 못할 수 있습니다. OpenAI IP 범위에서의 차단된 요청에 대해 WAF 로그를 확인하세요.

AI 검색 노출 전략에 대한 의미

ChatGPT는 더 이상 챗봇만이 아닙니다. 실시간 웹 결과를 갖춘 완전한 검색 엔진을 가지고 있습니다. 해당 결과에 콘텐츠를 노출시키려면 Googlebot과 Bingbot에 대해 이미 관리하는 것과 동일한 크롤링 접근성이 필요하지만 OpenAI 전용 규칙이 적용됩니다.

주의할 점: OpenAI는 검색과 학습을 독립적인 시스템으로 처리합니다. 모델 학습에 동의하지 않고도 ChatGPT 검색에 참여할 수 있습니다. Google도 Googlebot 위에 Google-Extended로 비슷한 작업을 하지만 OpenAI의 접근은 처음부터 더 세분화되어 있습니다 — 4개의 별도 크롤러, 4개의 별도 결정.

AI 크롤러에 대한 robots.txt 감사를 실행 중이라면 포괄적인 허용 또는 거부 규칙을 사용하지 말고 크롤러별로 신중하게 결정하세요.

FAQ

OAI-SearchBot을 허용하면 콘텐츠가 OpenAI의 모델 학습에 사용되나요?

아니요. OAI-SearchBot은 ChatGPT 검색 결과에만 사용됩니다. 학습 데이터 수집은 별개의 크롤러인 GPTBot이 처리하며 별도의 robots.txt 지시사항을 가지고 있습니다. OAI-SearchBot을 허용하면서 GPTBot을 차단할 수 있습니다.

robots.txt 변경 사항이 적용되는 데 얼마나 걸리나요?

OpenAI는 robots.txt 업데이트 후 시스템이 조정되는 데 약 24시간이 걸린다고 밝혔습니다. 이는 Google의 일반적인 robots.txt 새로고침 주기보다 빠릅니다.

OAI-SearchBot을 차단해도 사이트가 ChatGPT에 계속 나타날 수 있나요?

예, 하지만 탐색 링크로만 — 검색 답변의 소스로는 나타나지 않습니다. 사용자가 ChatGPT에 URL을 직접 입력하면 사이트에 링크할 수 있습니다. 하지만 페이지는 ChatGPT의 검색 생성 답변에서 소스로 인용되지 않습니다.

사용자 에이전트 문자열의 robots.txt 마커란 무엇인가요?

OpenAI가 robots.txt 파일을 가져올 때 사용자 에이전트 문자열에 추가하는 추가 토큰(robots.txt)입니다. 특히 로그 형식에 요청 경로가 포함되지 않은 경우 서버 로그에서 robots.txt 가져오기 요청과 일반 콘텐츠 크롤링 요청을 구별하는 데 도움이 됩니다.

서버 규칙에서 버전 번호에 매칭해야 하나요?

아니요. OpenAI는 버전 번호가 변경될 수 있음을 명시적으로 밝혔습니다. WAF 규칙, 로그 필터 또는 액세스 제어 목록에서 버전 접미사 없이 봇 이름(예: OAI-SearchBot 또는 GPTBot)에 매칭하세요.

robots.txt로 ChatGPT-User를 제어할 수 있나요?

신뢰할 수 없습니다. ChatGPT-User 방문은 자동 크롤링이 아닌 사용자가 질문함으로써 시작됩니다. OpenAI의 문서는 이러한 사용자 시작 요청에는 robots.txt 규칙이 적용되지 않을 수 있다고 밝혔습니다. 실시간 페이지 가져오기를 차단해야 한다면 서버 측 제어를 사용하세요.

작성자: Julian Mercer, Auspia에서 14년간의 기술 SEO 실무자. Julian은 크롤링 가능성, robots.txt 구성, 구조화된 데이터, 그리고 검색 엔진과 AI 시스템 모두가 읽을 수 있는 콘텐츠를 가능하게 하는 기술적 기반에 대해 글을 씁니다.