누군가 ChatGPT에서 우리 브랜드가 나오는지 물어봤다면, 정직한 첫 답은 이렇습니다. 한 가지를 확인하기 전까지는 빈 결과와 진짜 0이 똑같이 보인다는 것입니다. 이 가이드는 모니터링 플랫폼 없이, 채팅 창과 스프레드시트와 약 30분만으로 그 답을 내놓아야 하는 사람을 위한 것입니다.
끝까지 읽으면 프롬프트별 판정, 회의에서 방어할 수 있는 반복 가능한 기록, 그리고 그것을 최신으로 유지하는 정기 작업이 손에 남습니다. 완료 조건은 단순합니다. 모든 프롬프트에 대해 답변이 그라운딩되었는지, 브랜드를 지명했는지, 사이트로 링크했는지를 말할 수 있으면 됩니다.
끝내면 손에 남는 것
산출물 | 보관 위치 |
|---|---|
실제 대화에서 쓴 8~12개 질문의 프롬프트 목록 | 시트의 첫 번째 탭 |
네 개 필드와 모델 버전이 있는, 프롬프트당 한 행 | 같은 탭 |
프롬프트마다 네 가지 판정 중 하나와 거기에 붙은 조치 | 판정 열 |
최소 두 개 프롬프트의 반복 실행 | 같은 시트의 2행과 3행 |
고정된 평가 기준이 있는 정기 점검 | 에이전트의 프로젝트 폴더 |
전제는 웹 검색이 되는 ChatGPT 접근 권한, 스프레드시트, 그리고 자동화할 경우 10개 프롬프트 실행에 약 0.29달러를 쓸 수 있는 것입니다.
1단계: 프롬프트는 키워드가 아니라 대화에서 쓴다
영업팀이 최근에 답한 20개 질문을 모아 묶습니다. 우리의 20개 프롬프트 연구에서는 가장 넓은 출처 목록이 애초에 인용되는 방법에 관한 질문에서 나왔고, 가장 좁은 목록은 도구끼리 일대일 비교에서 나왔습니다. 즉 질문의 형태가 돌아오는 데이터의 양을 결정합니다.
네 가지 형태에 걸쳐 8~12개 프롬프트를 씁니다. 범주("Y에 가장 좋은 X"), 비교("A 대 B"), 문제("AI가 우리 회사를 아는지 어떻게 알아내나"), 증거("2026년에 X를 추천하는 곳은 어디인가")입니다. 여기에 브랜드를 직접 지명하는 프롬프트 두 개를 더합니다. 이런 프롬프트는 범주형과 다르게 행동하기 때문입니다. 같은 목록으로 여러 표면의 증거를 원한다면, 같은 프롬프트를 세 표면에 보내면 무엇이 바뀌는지를 AI 가시성 검사기 분석이 보여줍니다.
산출물: 형태 태그가 붙은 8~12개 프롬프트의 최종 목록. 품질 점검: 모든 프롬프트는 고객이 실제로 입력할 만한 것이어야 합니다. 키워드가 들어 있다는 이유만으로 존재하는 프롬프트는 잘라냅니다.
2단계: 다른 것을 읽기 전에 유효성 게이트를 통과시킨다
대부분의 점검이 건너뛰는 단계이며, 빈칸이 0으로 보고되는 이유입니다. 우리 실행에서 ChatGPT는 20개 프롬프트 중 8개에서 검색 쿼리를 발행했고 나머지 12개는 기억으로 답했습니다.
관찰한 것 | 그라운딩 있는 답변(8개 프롬프트) | 그라운딩 없는 답변(12개 프롬프트) |
|---|---|---|
발행된 검색 쿼리 | 프롬프트당 4~8건 | 0 |
반환된 출처 주석 | 6~18건, 중앙값 12 | 0 |
인용된 고유 도메인 | 4~10건, 중앙값 7 | 0 |
본문에 여전히 언급된 브랜드 | 있음 | 있음, 전체 20개 프롬프트 중 13건 |
브랜드에 대해 무엇이든 기록하기 전에, 각 프롬프트를 실행하고 한 가지 질문에 답합니다. 모델이 무언가를 찾아봤는가. ChatGPT 화면에서 단서는 답변 아래의 출처 목록입니다. 출처 목록이 없으면 그 답변은 기억에서 만들어진 것이고, 브랜드에 대해 침묵한다는 사실은 아직 아무 의미도 없습니다.
산출물: 그라운딩 열에 프롬프트별 있음/없음. 품질 점검: 출처 목록이 없는 답변은 가시성 신호로 절대 기록하지 않고 기억 신호로만 기록합니다. 그라운딩 없는 답변이 더 짧지도 않았습니다. 출력 토큰 중앙값이 1,730으로 그라운딩 있는 1,645보다 컸습니다. 길이는 쓸 만한 단서가 아닙니다.
3단계: 하나가 아니라 네 개의 필드를 기록한다
프롬프트당 숫자 하나인 것이 보고서가 어긋나는 이유입니다. 이 네 가지를 유지하세요.
필드 | 값 | 중요한 이유 |
|---|---|---|
그라운딩 | 있음/없음 | 그 프롬프트가 애초에 링크를 만들 수 있는지 결정 |
브랜드 지명 | 있음/없음 | 그라운딩 없는 답변에서도 남는 신호 |
도메인 링크 | 있음/없음 | 대부분의 도구가 이것만 단독으로 보고하는 신호 |
모델 버전 | 예: gpt-5-2025-08-07 | 우리 실행에서는 버전 간에 동작이 움직였음 |
마지막 필드는 잡무가 아닙니다. 같은 20개 프롬프트를 같은 엔드포인트에서 옛 모델로 돌리면 출처를 반환한 것은 2개 프롬프트였고, 현재 모델에서는 8개였습니다. 모델 버전이 없는 보고서는 다음 달 보고서와 비교할 수 없습니다.
산출물: 프롬프트당 채워진 네 개 필드. 품질 점검: 빈 셀이 하나라도 있으면 그 행은 보고할 수 없습니다. 원본 답변 텍스트와 원본 출처 목록을 필드 옆에 보관해, 검토자가 프롬프트를 다시 돌리지 않고도 판정을 재확인할 수 있게 합니다.
4단계: 각 답변을 네 가지 판정 중 하나로 분류한다
판정 | 의미 | 다음에 할 일 |
|---|---|---|
그라운딩 있음·링크 있음 | ChatGPT가 뭔가를 찾아보고 당신 도메인을 인용했다 | 인용된 페이지를 지키고 어떤 질문 형태가 그것을 만들었는지 확인한다 |
그라운딩 있음·링크 없음 | 검색하고 웹을 읽고 다른 회사를 추천했다 | 격차는 모델 지식이 아니라 콘텐츠와 출처 커버리지에 있다 |
그라운딩 없음·지명 있음 | 기억으로 답하고도 당신을 언급했다 | 고칠 것은 없다. 나중에 같은 프롬프트를 다시 돌려 검색을 시작하는지 본다 |
그라운딩 없음·지명 없음 | 기억으로 답하고 당신을 언급하지 않았다 | 아직 신호가 아니다. 프롬프트를 고치거나 그라운딩 있는 실행을 기다린다 |
네 번째 행이 대부분의 잘못된 경보가 나오는 자리입니다. 우리 데이터에서 ChatGPT 답변 20건 중 13건이 최소 한 개 공급업체를 지명한 반면, 무엇이든 인용한 것은 20건 중 8건뿐이었습니다. 즉 링크만 보는 점검에는 비어 보이는 답변 중 상당수가 같은 텍스트에서 브랜드를 언급하고 있습니다.
산출물: 프롬프트당 판정 하나와 조치. 품질 점검: "보이지 않음" 판정은 반드시 그라운딩 있는 답변에 묶습니다. 판정의 근거가 한 문장으로 써서 버티지 못한다면 그 프롬프트를 다시 돌립니다.
5단계: 변화를 믿기 전에 두 개 프롬프트를 반복한다
최소 두 개 프롬프트를 새 대화에서 두 번째로 실행하고, 건수가 아니라 판정을 비교합니다.
프롬프트 | 1차 실행 | 2차 실행 | 안정 |
|---|---|---|---|
최고의 AI 가시성 도구 | 그라운딩 있음, 출처 13건, 도메인 6건 | 그라운딩 있음, 출처 14건, 도메인 4건 | 판정 안정, 건수 불안정 |
브랜드 언급을 추적하기 가장 좋은 도구 | 그라운딩 있음, 출처 8건, 도메인 8건 | 그라운딩 있음, 출처 9건, 도메인 5건 | 판정 안정, 건수 불안정 |
AI 답변에서 우리 브랜드 감사하기 | 그라운딩 없음, 출처 0건 | 그라운딩 없음, 출처 0건 | 안정 |
AI 답변은 얼마나 자주 바뀌는가 | 그라운딩 없음, 출처 0건 | 그라운딩 없음, 출처 0건 | 안정 |
반복한 다섯 프롬프트 전체에서 검색 여부 결정은 매번 일치했고, 도메인 수는 두세 개씩 움직였습니다. 이것이 올바른 보정입니다. 판정은 신호로, 건수는 범위가 있는 추정으로 다루세요.
산출물: 최소 두 개 프롬프트의 반복 행. 품질 점검: 바뀌지 않은 프롬프트에서 실행 간에 판정이 뒤집히면 그 프롬프트를 불안정으로 표시하고, 다시 재현될 때까지 전월 대비 보고에서 제외합니다.
6단계: 점검을 정기 실행에 올린다
10개 프롬프트 점검은 현재 ChatGPT 모델에서 약 0.29달러, 주 1회 돌리면 월 약 1.27달러입니다. 이 가격이면 일은 API 호출이 아니라 평가 기준입니다. 그래서 이 작업은 요약 요청이 아니라 명시적 수집 규칙을 가진 에이전트에게 넘깁니다.
에이전트에게 다음 제약을 넘기세요.
- 답변 텍스트와 출처 목록을 그대로 수집한다. 둘 중 어느 것도 요약하지 않는다.
- 그라운딩 플래그, 모델 버전, 타임스탬프를 모든 행에 기록한다.
- 집계는 수집 후 코드로 계산하고, 프롬프트 안에서는 절대 계산하지 않는다.
- 날짜가 붙은 파일에 써서 재실행이 지난달 증거를 덮어쓸 수 없게 한다.
검색 보고용 에이전트를 이미 돌리고 있다면 수집 패턴은 Codex로 하는 일일 SEO·GEO 모니터링에서 쓰는 것과 같고, 같은 루프의 터미널 버전은 Claude Code 일일 모니터링에 있습니다. 여기서 새로 필요한 요구는 그라운딩 플래그 하나뿐입니다. 검색하지 않은 채팅 표면을 인용 결과로 읽어서는 안 되기 때문입니다.
산출물: 날짜가 붙은 행을 쓰는 정기 작업. 품질 점검: 지난주 파일을 열어 저장된 증거만으로 판정을 다시 세울 수 있는지 확인합니다.
검증: 제대로 된 점검은 이렇게 생겼다
- 모든 행에 그라운딩 플래그, 모델 버전, 날짜가 있다.
- "보이지 않음" 판정은 모두 그라운딩 있는 답변에 속한다.
- 최소 두 개 프롬프트가 두 번 실행되고 그 판정이 비교되었다.
- 원본 답변 텍스트와 원본 출처 목록이 건수 옆에 저장되어 있다.
- 프롬프트 목록에 형태 태그가 붙고, 보고서는 합계가 아니라 형태별로 결과를 묶는다.
한계
- 하나의 모델 버전, 하나의 지역, 영어, 하루치 실행. ChatGPT 동작은 버전마다 다릅니다.
- 웹 검색은 API를 통해 켰습니다. 소비자용 앱은 다른 프롬프트 집합에서 검색할 수 있습니다.
- 브랜드 지명은 문자열 일치로 측정했으므로 회사명 없는 제품명은 놓칠 수 있습니다.
- 이 점검이 재는 것은 답변이지 트래픽이 아닙니다. 유입 동작은 별개의 측정입니다.
자주 묻는 질문
ChatGPT가 우리 브랜드에 대해 아무 말도 하지 않는 이유는 무엇인가요?
먼저 검색했는지 확인하세요. 우리 실행에서는 20개 프롬프트 중 12개를 출처 없이 기억으로 답했고, 그런 답변은 오래된 학습 데이터에서 공급업체를 언급할 수도, 아무도 언급하지 않을 수도 있었습니다. 그라운딩 없는 답변은 당신의 가시성에 대한 증거가 아닙니다.
ChatGPT에서 프롬프트를 몇 개 확인해야 하나요?
한 주기에 8~12개면 패턴을 보기에 충분합니다. 단, 범주·비교·문제·증거 네 형태를 덮어야 합니다. 100개를 돌리면 같은 네 형태의 더 큰 표본이 나올 뿐 새 정보는 아닙니다.
API 없이 이것을 확인할 수 있나요?
됩니다. 그라운딩 플래그와 브랜드 지명은 모두 화면에서 보이고, 답변 아래 출처 목록이 인용에 해당하는 절반을 채웁니다. API는 수작업 복사 없이 날짜가 붙은 행과 반복 실행을 원할 때만 필요합니다.
변화가 진짜인지 어떻게 아나요?
변화를 보고하기 전에 프롬프트를 반복하세요. 우리의 다섯 쌍 반복에서 검색 결정은 한 번도 뒤집히지 않았지만, 출처 건수는 두세 개씩 움직였습니다. 그라운딩 있는 프롬프트에서 판정이 바뀌면 살펴볼 가치가 있습니다. 건수 변화는 그렇지 않습니다.
Auspia 관점: 숫자를 읽기 전에 유효성 게이트를 돌리고, 건수가 아니라 판정을 보고하세요. 우리가 찾은 가장 흔한 오류는 놓친 인용이 아니라, 모델이 아무것도 찾아보지 않았는데도 빈 ChatGPT 답변을 보이지 않는 상태로 보고하는 것입니다. 플래그를 먼저 고치면 보고서의 나머지는 월 단위로 비교 가능해집니다.
글: 빅터 레인
