Трекер видимості в ШІ: шість ідентичних запитів дали 18 різних джерел

Трекер видимості в ШІ звучить просто. Ви ставите асистентові кілька запитань про категорію, позначаєте, чи з'явився ваш бренд, і малюєте це на часовій шкалі.

Проблема лежить вище за течією від запису. Те, що ви вимірюєте, не стоїть на місці. Надішліть той самий запит тій самій моделі двічі — і отримаєте дві відповіді, які перетинаються лише частково. Запишіть одну з них — і ви записали одну вибірку з розподілу, а потім подали її як факт.

Ми хотіли знати, наскільки великий цей розкид насправді, тому провели експеримент, а не припустили його. Коротка версія: шість ідентичних запитів дали вісімнадцять процитованих джерел, і жодне джерело не було процитоване в усіх шести.

Ця стаття про те, що ми запускали, що повернулося, і про чотири поля, які трекер видимості в ШІ мусить зберігати, щоб число було варте погляду й наступного місяця.

Що ми запускали

Два експерименти, обидва на запитах, які команда SaaS справді використала б для дослідження категорії.

Експеримент 1: один запит, одна модель, шість прогонів. Модель gpt-4o, вебпошук увімкнено, Сполучені Штати, англійська. Запит: «Які найкращі інструменти відстеження позицій для невеликої команди SaaS у 2026 році? Дай короткий список із джерелами». Шість окремих живих викликів, виконаних послідовно в одному вікні сесії.

Експеримент 2: дві моделі, той самий запит, по три прогони. Той самий запит надіслано до Claude Sonnet 5 і до Gemini 3.8 Flash, по тричі кожній, без вебпошуку. Без пошуку ми вимірюємо, які продукти модель називає з власних знань, а це окремий сигнал від того, які джерела вона цитує.

Ми також надіслали другий запит тим самим шляхом вебпошуку чотири рази, щоб побачити, чи поведінка цитування однакова на різних типах питань: «Як відстежувати AI Overviews для свого сайту? Дай конкретні методи з джерелами».

Шість прогонів — не велика вибірка, і ми ставимося до неї відповідно. Її достатньо, щоб показати напрямок і приблизний порядок величини розкиду, і саме в цьому суть.

Результат 1: вісімнадцять джерел, нуль спільних для всіх шести прогонів

Шість прогонів із вебпошуком разом процитували 18 різних URL. Ось як часто з'являвся кожен домен.

Жоден домен не був процитований в усіх шести прогонах. Жоден URL не був процитований в усіх шести прогонах.

Число, яке тут має значення, — це перетин між прогонами. Порівнюючи кожну пару прогонів, середній перетин Жаккара за процитованими URL становив 0,167. У двох парах із п'ятнадцяти перетин був рівно нульовий, тобто ті дві відповіді не поділили жодного джерела.

Джерело, процитоване в п'яти прогонах із шести, — це стеля, яку ми спостерігали. Ніщо не цитувалося щоразу.

У тій таблиці поховано другий висновок. Домени, до яких модель сягнула рукою, здебільшого не є відомими в цій категорії сайтами-порівняннями. Дев'ять із вісімнадцяти доменів з'явилися рівно один раз, і деякі з них — невеликі сайти, чий вміст читається як щось зібране під цей запит, а не як результат репортажу. Для бренду це палиця з двома кінцями. Це означає, що слот цитування відвоювати легше, ніж місце в традиційному рейтингу «найкращих інструментів». Це також означає, що слот займає той, хто зробив сторінку, що збіглася з формою запиту в тому прогоні, і в наступному прогоні він заповниться заново.

Результат 2: сама відповідь змінює розмір

Цитати рухалися, і довжина відповіді рухалася разом із ними.

Довжина виходу коливалася від 505 до 1 108 токенів, розкид 603 токени — близько 73 відсотків від середнього. Найдовша відповідь була більш ніж удвічі довшою за найкоротшу. П'ять прогонів із шести потрапили в досить вузьку смугу від 813 до 1 108 токенів; один прогін зупинився рано на 505 і процитував п'ять джерел замість дев'яти-чотирнадцяти.

Для вимірювання це важливо цілком конкретно. Якщо ваш трекер фіксує «чи з'явився бренд у відповіді й на якій позиції», то в короткого прогону менше місць, де можна з'явитися. Команда, яка бере вибірку раз на тиждень і випадково витягла короткий прогін, запише гірший результат, ніж команда, яка витягла довгий прогін, хоч на сайті нічого не змінилося.

Результат 3: деякі запити взагалі не отримують цитувань

Другий запит, про відстеження AI Overviews, пройшов тим самим шляхом вебпошуку чотири рази і повернув нуль цитувань щоразу.

Відповіді були стабільні за довжиною й змінювалися лише на 8 відсотків за чотири прогони. Але модель відповідала з власних знань і не назвала жодного джерела, тож у стовпці цитувань не було чого записувати.

Звідси випливає конкретне й оманливе показання трекера. Панель частки цитувань покаже нуль для цього питання, і це виглядає як провал видимості. Це не так. Це форма питання, яка не запускає пошук джерел. Правильне показання — «цитування не застосовне», і трекер, який не може відрізнити це від «цитування перевірено, і вас не було», відправить вас ганятися за проблемою, якої не існує.

Результат 4: зміна моделі — це інше вимірювання, а не повтор

З вимкненим вебпошуком ми виміряли, які продукти називає кожна модель. Це ізолює власний набір рекомендацій моделі від усього, що повернув індекс пошуку тієї хвилини.

Claude Sonnet 5 називав від чотирьох до п'яти продуктів за прогін. За три прогони він назвав шість різних продуктів: AccuRanker, Ahrefs, SEMrush, SE Ranking, Serpstat і SerpWatcher. Три з них з'явилися в усіх трьох прогонах: AccuRanker, Ahrefs і SEMrush. Середній попарний перетин — 0,587.

Gemini 3.8 Flash називав від двох до п'яти продуктів за прогін. За три прогони він назвав сім різних продуктів: AccuRanker, Ahrefs, Looker Studio, Nightwatch, SE Ranking, SEMrush і Wincher. Лише один із них, SE Ranking, з'явився в усіх трьох прогонах. Середній попарний перетин — 0,306.

Між двома моделями чотири продукти були названі обома, а п'ять — лише однією.

Те саме питання дає частково різний набір рекомендацій на кожній моделі та в кожному прогоні.

Практичний висновок: якщо ви відстежуєте «видимість у ШІ» як одне число, ви усереднюєте принаймні за двома незалежними джерелами розкиду — прогоном і моделлю. Бренд, який стабільно з'являється в одного асистента й не з'являється в іншого, — це справжня знахідка, під яку можна щось зробити. Бренд, чиє вимірювання за однією вибіркою зсунулося на дві позиції, — це шум.

Що має записувати трекер видимості в ШІ

Чотири поля перетворюють знімок екрана на вимірювання.

Кількість прогонів, а не результат прогону. Зберігайте кожен прогін і повідомляйте діапазон. «Процитовано в 4 прогонах із 6» — це факт. «Процитовано, позиція 3» — це випадковість. Шість прогонів — розумна нижня межа для невеликої програми; дванадцять краще, якщо запит комерційно важливий.

Поле цитування окремо від поля згадки. «Модель порекомендувала нас» і «модель послалася на нас» — різні результати з різними способами виправлення. Наші шість прогонів дали 18 цитувань із 18 різних URL; трекер, який записує лише згадки бренду, не впіймав би з цієї круговерті нічого.

Стан каналу відповіді. Записуйте, чи використовував прогін вебпошук узагалі, і записуйте довжину відповіді. Прогін із нулем цитувань і прогін із нулем згадок виглядають на панелі однаково й означають протилежне.

Текст запиту дослівно, з номером версії. Формулювання запиту визначає, які джерела підтягуються. Якщо запит змінюється від місяця до місяця, лінія тренду рветься. Версіонуйте запит так само, як версіонуєте скрипт відстеження.

Як побудувати цикл прогонів

Ручна перевірка не витримує одного зіткнення з календарем. Цикл — це скрипт, який проганяє запит N разів, зберігає кожну сиру відповідь разом із її цитуваннями й порівнює поточне вікно з попереднім.

Це добре підходить агенту, бо робота повторювана, обмежена правилами й потребує письмового журналу. У Claude Code або Codex корисна інструкція — залишати сирі прогони на диску й ніколи їх не перезаписувати, а потім звітувати зведеною таблицею, а не одним числом. Якщо ви вже тягнете дані Search Console і Bing через сервери MCP, та сама сесія може тримати журнал цитувань поряд із даними показів, і саме там два числа починають бути корисними разом. Наші нотатки про те, що ці сервери розкривають, — у розборі що насправді роблять чотири сервери SEO MCP, а бік присутності тієї самої проблеми — у нашому знімку AI Overview за сорока запитами.

Одне правило дизайну важливіше за решту: вихід трекера має бути розподілом. Повідомляйте «процитовано в 4 із 6», а не «процитовано». Повідомляйте список джерел, а не джерело номер один. Будь-яка панель, що стискає шість прогонів в одне число, викинула єдину інформацію, яку купили додаткові прогони.

Якщо мета — порівняння з конкурентами, а не моніторинг, то краще підійде цикл відстеження позицій у часі, а компроміси між джерелами даних — у як зібрати трекер позицій із двох джерел.

Межі вибірки із шести прогонів

Три чесні застереження.

Вибірка мала. Шість прогонів окреслюють розкид лише грубо. Вони встановлюють, що перетин між прогонами частковий і що пари з нульовим перетином трапляються; довірчого інтервалу для вашої категорії вони не дають.

Результати прив'язані до часу. Ці прогони були зроблені 12 вересня 2026 року проти живих моделей. І моделі, і результати пошуку під ними змінюються.

Процитовані домени — це вибірка за одним комерційним запитом. Інша форма питання, наприклад порівняльне питання чи питання «як зробити», дасть інший патерн цитування. Корисний хід — прогнати той самий дизайн на десяти ваших найважливіших комерційно запитах і записати, як поводиться ваша категорія.

Часті питання

Скільки прогонів потрібно, перш ніж число видимості в ШІ стане осмисленим? Шість — практична нижня межа для одного запиту, і число слід повідомляти як кількість із загальної кількості прогонів, а не як позицію. Якщо запит визначає рішення про дохід, дванадцять прогонів дадуть щільніше показання за кілька доларів.

Чи означає це, що відстежувати видимість у ШІ не варто? Це означає, що не варто відстежувати за однією вибіркою. Розкид і є знахідкою. Трекер, який повідомляє «процитовано в 4 із 6 прогонів, джерела змінилися на 12 доменів від минулого місяця», описує реальну систему, у якій змагається конкурент.

Чому один запит повернув нуль цитувань? Модель відповіла з власних знань замість пошуку джерел. Це властивість питання, а не провал вашого сайту. Відстежуйте це як незастосовне, а не як нуль.

Чи варто відстежувати ChatGPT, Claude і Gemini окремо? Так. У нашому порівнянні за три прогони дві моделі перетнулися лише в чотирьох із дев'яти названих продуктів. Усереднення приховує рішення на рівні програми про те, якого асистента оптимізувати першим.

Чи можна зменшити розкид, знизивши температуру моделі? Частково, і це варто перевірити на своїх запитах. Але на набір цитат впливає ще й пошуковий індекс, а ним ви не керуєте. Надійніший важіль — кількість прогонів.

Погляд Auspia: якщо ви цього кварталу будуєте відстеження видимості в ШІ, спершу збудуйте журнал прогонів, а потім панель. Панель — це вибір відображення. Журнал прогонів — це вимірювання. Почніть із десяти запитів, по шість прогонів кожен, збережених дослівно, — і за тиждень дізнаєтеся більше, ніж розповість цілий рік перевірок за однією вибіркою.

Автор: Ethan Marlowe, керівництво вимірюванням GEO на понад 500 запитах в Auspia. Пише про відстеження запитів, звіти про цитування та панелі видимості, що витримують зіткнення з реальним циклом вимірювань.