«Discovered – currently not indexed» и «Crawled – currently not indexed» — две самые частые строки отчёта «Страницы в индексе» в Search Console — и две самые неверно понимаемые. Они выглядят как технический сбой, но на самом деле это решение Google о приоритете и качестве ваших страниц. Отправлять снова и снова ничего не меняет. Исправить причину — да.
Этот гайд — полный цикл, который вы можете целиком передать агенту Hermes: извлечь список URL, проверить каждую страницу, определить реальную причину, утвердить очередь исправлений и отправить через Google Indexing API только те страницы, которые заслуживают индексации. В итоге у вас повторяемый еженедельный пайплайн, а не разовая сессия кликов.
Что вы получаете
- Классифицированный инвентарь: URL, застрявшие в «discovered», проиндексированные-но-нет и те, которые вам вообще не стоило отправлять
- Утверждённый список для Indexing API и список пропущенных с причинами
- Этап проверки, показывающий, сработали ли ваши отправки
Что нужно: установленный и работающий агент Hermes (hermes chat открывает сессию. Актуальные шаги установки: официальная документация на hermes-agent.nousresearch.com/docs), свойство Search Console, владельцем которого вы являетесь, и два набора учётных данных Google (один для чтения GSC, другой для Indexing API). Первый сетап около 60–90 минут, затем около 15 минут в неделю. «Готово» означает: ваши отправленные URL показывают реальное изменение статуса в API проверки в течение двух недель — или у вас есть убедительные доказательства, почему нет.
Правильно читать два статуса
Google не застрял на вашем сайте. Он принял решение — и статус говорит вам, какое.
Статус | Что на самом деле значит | Частые причины | Когда отправлять |
|---|---|---|---|
Discovered – currently not indexed | Google знает URL (из sitemap или ссылок), но ещё не обходил его | Низкий приоритет обхода, слабые или отсутствующие внутренние ссылки, давление на краулинговый бюджет на больших сайтах, новый сайт, медленный или тяжёлый JS-рендеринг, часто меняющиеся sitemap | Один раз, после улучшения сигналов приоритета (прежде всего внутренних ссылок) |
Crawled – currently not indexed | Google получил URL, но решил его не индексировать | Дублированный или почти дублированный контент, слабый контент, canonical на другой URL, noindex на момент обхода, soft 404, оценка как низкоценного | Только если вы действительно что-то изменили: контент, canonical или noindex |
Indexed | В индексе | — | Не отправлять |
Excluded | Обойдён и исключён намеренно (noindex, canonical, выбор дубликата, блокировка) | — | Не отправлять; проверьте, намеренно ли исключение |
Одной фразой: отправляйте только URL, которые вы действительно изменили или которые заслуживают второго взгляда. Indexing API — это канал уведомлений, а не отмена рейтинга. Отправка слабой страницы десять раз вернёт десять раз один и тот же вердикт.
Почему это должен делать агент
У кнопки «Запросить индексацию» в GSC нет публичного API — официального способа нажать её скриптом не существует. Ближайшая автоматизация — Google Indexing API, которая принимает уведомления об URL напрямую. Агент добавляет ценность по трём причинам:
- Цикл механический и длинный: инвентарь → проверка → классификация → исправление → отправка → верификация. Каждую неделю.
- Нужен аудиторский след: вам нужен файл, показывающий, какие URL отправлены, когда и почему.
- Нужен шлюз утверждения: часть, которая пишет в Google, должна проверяться человеком. Hermes построен именно вокруг этого разделения — скиллы, папки проекта и правила утверждения.
Что нужно перед началом
- Агент Hermes установлен. Проверьте
hermes chat, прежде чем продолжать. - Свойство GSC, владельцем которого вы являетесь. В формате
sc-domain:example.com(не полный URL). - Доступ на чтение: OAuth-клиент Google Cloud (client ID + секрет) для Search Console API. Скрипты скилла GSC используют его для sitemap, Search Analytics и проверки URL.
- Доступ на запись: проект Google Cloud с включённой Indexing API и JSON-ключ сервисного аккаунта. Добавьте e-mail сервисного аккаунта как владельца в GSC → Настройки → Пользователи и права. Если отправка возвращает 403 — это тот самый пропущенный шаг.
- Python 3 и
pip install google-auth google-api-python-client. - Папка проекта. Например
/hermes-seo-projectсcontext/,data/,qa/иapproval-rules.md, требующим, чтобы этап отправки всегда требовал человеческой подписи.
Шаг 1: собрать инвентарь URL
Скопируйте два скилла GSC в директорию скиллов Hermes (~/.hermes/skills): скилл чтения (sitemap, Search Analytics, проверка URL) и скилл индексации (скрипт отправки). Если харнесс каталогизирует скиллы, их можно загрузить и через skill_view.
Затем попросите Hermes в чат-сессии, из папки проекта:
Перечисли все sitemap для sc-domain:example.com, извлеки каждый URL с lastmod и запиши их в data/url-inventory.csv. Отметь любой sitemap, чей fetch упал.
Hermes выполняет команды sitemap через терминальный инструмент и пишет CSV. Хороший результат: дедуплицированный CSV с URL, lastmod и исходным sitemap. Контроль качества: проверьте пять случайных строк и сверьте итог с отчётом sitemap в GSC. Если список пуст или аутентификация падает, повторите поток аутентификации GSC; скрипту чтения нужен свежий OAuth-токен.
Шаг 2: проверить и классифицировать
Затем агент проверяет инвентарь партиями через URL Inspection API и получает текущий статус покрытия каждой страницы. Попросите следующий этап:
Проверь каждый URL из data/url-inventory.csv. Раздели их на три файла: data/to-submit.txt (не индексированные и достойные отправки), data/skip.txt (с причиной для каждого URL) и data/needs-fix.txt (не индексированные и застрявшие на том, что мы можем изменить).
У API проверки есть лимиты частоты на свойство (актуальную квоту смотрите в Google Cloud Console; несколько тысяч в день, но не бесконечность). На больших сайтах ограничьте этот проход URL с самым свежим lastmod — теми, что вы действительно меняли в этом квартале. Контроль качества: выборочно посмотрите список пропущенных. В нём должны доминировать noindex, canonical на другие URL и дубликаты, а не страницы, которые вам важны. Если сайт с тысячами URL даёт пустой needs-fix, этап инвентаря, вероятно, потерял страницы. Расширьте входной диапазон.
Шаг 3: триаж перед отправкой
Шаг, который все пропускают. Сопоставьте застрявшие URL с причиной и исправлением в этом порядке:
Причина | Исправление | Отправлять после исправления? |
|---|---|---|
У страницы нет ни одной внутренней ссылки | Добавить контекстные ссылки с индексированных страниц | Да |
Совершенно новый сайт или страница | Исправлять нечего; отправить один раз и ждать 1–2 недели | Да, один раз |
Блокировка robots.txt | Снять блокировку на этом пути | Да |
Обойдён, но дублирован или слаб | Переписать, объединить или удалить | Только после реального изменения контента |
canonical указывает на другой URL | Исправить canonical, если неверен; если намеренно — перестать отправлять этот URL | Только после исправления |
noindex на момент обхода | Убрать noindex и дать Google переобойти | Да, после удаления |
Soft 404, бесполезная пагинация/архивы | Исправить страницу или удалить её | Нет — постоянный пропуск |
Попросите Hermes подготовить очередь исправлений таблицей: URL, предполагаемая причина, доказательство (результат проверки или ревью контента), предлагаемое действие, уровень риска. Утверждайте каждую строку в чате. Ваш approval-rules.md должен это требовать: агент готовит, вы утверждаете, и ничего выше низкого риска не отправляется без подписи.
Шлюз утверждения отделяет подготовку агента от этапа записи.
Сами исправления — обычная SEO-работа: переписать контент, почистить canonical, внутренние ссылки. Этот пайплайн покрывает половину отправки. Половину исправлений покрывают статьи об аудите и обновлении из серии Hermes.
Список отправки — пересечение «исправимо» и «достойно индексации».
Шаг 4: отправка через Indexing API
Когда очередь утверждена, поместите URL в data/approved-urls.txt и дайте Hermes выполнить скилл индексации:
python3 ~/.hermes/skills/gsc-indexing/scripts/index_submit.py check-auth
python3 ~/.hermes/skills/gsc-indexing/scripts/index_submit.py submit --urls-file data/approved-urls.txtТип уведомления по умолчанию — URL_UPDATED, предназначен для новых или изменённых страниц. Три числа, которые стоит запомнить: квота по умолчанию — 200 URL в день, 600 запросов в минуту — а 403 означает, что сервисный аккаунт не является владельцем свойства. Если утверждённый список превышает 200, разбейте на несколько дней; Hermes может распланировать оставшиеся партии.
Никогда не отправляйте уже индексированные страницы и список пропущенных. Потраченные уведомления только жгут квоту и создают шум.
Шаг 5: верификация и ожидание
status сразу после отправки говорит лишь о том, есть ли у Google метаданные уведомления, а не о том, индексирована ли страница. Настоящее подтверждение приходит через несколько дней.
Через 3–7 дней после партии попросите Hermes:
Перепроверь URL из data/approved-urls.txt и сообщи об изменениях статуса относительно последнего запуска.
Здоровая прогрессия — discovered → crawled → indexed. Вот как это выглядит на протяжении недель: список неиндексированных сжимается, а ваши реальные исправления (новые внутренние ссылки, переписанные тексты) появляются в индексе. Помните: данные GSC приходят с задержкой в несколько дней, и Google переобходит по своему расписанию. URL, остающийся в «Crawled – currently not indexed» 10–14 дней после реальных исправлений, — сигнал качества, а не проблема отправки; переведите его в работу над контентом.
Поддержание цикла
Превратите пайплайн в еженедельную рутину: новые или изменённые URL с прошлого запуска → проверка → классификация → триаж → утверждение → отправка → журнал. Hermes может выполнять read-only часть (инвентарь, проверка, классификация) без надзора, по расписанию, и приносить вам очередь каждый понедельник. Этап отправки остаётся за шлюзом утверждения, с непрерывным журналом в qa/indexing-log.md: дата отправки, URL, тип уведомления, результат. Полгода журнала — единственная честная мера того, работает ли пайплайн.
Честные ограничения
- Google документирует Indexing API для страниц со структурированными данными
JobPostingилиBroadcastEvent. Использование на обычных страницах — распространённая SEO-практика, но Google не гарантирует индексацию и поддержку ни для какого типа страниц. - У кнопки «Запросить индексацию» нет публичного API. Indexing API — ближайшая автоматизация, но не та же кнопка.
- Отправка не создаёт приоритет. Если страница так и не индексируется после исправления, отправки и ожидания, следующий ответ — качество контента, а не очередное уведомление.
Частые вопросы
Работает ли Indexing API с обычными страницами? Она принимает любой URL, который вы отправляете. Официальная документация Google нацелена на страницы JobPosting и BroadcastEvent, поэтому относитесь к отправке обычных страниц как к best-effort: полезно, распространено, но никогда не гарантировано.
Почему после отправки остаётся «Discovered – currently not indexed»? Этот статус обычно означает приоритет обхода, а не провал. Проверьте внутренние ссылки на страницу, не блокирует ли robots.txt путь и не сильно ли страница зависит от JavaScript. Затем ждите: на новых сайтах от обнаружения до обхода может пройти 1–2 недели.
Достаточно ли 200 URL в день? Для большинства сайтов да — в любом случае отправлять стоит только реально изменённые URL. Если их регулярно больше, приоритизируйте по бизнес-ценности и запросите увеличение квоты в Google Cloud Console.
Ускоряет ли Indexing API ранжирование? Нет. Она лишь уведомляет Google, что URL изменился. Ранжирование — отдельное решение систем Google, не зависящее от количества отправленных уведомлений.
Чем это отличается от клика «Запросить индексацию» в Search Console? Та же цель, другой механизм. Кнопка — чистый UI без публичного API; Indexing API — скриптуемый канал. Ни то, ни другое не отменяет решение Google о том, должна ли страница быть в индексе.
Автор: Джулиан Мерсер, практик технического SEO в Auspia с 14-летним опытом. Пишет о краулабельности, индексации, схеме и технических основах, делающих сайт читаемым и для Google, и для систем ИИ.
