«Discovered – currently not indexed» dan «Crawled – currently not indexed» adalah dua baris paling umum dalam laporan indeksasi halaman di Search Console, sekaligus dua baris yang paling sering disalahpahami. Keduanya terlihat seperti kegagalan teknis, padahal biasanya ini adalah keputusan prioritas dan kualitas yang dibuat Google tentang halaman Anda. Mengirim ulang lebih keras tidak akan mengubah itu. Memperbaiki penyebabnya — iya.
Panduan ini adalah putaran lengkap yang bisa Anda serahkan ke Hermes Agent: ambil daftar URL, periksa setiap halaman, tentukan penyebab sebenarnya, setujui antrean perbaikan, dan kirim hanya halaman yang layak diindeks melalui Google Indexing API. Pada akhirnya Anda punya pipeline mingguan yang bisa diulang, bukan sesi klik tombol sekali jalan.
Yang Anda selesaikan
- Inventaris terklasifikasi: URL mana yang macet di discovered, mana yang di crawled-but-not-indexed, dan mana yang seharusnya tidak pernah dikirim
- Daftar kiriman yang disetujui ke Indexing API, plus daftar lewati dengan alasan
- Putaran verifikasi yang menunjukkan apakah kiriman Anda benar-benar menggerakkan jarum
Anda perlu: Hermes Agent terpasang dan berfungsi (hermes chat memulai sesi; lihat langkah instalasi terbaru di dokumentasi resmi hermes-agent.nousresearch.com/docs), akses owner ke properti Search Console, dan dua set kredensial Google (satu untuk membaca GSC, satu untuk Indexing API). Rencanakan 60–90 menit untuk pengaturan pertama kali, lalu sekitar 15 menit per jalan mingguan. «Selesai» berarti URL yang Anda kirim menunjukkan pergerakan status nyata di Inspection API dalam beberapa minggu, atau Anda punya bukti jelas mengapa tidak akan bergerak.
Dua status, dibaca dengan benar
Google tidak macet di situs Anda. Ia membuat keputusan, dan status memberi tahu Anda keputusan yang mana.
Status | Arti sebenarnya | Penyebab umum | Kapan mengirim |
|---|---|---|---|
Discovered – currently not indexed | Google tahu URL itu ada (dari sitemap atau dari tautan) tapi belum merayapinya | Prioritas perayapan rendah, tautan internal lemah atau tidak ada, tekanan anggaran perayapan di situs besar, situs baru, rendering JS lambat atau berat, sitemap yang terus berubah | Setelah Anda memperbaiki sinyal prioritas (terutama tautan internal), lalu sekali |
Crawled – currently not indexed | Google mengambil URL dan memilih untuk tidak menambahkannya ke indeks | Konten duplikat atau hampir duplikat, konten tipis, canonical mengarah ke URL lain, noindex saat perayapan, soft 404, nilai yang dirasakan rendah | Hanya setelah Anda mengubah sesuatu: konten, canonical, atau noindex |
Indexed | Sudah di indeks | — | Jangan pernah |
Excluded | Dirayapi dan sengaja ditinggalkan (noindex, canonical, duplikat terpilih, diblokir) | — | Jangan pernah; periksa apakah pengecualian disengaja |
Aturan dalam satu kalimat: kirim hanya URL yang benar-benar Anda ubah atau yang layak dilihat kedua. Indexing API adalah saluran notifikasi, bukan penimpa peringkat. Mengirim halaman tipis melewatinya 10 kali menghasilkan keputusan yang sama 10 kali.
Mengapa menjalankan ini di agent
Tombol «Request indexing» di GSC tidak punya API publik, jadi tidak ada cara resmi untuk menekannya lewat skrip. Otomatisasi terdekatnya adalah Google Indexing API, yang menerima notifikasi URL secara langsung. Agent layak ditempatkan di sini karena tiga alasan:
- Putarannya mekanis dan panjang: inventory → inspect → classify → fix → submit → verify. Berulang setiap minggu.
- Butuh jejak audit: Anda ingin file yang mencatat URL mana yang dikirim, kapan, dan mengapa.
- Butuh gerbang persetujuan: bagian yang menulis ke Google harus ditinjau manusia. Hermes dibangun di sekitar pembagian itu, dengan skills, folder proyek, dan aturan persetujuan.
Sebelum mulai: yang Anda butuhkan
- Hermes Agent terpasang. Konfirmasi dengan
hermes chatsebelum melanjutkan. - Properti GSC yang Anda miliki, dalam format
sc-domain:example.com(bukan URL lengkap). - Akses baca: klien OAuth Google Cloud untuk Search Console API (client ID + secret). Skrip skill GSC memakainya untuk mendaftar sitemap, menjalankan analitik pencarian, dan memeriksa URL.
- Akses tulis: proyek Google Cloud dengan Indexing API diaktifkan dan kunci JSON service account. Tambahkan email service account sebagai Owner di GSC → Setelan → Pengguna dan izin. Jika pengiriman mengembalikan 403 — inilah langkah yang terlewat.
- Python 3 dengan
pip install google-auth google-api-python-client. - Folder proyek, misalnya
/hermes-seo-project, dengancontext/,data/,qa/, danapproval-rules.mdyang menyatakan langkah pengiriman selalu memerlukan tanda tangan manusia.
Langkah 1: Bangun inventaris URL
Salin dua skill GSC ke direktori skills Hermes (~/.hermes/skills): skill baca (sitemaps, analitik pencarian, pemeriksaan URL) dan skill indeksasi (skrip pengiriman). Hermes juga bisa memuatnya lewat skill_view jika harness sudah mengatalogkannya.
Lalu minta Hermes, dalam sesi obrolan dari folder proyek:
Daftarkan semua sitemap untuk sc-domain:example.com, ambil setiap URL dengan tanggal lastmod-nya, dan tulis hasilnya ke data/url-inventory.csv. Tandai sitemap mana pun yang gagal diambil.
Hermes menjalankan perintah sitemap lewat alat terminalnya dan menulis CSV. Seperti apa keluaran yang baik: CSV tanpa duplikat dengan URL, lastmod, dan sitemap sumber. Pemeriksaan kualitas: cek lima baris acak dan bandingkan jumlah totalnya dengan laporan sitemap di GSC. Jika daftar kosong atau autentikasi gagal, jalankan ulang alur autentikasi GSC; skrip baca membutuhkan token OAuth baru.
Langkah 2: Periksa dan klasifikasi
Sekarang agent memeriksa inventaris secara berkelompok lewat URL Inspection API, yang mengembalikan status cakupan terkini setiap halaman. Minta tahap berikutnya:
Periksa setiap URL di data/url-inventory.csv. Bagi menjadi tiga file: data/to-submit.txt (belum terindeks, layak diminta), data/skip.txt (dengan alasan satu baris per URL), dan data/needs-fix.txt (belum terindeks dan terhambat sesuatu yang bisa kita ubah).
Inspection API dibatasi kecepatan per properti (periksa kuota Anda saat ini di Google Cloud Console; ribuan permintaan per hari tapi tidak tanpa batas). Untuk situs besar, batasi putaran ini ke URL dengan tanggal lastmod terbaru — yang benar-benar Anda ubah kuartal ini. Pemeriksaan kualitas: contoh daftar lewati. Sebagian besar harus berisi noindex, canonical yang mengarah ke tempat lain, dan duplikat, bukan halaman yang Anda pedulikan. Jika agent menghasilkan daftar needs-fix kosong di situs dengan ribuan URL, kemungkinan langkah inventaris kehilangan halaman. Perlebar input.
Langkah 3: Triage sebelum mengirim
Ini langkah yang dilewati orang. Petakan setiap URL macet ke penyebab dan perbaikan, dalam urutan ini:
Penyebab | Perbaikan | Kirim setelah diperbaiki? |
|---|---|---|
Tidak ada tautan internal yang mengarah ke halaman | Tambahkan tautan kontekstual dari halaman terkait yang terindeks | Ya |
Situs atau halaman baru sama sekali | Tidak ada yang diperbaiki; kirim sekali dan tunggu 1–2 minggu | Ya, sekali |
Diblokir robots.txt | Buka blokir jalur tersebut | Ya |
Dirayapi tapi duplikat atau tipis | Tulis ulang, gabungkan, atau hapus halaman | Hanya setelah perubahan konten nyata |
Canonical mengarah ke URL lain | Perbaiki canonical jika salah; jika disengaja, berhenti mengirim URL ini | Hanya jika Anda memperbaikinya |
Ada noindex saat perayapan | Hapus noindex dan biarkan Google merayapi ulang | Ya, setelah dihapus |
soft 404 atau pagination/arsip tanpa nilai | Perbaiki halamannya atau hapus | Tidak — lewati permanen |
Minta Hermes menyusun antrean perbaikan sebagai tabel: URL, dugaan penyebab, bukti (hasil pemeriksaan atau cek konten), tindakan yang diusulkan, tingkat risiko. Setujui setiap baris di obrolan. approval-rules.md Anda harus mewajibkan ini: agent menyiapkan, Anda menyetujui, dan tidak ada yang di atas risiko rendah dikirim tanpa tanda tangan.
Gerbang persetujuan memisahkan persiapan agent dari langkah penulisan.
Perbaikannya sendiri adalah pekerjaan SEO biasa: menulis ulang konten, membersihkan canonical, tautan internal. Pipeline ini mencakup separuh pengiriman; artikel audit dan penyegaran dalam seri Hermes mencakup separuh perbaikan.
Daftar pengiriman adalah irisan «bisa diperbaiki» dan «layak diindeks».
Langkah 4: Kirim melalui Indexing API
Setelah antrean disetujui, taruh URL di data/approved-urls.txt dan biarkan Hermes menjalankan skill indeksasi:
python3 ~/.hermes/skills/gsc-indexing/scripts/index_submit.py check-auth
python3 ~/.hermes/skills/gsc-indexing/scripts/index_submit.py submit --urls-file data/approved-urls.txtJenis notifikasi default adalah URL_UPDATED, yang Anda butuhkan untuk halaman baru atau yang berubah. Tiga angka yang perlu diingat: kuota default 200 URL per hari dan 600 permintaan per menit; dan 403 berarti service account bukan Owner properti. Jika daftar yang disetujui melebihi 200, bagi ke beberapa hari; Hermes bisa menjadwalkan sisa batch.
Jangan pernah mengirim halaman yang sudah terindeks, dan jangan pernah mengirim daftar lewati. Notifikasi yang terbuang hanya membakar kuota dan membuat bising.
Langkah 5: Verifikasi, lalu tunggu
Tepat setelah pengiriman, status hanya memberi tahu apakah Google punya metadata untuk notifikasi Anda, bukan apakah halaman terindeks. Pemeriksaan sebenarnya datang berhari-hari kemudian.
Minta Hermes, 3–7 hari setelah batch:
Periksa lagi URL di data/approved-urls.txt dan laporkan perubahan status dibandingkan jalan terakhir.
Pergerakan sehat adalah discovered → crawled → indexed. Beginilah tampilannya dalam beberapa minggu: daftar belum terindeks menyusut, dan perbaikan yang benar-benar Anda buat (tautan internal baru, teks yang ditulis ulang) muncul di indeks. Ingat data GSC tertunda beberapa hari, dan Google merayapi ulang sesuai jadwalnya sendiri. URL yang bertahan «Crawled – currently not indexed» selama 10–14 hari setelah perbaikan nyata adalah sinyal kualitas, bukan masalah pengiriman. Kembalikan ke pekerjaan konten.
Jaga putaran tetap berjalan
Ubah pipeline menjadi rutinitas mingguan: URL baru dan yang berubah sejak jalan terakhir → periksa → klasifikasi → triage → setujui → kirim → catat. Hermes bisa menjalankan bagian baca-saja (inventory, inspection, classification) tanpa pengawasan sesuai jadwal dan menyajikan antrean setiap Senin. Pertahankan langkah kirim di belakang gerbang persetujuan Anda, dan simpan catatan berjalan di qa/indexing-log.md: tanggal kirim, URL, jenis notifikasi, hasil. Enam bulan catatan itu adalah satu-satunya cara jujur mengukur apakah pipeline berfungsi.
Batasan yang jujur
- Google mendokumentasikan Indexing API untuk halaman dengan data terstruktur
JobPostingatauBroadcastEvent. Memakainya untuk halaman biasa adalah praktik SEO yang luas, tapi Google tidak menjamin indeksasi atau dukungan untuk setiap jenis halaman. - Tidak ada API publik untuk tombol «Request Indexing». Indexing API adalah otomatisasi terdekat, bukan tombol yang sama.
- Pengiriman tidak menciptakan prioritas. Jika halaman tetap belum terindeks setelah Anda memperbaiki, mengirim, dan menunggu, jawaban berikutnya adalah kualitas konten, bukan notifikasi lain.
FAQ
Apakah Indexing API berfungsi untuk halaman biasa? Ia menerima URL apa pun yang Anda kirim. Dokumentasi resmi Google membatasinya ke halaman JobPosting dan BroadcastEvent, jadi anggap pengiriman halaman biasa sebagai upaya terbaik: bermanfaat, umum, dan tidak pernah dijamin.
Mengapa URL saya tetap «Discovered – currently not indexed» setelah saya kirim? Status itu biasanya berarti prioritas perayapan, bukan kegagalan. Periksa tautan internal yang mengarah ke halaman, apakah robots.txt memblokir jalurnya, dan apakah halaman berat JavaScript. Lalu tunggu: di situs baru, discovery ke crawl bisa memakan waktu satu-dua minggu.
Apakah 200 URL sehari cukup? Untuk sebagian besar situs, ya, karena Anda seharusnya hanya mengirim URL yang benar-benar diubah. Jika Anda rutin punya lebih banyak, prioritaskan berdasarkan nilai bisnis dan minta kenaikan kuota di Google Cloud Console.
Apakah Indexing API membuat halaman lebih cepat berperingkat? Tidak. Ia memberi tahu Google bahwa URL berubah. Keputusan peringkat terpisah, dan dibuat oleh sistem Google, bukan oleh volume notifikasi Anda.
Apa bedanya dengan mengklik «Request indexing» di Search Console? Niat sama, mekanisme berbeda. Tombol itu hanya UI tanpa API publik; Indexing API adalah saluran yang bisa diskrip. Keduanya tidak menimpa penilaian Google tentang apakah halaman layak masuk indeks.
Penulis: Julian Mercer, Praktisi Technical SEO 14 Tahun di Auspia. Julian menulis tentang crawlability, indeksasi, schema, dan fondasi teknis yang memungkinkan Google dan sistem AI membaca situs dengan benar.
