Cara Mengirim Website Anda ke Mesin Pencari di Tahun 2026

Hasil yang Akan Anda Dapatkan

Di akhir panduan ini, website Anda akan terkirim ke Google, Bing, dan mesin pencari yang mendukung ChatGPT, Copilot, DuckDuckGo, dan Perplexity. Anda juga akan mendapatkan agen Codex yang dapat digunakan kembali yang mengulangi seluruh proses setiap kali Anda menerbitkan konten baru.

Untuk siapa panduan ini: Siapa saja yang baru saja meluncurkan website — atau yang memiliki website yang belum muncul di hasil pencarian.

Waktu yang dibutuhkan: 20 menit untuk pengaturan manual. 5 menit dengan agen Codex di akhir.

Tanda "selesai": Sitemap Anda diterima oleh Google Search Console dan Bing Webmaster Tools. IndexNow aktif. AI crawler dapat mengakses situs Anda. Anda dapat memverifikasi halaman Anda muncul di hasil pencarian.

Prasyarat:

• Website yang aktif dan dapat diakses publik (tidak dilindungi kata sandi, bukan halaman "coming soon")
• Akses ke pengaturan DNS domain Anda (untuk verifikasi)
• Akun Google gratis dan akun Microsoft/Google/Facebook gratis

Sebelum Memulai: Daftar Periksa Pra-Pengiriman

Sebagian besar kegagalan pengiriman pertama tidak ada hubungannya dengan langkah pengiriman. Situsnya belum siap. Jalankan lima pemeriksaan ini sebelum Anda membuka konsol pencarian apa pun.

Jika Anda tidak memiliki sitemap: Sebagian besar platform CMS membuatnya secara otomatis. WordPress dengan Yoast atau Rank Math: cari sitemap_index.xml. Shopify, Wix, Squarespace: dibuat otomatis di sitemap.xml. Jika Anda menggunakan situs kustom, gunakan alat pembuat sitemap atau minta developer Anda membuatkannya. Sitemap Anda harus dapat diakses di URL publik — mesin pencari tidak bisa membaca file di komputer Anda.

Setelah Anda mengonfirmasi kelima pemeriksaan lulus, Anda siap mengirim.

Bagaimana Pengiriman ke Mesin Pencari Berubah: 2021 vs 2026

Kembali di tahun 2021, Anda perlu khawatir tentang lima mesin pencari dan dua konsol webmaster. Mesin intinya tidak berubah, tetapi cara Anda menjangkaunya telah berubah — dalam tiga cara spesifik:

Dasarnya sama: kirim sitemap Anda, buktikan Anda pemilik situs, minta indeks untuk halaman kunci. Yang berbeda adalah mesin mana yang penting dan seberapa cepat Anda bisa menjangkau mereka.

Cara Mengirim Website Anda ke Google

Google menangani sekitar 85% trafik pencarian global. Jika Anda hanya melakukan satu hal dari panduan ini, lakukan bagian ini.

Langkah 1: Tambahkan Properti ke Google Search Console

1. Buka search.google.com/search-console dan masuk dengan akun Google.
2. Klik "Tambah properti" di dropdown kiri atas.
3. Pilih tipe properti:

Properti Domain (disarankan): Mencakup semua subdomain (www., blog., dll.) dan HTTP maupun HTTPS. Verifikasi memerlukan penambahan data TXT ke konfigurasi DNS Anda. Ini lebih banyak pekerjaan di awal tetapi berarti Anda tidak perlu properti terpisah nantinya.

Properti URL Prefix: Hanya mencakup URL persis yang Anda masukkan. Lebih mudah diverifikasi (upload file HTML, meta tag, Google Analytics, atau Google Tag Manager), tetapi Anda perlu properti terpisah untuk https://www. dan https:// jika situs Anda menyajikan keduanya.

Hasil yang diharapkan: Properti terverifikasi di dashboard GSC Anda. Verifikasi bisa memakan waktu beberapa menit untuk perubahan DNS menyebar.

Pemeriksaan kualitas: GSC menampilkan properti Anda dengan status hijau "terverifikasi". Jika verifikasi DNS tidak berfungsi setelah 10 menit, coba metode upload file HTML — biasanya lebih cepat.

Langkah 2: Kirim XML Sitemap Anda

1. Di sidebar kiri, klik Sitemaps (di bawah bagian Indeks).
2. Di kolom "Tambahkan sitemap baru", masukkan URL sitemap Anda (hanya path — misalnya, sitemap.xml atau sitemap_index.xml).
3. Klik Kirim.

Hasil yang diharapkan: Sitemap terkirim menampilkan status "Sukses". Google bisa memakan waktu beberapa jam hingga beberapa hari untuk memproses semua URL di dalamnya.

Perhatian: Sitemap yang dikirim adalah petunjuk, bukan perintah. Google mungkin memutuskan beberapa URL tidak layak diindeks. Periksa rasio "Dikirim vs. Terindeks" di laporan Halaman GSC untuk melihat berapa banyak yang benar-benar disimpan Google. Situs yang sehat mendapatkan 85-95% halaman publiknya terindeks. Jika Anda di bawah 70%, Anda memiliki masalah kualitas konten atau crawl budget, bukan masalah pengiriman.

Langkah 3: Minta Pengindeksan untuk Halaman Kunci

Untuk halaman terpenting Anda (beranda, landing page utama, konten pondasi):

1. Di sidebar kiri, klik URL Inspection (ada di bagian atas sidebar).
2. Tempel URL lengkap Anda ke bilah pencarian dan tekan Enter.
3. Jika halaman mengatakan "URL tidak ada di Google," klik Minta Pengindeksan.
4. Jika halaman sudah terindeks, Anda tetap bisa meminta pengindeksan setelah pembaruan konten signifikan.

Kuota: Anda mendapatkan sekitar 10 permintaan pengindeksan per properti per hari. Jangan buang untuk posting blog rutin. Simpan untuk halaman baru, pembaruan konten besar, atau halaman yang baru saja Anda perbaiki masalahnya.

Jika tombol abu-abu: Anda mencapai kuota harian. Tunggu 24 jam, atau coba halaman lain.

Cara Mengirim ke Bing (Dan Mengapa Sekarang Membuka ChatGPT, Copilot, dan DuckDuckGo)

Bing penting di tahun 2026 karena alasan yang tidak ada hubungannya dengan pangsa pencarian langsungnya sekitar 7%. Indeks pencarian Microsoft adalah infrastruktur di balik:

• ChatGPT Search — OpenAI mencari di Bing secara real-time
• Microsoft Copilot — terintegrasi di Windows, Edge, dan Office
• DuckDuckGo — menggunakan indeks Bing bersama crawler-nya sendiri
• Yahoo — didukung Bing sejak 2010

Satu pengiriman ke Bing berarti halaman Anda bisa muncul di hasil web ChatGPT, jawaban Copilot, dan daftar DuckDuckGo. Bing Webmaster Tools sekarang memiliki laporan AI Performance yang merinci bagaimana konten Anda berperforma di dalam ChatGPT dan Copilot.

Langkah 1: Siapkan Bing Webmaster Tools

Metode tercepat — Impor dari Google Search Console:

1. Buka bing.com/webmasters dan masuk (akun Microsoft, Google, atau Facebook).
2. Klik Tambah situs.
3. Pilih Impor dari Google Search Console.
4. Pilih properti GSC Anda dan konfirmasi. Bing menyalin situs terverifikasi, sitemap, dan pengaturan Anda dalam sekitar 2 menit.

Metode manual: Tambahkan URL situs Anda, lalu verifikasi melalui upload file XML, meta tag, atau data CNAME DNS — opsi yang sama seperti GSC.

Langkah 2: Kirim Sitemap Anda

1. Di sidebar kiri, buka Sitemaps.
2. Klik Kirim sitemap, tempel URL sitemap Anda.
3. Klik Kirim.

Bing menerima format XML, RSS 2.0, Atom, dan sitemap teks biasa.

Hasil yang diharapkan: Sitemap Anda muncul di daftar sitemap dengan tanggal pengiriman. Bing biasanya mulai crawling dalam hitungan jam.

Langkah 3: Aktifkan IndexNow (Jangan Lewatkan Ini)

IndexNow adalah jalur tercepat untuk memasukkan konten ke Bing — dan gratis. Lihat bagian berikutnya untuk pengaturan lengkap.

IndexNow: Satu Ping, Lima-Plus Mesin Pencari

IndexNow adalah protokol terbuka yang dibangun oleh Microsoft Bing dan Yandex. Ini membalik model penemuan biasa: alih-alih berharap crawler akhirnya menyadari halaman baru Anda, Anda mendorong notifikasi saat sesuatu berubah.

Mesin yang mendukung IndexNow (per pertengahan 2026):

• Microsoft Bing
• Yandex
• Naver (Korea Selatan)
• Seznam (Republik Ceko)
• Yep (mesin fokus privasi dari Ahrefs)

Kirim ke satu mesin mana pun dan notifikasi Anda diteruskan ke semua yang lain dalam sekitar 10 detik. Satu ping, lima-plus mesin.

Google tidak mendukung IndexNow dan telah menyatakan secara publik tidak memiliki rencana untuk itu. Tidak masalah. IndexNow mencakup ekosistem Bing, yang pada tahun 2026 juga merupakan ekosistem pencarian AI.

Cara Menyiapkan IndexNow dalam 3 Langkah

Langkah 1: Buat kunci API.

Jalankan ini di terminal (Mac/Linux) atau gunakan generator hex acak apa pun:

openssl rand -hex 32

Kunci Anda harus 8-128 karakter alfanumerik dengan tanda hubung opsional. Simpan — Anda akan membutuhkannya untuk setiap pengiriman.

Langkah 2: Host file kunci.

Buat file teks bernama {kunci-anda}.txt di root domain Anda, hanya berisi kunci Anda. Misalnya, jika kunci Anda adalah a1b2c3d4e5f6..., buat:

https://domainanda.com/a1b2c3d4e5f6....txt

File harus berisi persis string kunci itu dan tidak ada yang lain. Ini membuktikan Anda memiliki domain.

Langkah 3: Kirim URL.

Setiap kali Anda menerbitkan atau memperbarui halaman, POST ke endpoint IndexNow mana pun:

curl -X POST "https://api.indexnow.org/indexnow" \
  -H "Content-Type: application/json" \
  -d '{
    "host": "domainanda.com",
    "key": "kunci-api-anda",
    "keyLocation": "https://domainanda.com/kunci-api-anda.txt",
    "urlList": [
      "https://domainanda.com/halaman-baru",
      "https://domainanda.com/halaman-diperbarui"
    ]
  }'

Anda dapat mengirim hingga 10.000 URL per permintaan. Tidak ada batasan harian yang berarti.

Plugin CMS yang Mengotomatiskan IndexNow

Jika Anda tidak ingin menjalankan perintah curl secara manual, platform ini menangani IndexNow secara otomatis:

Hasil yang diharapkan: URL yang dikirim melalui IndexNow biasanya muncul di Bing dalam hitungan menit hingga 24 jam, dibandingkan berhari-hari atau berminggu-minggu tanpanya. Per akhir 2025, IndexNow menyumbang 22% dari semua URL yang diklik di Bing.

Pemeriksaan kualitas: Setelah mengirim, gunakan URL Inspection Bing Webmaster Tools untuk mengonfirmasi URL terindeks. Jika tidak dalam 24 jam, periksa apakah file kunci Anda dapat diakses dan URL mengembalikan kode status 200.

Cara Membuat Mesin Pencari AI Menemukan Situs Anda

ChatGPT Search, Perplexity, Google AI Overviews, dan Claude tidak memiliki tombol kirim. Tidak ada konsol webmaster, tidak ada formulir sitemap. Tapi mereka semua menemukan konten dengan cara yang sama seperti mesin tradisional — melalui crawler. Dan Anda mengontrol apakah crawler tersebut bisa masuk.

Langkah 1: Izinkan AI Crawler di robots.txt

Banyak situs secara tidak sengaja memblokir AI crawler melalui aturan pemblokiran bot yang agresif atau plugin keamanan. Tambahkan baris ini ke robots.txt Anda:

# AI search crawlers — izinkan
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Google-Extended
Allow: /

# Traditional search crawlers
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

Apa yang dilakukan masing-masing:

Perbedaan penting: Mengizinkan GPTBot memungkinkan OpenAI berlatih pada konten Anda. Jika Anda ingin situs Anda di hasil ChatGPT Search tetapi TIDAK ingin konten Anda digunakan untuk pelatihan, izinkan OAI-SearchBot dan blokir GPTBot. Itu keputusan terpisah.

Langkah 2: Buat File llms.txt

llms.txt adalah standar yang sedang muncul, pada dasarnya daftar isi yang ditulis untuk sistem AI. Buat satu di domainanda.com/llms.txt dengan ringkasan singkat situs dan tautan ke halaman terpenting Anda:

# Nama Situs Anda
Deskripsi satu kalimat tentang apa yang ditawarkan situs Anda dan untuk siapa.

## Halaman Kunci
- [Tentang Kami](https://domainanda.com/tentang): Cerita dan kredensial Anda.
- [Produk/Layanan Utama](https://domainanda.com/produk): Apa yang Anda tawarkan.
- [Blog](https://domainanda.com/blog): Artikel dan panduan terbaru.
- [Kontak](https://domainanda.com/kontak): Cara menghubungi Anda.

Ini membantu sistem AI memahami tentang apa situs Anda tanpa mengurai setiap halaman.

Untuk pemula SEO: Membuat file llms.txt hanya perlu 60 detik. Ini tidak akan mengubah peringkat Anda, tetapi memberikan peta situs yang jelas kepada sistem AI, yang dapat memengaruhi bagaimana konten Anda muncul dalam jawaban yang dihasilkan AI. Jika Anda ingin versi yang sudah diformat, gunakan Generator LLMs.txt gratis dari Auspia.

Langkah 3: Apa yang Benar-Benar Membawa Anda ke Hasil Pencarian AI

Dicrawl adalah syarat minimum. Dikutip adalah bagian yang sulit. Data praktisi dari 2025-2026 menunjukkan beberapa pola yang benar-benar berdampak:

• Awali dengan jawaban di 150-300 kata pertama — konten yang memberikan jawaban langsung di awal dikutip 35% lebih sering.
• Gunakan judul H2 dalam format pertanyaan — halaman yang terstruktur di sekitar pertanyaan nyata dikutip 3,2x lebih banyak di ChatGPT dan 38% lebih banyak di Perplexity.
• Sertakan "kapsul jawaban" 40-80 kata di dekat atas — ringkasan kompak dari klaim utama Anda berkorelasi dengan tingkat kutipan 40% lebih tinggi di Perplexity.
• Jaga konten tetap segar — konten yang diperbarui dalam 30 hari terakhir menerima 3,2x lebih banyak kutipan AI daripada konten yang lebih dari 6 bulan.
• Tambahkan nama penulis dengan kredensial — artikel dengan penulis bernama dan keahlian yang dinyatakan memiliki tingkat kutipan 18% lebih tinggi.

Tidak ada yang dijamin. Tetapi dipadukan dengan pengaturan akses teknis di atas, ini meningkatkan peluang Anda.

Cara Memeriksa Apakah Website Anda Terindeks

Pengiriman adalah langkah pertama. Verifikasi memberi tahu Anda apakah itu berhasil.

Google

Untuk seluruh situs: Di GSC, buka Halaman (di bawah Indeks). Laporan ini mengkategorikan setiap URL yang dikenal sebagai terindeks, dikecualikan, atau error. Lihat jumlah "Terindeks" dan bandingkan dengan total halaman yang Anda publikasikan.

Untuk halaman tertentu: Gunakan alat URL Inspection. Tempel URL dan itu memberi tahu Anda:

• Apakah halaman terindeks
• Kapan Google terakhir kali meng-crawl-nya
• URL kanonis mana yang dipilih Google
• Masalah kegunaan seluler atau data terstruktur apa pun

Pemeriksaan cepat tanpa GSC: Cari site:domainanda.com/halaman-tertentu di Google. Jika halaman muncul di hasil — terindeks. Jika tidak ada yang muncul — belum.

Bing

Bing Webmaster Tools memiliki alat yang sama: Site Explorer untuk status indeks seluruh situs dan URL Inspection untuk halaman individual.

Pemeriksaan cepat: Cari site:domainanda.com di Bing.

Perplexity

Perplexity tidak menyediakan konsol webmaster, tetapi Anda dapat memeriksa secara tidak langsung:

• Pantau perplexity.ai di laporan trafik rujukan GA4
• Cari merek atau halaman kunci Anda langsung di Perplexity

ChatGPT Search

ChatGPT Search menggunakan indeks Bing, jadi jika halaman Anda terindeks di Bing, halaman tersebut dapat diakses oleh ChatGPT. Pantau visibilitas melalui laporan AI Performance Bing Webmaster Tools (ditemukan di bawah "Search Performance" → filter "ChatGPT" atau "Copilot").

Cara Memperbaiki Masalah Pengindeksan Umum

Jika halaman Anda tidak muncul setelah pengiriman, selesaikan masalah ini secara berurutan:

Masalah 1: "Ditemukan — saat ini tidak terindeks"

Artinya: Google menemukan URL Anda tetapi belum meng-crawl-nya. Ini adalah masalah paling umum untuk situs baru.

Solusi: Ini biasanya masalah crawl budget. Google mengalokasikan sumber daya crawling terbatas per situs, dan situs baru dengan otoritas rendah mendapat sangat sedikit. Percepat dengan:

• Menambahkan tautan internal dari halaman yang sudah terindeks ke yang belum terindeks
• Mendapatkan tautan dari situs mapan (Reddit, Medium, blog industri) — Google meng-crawl halaman yang ditautkan dari domain yang sering di-crawl
• Mengirim URL melalui alat URL Inspection

Masalah 2: "Di-crawl — saat ini tidak terindeks"

Artinya: Google meng-crawl halaman tetapi memutuskan untuk tidak mengindeksnya. Berbeda dengan Masalah 1, ini adalah sinyal kualitas.

Solusi: Google menganggap halaman tidak layak diindeks. Tingkatkan dengan:

• Menambahkan konten unik yang jauh lebih banyak (halaman 200 kata dengan teks standar duplikat tidak mungkin diindeks)
• Menghapus halaman tipis atau duplikat yang melemahkan sinyal kualitas keseluruhan situs
• Memperkuat tautan internal dan menambahkan kutipan eksternal jika sesuai

Masalah 3: "Dikecualikan oleh tag noindex"

Artinya: Halaman Anda memiliki meta tag noindex atau header HTTP yang melarang mesin pencari mengindeksnya.

Solusi: Periksa sumber halaman Anda untuk <meta name="robots" content="noindex"> dan hapus. Jika Anda menggunakan WordPress, periksa Pengaturan → Membaca → "Cegah mesin pencari mengindeks situs ini" — kotak ini harus tidak dicentang.

Masalah 4: "Diblokir oleh robots.txt"

Artinya: File robots.txt Anda melarang crawling URL tersebut.

Solusi: Edit robots.txt Anda dan hapus aturan pemblokiran. Kemudian gunakan alat URL Inspection GSC untuk meminta pengindeksan ulang.

Masalah 5: Pengalihan dan Konflik Kanonis

Artinya: Google menemukan rantai pengalihan atau tag kanonis yang bertentangan yang mengarahkan menjauh dari URL pilihan Anda.

Solusi: Pastikan setiap halaman memiliki tag kanonis yang merujuk sendiri (<link rel="canonical" href="https://domainanda.com/halaman-ini">). Hapus rantai pengalihan yang tidak perlu — setiap lompatan tambahan menghabiskan crawl budget.

Otomatiskan Semuanya Dengan Agen Codex

Semua hal di atas penting. Tetapi menjalankannya secara manual setiap kali Anda menerbitkan halaman baru cepat membosankan. Agen Codex di bawah ini menangani seluruh alur kerja pengiriman untuk Anda. Ini berfungsi bahkan jika hari ini adalah pertama kalinya Anda mendengar tentang agen AI.

Apa yang Dilakukan Agen

Saat Anda menjalankan agen ini di situs Anda, ia akan:

1. Memverifikasi robots.txt mengizinkan search crawler
2. Menemukan atau membuat XML sitemap Anda
3. Mengirim sitemap Anda ke Google Search Console
4. Mengirim sitemap Anda ke Bing Webmaster Tools
5. Menyiapkan IndexNow dengan pengiriman otomatis saat publikasi
6. Membuat atau memperbarui file llms.txt Anda
7. Memeriksa status pengindeksan di Google dan Bing
8. Melaporkan halaman yang tidak terindeks dan memberi tahu alasannya

Cara Menggunakannya

Jika Anda memiliki Codex (CLI agen OpenAI): Salin file skill di bawah ini ke direktori .codex/skills/ proyek Anda. Codex akan memuatnya secara otomatis saat Anda menjalankan codex di direktori proyek.

Jika Anda memiliki Claude Code: File skill yang sama berfungsi — simpan ke .claude/skills/ saja.

Jika Anda tidak memiliki keduanya: Versi prompt di bawah ini berfungsi dengan agen AI apa pun yang dapat mengakses terminal dan browser Anda. Tempel apa adanya.

Opsi A: Codex Skill Lengkap (Direkomendasikan)

Buat file di .codex/skills/submit-site-search-engines/SKILL.md:

---
name: submit-site-search-engines
description: Kirim website ke Google, Bing, dan mesin pencari AI. Menyiapkan GSC, Bing Webmaster Tools, IndexNow, sitemaps, robots.txt, dan llms.txt. Memeriksa status pengindeksan dan melaporkan masalah. Dibuat untuk pemula.
---

# Kirim Website ke Mesin Pencari

Kirim website apa pun ke Google, Bing, dan ekosistem pencarian AI. Skill ini mengotomatiskan seluruh pipeline pengiriman — sitemaps, IndexNow, akses AI crawler, dan verifikasi pengindeksan.

## Kapan Menggunakan

- Anda baru saja meluncurkan website baru
- Anda menerbitkan konten baru yang penting dan ingin pengindeksan lebih cepat
- Website Anda tidak muncul di Google atau Bing
- Anda ingin memastikan mesin pencari AI (ChatGPT, Perplexity) dapat menemukan konten Anda

## Yang Anda Butuhkan

- Nama domain website Anda
- Akses ke pengaturan DNS Anda (untuk verifikasi kepemilikan)
- Akun Google gratis
- Akun Microsoft gratis (atau akun Google/Facebook untuk masuk Bing)

## Alur Kerja

### Fase 1: Audit Pra-Penerbangan

Sebelum mengirim ke mana pun, verifikasi situs sudah siap:

1. **Periksa situs dimuat melalui HTTPS** — buka `https://[domain]` di browser. Jika ikon gembok tidak muncul, berhenti dan perbaiki SSL dulu.
2. **Verifikasi robots.txt tidak memblokir crawler** — ambil `https://[domain]/robots.txt`. Jika berisi `Disallow: /` tanpa pengecualian path spesifik, tandai sebagai pemblokir.
3. **Pindai tag noindex** — ambil HTML beranda dan cari `noindex`. Jika ditemukan, identifikasi sumbernya (meta tag, header HTTP, pengaturan CMS).
4. **Temukan XML sitemap** — coba `https://[domain]/sitemap.xml`, `https://[domain]/sitemap_index.xml`, dan periksa robots.txt untuk direktif `Sitemap:`. Jika tidak ada sitemap, buat satu.

Laporkan temuan sebelum melanjutkan. Jika salah satu pemeriksaan 1-3 gagal, berhenti dan beri tahu pengguna untuk memperbaikinya dulu.

### Fase 2: Pengaturan Google Search Console

1. Arahkan pengguna ke https://search.google.com/search-console
2. Instruksikan mereka untuk klik "Tambah properti" dan pilih "Domain" (disarankan) atau "URL prefix"
3. Berikan metode verifikasi yang tepat:
   - Untuk Domain: nilai data TXT DNS yang akan ditambahkan
   - Untuk URL Prefix: file HTML, meta tag, atau metode lainnya
4. Tunggu konfirmasi pengguna bahwa verifikasi berhasil
5. Setelah terverifikasi, instruksikan pengguna untuk navigasi ke Sitemaps dan kirim URL sitemap mereka

**Penting:** Anda tidak dapat melakukan verifikasi GSC atas nama pengguna. Pandu mereka langkah demi langkah. Setelah mereka mengonfirmasi verifikasi, lanjutkan ke panduan pengiriman sitemap.

### Fase 3: Bing Webmaster Tools + Pengaturan IndexNow

1. Arahkan pengguna ke https://bing.com/webmasters
2. Beri tahu mereka untuk masuk dan klik "Tambah situs"
3. Rekomendasikan impor dari Google Search Console (lebih cepat, verifikasi otomatis)
4. Pandu pengiriman sitemap di dalam Bing Webmaster Tools

**Untuk IndexNow:**
1. Buat kunci API: `openssl rand -hex 32` (jalankan secara lokal)
2. Buat file kunci di `https://[domain]/[kunci].txt` hanya berisi nilai kunci
3. Verifikasi file kunci dapat diakses publik: `curl -I https://[domain]/[kunci].txt` harus mengembalikan 200

Berikan pengguna:
- Perintah curl yang dapat digunakan kembali untuk mengirim URL baru ke IndexNow
- Skrip shell yang mengirim otomatis saat mereka menerbitkan konten baru

### Fase 4: Akses AI Crawler

1. Ambil robots.txt saat ini
2. Periksa user-agent ini: GPTBot, OAI-SearchBot, PerplexityBot, Claude-SearchBot, Google-Extended
3. Jika ada yang diblokir atau tidak ada, usulkan robots.txt yang direvisi yang mengizinkannya
4. Minta pengguna untuk mengonfirmasi sebelum menerapkan perubahan

Buat file llms.txt untuk domain:
- Sertakan deskripsi situs satu kalimat
- Tautkan ke 5-10 halaman kunci (tentang, produk/layanan utama, blog, kontak)
- Format sebagai markdown bersih
- Instruksikan pengguna untuk menempatkannya di `https://[domain]/llms.txt`

### Fase 5: Verifikasi Pengindeksan

Setelah pengguna menyelesaikan semua pengiriman:

1. Instruksikan mereka untuk memeriksa laporan Halaman GSC untuk jumlah halaman terindeks
2. Untuk halaman penting yang tidak terindeks, gunakan URL Inspection untuk mendiagnosis
3. Di Bing Webmaster Tools, periksa Site Explorer untuk jumlah terindeks
4. Laporkan: total halaman dikirim, terindeks (Google), terindeks (Bing), dan masalah apa pun yang ditemukan

### Fase 6: Pengiriman Ulang Terjadwal (Opsional)

Buat cron job atau tugas terjadwal yang:
- Berjalan mingguan
- Mengirim URL sitemap baru atau yang diperbarui ke IndexNow
- Mencatat hasil pengiriman
- Dapat dikonfigurasi oleh pengguna (frekuensi, URL spesifik untuk dipantau)

## Aturan Keamanan

- Jangan pernah meminta atau menyimpan kata sandi Google/Microsoft pengguna
- Jangan pernah meminta kunci API untuk di-commit ke version control
- Jangan pernah mengklaim agen dapat melewati verifikasi GSC — itu tidak bisa
- Semua perubahan DNS dan langkah verifikasi memerlukan konfirmasi eksplisit pengguna
- Laporkan pembatasan penggunaan Indexing API dengan jujur (Google Indexing API hanya untuk JobPosting/BroadcastEvent)
- Saat membuat robots.txt, jelaskan apa yang dilakukan setiap entri crawler dan biarkan pengguna memutuskan

Opsi B: Versi Prompt Tunggal

Jika Anda tidak menggunakan Codex atau Claude Code, salin seluruh prompt ini ke agen AI apa pun dengan akses shell. Ini menghasilkan hasil yang sama:

Anda adalah agen pengiriman SEO. Tugas Anda adalah membantu saya mengirim website saya ke mesin pencari dan memastikan AI search crawler dapat mengaksesnya. Kerjakan fase-fase ini satu per satu, jelaskan apa yang Anda temukan di setiap langkah:

FASE 1 — PRA-PENERBANGAN:
- Periksa apakah [DOMAIN_SAYA] dimuat melalui HTTPS
- Ambil robots.txt dan verifikasi mengizinkan Googlebot, Bingbot, GPTBot, OAI-SearchBot, PerplexityBot, Claude-SearchBot
- Periksa HTML beranda untuk tag noindex
- Temukan XML sitemap saya (coba /sitemap.xml, /sitemap_index.xml, dan periksa robots.txt)

FASE 2 — PENGATURAN GOOGLE:
- Beri saya instruksi langkah demi langkah yang tepat untuk memverifikasi situs saya di Google Search Console
- Setelah terverifikasi, beri tahu saya tepat di mana harus mengirim sitemap saya

FASE 3 — BING + IndexNow:
- Beri saya instruksi untuk menyiapkan Bing Webmaster Tools (lebih suka impor dari GSC)
- Buat kunci API IndexNow dan file kunci untuk domain saya
- Beri saya perintah curl yang dapat digunakan kembali untuk pengiriman IndexNow

FASE 4 — AKSES AI CRAWLER:
- Usulkan robots.txt lengkap yang mengizinkan semua search dan AI crawler
- Buat file llms.txt dengan deskripsi situs saya dan tautan halaman kunci
- Beri tahu saya di mana mengunggah setiap file

FASE 5 — VERIFIKASI:
- Setelah saya mengonfirmasi pengiriman, beri tahu saya cara memeriksa status pengindeksan di GSC dan Bing
- Untuk halaman yang tidak terindeks, bantu saya mendiagnosis penyebabnya menggunakan alat URL Inspection GSC

Domain saya: [GANTI DENGAN DOMAIN ANDA]

Opsi Mana yang Harus Anda Pilih?

Mengapa Mengirim Saja Tidak Cukup

Mengirim membuat mesin pencari tahu tentang halaman Anda. Itu tidak membuatnya memeringkat.

Setelah pengiriman, tiga hal menentukan apakah halaman Anda menarik trafik:

1. Kualitas konten. Halaman yang terindeks tetapi tidak menjawab pertanyaan siapa pun tidak akan pernah mengirimkan trafik. Crawling Google menjadi lebih selektif. Sekarang memprioritaskan "information gain" — konten yang benar-benar menambahkan sesuatu yang baru alih-alih mengulangi apa yang sudah ada di indeks. Ketika Anda melihat "Di-crawl — saat ini tidak terindeks" di GSC, itu sering kali penolakan kualitas, bukan bug.

2. Otoritas. Situs baru mulai dari nol. Tautan dari situs mapan, penyebutan di publikasi industri, dan reputasi yang dibangun seiring waktu adalah yang memindahkan halaman dari halaman 10 ke halaman 1. Ini terjadi selama berbulan-bulan, bukan hari.

3. Kesegaran. Baik mesin tradisional maupun mesin jawaban AI lebih menyukai konten yang baru diperbarui. Terbitkan halaman sekali dan abaikan selama dua tahun, dan itu perlahan memudar — bukan karena peringkatnya turun, tetapi karena pesaing dengan konten yang lebih segar mencuri klik.

Yang Harus Dilakukan Setelah Pengiriman

Mengirim membawa Anda ke garis start. Segala sesuatu setelahnya adalah balapan sesungguhnya.

FAQ

Apakah saya perlu mengirim ulang sitemap setiap kali menerbitkan halaman baru?

Tidak. Setelah sitemap Anda dikirim, mesin pencari akan meng-crawl ulang secara berkala. Namun, jika Anda ingin halaman baru diindeks dengan cepat, gunakan IndexNow (untuk Bing/Yandex/Naver/Seznam/Yep) atau alat URL Inspection GSC (untuk Google). Metode per halaman ini jauh lebih cepat daripada menunggu crawl ulang sitemap berikutnya.

Berapa lama pengindeksan untuk situs yang benar-benar baru?

Di tahun 2026, perkirakan 3-14 hari bagi Google untuk mengindeks halaman pertama Anda, dan 1-7 hari untuk Bing dengan IndexNow. Situs baru memiliki crawl budget minimal, jadi beberapa halaman pertama Anda adalah yang paling sulit. Setelah Anda mendapatkan riwayat crawl dan tautan eksternal, halaman baru di domain yang sama dapat terindeks dalam 24-72 jam.

Bisakah saya membayar untuk diindeks lebih cepat?

Tidak. Google tidak menerima pembayaran untuk pengindeksan atau peringkat. Layanan apa pun yang mengklaim menawarkan "pengindeksan prioritas berbayar" untuk halaman web biasa mengirim melalui IndexNow (yang gratis) atau menggunakan metode yang melanggar pedoman mesin pencari. Pengecualian: Google Indexing API untuk halaman JobPosting dan BroadcastEvent gratis dan sah, tetapi hanya untuk tipe konten spesifik tersebut.

Bagaimana dengan Baidu jika audiens saya di Tiongkok?

Baidu menguasai sekitar 72% pasar pencarian Tiongkok. Platform pengirimannya di ziyuan.baidu.com memerlukan autentikasi nama asli dan menawarkan beberapa metode pengiriman (API push, sitemap, pengiriman manual). Namun, Baidu terutama mengindeks konten bahasa Mandarin Sederhana yang dihosting di server berbasis di Tiongkok. Jika pasar utama Anda bukan Tiongkok, pengiriman ke Baidu tidak diperlukan.

Saya sudah mengirim semuanya tetapi halaman saya tetap tidak memeringkat. Ada apa?

Pengindeksan dan peringkat adalah hal yang berbeda. Terindeks berarti halaman Anda bisa muncul di hasil. Peringkat menentukan di mana itu muncul. Jika Anda terindeks tetapi tidak memeringkat, masalahnya adalah kualitas konten, relevansi, atau otoritas — bukan pengiriman. Periksa laporan Performa GSC untuk melihat kueri apa yang memunculkan halaman Anda dan di posisi rata-rata berapa.

Apakah saya perlu mengirim situs saya ke Perplexity atau ChatGPT Search secara langsung?

Tidak. Kedua platform tidak menawarkan alat pengiriman URL langsung. ChatGPT Search menggunakan indeks Bing, jadi pengiriman ke Bing sudah mencakupnya. Perplexity meng-crawl web secara independen menggunakan PerplexityBot — pastikan diizinkan di robots.txt Anda dan fokus untuk mendapatkan tautan dari halaman yang sudah diindeks Perplexity.

Apakah menggunakan Schema markup membantu halaman saya diindeks?

Schema (data terstruktur) membantu mesin pencari memahami konten Anda, tetapi tidak secara langsung menyebabkan pengindeksan. Ini layak ditambahkan — terutama tipe Article, WebSite, Organization, dan FAQPage (meskipun rich result FAQ telah dihapus dari Google pada Mei 2026, schema tetap membantu sistem AI mengurai konten Anda). Tetapi schema saja tidak akan memperbaiki masalah pengindeksan.

Penulis: Julian Mercer, Praktisi SEO Teknis 14 Tahun di Auspia. Julian menulis tentang crawlability, pengindeksan, schema, arsitektur situs, dan fondasi teknis yang membuat konten dapat ditemukan oleh mesin pencari tradisional maupun yang didukung AI.