OAI-SearchBot Tidak Diblokir Bukan Berarti Website Pasti Dikutip ChatGPT
Mengizinkan OAI-SearchBot adalah kondisi akses, bukan jaminan citation. OpenAI menjelaskan bahwa OAI-SearchBot digunakan untuk membantu menampilkan website dalam hasil pencarian ChatGPT. Situs yang memilih keluar tidak akan ditampilkan dalam jawaban ChatGPT Search, meski masih dapat muncul sebagai navigational link. OpenAI merekomendasikan agar publisher yang ingin muncul mengizinkan crawler tersebut dan request dari rentang IP yang dipublikasikan.
Namun dokumentasi itu tidak mengatakan setiap halaman yang dapat dirayapi pasti diambil, dimasukkan ke indeks, dipilih untuk query, ditampilkan sebagai source, atau diklik pengguna.
Di sinilah audit sering berhenti terlalu cepat. Robots.txt diperiksa, hasilnya allow, lalu tim menyimpulkan masalah ada pada algoritma. Padahal masih ada banyak layer di antara akses dan citation.
Layer 1: aturan robots.txt
Pastikan rule benar untuk user agent OAI-SearchBot. Robots.txt dapat memiliki group berbeda, wildcard, dan konflik path. Kesalahan kecil dapat membuat halaman yang dimaksud tetap tidak dapat diakses.
Periksa file yang benar pada host yang benar. Robots.txt subdomain berbeda dari domain utama. HTTP dan HTTPS, redirect, serta response status perlu dicatat.
Jangan hanya membuka file lewat browser lalu membaca satu baris. Gunakan parser yang mengikuti spesifikasi dan uji URL target.
Allowance berarti crawler tidak dilarang oleh rule tersebut. Ia tidak membuktikan crawler datang.
Layer 2: jaringan dan keamanan
CDN, firewall, WAF, bot protection, rate limit, geo-block, dan challenge JavaScript dapat menolak crawler walaupun robots.txt mengizinkan.
OpenAI mempublikasikan informasi crawler dan IP ranges. Infrastruktur perlu mengizinkan request yang sah sesuai kebijakan keamanan. Jangan whitelist berdasarkan user-agent string saja karena string dapat dipalsukan.
Periksa server log untuk status 200, 3xx, 4xx, dan 5xx. Catat latency, response size, dan route. Jika crawler menerima 403 atau challenge page, robots allow tidak membantu.
Layer 3: response yang benar
HTTP 200 belum cukup. Halaman dapat mengembalikan soft error, skeleton kosong, login wall, cookie wall, atau konten generik.
Bandingkan response body yang diterima crawler dengan halaman yang dilihat manusia. Jika konten utama membutuhkan JavaScript atau interaksi, pastikan hasil render dan HTML menyediakan informasi yang dapat dipahami.
Periksa canonical, redirect, status language, dan duplicate content. Halaman yang mengarah ke URL lain dapat membuat observasi salah target.
Layer 4: discovery dan freshness
Crawler perlu menemukan URL. Internal link, sitemap, external link, dan navigasi membantu discovery. Halaman orphan yang hanya diketahui tim internal belum tentu ditemukan cepat.
Allow hari ini tidak berarti halaman langsung tersedia pada jawaban hari ini. Waktu crawl, processing, dan refresh tidak dijamin.
Catat first_seen dan last_crawled dari log jika tersedia. Jangan mengarang jadwal crawl.
Layer 5: pemahaman halaman
Halaman yang dapat diambil belum tentu jelas. Judul dapat generik. Entity tidak disebut konsisten. Informasi penting tersebar. Tanggal hilang. Klaim tidak memiliki scope. Konten bertentangan dengan halaman lain.
Search system perlu menghubungkan halaman dengan query. Accessibility tidak menciptakan relevance.
Perjelas siapa entitasnya, apa topiknya, untuk siapa informasi berlaku, dan kapan diperbarui. Gunakan visible text yang cukup. Structured data dapat membantu konsistensi ketika sesuai, tetapi tidak menjamin citation.
Layer 6: query relevance
Sebuah website dapat sangat baik dan tetap tidak relevan untuk query tertentu.
Jika pengguna bertanya tentang pengalaman pelanggan, dokumentasi fitur tidak cukup. Jika pengguna meminta sumber independen, halaman perusahaan mungkin bukan pilihan utama. Jika pertanyaan lokal, halaman nasional tanpa detail lokasi mungkin kalah relevan.
Audit harus memakai query class. Brand query, category query, comparison query, problem query, dan decision query mempunyai kebutuhan sumber berbeda.
Jangan menilai seluruh visibility dari satu prompt.
Layer 7: source selection
Banyak halaman dapat relevan. Sistem memilih sebagian untuk menyusun jawaban. Publisher tidak memiliki hak otomatis untuk dikutip hanya karena menyediakan sumber resmi.
Media, forum, marketplace, pemerintah, dokumentasi, dan laporan dapat menjalankan peran berbeda. Untuk klaim spesifikasi, sumber resmi mungkin kuat. Untuk pengalaman pengguna, sumber independen dapat lebih berguna.
Tidak terpilih bukan bukti penalti. Ia adalah absence pada observation tertentu.
Layer 8: citation display
Halaman dapat berkontribusi pada retrieval tanpa tampil sebagai inline citation yang mudah dilihat. OpenAI membedakan source yang dikutip dan link relevan lain dalam panel Sources. Navigational link juga memiliki status berbeda.
Record perlu membedakan official_domain_mentioned, official_link_inline, official_link_source_panel, third_party_citation, dan no_link_visible.
Jangan menyatakan “tidak dipakai” ketika yang diketahui hanya “tidak ditampilkan”.
Layer 9: user action
Citation visible belum tentu diklik. Pengguna mungkin sudah mendapat jawaban. Link bisa kurang prominent atau tidak cocok dengan intent. Referral juga dapat hilang karena perjalanan lintas aplikasi.
OpenAI menyatakan link referral dari ChatGPT dapat membawa parameter utm_source=chatgpt.com, yang membantu publisher melacak traffic. Namun analytics tetap hanya melihat kunjungan yang benar-benar tiba dengan informasi yang dapat diproses.
Crawler, citation, referral, dan conversion adalah dataset berbeda.
Audit dari bawah ke atas
Mulai dengan robots policy. Lanjutkan ke network access, response, render, discovery, content clarity, relevance, source selection, display, lalu user action.
Jangan melompat ke content rewrite sebelum memastikan crawler dapat mengambil halaman. Jangan menyalahkan crawler ketika masalahnya query mismatch. Jangan mengubah desain besar hanya karena satu citation hilang.
Gunakan beberapa URL kontrol. Pilih homepage, halaman kuat, halaman baru, halaman JavaScript-heavy, PDF, dan halaman yang diketahui pernah muncul. Bandingkan log serta output.
Apa yang dibuktikan server log
Log dapat membuktikan request tertentu tiba, waktu, URL, status, bytes, dan user-agent. Dengan validasi IP yang benar, log dapat meningkatkan confidence tentang crawler identity.
Log tidak membuktikan halaman masuk ke jawaban. Ia tidak menunjukkan seluruh proses indexing atau selection. Crawler visit adalah access event.
Sebaliknya, tidak melihat request dalam periode pendek tidak membuktikan crawler tidak pernah memiliki halaman. Data log mungkin tidak lengkap atau akses terjadi sebelumnya.
Apa yang dibuktikan citation
Citation visible membuktikan link ditampilkan pada jawaban atau panel yang diamati. Periksa apakah citation mendukung klaim.
Citation tidak membuktikan seluruh halaman dipakai. Tidak membuktikan trust universal. Tidak menjamin citation berikutnya.
Karena itu, simpan answer capture dan source mapping. Jangan hanya screenshot logo brand.
Jangan campur OAI-SearchBot dan GPTBot
OpenAI membedakan OAI-SearchBot untuk search dan GPTBot yang berkaitan dengan potensi penggunaan konten untuk melatih model. Kebijakan akses keduanya dapat diatur terpisah.
Mengizinkan GPTBot tidak sama dengan mengizinkan OAI-SearchBot. Memblokir GPTBot tidak otomatis berarti situs keluar dari ChatGPT Search jika OAI-SearchBot tetap diizinkan sesuai dokumentasi.
Audit harus membaca user-agent group yang tepat. Kalimat “kami sudah mengizinkan bot OpenAI” terlalu umum.
Prioritas perbaikan
Jika OAI-SearchBot diblokir, keputusan pertama adalah kebijakan publisher. Jangan mengubah robots tanpa otorisasi.
Jika robots allow tetapi WAF menolak, selesaikan access layer. Jika response kosong, perbaiki rendering atau delivery. Jika halaman dapat diambil tetapi identitas kabur, perbaiki clarity dan consistency. Jika semuanya baik, perluas query observation dan audit source ecosystem.
Hindari membuat file atau markup spekulatif lalu menjanjikan citation. Dokumentasi resmi Google maupun OpenAI tidak memberi jaminan bahwa satu optimasi teknis memastikan pemilihan sumber.
Checklist bukti per layer
Untuk robots, simpan file, timestamp, user-agent group, URL test, dan hasil parser. Untuk network, simpan request log tervalidasi, status, latency, serta response size. Untuk content delivery, simpan body sample atau hash dan periksa apakah main content hadir.
Untuk discovery, simpan internal-link source, sitemap inclusion, lastmod yang akurat, dan first crawler visit bila ada. Untuk identity, simpan page title, visible entity name, date, author atau publisher, serta hubungan dengan halaman canonical lain.
Untuk observation, simpan exact query, surface, model label, sesi, lokasi, bahasa, jawaban, citation, dan screenshot. Untuk analytics, simpan referral definition, UTM, landing page, session count, dan limitation.
Checklist ini membuat tim tahu di mana evidence berhenti. Robots test tidak boleh dipakai untuk mengisi field citation. Server log tidak boleh dipakai untuk mengisi field indexing. Screenshot tidak boleh dipakai untuk menyimpulkan crawler route.
Tambahkan negative control URL yang sengaja diblokir sesuai kebijakan pengujian pada lingkungan aman, bukan pada halaman produksi penting. Control membantu memastikan alat audit benar-benar membaca aturan. Jangan membuat blokir eksperimental pada site live tanpa otorisasi.
Jika website memakai beberapa host, audit masing-masing. www, non-www, CDN asset host, subdomain dokumentasi, dan bahasa regional dapat memiliki policy berbeda. Official domain citation mungkin mengarah ke host yang tidak masuk property analytics utama.
Satu rantai evidence yang rapi lebih berguna daripada puluhan perubahan spekulatif.
Format temuan
Tulis:
“OAI-SearchBot tidak diblokir pada robots.txt untuk URL sampel. Request tervalidasi menerima 200 dan body memuat konten utama. Dalam 20 observasi ChatGPT Search, official domain belum ditampilkan sebagai citation untuk query kategori, tetapi muncul sebagai navigational link pada dua brand query. Kondisi akses terpenuhi pada sampel; selection dan display belum konsisten.”
Jika tim perlu prioritas cepat, gunakan urutan dampak dan kepastian. Error 403 tervalidasi pada seluruh URL penting memiliki kepastian tinggi dan tindakan jelas. Absence citation pada satu query memiliki kepastian rendah. Perbaiki hambatan akses yang terbukti sebelum mengubah strategi editorial.
Setelah perbaikan, jangan memakai satu replay sebagai acceptance test. Ulangi access test, cek log, lalu jalankan observation set yang sama. Hasilnya dapat menunjukkan akses pulih tanpa citation langsung. Itu tetap progress pada layer yang tepat.
Simpan juga keputusan untuk tidak mengizinkan crawler jika kebijakan publisher memang demikian. Observability tidak boleh mengalahkan governance. Keputusan akses adalah pilihan pemilik konten, bukan kewajiban teknis.
Jangan tulis:
“Crawler sudah dibuka, jadi ChatGPT seharusnya wajib mengutip.”
Tidak ada kewajiban seperti itu.
Mengizinkan OAI-SearchBot adalah membuka pintu. Halaman masih harus ditemukan, diambil dengan benar, dipahami, relevan, dipilih, dan ditampilkan. Setiap tahap memiliki bukti serta limitation berbeda.
Website yang ingin diamati secara serius perlu berhenti memakai robots allow sebagai checklist kemenangan. Itu hanyalah satu kondisi penting dalam rantai yang jauh lebih panjang.
Kontrol negatif
Sertakan query kontrol yang tidak menyebut entitas utama, query dengan formulasi netral, dan query yang sengaja memperjelas ambiguitas. Kontrol negatif membantu menunjukkan apakah hasil dipicu oleh wording atau memang bagian dari pola yang lebih luas. Pada OAI-SearchBot Tidak Diblokir Bukan Berarti Website Pasti Dikutip ChatGPT, kontrol juga dapat memakai entitas pembanding yang kategori dan skala informasinya serupa. Jika hanya target utama yang diuji, setiap perubahan terasa istimewa. Pembanding mengembalikan konteks dan menurunkan risiko overclaim.