Claude Web Search Mengutip Sumber Real-Time: Apa yang Harus Dicatat agar Hasil Bisa Direplay?
Hasil web search yang terlihat real-time sering memberi kesan mudah diulang. Jalankan pertanyaan yang sama, buka sumber yang sama, lalu hasilnya seharusnya kembali. Dalam praktiknya, replay jarang sesederhana itu.
Web berubah. Indeks berubah. Model berubah. Tool version berubah. Waktu, lokasi, bahasa, domain filter, dan kondisi sesi dapat memengaruhi jalur pencarian. Bahkan ketika semua input yang terlihat sama, sistem dapat memilih kombinasi sumber berbeda.
Karena itu, replay bukan janji menghasilkan teks identik. Replay adalah kemampuan untuk membangun kembali kondisi observasi sedekat mungkin, lalu menjelaskan bagian mana yang konsisten dan bagian mana yang berubah.
Untuk Claude Web Search, observation record harus menyimpan lebih dari prompt dan screenshot.
Identitas eksekusi
Catat tanggal dan waktu dengan zona yang eksplisit. “Pukul 10” tidak cukup. Gunakan format yang menyimpan offset, lalu bila tim beroperasi di Indonesia, simpan juga representasi WIB jika diperlukan untuk pelaporan.
Catat model yang dipakai. Nama model penting karena kemampuan, kebijakan tool use, dan perilaku sintesis dapat berbeda. Jika antarmuka hanya menampilkan keluarga model, jangan menebak identifier API yang lebih spesifik.
Catat surface. Claude pada aplikasi konsumen, Claude API, platform cloud, atau integrasi pihak ketiga tidak boleh disamakan. Tool yang bernama mirip dapat memiliki konfigurasi berbeda.
Catat web search tool version jika tersedia. Dokumentasi Anthropic memperbarui kemampuan tool, termasuk dynamic filtering. Versioning berpengaruh pada apa yang masuk ke context model dan bagaimana hasil difilter.
Catat lokasi eksekusi dan region layanan jika diketahui. Jangan mengklaim lokasi IP apabila metode tidak dapat membuktikannya. Nilai “Indonesia, inferred from test environment” berbeda dari koordinat pasti.
Prompt yang benar-benar dikirim
Simpan exact prompt, bukan versi yang dirapikan setelah observasi. Perbedaan tanda baca, bahasa, urutan instruksi, dan batasan domain dapat mengubah query generation.
Jika ada system prompt, developer instruction, atau conversation history yang memengaruhi tool use, simpan fingerprint atau salinan sesuai kebijakan akses. Prompt pengguna saja mungkin tidak cukup.
Untuk percakapan multi-turn, simpan seluruh urutan pesan yang relevan. Pertanyaan “cari lagi yang terbaru” tidak bermakna tanpa turn sebelumnya.
Catat apakah tool choice otomatis atau dipaksa. Jika aplikasi memaksa web search, itu berbeda dari model yang memutuskan sendiri kapan mencari.
Simpan parameter tool. Domain allowlist, blocklist, max uses, user location, search localization, dan batas lain harus menjadi bagian dari record. Parameter yang tidak diatur juga perlu dibedakan dari parameter yang sengaja diberi nilai default tertentu.
Jejak pencarian
Untuk replay yang kuat, simpan search query yang benar-benar dijalankan jika platform mengembalikannya. Jangan menganggap query tool identik dengan prompt pengguna. Model dapat membuat satu atau beberapa pencarian yang lebih sempit.
Simpan urutan query, waktu setiap tool call, dan hasil yang diterima. Jika dynamic filtering aktif, catat bahwa hasil dapat disaring sebelum masuk ke context. Dalam kondisi ini, daftar hasil mentah dan materi yang benar-benar diteruskan ke model dapat berbeda.
Anthropic menjelaskan bahwa dynamic filtering menggunakan code execution untuk menjaga hanya informasi relevan sebelum masuk ke context. Ini bermanfaat untuk efisiensi, tetapi menambah variabel replay. Dua eksekusi dapat menemukan halaman sama lalu memilih bagian berbeda.
Catat juga kegagalan pencarian, timeout, domain yang tidak dapat diakses, dan tool call yang tidak menghasilkan citation. Kegagalan adalah bagian dari observasi, bukan sampah yang harus dihapus.
Identitas sumber
URL perlu disimpan lengkap, lalu dinormalisasi. Parameter tracking dapat dihapus pada field canonicalized_url, tetapi raw_url harus tetap dipertahankan.
Simpan title, publisher, tanggal publikasi bila tersedia, tanggal update, tanggal akses, dan content type. Halaman HTML, PDF, video, dan dokumen dinamis memiliki risiko perubahan berbeda.
Untuk setiap citation, simpan passage yang digunakan jika platform menyediakannya. Anthropic mendukung citation yang dapat menunjuk ke bagian sumber. Passage membantu reviewer membedakan antara halaman yang sekadar relevan dan halaman yang benar-benar mendukung klaim.
Simpan content fingerprint jika kebijakan dan metode memungkinkan. Hash atas salinan konten yang sah untuk disimpan dapat menunjukkan apakah halaman berubah setelah observasi. Jika konten tidak boleh disimpan penuh, minimal catat timestamp, title, passage pendek, dan header validasi seperti ETag atau Last-Modified bila tersedia.
Jangan lupa redirect chain. URL berita dapat berpindah, canonical dapat berubah, dan link pendek dapat mengarah ke target lain. Replay yang hanya menyimpan URL awal berisiko kehilangan sumber sebenarnya.
Struktur jawaban
Simpan output model secara utuh, termasuk citation markers. Plain text yang menghapus marker membuat hubungan klaim dan sumber hilang.
Pecah output menjadi claim units. Hubungkan setiap claim dengan citation yang ditempel. Catat apakah dukungannya langsung, sebagian, atau tidak jelas.
Simpan stop reason, token usage, dan error bila platform menyediakannya. Jawaban yang berhenti karena batas token tidak boleh dibandingkan dengan jawaban lengkap seolah keduanya setara.
Catat juga urutan sumber. Urutan tidak selalu berarti ranking, tetapi perubahan urutan dapat menjadi sinyal presentation drift. Gunakan istilah source order atau display order, bukan ranking, kecuali dokumentasi surface menyatakannya.
Replay tidak sama dengan reproduksi identik
Ada tiga tingkat yang sebaiknya dibedakan.
Input replay berarti kita dapat mengirim kembali prompt, history, model, tool configuration, dan parameter yang sama.
Retrieval replay berarti kita dapat melihat apakah query tool dan source pool yang serupa muncul kembali.
Answer replay berarti struktur, klaim, dan citation pada jawaban cukup serupa untuk dibandingkan.
Teks identik bukan standar utama. Model generatif dapat menyusun kalimat berbeda dengan bukti yang sama. Sebaliknya, teks mirip dapat muncul dari source pool berbeda.
Karena itu, replay score sebaiknya tidak hanya memakai text similarity. Gunakan beberapa dimensi: query overlap, domain overlap, URL overlap, passage overlap, claim overlap, citation mapping, answer structure, dan final conclusion.
Contoh record yang cukup
Misalkan tim menguji pertanyaan tentang kebijakan teknologi yang baru diumumkan.
Record minimal yang layak memuat observation_id, timestamp UTC, timestamp WIB, surface, model label, tool name dan version, exact prompt, relevant history, domain filters, lokasi, raw tool queries, source URLs, citation passages, final answer, serta screenshot.
Tambahkan reviewer, confidence, limitation, dan replay schedule. Jika topiknya breaking news, replay dalam beberapa jam dapat relevan. Jika topiknya dokumentasi stabil, interval lebih panjang cukup.
Record itu memungkinkan analis lain menjalankan ulang dan memahami perbedaan. Tanpa parameter, analis hanya bisa menebak.
Menghadapi sumber yang berubah
Real-time source dapat diperbarui setelah jawaban dibuat. Media mengoreksi judul. Dokumentasi mengubah tabel. Perusahaan menambahkan catatan. PDF diganti pada URL yang sama.
Saat replay menemukan isi berbeda, jangan menimpa record lama. Pertahankan snapshot metadata dan tandai source_changed. Buat observasi baru dengan hubungan supersedes atau replays.
Jika koreksi sumber membuat jawaban lama keliru, observation record lama tetap penting. Ia menunjukkan apa yang sistem tampilkan pada waktu itu. Tambahkan correction note, bukan menghapus sejarah.
Ini sejalan dengan prinsip audit: record menjelaskan kejadian, bukan menciptakan versi masa lalu yang lebih rapi.
Kondisi logged in dan data pribadi
Jika pengujian berlangsung pada sesi logged in, catat status tersebut tanpa menyimpan data pribadi yang tidak diperlukan. History, memory, atau akses organisasi dapat memengaruhi hasil.
Replay lintas reviewer sebaiknya menggunakan akun dan kondisi yang distandardisasi jika tujuan utamanya membandingkan sistem, bukan personalisasi. Namun jangan menyebut pengujian “netral” atau “tanpa personalisasi” jika hanya dilakukan logged out. Logged out tetap memiliki lokasi, perangkat, cookie, eksperimen, dan konteks lain.
Limitation harus ditulis jelas
Observation record yang baik menyebutkan apa yang tidak dapat diketahui.
Tim biasanya tidak dapat melihat seluruh indeks pencarian, bobot sumber, reasoning internal, atau hasil yang difilter sebelum masuk ke context jika platform tidak mengeksposnya. Jangan mengisi ruang kosong dengan asumsi.
Kalimat limitation dapat berbunyi:
Replay menyamakan prompt, model label, tool configuration, bahasa, lokasi pengujian, dan kondisi sesi sejauh yang dapat diamati. Source pool tetap dapat berubah karena pembaruan web, indeks, model, eksperimen produk, dan proses retrieval yang tidak diekspos.
Tingkat reproducibility yang layak dilaporkan
Daripada memberi label pass atau fail, gunakan tingkat reproducibility. Level pertama adalah method reproducible. Peneliti lain memiliki cukup informasi untuk mengulang prosedur, walau hasilnya mungkin berubah.
Level kedua adalah retrieval comparable. Query tool atau source pool menunjukkan overlap yang memadai untuk dibandingkan. Threshold harus ditetapkan sebelum melihat hasil agar tidak digeser demi kesimpulan yang diinginkan.
Level ketiga adalah evidence stable. Passage utama dan sumber yang mendukung klaim inti tetap tersedia serta bermakna sama.
Level keempat adalah conclusion stable. Redaksi boleh berubah, tetapi jawaban mempertahankan kesimpulan inti dan limitation yang sebanding.
Level kelima adalah presentation stable. Urutan, citation placement, dan bentuk tampilan juga serupa. Level ini paling rentan terhadap perubahan produk dan biasanya bukan syarat utama untuk validitas temuan.
Dengan tingkat tersebut, tim dapat mengatakan “method reproducible, evidence stable, presentation changed”. Pernyataan ini jauh lebih informatif daripada “replay gagal”.
Simpan juga alasan penghentian replay. Jika sumber asli hilang, tool version tidak lagi tersedia, atau model telah dihentikan, record menjadi historically replayable tetapi tidak operationally reproducible. Itu bukan alasan menghapus observasi. Justru limitation tersebut menunjukkan perubahan lingkungan pengujian.
Apa arti replay yang berhasil?
Replay dianggap berhasil ketika analis kedua dapat memahami dan mengulang metode, lalu perbedaan hasil dapat diklasifikasikan. Bukan ketika sistem dipaksa memberi paragraf yang sama persis.
Jika domain overlap tinggi, klaim inti stabil, tetapi redaksi berubah, temuan dapat disebut semantically stable. Jika source pool berubah tetapi kesimpulan sama, ada source rotation dengan answer stability. Jika klaim berubah sementara sumber tetap, ada interpretation drift yang perlu ditinjau. Jika prompt tidak dapat direkonstruksi, perbandingan kehilangan dasar.
Real-time bukan berarti tanpa sejarah. Justru karena web search mengambil informasi yang dapat berubah, observation record harus lebih teliti. Exact prompt, identitas eksekusi, jejak tool, identitas sumber, mapping citation, dan limitation membuat hasil Claude Web Search dapat direplay secara bertanggung jawab.