Satu Pertanyaan, Lima Mesin AI, Lima Susunan Sumber: Apa yang Sebenarnya Sedang Dibandingkan?

Unit perbandingan pertama adalah pengalaman, bukan nama perusahaan

“ChatGPT versus Google” terlalu luas. ChatGPT Search berbeda dari jawaban tanpa search. Google AI Overview berbeda dari AI Mode dan Gemini app. Perplexity Search API berbeda dari Agent API serta produk konsumen. Claude Web Search berbeda dari Web Fetch. Copilot di Bing dapat berbeda dari integrasi Microsoft lain.

Karena itu, beri label surface secara eksplisit. Nama engine saja tidak cukup.

Record yang sehat menggunakan kombinasi seperti provider, product, surface, model_label, mode, tool, session_state, interface_language, user_location, timestamp, dan app_version bila tersedia.

Jika salah satu engine tidak memakai web dan engine lain memakai real-time search, hasilnya tetap dapat dibandingkan sebagai pengalaman pengguna, tetapi tidak adil jika disebut perbandingan retrieval yang setara.

Pertanyaan yang terlihat sama belum tentu input yang sama

Prompt dapat diterjemahkan, diperluas, atau diubah menjadi beberapa search query. Sistem dapat menjalankan fan-out, memilih tool, atau memakai conversation context. Pengamat biasanya hanya melihat pertanyaan awal.

Ambil prompt, “Apa platform payroll yang cocok untuk perusahaan 100 karyawan di Indonesia?”

Satu engine mungkin mencari platform payroll Indonesia. Engine lain dapat memecahnya menjadi integrasi pajak, BPJS, harga, ukuran tim, dan keamanan. Engine ketiga bisa menjawab terutama dari pengetahuan model jika search tidak aktif.

Lima source set berbeda dalam kondisi ini bukan bukti lima engine memiliki opini berbeda. Mereka mungkin melakukan pekerjaan retrieval berbeda.

Perbandingan yang lebih jujur mencatat raw prompt dan, bila tersedia, grounding queries atau tool queries. Jika query internal tidak diekspos, tandai unknown. Jangan merekonstruksinya dari sumber seolah pasti.

Source pool berbeda karena infrastruktur berbeda

Setiap engine memiliki akses dan mekanisme yang tidak identik. Ada yang memakai indeks sendiri, ada yang memanfaatkan mitra pencarian, ada yang menggabungkan beberapa tool, dan ada yang mengambil halaman tertentu setelah search.

Perbedaan crawl policy juga berpengaruh. Pemilik website dapat mengizinkan satu crawler dan memblokir yang lain. Halaman dapat terindeks pada satu ekosistem tetapi tidak tersedia pada ekosistem lain. Beberapa sistem dapat menampilkan navigational link tanpa memakai halaman sebagai source jawaban.

Karena itu, absence perlu dibaca dalam scope. “Domain tidak muncul di engine A” tidak berarti domain tidak dikenal semua AI. Ia berarti tidak ditampilkan pada observasi engine A dalam kondisi tertentu.

Format jawaban menciptakan kebutuhan bukti berbeda

Jawaban yang berbentuk daftar rekomendasi membutuhkan source role berbeda dari jawaban berbentuk tutorial. Engine yang memberi ringkasan singkat mungkin menampilkan sedikit link. Engine yang membuat analisis panjang dapat membutuhkan lebih banyak sumber.

Satu source set dapat terdiri dari dokumentasi resmi, media, forum, marketplace, dan laporan. Masing-masing menjalankan fungsi berbeda. Menghitung domain tanpa membaca claim role dapat menyesatkan.

Misalnya tiga engine mengutip halaman resmi untuk fitur produk. Dua engine memakai review pihak ketiga untuk pengalaman pengguna. Perbedaan itu masuk akal. Halaman resmi kuat untuk spesifikasi, tetapi tidak independen untuk menilai kepuasan.

Yang dibandingkan harus mencakup source type dan claim support, bukan hanya jumlah link.

Lima bentuk perbandingan

Perbandingan lintas engine dapat dibagi menjadi lima lapisan.

Pertama, representation comparison. Brand apa yang disebut, bagaimana kategorinya, dan apakah hubungan entitasnya benar?

Kedua, retrieval display comparison. Domain dan URL apa yang ditampilkan sebagai sumber?

Ketiga, evidence comparison. Apakah citation benar-benar mendukung klaim?

Keempat, answer structure comparison. Apakah jawaban langsung, daftar, perbandingan, narasi, atau panduan?

Kelima, action comparison. Apakah pengguna mendapat link yang dapat ditindaklanjuti, jalur pembelian, atau hanya ringkasan?

Kelima lapisan jangan dilebur menjadi satu skor “AI visibility”. Sebuah brand dapat unggul pada mention tetapi lemah pada official citation. Engine dapat memiliki source diversity tinggi tetapi satu klaim utamanya salah.

Menstandarkan kondisi tanpa berpura-pura identik

Gunakan sesi baru untuk setiap run bila tujuan pengujian adalah mengurangi pengaruh history. Catat logged in atau logged out. Samakan bahasa antarmuka sejauh mungkin. Gunakan lokasi dan perangkat yang konsisten. Jalankan dalam rentang waktu pendek jika topiknya cepat berubah.

Namun jangan menyebut kondisi ini identik. Produk tetap menjalankan eksperimen, model berbeda, dan antarmuka dapat mempunyai default berbeda.

Jika satu engine tidak tersedia di lokasi tertentu, jangan memakai VPN diam-diam lalu mencatatnya sebagai pengujian Indonesia. Catat jalur akses sebenarnya.

Untuk query lokal, pengujian dari satu kota belum mewakili Indonesia. Jika pertanyaan memiliki komponen lokasi, tambahkan beberapa region yang relevan atau batasi klaim pada lokasi uji.

Masalah urutan sumber

Citation pertama sering dianggap source nomor satu. Anggapan itu belum tentu sah. Urutan visual tidak selalu didefinisikan sebagai ranking atau bobot kontribusi.

Gunakan istilah display order. Jika engine memberi panel Sources terpisah, bedakan inline citation dari additional links. Jika satu source muncul berkali-kali, catat repeated citation dan unique source secara terpisah.

Domain count juga perlu normalization. www, mobile subdomain, AMP, parameter, dan halaman sindikasi dapat menggelembungkan angka. Simpan raw URL, normalized URL, registrable domain, publisher entity, serta canonical bila dapat diverifikasi.

Satu publisher dapat memiliki banyak domain. Sebaliknya, satu domain dapat memuat user-generated content dengan penulis berbeda. Domain diversity bukan selalu publisher diversity.

Replay lebih penting daripada satu snapshot

Source selection dapat berubah. Jalankan replay pada beberapa sesi dan waktu. Bedakan perubahan kecil dari drift yang konsisten.

Jika lima engine memberi source set berbeda sekali, temuan utamanya adalah cross-engine source diversity pada snapshot tersebut. Jika pola bertahan selama beberapa replay, kita mulai melihat engine-specific tendency.

Tetap hindari kausalitas. Kita tidak dapat menyatakan engine lebih menyukai jenis sumber tertentu hanya dari output visible. Gunakan bahasa “lebih sering menampilkan dalam sampel”.

Bangun matriks observasi

Satu baris dapat mewakili satu engine run. Kolom minimal mencakup observation_id, query_id, exact_query, timestamp, engine, surface, model_label, web_enabled, session_state, locale, location, answer_length, mention_set, citation_count, unique_domains, official_domain_present, source_types, claim_support_rate, dan limitation.

Tambahkan response capture dan screenshot reference. Jangan memasukkan screenshot ke field teks seolah data terstruktur.

Pada tingkat query, hitung domain overlap dan brand overlap. Gunakan Jaccard atau ukuran sederhana lain hanya sebagai ringkasan, bukan pengganti pembacaan kualitatif. Dua source set dapat memiliki overlap rendah tetapi sama-sama kuat karena menjawab subtopik berbeda.

Apa yang tidak boleh disimpulkan

Jangan menyatakan engine terbaik hanya karena link paling banyak. Jangan menyatakan engine paling percaya pada brand karena menyebutnya pertama. Jangan menyatakan satu domain memiliki authority universal karena muncul di empat engine.

Jangan menjumlahkan citation dari lima surface seolah unitnya sama. Sebuah inline citation Perplexity, supporting link AI Mode, dan citation count Bing Webmaster Tools berasal dari definisi serta dataset berbeda.

Jangan pula menganggap consensus sebagai kebenaran. Lima engine dapat mengulang sumber atau kesalahan yang sama. Agreement adalah sinyal konsistensi, bukan verifikasi faktual.

Sampling yang cukup tanpa mengubah riset menjadi pabrik screenshot

Mulai dari query inventory yang mewakili intent, bukan seratus variasi sinonim. Untuk satu kategori, pilih query definisi, rekomendasi, perbandingan, masalah, lokal, dan buyer decision. Gunakan versi Indonesia dan Inggris hanya bila keduanya memiliki intent yang masuk akal.

Jalankan set yang sama pada setiap surface dalam satu observation window. Jika satu engine mengalami error, catat missing run dan ulangi sesuai aturan retry yang sudah ditetapkan. Jangan mengganti prompt hanya pada engine yang hasilnya tidak disukai.

Untuk setiap query, ambil beberapa replay pada sesi baru. Median atau modal pattern biasanya lebih informatif daripada satu run. Simpan outlier, karena outlier dapat mengungkap entity error atau source mismatch yang material.

Saat volume membesar, sampling claim verification dapat berbasis risiko. Semua klaim identitas, relation, harga, hukum, kesehatan, dan reputasi diperiksa penuh. Klaim deskriptif berisiko rendah dapat memakai sampel terstratifikasi.

Reviewer juga perlu blind terhadap nama engine pada sebagian penilaian kualitas. Ini mengurangi kecenderungan memberi nilai tinggi pada produk yang disukai. Setelah claim support dan completeness dinilai, label engine dapat dibuka kembali untuk analisis mekanisme.

Terakhir, publikasikan limitation sampel. Lima engine pada satu tanggal tidak mewakili seluruh model, negara, akun, atau masa depan produk. Nilai studi berasal dari transparansi kondisi, bukan dari klaim universal.

Kesimpulan yang defensible

Laporan dapat berkata:

Untuk query dan kondisi yang dicatat, lima surface menghasilkan struktur jawaban serta source set yang berbeda. Dua domain muncul di empat surface, tetapi peran citation tidak selalu sama. Tiga brand disebut konsisten, sementara official-domain linkage bervariasi. Audit claim support menemukan bahwa kesamaan mention tidak menjamin kesamaan evidence.

Tambahkan daftar known unknowns setelah ringkasan. Contohnya query internal yang tidak diekspos, tingkat personalisasi, perubahan indeks, dan coverage tool. Known unknowns mencegah pembaca mengisi ruang kosong dengan asumsi.

Jika laporan ditujukan kepada eksekutif, tampilkan implikasi keputusan tanpa menghapus nuance. Misalnya, perbaiki konsistensi identitas karena relation error muncul pada tiga surface; pertahankan halaman bukti karena ia dikutip dengan dukungan klaim yang baik; jangan mengejar source count mentah karena jumlah link berbeda mengikuti struktur jawaban.

Dengan format ini, perbandingan berubah dari kontes merek AI menjadi alat diagnosis.

Pernyataan itu menjelaskan apa yang terlihat tanpa menebak apa yang terjadi di dalam sistem.

Perbandingan lintas engine berguna justru ketika perbedaannya dipertahankan. Tujuannya bukan memaksa lima produk menjadi satu lomba dengan aturan semu. Tujuannya memahami bagaimana entitas, sumber, dan klaim berubah ketika pertanyaan yang sama melewati lima lingkungan AI yang berbeda.