Perplexity Menjawab dengan Citation, tetapi Apakah Semua Klaim Benar-Benar Didukung Sumber Itu?
Citation membuat jawaban Perplexity lebih mudah diaudit, tetapi citation bukan stempel bahwa seluruh kalimat di sekitarnya benar. Pengguna tetap perlu memeriksa hubungan antara klaim, potongan sumber, dan interpretasi model.
Masalahnya sering tidak terlihat pada pandangan pertama. Jawaban tampak rapi. Nomor citation muncul setelah satu kalimat. Link-nya nyata, domainnya bereputasi, dan artikelnya memang membahas topik yang sama. Otak kita cepat menyimpulkan bahwa sumber tersebut mendukung seluruh pernyataan.
Padahal ada beberapa kemungkinan lain. Sumber hanya mendukung sebagian klaim. Sumber memberi data lama yang dipakai untuk kesimpulan baru. Sumber membahas populasi berbeda. Citation ditempel pada kalimat yang menggabungkan fakta dan inferensi. Atau sumber memang relevan secara topik, tetapi tidak memuat bukti yang disebut.
Itulah sebabnya citation verification harus bekerja pada tingkat klaim, bukan hanya tingkat URL.
Satu kalimat dapat berisi banyak klaim
Perhatikan contoh hipotetis:
“Platform A menjadi pilihan paling populer bagi bisnis kecil karena lebih murah, lebih mudah digunakan, dan memiliki dukungan pelanggan terbaik.”
Kalimat itu terlihat seperti satu pernyataan, tetapi sebenarnya memuat sedikitnya empat klaim:
Platform A paling populer.
Harganya lebih murah.
Lebih mudah digunakan.
Dukungan pelanggannya terbaik.
Satu citation di akhir kalimat mungkin hanya mendukung harga. Jika artikel sumber tidak membandingkan popularitas, usability, dan dukungan pelanggan, tiga klaim lain tetap tidak terverifikasi.
Dalam observation record, kalimat seperti itu perlu dipecah menjadi atomic claims. Setiap klaim diberi status supported, partially supported, unsupported, contradicted, atau unverifiable. Tanpa pemecahan, audit mudah memberi nilai lulus hanya karena link tersedia.
Topical relevance bukan evidential support
Sumber dapat sangat relevan dengan topik tetapi tidak mendukung klaim spesifik.
Artikel resmi tentang fitur keamanan sebuah aplikasi, misalnya, relevan ketika jawaban membahas keamanan aplikasi tersebut. Namun artikel itu belum tentu mendukung klaim bahwa aplikasi tersebut “paling aman di pasar”. Klaim komparatif membutuhkan basis perbandingan yang lebih luas.
Hal yang sama berlaku pada berita. Media dapat memberitakan peluncuran fitur AI. Berita tersebut mendukung bahwa fitur diluncurkan pada tanggal tertentu, tetapi belum tentu mendukung klaim bahwa fitur sudah tersedia untuk semua pengguna di semua negara.
Audit yang baik menanyakan, “Kalimat mana di sumber yang mendukung bagian mana dari jawaban?” Bukan hanya, “Apakah sumber ini membahas hal yang sama?”
Kedekatan citation dapat menipu
Citation inline biasanya ditempatkan dekat dengan teks yang didukung. Kedekatan itu membantu, tetapi tidak menghapus ambiguitas.
Satu paragraf dapat memiliki tiga kalimat dan satu citation di akhir. Apakah sumber mendukung kalimat terakhir saja atau seluruh paragraf? Jawabannya harus diperiksa dari isi sumber dan, bila tersedia, passage yang dipakai.
Jika satu kalimat memiliki dua citation, keduanya juga tidak selalu mendukung semua bagian. Sumber pertama mungkin memberi angka. Sumber kedua memberi konteks. Model kemudian menyatukan keduanya menjadi kesimpulan. Kesimpulan itu dapat masuk akal, tetapi tetap merupakan sintesis, bukan kutipan langsung dari salah satu sumber.
Karena itu, SignalAI sebaiknya mencatat citation scope. Pilihan nilainya dapat berupa claim-level, sentence-level, paragraph-level, section-level, atau unclear. Scope yang tidak jelas meningkatkan kebutuhan review manual.
Apa yang dikembalikan Perplexity dan apa yang dibuat model
Dokumentasi Perplexity membedakan Search API dan Agent API. Search API mengembalikan hasil web terurut sebagai data terstruktur. Agent API menghasilkan jawaban web-grounded dengan inline citations. Perbedaan ini penting karena hasil pencarian mentah dan jawaban yang telah disintesis bukan produk yang sama.
Pada jawaban web-grounded, model memilih, membaca, menggabungkan, dan menulis. Citation memperlihatkan sumber yang digunakan, tetapi proses sintesis tetap dapat menghasilkan kesalahan interpretasi.
Sebuah model dapat mengambil angka yang benar, tetapi mengubah denominator. Ia dapat menyatukan dua periode waktu. Ia dapat membaca pernyataan “hingga” sebagai angka aktual. Ia dapat mengubah korelasi menjadi sebab-akibat. Ia dapat melewatkan catatan kaki atau limitation.
Dengan kata lain, citation membantu audit provenance. Citation tidak menggantikan audit reasoning.
Lima jenis kegagalan dukungan
Pertama, partial support. Sumber mendukung sebagian kalimat, tetapi tidak semuanya. Ini adalah kegagalan yang paling umum dan paling mudah terlewat.
Kedua, scope mismatch. Sumber membahas satu negara, kelompok, produk, atau periode, lalu jawaban memperluasnya ke populasi lain.
Ketiga, temporal mismatch. Sumber benar pada saat diterbitkan, tetapi jawaban memakai present tense seolah kondisi masih sama.
Keempat, causal inflation. Sumber menunjukkan hubungan atau urutan kejadian, lalu jawaban mengatakan A menyebabkan B.
Kelima, source substitution. Citation mengarah ke halaman yang menyebut klaim dari sumber lain, tetapi sumber asli tidak diperiksa. Risiko ini meningkat pada artikel ringkasan, sindikasi, dan konten yang mengutip laporan tanpa menyediakan detail metode.
Ada juga kegagalan keenam yang layak dicatat: citation placement mismatch. Link yang tampak menempel pada klaim sebenarnya berfungsi sebagai bacaan umum, bukan dukungan langsung.
Prosedur audit yang dapat direplay
Mulai dengan menyimpan jawaban lengkap, exact query, waktu, model atau mode bila terlihat, bahasa, lokasi, serta kondisi sesi. Screenshot saja tidak cukup jika teks dan link tidak dapat diekstrak kembali.
Pecah jawaban menjadi atomic claims. Klaim faktual mendapat prioritas lebih tinggi daripada kalimat opini atau saran umum. Klaim yang sensitif, komparatif, kuantitatif, reputasional, medis, legal, atau finansial memerlukan standar bukti paling ketat.
Untuk setiap klaim, identifikasi citation yang paling dekat. Buka sumber dan cari passage yang relevan. Simpan kutipan pendek untuk audit internal dengan batas yang wajar, lokasi passage, tanggal publikasi, dan tanggal akses.
Kemudian jawab lima pertanyaan:
Apakah passage menyebut fakta yang sama?
Apakah subjek, lokasi, periode, dan satuannya sama?
Apakah jawaban menambah interpretasi?
Apakah ada limitation yang dihilangkan?
Apakah sumber masih current untuk klaim tersebut?
Berikan status dukungan dan confidence. Confidence tidak boleh hanya mengikuti reputasi domain. Sumber resmi pun dapat tidak mendukung klaim tertentu jika halaman yang dikutip salah.
Satu sumber tidak selalu cukup
Kebutuhan cross-check bergantung pada jenis klaim.
Untuk spesifikasi produk, dokumentasi resmi biasanya menjadi sumber utama. Untuk pengalaman pengguna, sumber resmi tidak cukup karena ia tidak dirancang menilai dirinya sendiri. Untuk klaim pasar, laporan dengan metodologi yang jelas lebih kuat daripada artikel opini. Untuk berita peluncuran, pengumuman resmi dapat membuktikan tanggal, sedangkan ketersediaan nyata mungkin memerlukan dokumentasi rollout.
Menggunakan banyak citation juga tidak otomatis memperkuat jawaban. Lima artikel yang semuanya mengulang press release yang sama tidak sama dengan lima bukti independen.
Yang dinilai bukan jumlah link, melainkan independence, proximity, authority, currentness, dan coverage.
Saat jawaban benar tetapi citation lemah
Ada situasi ketika klaim tampak benar berdasarkan pengetahuan lain, tetapi citation yang ditempel tidak mendukungnya. Dalam audit citation, statusnya tetap unsupported by attached citation.
Jangan mengubahnya menjadi supported hanya karena reviewer tahu klaim itu benar. Tujuan audit ini adalah memeriksa hubungan antara jawaban dan sumber yang ditampilkan.
Reviewer boleh membuat catatan kedua: claim externally verified. Dengan begitu, dua pertanyaan tetap terpisah.
Apakah klaim benar?
Apakah citation yang ditampilkan mendukung klaim?
Jawaban untuk keduanya bisa berbeda.
Saat citation benar tetapi interpretasi salah
Kebalikannya juga terjadi. Link menunjuk ke halaman yang tepat dan passage yang tepat, tetapi model salah membaca maknanya.
Misalnya sumber menyatakan penjualan naik 20 persen dari basis kecil pada satu kuartal. Jawaban menyebut perusahaan “menguasai pasar”. Citation valid untuk angka pertumbuhan, tetapi tidak untuk klaim dominasi pasar.
Dalam kasus seperti ini, masalahnya bukan retrieval. Masalahnya adalah transformation dari evidence menjadi conclusion.
Observation record perlu memisahkan citation_validity dari interpretation_validity. Satu field tidak cukup.
Menyampaikan hasil tanpa overclaim
Temuan yang defensible dapat ditulis:
Jawaban menyertakan enam citation untuk sembilan klaim faktual. Empat klaim didukung langsung, dua didukung sebagian, satu memakai sumber dengan periode berbeda, dan dua tidak ditemukan dukungannya pada halaman yang ditautkan. Kehadiran citation meningkatkan traceability, tetapi coverage dukungan tidak penuh.
Temuan yang lemah berbunyi:
Perplexity tidak akurat karena ada satu citation salah.
Atau sebaliknya:
Semua jawaban Perplexity terpercaya karena memiliki citation.
Satu observasi tidak mewakili seluruh sistem. Yang dapat dilakukan adalah mengumpulkan pola lintas query, topik, waktu, dan mode.
Skema penilaian yang tidak menyamarkan risiko
Tim dapat memakai skema sederhana agar reviewer konsisten. Untuk setiap atomic claim, simpan claim_type, risk_level, citation_ids, support_status, scope_match, temporal_match, source_type, passage_location, dan reviewer_note.
Risk level membantu menentukan kedalaman pemeriksaan. Klaim seperti tanggal peluncuran fitur mungkin dapat diverifikasi dari pengumuman resmi. Klaim medis, legal, finansial, keselamatan, atau reputasional membutuhkan standar lebih tinggi dan sering kali lebih dari satu sumber.
Support status sebaiknya tidak dipaksa menjadi biner. Partially supported sangat penting karena banyak kegagalan berada di sana. Contradicted juga berbeda dari unsupported. Unsupported berarti bukti tidak ditemukan pada citation. Contradicted berarti sumber justru mengatakan hal berbeda.
Untuk agregasi, laporkan coverage dan severity secara terpisah. Jawaban dengan 90 persen klaim didukung masih dapat berisiko tinggi jika satu klaim yang salah adalah keputusan utama. Sebaliknya, beberapa detail kecil yang tidak terdukung tidak selalu merusak kesimpulan inti.
Hindari satu trust score yang menjumlahkan semuanya tanpa konteks. Skor dapat memudahkan dashboard, tetapi sering menyembunyikan jenis kegagalan. Daftar klaim berisiko tinggi dan contoh mismatch biasanya lebih berguna bagi editor.
Jika dua reviewer berbeda pendapat, simpan disagreement. Jangan diam-diam memilih angka tengah. Perbedaan dapat berasal dari batas klaim yang berbeda, interpretasi passage, atau standar evidence. Proses adjudication perlu menjelaskan alasan keputusan akhir.
Konsistensi reviewer adalah bagian dari kualitas data.
Nilai citation ada pada kemampuannya membuka pintu audit. Citation memberi reviewer jalan untuk memeriksa asal informasi, melihat apakah sumber primer digunakan, dan menemukan bagian mana yang memerlukan koreksi. Nilai itu besar.
Namun pintu audit bukan hasil audit. Link yang tampil baru permulaan. Pertanyaan yang menentukan tetap sama: klaim apa yang dibuat, bukti apa yang tersedia, dan apakah keduanya benar-benar cocok?
Selalu.
Kontrol negatif
Sertakan query kontrol yang tidak menyebut entitas utama, query dengan formulasi netral, dan query yang sengaja memperjelas ambiguitas. Kontrol negatif membantu menunjukkan apakah hasil dipicu oleh wording atau memang bagian dari pola yang lebih luas. Pada Perplexity Menjawab dengan Citation, tetapi Apakah Semua Klaim Benar-Benar Didukung Sumber Itu, kontrol juga dapat memakai entitas pembanding yang kategori dan skala informasinya serupa. Jika hanya target utama yang diuji, setiap perubahan terasa istimewa. Pembanding mengembalikan konteks dan menurunkan risiko overclaim.