Ada cerita menenangkan yang sering diceritakan orang tentang sistem AI: jika sebuah model mengulang terlalu banyak, kita akan menangkapnya. Cerita itu tidak salah, sebenarnya. Hanya saja, itu tidak lengkap dalam cara yang penting. Sebuah model yang mencerminkan bagian terlalu dekat dapat dilacak, diukur, dan dalam beberapa kasus dapat dihubungkan kembali ke sumbernya. Itu berguna. Ini juga versi termudah dari masalah.
Apa yang sebenarnya mengganggu saya bukanlah pengulangan yang jelas. Ini adalah jenis peminjaman yang lebih tenang, yang tidak muncul sebagai kutipan bersih tetapi tetap mengubah bentuk pemikiran model. Sebuah sistem dapat belajar bagaimana sebuah bidang terorganisir, perbedaan mana yang penting, istilah mana yang saling terkait, pertanyaan mana yang layak ditanyakan terlebih dahulu. Tidak satu pun dari itu perlu muncul secara verbatim agar itu telah terjadi. Dan setelah itu terjadi, pengaruhnya sudah ada di dalam model, bahkan jika bukti telah menghilang dari permukaan.
Karena itu deteksi hafalan terasa sama-sama perlu dan tidak cukup. Perlu, karena reproduksi yang persis memang nyata dan tidak seharusnya disingkirkan begitu saja sebagai kecelakaan yang tidak berbahaya. Jika sebuah model mengeluarkan suatu bagian yang hampir identik dengan sesuatu dalam data pelatihannya, itu bukan teka-teki filosofis. Itu peristiwa praktis dengan konsekuensi hukum, komersial, dan etis. Pekerjaan seseorang mungkin muncul kembali dengan cara yang pantas untuk atribusi atau kompensasi. Dalam kasus-kasus seperti itu, dasar untuk menelusuri keluaran kembali ke sumbernya kuat, dan teknologi di balik pencocokan sufiks atau pencarian long-prefix memiliki nilai yang nyata.
Namun persoalan yang lebih besar berada di luar kemenangan yang sempit itu. Banyak hal yang membuat sebuah sistem AI tampak mampu bukanlah kalimat yang dihafal. Itu adalah internalisasi pola-pola yang dulu milik penulis manusia, peneliti, dan pakar bidang. Sebuah model mungkin tidak pernah mengulang satu baris pun dari makalah medis, berkas gugatan hukum, atau esai teknis, dan tetap membawa struktur cara berpikir yang dibantu diajarkan oleh karya tersebut. Pengaruh seperti ini lebih sulit dinamai karena tidak muncul dalam bentuk yang mudah dirujuk oleh sistem. Ia terserap, bukan disalin. Ia ada di mana-mana dalam keluaran dan tidak ada dalam jejak sitasi.
Itu menciptakan ketidakseimbangan yang aneh. Kontributor yang kata-katanya direproduksi persis terlihat oleh mesin, sementara kontributor yang gagasannya membentuk seluruh jawaban mungkin tetap hampir tidak terlihat. Dalam istilah sehari-hari, itu terbalik. Salinan lebih mudah dihitung daripada kontribusi intelektual yang lebih dalam. Bukti yang paling lantang tidak selalu yang paling penting. Yang bisa diindeks mendapat penghargaan; yang hanya bisa disimpulkan diabaikan.
Dalam percakapan tentang AI ada kecenderungan untuk memperlakukan atribusi sebagai masalah pembersihan teknis. Bangun indeks yang tepat, lakukan pencarian terhadap korpus, beri skor pada tumpang tindihnya, dan isu keadilan akan beres dengan sendirinya. Itu terdengar rapi karena mengubah kekhawatiran manusia yang berantakan menjadi prosedur yang bisa dibaca mesin. Tetapi prosedur itu hanya menceritakan sebagian dari kisahnya. Prosedur itu bisa menunjukkan kapan sebuah model terlalu dekat dengan suatu sumber. Tetapi ia tidak bisa memberi tahu kapan seluruh cara membingkai suatu topik telah diwarisi tanpa jejak. Ia juga tidak bisa mengukur utang sunyi yang harus ditanggung sebuah sistem kepada orang-orang yang karya mereka memberinya rasa tentang apa yang saling berkaitan.
Hal ini penting karena AI bergerak menuju sistem yang tidak hanya menjawab pertanyaan, tetapi juga menyusun penilaian. Dalam konteks itu, materi pelatihan yang paling berpengaruh mungkin bukan teks yang muncul kembali nanti. Bisa jadi teks itulah yang mengajari model apa yang harus diperhatikan, apa yang harus diabaikan, dan bagaimana memberi peringkat pada satu penjelasan dibandingkan yang lain. Jejak seperti itu halus, tetapi tidak abstrak. Jejak itu membentuk hasil. Membentuk keyakinan. Membentuk jenis jawaban yang menurut model terasa alami.
Jadi tantangan utamanya bukan sekadar mengidentifikasi teks yang dihafal. Tantangannya adalah memutuskan bagaimana menilai kontribusi ketika kontribusi itu telah diubah sedemikian rupa sampai tidak lagi dikenali. Jejak yang lebih mudah diakses berarti pembayaran yang lebih mudah. Pengaruh yang lebih dalam berarti pembuktian yang lebih sulit. Ini menjadi misalignment yang buruk jika tujuannya adalah ekonomi data yang serius.
Yang mungkin kita butuhkan adalah kosakata yang lebih jujur untuk ketergantungan. Tidak semua sumber yang berguna bisa direduksi menjadi kutipan. Tidak semua kontribusi yang bermakna bertahan sebagai sebuah kecocokan. Sebagian pekerjaan menjadi bagian dari 'kain' penalaran model; dan ketika itu terjadi, bahasa lama tentang penyalinan terlalu kecil untuk menjelaskan apa yang telah diambil. Industri bisa terus membangun pendeteksi yang lebih baik, dan memang seharusnya. Tapi akan menjadi kesalahan jika menyamakan kemampuan terdeteksi dengan keadilan.
Kebenaran yang tidak nyaman adalah mesin lebih baik mengulang daripada memahami, dan saat ini kita lebih baik memberi penghargaan pada pengulangan daripada pada pengaruh. Kesenjangan itulah tempat masalah sesungguhnya berada.