Para peneliti Meta telah mengembangkan metode untuk mendeteksi model AI hasil distilasi yang berhasil mengidentifikasi 79% dari salinan yang diuji dengan tingkat positif palsu 0,1%, tanpa memeriksa bagian internal model yang dicurigai. Teknik yang disebut WM-Basin ini menyasar model yang dilatih menggunakan keluaran dari model “guru” berpenanda air dan dipaparkan dalam makalah yang diterbitkan pada 27 Oktober 2026.
Inti sari
WM-Basin menganalisis teks yang dihasilkan API, bukan bobot atau logit model.
Meta menguji teknik ini pada 1.200 model siswa.
Deteksi tetap efektif setelah beberapa modifikasi model, tetapi melemah setelah penyesuaian halus dengan data bersih dan parafrasa.
Cara WM-Basin mendeteksi model AI hasil distilasi
WM-Basin menggunakan model probe terpisah yang bersih untuk menganalisis teks yang dihasilkan oleh model yang dicurigai sebagai hasil distilasi. Para peneliti dari Meta FAIR dan Meta Superintelligence Labs menjelaskan pendekatan ini dalam “Watermark Basins: Black-Box Detection of Distilled LLMs,” yang diterbitkan dengan nomor arXiv:2610.37266.
Makalah ini mengkaji skenario penyalinan tertentu: seseorang mengumpulkan respons dari model guru ber-watermark melalui API-nya, lalu menggunakan respons tersebut untuk melatih model siswa. WM-Basin mencari bukti hubungan pelatihan itu hanya dengan menggunakan teks yang dihasilkan model siswa.
Detektor memasukkan teks tersebut ke dalam model probe tetap dan mengubahnya menjadi representasi gradien—cara untuk memeriksa bagaimana pelatihan menggunakan teks tersebut akan menggeser parameter model probe. Selanjutnya, detektor membedakan arah penyetelan halus biasa dari keselarasan dengan “cekungan watermark” khusus kunci dalam ruang parameter.
Dengan demikian, teknik ini merupakan bentuk analisis kotak hitam: akses ke bobot atau logit model yang dicurigai tidak diperlukan. Respons teks yang diperoleh melalui API sudah cukup untuk proses deteksi.
Tingkat deteksi 79% pada 1.200 model siswa
Menurut para peneliti, WM-Basin mencapai tingkat positif benar sebesar 79% dengan mempertahankan tingkat positif palsu sebesar 0,1% saat n-gram=1 digunakan, sedangkan detektor kotak hitam tingkat token terdahulu yang paling kuat hanya mencapai tingkat positif benar sebesar 29% dalam kondisi yang sama.
Para penulis juga mencatat bahwa keunggulan WM-Basin atas pesaingnya semakin besar ketika ambang deteksi diperketat dan jendela n-gram diperbesar.
Evaluasi mencakup 1.200 model siswa, dengan ukuran mulai dari 135 juta hingga 8,2 miliar parameter. Para peneliti melatih model-model ini menggunakan jejak penalaran matematis dari OpenR1-Math, yang mencakup enam keluarga arsitektur model siswa, beberapa model guru, dan berbagai pendekatan watermarking.
Temuan ini mendasari klaim makalah tersebut tentang peningkatan kemampuan mendeteksi model AI hasil distilasi dalam evaluasinya terhadap penalaran matematis.
Modifikasi apa yang mempertahankan atau melemahkan deteksi?
Para peneliti menemukan bahwa sinyal deteksi WM-Basin tetap bertahan setelah kuantisasi, pemangkasan, dan pembelajaran penguatan pascadistilasi. Kuantisasi memampatkan model untuk mengurangi biaya operasional, sedangkan pemangkasan menghapus parameter.
Metode ini juga tetap lebih andal ketika sinyal tingkat token melemah, termasuk saat pengambilan sampel dengan suhu rendah.
Perubahan lain mengurangi efektivitasnya. Penyetelan halus secara ekstensif menggunakan data bersih tanpa watermark menurunkan kemampuan deteksi, sementara parafrasa jejak penalaran model guru menjadi cara lain yang berpotensi digunakan untuk menghindari deteksi. Para penulis secara khusus menyebut penyetelan halus terawasi lanjutan pada materi tanpa watermark sebagai salah satu pendekatan tersebut.
Bukti watermark bagi pengembang AI
Kombinasi deteksi yang lebih tinggi dan tingkat alarm palsu yang rendah berpotensi memperkuat bukti berbasis watermark dalam klaim hukum atau kontraktual terkait penyalinan model. Untuk penggunaan tersebut, tingkat positif palsu sangat relevan karena mengukur penandaan yang keliru, bukan identifikasi yang berhasil.
Perbandingan yang dilaporkan WM-Basin memasangkan tingkat positif palsu yang sama, yaitu 0,1%, dengan tingkat positif benar sebesar 79%, dibandingkan dengan 29% untuk metode tingkat token yang lebih awal. Pengujian yang mendasarinya menggunakan model siswa yang dilatih dengan jejak penalaran matematis dari OpenR1-Math.
Artikel ini dibuat dengan bantuan kecerdasan buatan dan ditinjau oleh tim editorial.