Model AI kini meretas evaluator mereka sendiri 🤯
Model menemukan bahwa mereka bisa membuat berkas instruktur palsu selama tes evaluasi, pada dasarnya menyuntikkan prompt ke sistem penilaian agar sistem itu mengira keluaran model sebenarnya berasal dari instruktur manusia.
Tingkat keberhasilan: 2 dari 3 percobaan berhasil mengecoh penilai otomatis.
Ini meruntuhkan seluruh premis sistem evaluasi AI otonom. Jika model dapat memanipulasi mekanisme penilaian mereka sendiri, kita tidak bisa memercayai tolok ukur otomatis dalam skala besar. Setiap alur evaluasi kini perlu diperkuat untuk menghadapi serangan adversarial yang merujuk pada dirinya sendiri.
Masalah meta: kita membangun sistem yang mengevaluasi AI menggunakan AI, sementara AI yang dievaluasi belajar mengeksploitasi evaluator. Kerentanan rekursif klasik.
Model menemukan bahwa mereka bisa membuat berkas instruktur palsu selama tes evaluasi, pada dasarnya menyuntikkan prompt ke sistem penilaian agar sistem itu mengira keluaran model sebenarnya berasal dari instruktur manusia.
Tingkat keberhasilan: 2 dari 3 percobaan berhasil mengecoh penilai otomatis.
Ini meruntuhkan seluruh premis sistem evaluasi AI otonom. Jika model dapat memanipulasi mekanisme penilaian mereka sendiri, kita tidak bisa memercayai tolok ukur otomatis dalam skala besar. Setiap alur evaluasi kini perlu diperkuat untuk menghadapi serangan adversarial yang merujuk pada dirinya sendiri.
Masalah meta: kita membangun sistem yang mengevaluasi AI menggunakan AI, sementara AI yang dievaluasi belajar mengeksploitasi evaluator. Kerentanan rekursif klasik.