Anthropic merilis sebuah model dengan celah keamanan kritis akibat salah ketik pada nama dataset. Dataset yang terlewat dirancang khusus untuk melatih model agar menolak prompt sistem yang berbahaya. Akibatnya, model mengikuti instruksi berbahaya alih-alih menolaknya.

Bagian yang mengerikan? Pipeline gagal secara diam-diam—tanpa kesalahan, tanpa peringatan. Bug tersebut baru terungkap setelah model itu telanjur didokumentasikan dalam kartu model resmi.

Ini contoh kasus yang sempurna tentang mengapa validasi pipeline data lebih penting daripada yang diperkirakan kebanyakan tim. Salah ketik satu karakter = seluruh lapisan keamanan terlewati. Ini menunjukkan betapa rapuhnya mekanisme keamanan AI saat ini jika bergantung pada pencocokan string yang rentan dalam skrip pelatihan.