Menurut perusahaan, kebocoran keamanan Anthropic mengekspos informasi gaji, pesan internal, dan informasi bisnis melalui perangkat lunak eksternal yang digunakan oleh pengembang AI tersebut—bukan melalui akses ke bobot modelnya. Para peneliti dari Cathedral berhasil menjangkau sebagian sistem komersial, sumber daya manusia, dan TI Anthropic, sehingga memicu perselisihan mengenai pengujian tersebut dan implikasinya terhadap keamanan nasional.

Poin-poin penting

  • Cathedral mengakses sistem bisnis internal melalui aplikasi pihak ketiga.

  • Anthropic menyatakan bahwa perintah pelanggan dan komponen model tidak diakses.

  • Aplikasi yang terdampak tetap dinonaktifkan hingga vendor mengonfirmasi perbaikannya.

  • Kedua perusahaan berbeda pendapat mengenai pelaporan dan signifikansi insiden tersebut.

Apa yang terungkap dari pelanggaran keamanan Anthropic

Sistem yang diakses berisi catatan personel dan komunikasi internal, serta informasi komersial. Cathedral mengatakan bahwa agen AI yang digunakan dalam penelitiannya menemukan jalur menuju transkrip rapat, informasi gaji, tawaran pekerjaan, dan pesan Slack.

Sistem yang terdampak juga menyimpan kontak komersial beberapa pelanggan dan mitra, serta informasi akun dasar. Anthropic mengatakan para peneliti tidak mengakses prompt pelanggan, respons model, kode sumber, ataupun bobot model AI.

Jalur akses tersebut melewati kerentanan pada aplikasi administratif dan bisnis eksternal yang digunakan Anthropic. Nama vendor yang terlibat tidak disebutkan. Jadi, akses tersebut berkaitan dengan perangkat lunak pendukung bisnis, bukan komponen model yang menurut Anthropic tetap tidak dapat dijangkau para peneliti.

Cathedral melakukan pengujian melalui Program Peneliti Eksternal Anthropic, yang menyediakan saluran untuk melaporkan kerentanan. Didirikan oleh mantan anggota DOGE, perusahaan rintisan ini mengembangkan perangkat keamanan siber berbasis AI untuk pelanggan pemerintah dan perusahaan.

Cara Anthropic mendeteksi dan membatasi akses

Anthropic mengatakan pemantauannya mendeteksi sejumlah aktivitas sebelum Cathedral memberi tahu perusahaan tersebut, dan akses diputus pada hari yang sama. Respons terhadap pelanggaran keamanan Anthropic juga mencakup penonaktifan aplikasi yang terdampak.

Aplikasi tersebut baru dipulihkan setelah vendornya mengonfirmasi bahwa kerentanan telah ditambal. Memutus akses para peneliti dan memperbaiki perangkat lunak merupakan dua bagian respons yang terpisah.

Anthropic mengatakan tidak memiliki bukti bahwa ada pihak selain Cathedral yang mengeksploitasi kerentanan tersebut.

Perselisihan pelaporan melampaui data yang terekspos

Anthropic dan Cathedral berbeda pendapat mengenai kelengkapan pelaporan penelitian dan signifikansi insiden tersebut bagi keamanan nasional. Anthropic menuduh Cathedral tidak melaporkan seluruh aktivitas yang dilakukannya pada sistem perusahaan.

Pelanggaran keamanan Anthropic menunjukkan perbedaan antara melindungi model AI dan mengamankan infrastruktur di sekitarnya: dokumen personel, catatan rapat, dan pesan internal tetap terekspos meskipun Anthropic mengatakan komponen model tidak diakses.

Kepala tim red teaming Anthropic juga menganjurkan pengujian keamanan berkelanjutan serta perancangan ulang sistem perangkat lunak untuk mengurangi paparannya.

Artikel dibuat dengan bantuan kecerdasan buatan dan ditinjau oleh tim editorial.