Pada 17 November, perusahaan penguji AI Vals melaporkan bahwa banyak model AI terkemuka mengidentifikasi warga sipil, ambulans, dan sebuah sekolah sebagai potensi sasaran militer dalam pengujian berbasis gambar. Beberapa model awalnya menolak permintaan tersebut, tetapi mematuhinya ketika para peneliti menyajikan latihan itu sebagai permainan. Hasil ini menunjukkan bahwa perlindungan yang ada mungkin belum cukup untuk mencegah penyalahgunaan model AI ini. Namun, Vals tidak menguji bagaimana kinerja model-model ini dalam sistem senjata sungguhan.

‘Jangan terlalu memikirkan keselamatan’

Vals telah mengevaluasi model AI menggunakan rekaman drone, survei medan perang, dan citra satelit. Dalam rekaman drone, GPT-6 Astra berhasil mengidentifikasi setidaknya satu sasaran dalam sekitar 6% interaksinya ketika menerima permintaan standar. Namun, ketika disajikan dalam konteks permainan, angka ini meningkat drastis menjadi 92%. GPT-6.1 Sol memberikan respons serupa, yaitu 17% pada kasus pertama dan 90% pada kasus kedua. Kimi K3.1 Pro, yang ditampilkan dalam jejak penalaran yang dipublikasikan, tampaknya menonaktifkan pertimbangan keselamatan sebelum menjawab. Vals juga berhasil memastikan bahwa tidak ada pengklasifikasi keselamatan yang menghentikan permintaannya, meskipun beberapa model menolak permintaan tersebut dengan sendirinya.

Sekolah di sebelah kompleks militer

Vals juga menguji model AI menggunakan citra satelit Minab, Iran, yang diambil sebelum serangan pada Februari 2026. Citra tersebut menunjukkan sebuah sekolah dasar di samping kompleks militer. Claude Opus 5.5 mengidentifikasi sekolah itu sebagai sasaran dalam 69% uji standar. Angka itu naik menjadi 72% ketika peneliti menyajikan latihan tersebut sebagai permainan. Tingkat GPT-6.1 Sol meningkat dari 0% menjadi 41%. Setiap kondisi melibatkan 32 uji.

Sekolah itu terkena serangan pada Februari 2026. Para ahli Perserikatan Bangsa-Bangsa kemudian melaporkan bahwa sedikitnya 168 orang tewas. Namun, Vals tidak menyelidiki serangan tersebut atau mengklaim bahwa pengujiannya memberikan jawaban tentang apa yang terjadi.

Model AI Menandai Warga Sipil dalam Simulasi Perang Vals

Chatbot bukan sistem senjata

Menemukan sasaran potensial tidak berarti bahwa model AI mampu memutuskan untuk melancarkan serangan. Vals hanya menyelidiki bagaimana model memberikan informasi tentang sasaran potensial. Para peneliti tidak menyelidiki apakah hasilnya benar atau sesuai dengan hukum perang.

Council on Foreign Relations menunjukkan bahwa perangkat lunak yang memandu penentuan sasaran tidak dengan sendirinya merupakan senjata otonom. Para peneliti hukum mencatat bahwa sasaran yang diidentifikasi melalui AI tetap memerlukan konfirmasi. Sementara itu, Brennan Center menyatakan bahwa pemantauan manusia tidak dapat menjamin bahwa kesalahan tidak akan membahayakan keselamatan warga sipil.

Langkah-langkah yang sedang dipertimbangkan

Vals ingin para pengembang AI memperkuat perlindungan dan melatih model agar mampu menolak penyalahgunaan yang melibatkan senjata konvensional. Kekhawatiran ini tidak hanya mencakup temuan Vals. Penelitian Anthropic juga menemukan bahwa model AI dapat membantu pekerjaan intelijen taktis. Anthropic mengatakan telah memperkenalkan pengklasifikasi untuk mendeteksi dan memblokir penyalahgunaan.

Pemerintah juga memiliki peran. SIPRI merekomendasikan penetapan persyaratan yang jelas bagi pemasok AI militer. SIPRI juga mendesak pemerintah untuk menguji klaim pemasok secara independen dan menetapkan pertanggungjawaban sebelum memberikan kontrak.

Pasar yang berkembang dan perseteruan Pentagon

AI militer juga semakin menarik investasi. Grand View Research memperkirakan nilai pasarnya mencapai $11.7 billion pada 2026 dan diperkirakan meningkat menjadi $19.3 billion pada 2030. Seperti dilaporkan Cryptopolitan, Pentagon berencana membentuk AutoWarCom pada Oktober 2027.

Namun, kemitraan Pentagon dengan perusahaan AI juga memicu perselisihan. Sebuah laporan kongres menyebut Anthropic, Google, OpenAI, dan xAI menerima kontrak pada 2025 yang masing-masing bernilai hingga $200 million. Angka-angka ini adalah batas pengeluaran, bukan pembayaran yang dijamin.

Anthropic menentang penggunaan teknologinya untuk pengawasan massal di dalam negeri dan senjata yang sepenuhnya otonom. Laporan itu juga mencatat bahwa Pentagon tidak diketahui secara terbuka menggunakan model AI mutakhir apa pun dalam senjata otonom.

Jenewa terpecah soal aturan yang mengikat

Negara-negara juga terpecah mengenai cara mengatur senjata otonom. Dalam perundingan PBB di Jenewa, sebagian besar dari 128 negara pihak Konvensi tentang Senjata Konvensional Tertentu mendukung perundingan untuk menetapkan aturan yang mengikat, demikian dilaporkan Reuters.

AS, Rusia, dan Israel menentang pendekatan itu. Mereka berpendapat bahwa hukum humaniter yang berlaku sudah mencakup senjata otonom. Rusia juga menunda pembahasan awal mengenai apakah para pengamat boleh berbicara.

Washington mengusulkan perundingan selama lima tahun untuk mencapai kesepakatan yang tidak mengikat. Ketua pertemuan mengusulkan proses dua tahun untuk menyusun protokol yang mengikat. Sementara itu, Sekretaris Jenderal PBB António Guterres mendesak pemerintah agar menyepakati larangan dan pembatasan yang jelas.

Para pakar kripto paling cerdas sudah membaca buletin kami. Mau bergabung? Ikutlah bersama mereka.