Anthropic kehilangan satu lagi peneliti keselamatan. Joe Tenton mengatakan ia meninggalkan perusahaan dua minggu lalu dan akan bergabung dengan METR, sebuah kelompok independen yang menguji risiko pada sistem AI canggih.
Joe berencana menjelaskan langkah itu nanti, tetapi pengunduran diri Jacob minggu ini mengubahnya. Ia berkata:
“Saya sempat berencana menulis lebih detail tentang keputusan itu suatu saat, tetapi pengunduran diri Jacob minggu ini membuat saya ingin mengatakan lebih banyak sekarang.”
Joe percaya bahwa lab-lab AI besar sedang menciptakan tingkat bahaya yang belum pernah dihadapi masyarakat, dengan mengatakan bahwa kemampuan AI meningkat dengan kecepatan ekstrem sementara perusahaan-perusahaan berusaha bergerak bahkan lebih cepat.
Tujuan mereka adalah membangun sistem yang bisa memperbaiki riset AI itu sendiri dan pada akhirnya mencapai “superintelligence.” Joe memperingatkan bahwa keberhasilan bisa membuat kemajuan bergerak melampaui kendali manusia.
Joe mengatakan lab-lab AI berlomba menuju sistem yang mungkin tidak bisa dikendalikan oleh manusia
Joe mengatakan orang-orang bisa hidup bersama agen AI yang lebih pintar daripada setiap manusia dalam beberapa tahun ke depan. Sistem-sistem itu juga dapat mengembangkan tujuan yang tidak sesuai dengan orang-orang yang mengawasi mereka. Jika kemampuan mereka menjadi terlalu kuat untuk dibatasi, ia percaya hasilnya bisa berakibat bencana. “Umat manusia mungkin tidak akan selamat dari transisi ini,” tulisnya.
Ia mengatakan persaingan membuat masalah menjadi lebih buruk. Setiap lab terdepan yang memperlambat laju berisiko kehilangan posisi ke lab lain. Joe percaya tekanan mendorong perusahaan untuk membelanjakan lebih sedikit untuk keselamatan daripada yang seharusnya.
Ia menyinggung beberapa insiden baru-baru ini. Beberapa ratus agen milik OpenAI terjebak dalam peretasan yang entah bagaimana terkait dengan Hugging Face. Model-model Anthropic juga dilaporkan terlibat dalam social engineering terhadap individu di dunia online.
Joe mengatakan Anthropic belum pernah mengalami insiden yang sedemikian merusak seperti yang terjadi dari Hugging Face, meski ia mengaitkannya sebagian dengan keberuntungan.
Jika kemajuan terus berlangsung dengan laju yang sangat cepat, Joe yakin kita harus mengharapkan lebih banyak insiden yang lebih berbahaya. Ia memprediksi bahwa dalam beberapa tahun ke depan, umat manusia akan menjadi tidak berdaya untuk mengendalikan sistem AI yang diciptakan pada masa ini.
Akhirnya, Joe membahas masalah yang dihadapi para insinyur keselamatan di perusahaan-perusahaan terdepan. Dalam kedua kasus tersebut, baik mengundurkan diri dapat membuka jalan bagi individu yang lebih ceroboh, atau tetap bekerja berarti harus menangani sistem yang dapat menyebabkan kerusakan besar.
Ia mengatakan banyak mantan kolega Anthropic merasa takut dengan apa yang sedang mereka bangun. Joe menyebut Evan Hubinger, yang memandunya. Evan telah menaruh peluang bahwa AI membunuh semua orang di atas 10%. Joe mengatakan Evan telah mengerjakan masalah-masalah ini selama hampir satu dekade, sebelum model bahasa besar menjadi bisnis yang dominan.
Para CEO Anthropic, OpenAI, dan Google DeepMind yang merupakan bagian dari Alphabet (NASDAQ: GOOGL, GOOG) juga mendukung pernyataan yang menyebut risiko kepunahan akibat AI sebagai prioritas global. Joe mengatakan kekhawatiran ini adalah hal yang umum di dalam perusahaan-perusahaan itu sendiri. Ia menambahkan bahwa manusia memilih untuk membangun teknologi ini dan bisa memilih jalur lain.
Joe menekan pemeriksaan di luar bidang AI, sementara Donald Trump fokus untuk mengalahkan China
Joe berkata:
“Satu pertanyaannya adalah apakah kita harus secara aktif mengelola laju kemajuan kemampuan, dan jika ya, seberapa besar. Menurut saya, bahkan jika kita menahan kemajuan AI pada kecepatan seperti saat ini—bukan pada kecepatan yang jauh lebih cepat yang dikejar perusahaan-perusahaan—itu bisa menjadi kemenangan.”
Masalah yang lebih besar adalah dukungan politik dan perlindungan hukum. Perusahaan yang secara bersama-sama menyepakati untuk memperlambat pengembangan bisa menghadapi masalah antimonopoli. Joe mengatakan itu membuat perlindungan hukum menjadi perlu jika pembuat kebijakan ingin lab-lab yang bersaing mengekang diri mereka.
Ia juga meragukan pemerintah akan bertindak sementara pengembangan terdepan tetap tersembunyi dari publik. Joe memperingatkan sebuah lab bisa mengalami lonjakan kecerdasan secara mendadak atau kehilangan kendali atas sebuah sistem tanpa pihak luar mengetahuinya.
Menurutnya, pekerjaan barunya di METR akan berfokus pada pengujian independen. Ia ingin pemeriksaan dari pihak luar menjadi cukup lazim untuk mengubah insentif perusahaan.
Joe juga menginginkan adanya persyaratan pengungkapan yang lebih ketat. Misalnya, lab AI perlu mengungkapkan setiap kemajuan yang dibuat dan langkah-langkah menuju peningkatan berulang (recursive improvement), serta setiap kecelakaan dan nyaris celaka.
Presiden AS Donald Trump menolak peringatan kepunahan. Donald ditanya apakah AI yang melenyapkan umat manusia membuatnya khawatir. “Tidak, saya tidak punya kekhawatiran apa pun,” katanya.
Donald mengatakan kekhawatirannya adalah memenangkan perlombaan AI internasional. “Saya khawatir jika kita tidak menang AI, kita akan ditempatkan pada posisi yang sangat buruk,” ujarnya kepada wartawan Kamis. “Kita memimpin China sekarang, oleh rentang waktu yang menurut saya cukup baik—sekitar setahun—yang, Anda tahu, dianggap banyak.”
Amerika Serikat dan China bersaing untuk memimpin bidang AI saat model-model China menjadi lebih mumpuni dan mendapatkan pengguna di seluruh dunia. Donald menyampaikan komentarnya setelah para peneliti dari lab terdepan, termasuk Anthropic dan OpenAI, meningkatkan peringatan publik mereka tentang kecepatan perkembangan AI.
Jika Anda sedang membaca ini, Anda sudah berada di depan. Tetap di sana dengan buletin kami.