Kenaikan Teori Kepunahan AI: Anthropic menyebut peluang kepunahan umat manusia di atas 10%, pendiri OpenAI pun ikut menyetujui agar diperlambat
“Teori Kepunahan AI” yang menjadi fokusnya bukan chatbot percakapan hari ini, melainkan kecerdasan super jika, karena peningkatan diri yang rekursif tanpa kendali, dapat luput dari kontrol—dan manusia mungkin tidak sempat menghentikannya.
Peneliti sains yang bertanggung jawab atas alignment di Anthropic, Evan Hubinger, secara terbuka menyatakan penilaiannya bahwa dalam 10 tahun ke depan, peluang AI menyebabkan kepunahan seluruh umat manusia melebihi 10%, sementara belum ada solusi alignment untuk kecerdasan super, dan belum bisa dikatakan bahwa semuanya sudah berada di jalur yang benar. Tak lama berselang, sejumlah peneliti mengundurkan diri dan menuding laboratorium-laboratorium terdepan “mempertaruhkan nyawa semua orang.”
Berikutnya, CEO Anthropic, Dario Amodei, menulis imbauan agar industri memperlambat laju balap kemampuan yang sedang ngebut: waktu yang berhasil diperoleh hendaknya digunakan untuk rekayasa keamanan, pelatihan alignment, interpretabilitas, serta pengujian yang lebih keras. Pendiri sekaligus CEO OpenAI, Sam Altman, menyatakan setuju dengan arah ini: perusahaan mempertimbangkan memperlambat pengembangan model-model terbaru, dan berharap lab-lab lain turut “mengikuti dari belakang”; ilmuwan utama OpenAI juga mengatakan bahwa jika diperlukan, perlu ada koordinasi untuk mengurangi kecepatan—hingga standar keamanan bersama benar-benar diterapkan—dan bahwa memperlambat secara sukarela sebaiknya menjadi kebiasaan.
Di satu sisi ada narasi pendanaan bernilai miliaran dan IPO, di sisi lain orang yang membuat model paling kuat sendiri yang berteriak “p(doom)”, berteriak “injak rem”. Yang menakutkan dari teori kepunahan bukan sekadar kata sifat, melainkan fakta bahwa kedua pihak pemimpin mengakui: alignment belum punya jawabannya, namun masih berlomba siapa yang bisa berlari lebih cepat—kecuali memang ada yang lebih dulu mengendurkan pedal gas.
“Teori Kepunahan AI” yang menjadi fokusnya bukan chatbot percakapan hari ini, melainkan kecerdasan super jika, karena peningkatan diri yang rekursif tanpa kendali, dapat luput dari kontrol—dan manusia mungkin tidak sempat menghentikannya.
Peneliti sains yang bertanggung jawab atas alignment di Anthropic, Evan Hubinger, secara terbuka menyatakan penilaiannya bahwa dalam 10 tahun ke depan, peluang AI menyebabkan kepunahan seluruh umat manusia melebihi 10%, sementara belum ada solusi alignment untuk kecerdasan super, dan belum bisa dikatakan bahwa semuanya sudah berada di jalur yang benar. Tak lama berselang, sejumlah peneliti mengundurkan diri dan menuding laboratorium-laboratorium terdepan “mempertaruhkan nyawa semua orang.”
Berikutnya, CEO Anthropic, Dario Amodei, menulis imbauan agar industri memperlambat laju balap kemampuan yang sedang ngebut: waktu yang berhasil diperoleh hendaknya digunakan untuk rekayasa keamanan, pelatihan alignment, interpretabilitas, serta pengujian yang lebih keras. Pendiri sekaligus CEO OpenAI, Sam Altman, menyatakan setuju dengan arah ini: perusahaan mempertimbangkan memperlambat pengembangan model-model terbaru, dan berharap lab-lab lain turut “mengikuti dari belakang”; ilmuwan utama OpenAI juga mengatakan bahwa jika diperlukan, perlu ada koordinasi untuk mengurangi kecepatan—hingga standar keamanan bersama benar-benar diterapkan—dan bahwa memperlambat secara sukarela sebaiknya menjadi kebiasaan.
Di satu sisi ada narasi pendanaan bernilai miliaran dan IPO, di sisi lain orang yang membuat model paling kuat sendiri yang berteriak “p(doom)”, berteriak “injak rem”. Yang menakutkan dari teori kepunahan bukan sekadar kata sifat, melainkan fakta bahwa kedua pihak pemimpin mengakui: alignment belum punya jawabannya, namun masih berlomba siapa yang bisa berlari lebih cepat—kecuali memang ada yang lebih dulu mengendurkan pedal gas.
