Peringatan dari Kepala Ilmuwan OpenAI: AI mungkin akan mengalami evolusi mandiri yang berulang, menyerukan perlambatan agar keselamatan industri terjaga
8 September, menurut laporan, Kepala Ilmuwan OpenAI Jakub Pachocki menyampaikan peringatan pada akhir pekan lalu. Seiring kecepatan iterasi AI terus berkembang, AI secara bertahap mulai melampaui pemahaman dan batas kendali manusia. Ia menyerukan agar industri, demi alasan keselamatan, memperlambat ritme pengembangan AI.
Dalam tulisannya, Pachocki menyebutkan bahwa model AI saat ini sudah mampu mengendalikan komputer secara mandiri, serta berkolaborasi dengan manusia dan sistem AI lain untuk menjalankan pekerjaan penelitian secara otonom.
Jika mengikuti ritme perkembangan saat ini, AI akan segera mencapai "peningkatan diri yang bersifat rekursif", yakni melakukan iterasi dan upgrade secara mandiri tanpa campur tangan manusia.
Menurutnya, masyarakat secara keseluruhan belum siap sepenuhnya untuk menanggung berbagai risiko yang muncul akibat peningkatan cepat kecerdasan mesin. Karena itu, saat ini industri harus bersikap sangat hati-hati terhadap perkembangan AI.
Menurutnya juga, masyarakat sulit menanggung berbagai risiko yang ditimbulkan oleh peningkatan cepat kecerdasan mesin; oleh karena itu, pada saat ini industri harus menjaga sikap yang sangat hati-hati terhadap perkembangan AI.
Ia juga mengusulkan agar, sebelum teknik untuk menyelaraskan AI dengan kepentingan manusia diperkuat dan ambang batas keselamatan yang terpadu dibangun, pelambatan aktif terhadap ritme pengembangan AI dapat menjadi kesepakatan bersama di kalangan industri.
Di sisi lain, perkembangan pesat teknologi AI juga telah menghasilkan berbagai terobosan. Di antaranya, OpenAI GPT‑6 Astra dan model Anthropic Mythos sama-sama memiliki kemampuan fungsional mutakhir. Namun, demi pertimbangan keselamatan, kedua perusahaan tersebut membatasi jangkauan publikasi untuk model-model unggulan di atas.
Meskipun pernyataan Pachocki sejalan dengan peringatan risiko yang disampaikan oleh banyak eksekutif industri, pasar modal justru gencar mengejar jalur peningkatan diri yang bersifat rekursif. Sejumlah perusahaan rintisan telah mengantongi pendanaan besar, dengan keyakinan bahwa jalur ini dapat mewujudkan kecerdasan buatan tingkat lanjut.
Misalnya, Inherent yang didirikan oleh mantan peneliti DeepMind telah berhasil menyelesaikan pendanaan sebesar 50 juta dolar AS. Sementara itu, laboratorium Recursive Superintelligence yang didirikan oleh ilmuwan ternama Richard Socher berhasil meraih dana besar sebesar 650 juta dolar AS.
Secara keseluruhan, rangkaian langkah ini menunjukkan keyakinan kuat investor terhadap bidang tersebut. Selain itu, OpenAI sebelumnya juga mengungkapkan target R&D-nya, yang berencana dalam waktu kurang dari dua tahun untuk membangun "peneliti AI yang benar-benar terotomatisasi".
#AI安全风险
8 September, menurut laporan, Kepala Ilmuwan OpenAI Jakub Pachocki menyampaikan peringatan pada akhir pekan lalu. Seiring kecepatan iterasi AI terus berkembang, AI secara bertahap mulai melampaui pemahaman dan batas kendali manusia. Ia menyerukan agar industri, demi alasan keselamatan, memperlambat ritme pengembangan AI.
Dalam tulisannya, Pachocki menyebutkan bahwa model AI saat ini sudah mampu mengendalikan komputer secara mandiri, serta berkolaborasi dengan manusia dan sistem AI lain untuk menjalankan pekerjaan penelitian secara otonom.
Jika mengikuti ritme perkembangan saat ini, AI akan segera mencapai "peningkatan diri yang bersifat rekursif", yakni melakukan iterasi dan upgrade secara mandiri tanpa campur tangan manusia.
Menurutnya, masyarakat secara keseluruhan belum siap sepenuhnya untuk menanggung berbagai risiko yang muncul akibat peningkatan cepat kecerdasan mesin. Karena itu, saat ini industri harus bersikap sangat hati-hati terhadap perkembangan AI.
Menurutnya juga, masyarakat sulit menanggung berbagai risiko yang ditimbulkan oleh peningkatan cepat kecerdasan mesin; oleh karena itu, pada saat ini industri harus menjaga sikap yang sangat hati-hati terhadap perkembangan AI.
Ia juga mengusulkan agar, sebelum teknik untuk menyelaraskan AI dengan kepentingan manusia diperkuat dan ambang batas keselamatan yang terpadu dibangun, pelambatan aktif terhadap ritme pengembangan AI dapat menjadi kesepakatan bersama di kalangan industri.
Di sisi lain, perkembangan pesat teknologi AI juga telah menghasilkan berbagai terobosan. Di antaranya, OpenAI GPT‑6 Astra dan model Anthropic Mythos sama-sama memiliki kemampuan fungsional mutakhir. Namun, demi pertimbangan keselamatan, kedua perusahaan tersebut membatasi jangkauan publikasi untuk model-model unggulan di atas.
Meskipun pernyataan Pachocki sejalan dengan peringatan risiko yang disampaikan oleh banyak eksekutif industri, pasar modal justru gencar mengejar jalur peningkatan diri yang bersifat rekursif. Sejumlah perusahaan rintisan telah mengantongi pendanaan besar, dengan keyakinan bahwa jalur ini dapat mewujudkan kecerdasan buatan tingkat lanjut.
Misalnya, Inherent yang didirikan oleh mantan peneliti DeepMind telah berhasil menyelesaikan pendanaan sebesar 50 juta dolar AS. Sementara itu, laboratorium Recursive Superintelligence yang didirikan oleh ilmuwan ternama Richard Socher berhasil meraih dana besar sebesar 650 juta dolar AS.
Secara keseluruhan, rangkaian langkah ini menunjukkan keyakinan kuat investor terhadap bidang tersebut. Selain itu, OpenAI sebelumnya juga mengungkapkan target R&D-nya, yang berencana dalam waktu kurang dari dua tahun untuk membangun "peneliti AI yang benar-benar terotomatisasi".
#AI安全风险
