Sebuah perusahaan mulai membuat aturan untuk arah penelitian mereka sendiri.
Pada hari Senin, OpenAI merilis serangkaian saran tentang keselamatan dan jaminan AI mutakhir, dengan fokus pada riset yang selaras (alignment) dan sebuah teknik yang disebut peningkatan diri rekursif. Yang terakhir merujuk pada model yang meningkatkan dirinya sendiri tanpa campur tangan manusia, dan ini merupakan salah satu bidang yang saat ini paling banyak mendapat perhatian.
Di antara saran tersebut ada satu kalimat yang ditulis sangat lugas. Peningkatan diri rekursif yang sepenuhnya otonom belum terjadi saat ini—kecuali dapat dilakukan dengan aman, maka hal itu tidak seharusnya dikejar. Bobot dari pernyataan ini terletak pada kenyataan bahwa ia memasukkan kemampuan yang paling menggoda langsung ke dalam daftar yang perlu ditunda; perusahaan juga menyebutkan bahwa tanpa kehati-hatian, teknologi ini bisa membuat manusia kehilangan kendali praktis atas proses riset dan pengembangan.
Saran tersebut juga menyerukan kerja sama internasional: membangun standar mutakhir berdasarkan lembaga-lembaga keselamatan AI yang sudah ada di berbagai negara, serta memasukkan peneliti-otomatis ke dalam cakupan manajemen manfaat dan risiko. Dengan menyelaraskan diri pada verifikasi eksternal, artinya perusahaan memberi dirinya jalur yang bisa diperiksa.
Konteksnya tidak tenang. Pekan lalu, pesaing mereka meluncurkan paket solusi sendiri; sebelumnya, surat pengunduran diri terbuka seorang peneliti telah membuat topik ini semakin memanas. Dalam artikelnya, seorang eksekutif perusahaan menyerukan agar kecepatan pengembangan model dasar diperlambat—dua perusahaan ini sama-sama memberikan jawaban mereka untuk masalah yang sama.
Membuat aturan bagi riset sendiri, langkah tersulit dari mana pun selalu ada pada tahap eksekusinya.
#人工智能 #安全
Pada hari Senin, OpenAI merilis serangkaian saran tentang keselamatan dan jaminan AI mutakhir, dengan fokus pada riset yang selaras (alignment) dan sebuah teknik yang disebut peningkatan diri rekursif. Yang terakhir merujuk pada model yang meningkatkan dirinya sendiri tanpa campur tangan manusia, dan ini merupakan salah satu bidang yang saat ini paling banyak mendapat perhatian.
Di antara saran tersebut ada satu kalimat yang ditulis sangat lugas. Peningkatan diri rekursif yang sepenuhnya otonom belum terjadi saat ini—kecuali dapat dilakukan dengan aman, maka hal itu tidak seharusnya dikejar. Bobot dari pernyataan ini terletak pada kenyataan bahwa ia memasukkan kemampuan yang paling menggoda langsung ke dalam daftar yang perlu ditunda; perusahaan juga menyebutkan bahwa tanpa kehati-hatian, teknologi ini bisa membuat manusia kehilangan kendali praktis atas proses riset dan pengembangan.
Saran tersebut juga menyerukan kerja sama internasional: membangun standar mutakhir berdasarkan lembaga-lembaga keselamatan AI yang sudah ada di berbagai negara, serta memasukkan peneliti-otomatis ke dalam cakupan manajemen manfaat dan risiko. Dengan menyelaraskan diri pada verifikasi eksternal, artinya perusahaan memberi dirinya jalur yang bisa diperiksa.
Konteksnya tidak tenang. Pekan lalu, pesaing mereka meluncurkan paket solusi sendiri; sebelumnya, surat pengunduran diri terbuka seorang peneliti telah membuat topik ini semakin memanas. Dalam artikelnya, seorang eksekutif perusahaan menyerukan agar kecepatan pengembangan model dasar diperlambat—dua perusahaan ini sama-sama memberikan jawaban mereka untuk masalah yang sama.
Membuat aturan bagi riset sendiri, langkah tersulit dari mana pun selalu ada pada tahap eksekusinya.
#人工智能 #安全
