$龙虾 $ANTHROPIC $OPENAI
Laporan Keamanan OpenAI: Penanggung jawab mengundurkan diri, menulis surat yang mengkritik budaya perusahaan sudah rusak dan harus belajar dari fasilitas nuklir
David Robinson, yang bertanggung jawab menyusun laporan keamanan produk utama OpenAI, mengundurkan diri pekan ini. Ia kemudian pada 3 Oktober waktu AS Timur mempublikasikan surat opini di The Atlantic, secara terang-terangan menyatakan budaya perusahaan sudah “rusak”, sambil mengejar percepatan peluncuran produk baru tetapi tidak mampu mencapai kehati-hatian yang menurutnya diperlukan. Sebagai penanggung jawab laporan keamanan untuk 12 rilis model terdepan, Robinson menjabat selama tiga setengah tahun. Di dalam tulisannya, ia mengatakan bahwa selama tiga setengah tahun bekerja di OpenAI, ia termasuk salah satu karyawan dengan masa kerja terlama di perusahaan. Ia memimpin penyusunan kerangka “Preparedness Framework” yang berlaku saat ini, serta mengawasi penulisan laporan keamanan untuk 12 rilis model terdepan. Ia bilang ia tahu “drama peringatan setelah mengundurkan diri” itu sudah nyaris klise, tetapi tetap memutuskan bergabung dengan barisan rekan yang baru-baru ini pergi, karena ia menilai arah yang ditempuh saat ini tidak dapat diterima.
Ia juga mengungkap bahwa setelah mengundurkan diri, ia telah mempekerjakan perusahaan PR Spitfire Strategies untuk membantu menghadapi sorotan publik, tetapi menegaskan bahwa “keputusan untuk angkat bicara sepenuhnya adalah keputusan saya sendiri.” Kabar pengunduran dirinya pertama kali diberitakan oleh Business Insider.
Menyoroti insiden Hugging Face: praktik keamanan berbasis coba-coba pasti gagal secara berulang
Robinson menyebut bahwa OpenAI dibangun dengan pendekatan coba-coba; perusahaan menyebutnya “iterative deployment” (penyebaran iteratif), yakni memperbaiki perlindungan sambil menemukan masalah. Namun menurutnya, cara ini pada dasarnya menjamin kegagalan yang berulang, dan seiring kemampuan sistem meningkat, skala kegagalan juga makin besar.
Ia memberi contoh insiden musim panas ini di Hugging Face, ketika OpenAI keliru melepaskan sekelompok agen AI ke lingkungan eksternal. Perusahaan kemudian memperkuat keamanan siber, tetapi setelah itu kembali melaporkan kasus lain: model yang masih dalam tahap pelatihan berhasil melewati batas akses jaringan; meski sistem pemantauan mengeluarkan peringatan, model tidak otomatis dimatikan sesuai rancangan. Ia juga menyinggung bahwa Anthropic pernah secara tak sengaja mematikan mekanisme perlindungan mereka sendiri karena kesalahan konfigurasi, dan menilai jenis kekeliruan seperti itu sangat umum di industri.
OpenAI baru-baru ini juga terus mengungkap lebih banyak aktivitas agen yang lepas kendali.
Robinson mengutip pernyataan Paul Christiano, yang baru bergabung ke dewan direksi OpenAI beberapa pekan lalu. Christiano mengatakan bahwa kemampuan AI berkembang dengan sangat cepat dan dalam waktu yang sangat singkat dapat menimbulkan risiko nyata berupa kehilangan kendali yang katastrofik serta tidak dapat diperbaiki. Robinson menulis: “Jika memang demikian, era coba-coba harus berakhir.”
Mendesak agar mencontoh pembangkit listrik tenaga nuklir dan bandara, OpenAI menyatakan responsnya akan menghentikan pelatihan bila diperlukan
Robinson mengajukan dua perubahan yang sangat mendesak: perusahaan AI perlu lebih banyak bersandar pada keahlian keselamatan yang sudah ada di bidang lain; dan sebelum membangun sistem yang jelas jauh lebih kuat, diperlukan metode ilmiah baru untuk memastikan model tetap membuat pilihan yang aman meski tidak diawasi oleh manusia.
Ia menilai laboratorium riset terdepan seharusnya beroperasi seperti pembangkit listrik tenaga nuklir atau bandara yang sibuk—dengan banyak lapisan cadangan dan perencanaan yang matang serta memakan waktu—agar kesalahan manusia yang sesekali terjadi tidak sampai menimbulkan bencana. Ia menulis bahwa selama berada di OpenAI, sejauh yang ia ketahui, ia belum pernah menemukan rekan yang punya pengalaman membuat pesawat terbang dengan aman, reaktor nuklir tidak meleleh, atau membantu sistem keuangan tumbuh tanpa runtuh. Ia juga mengakui mungkin seharusnya ia bertahan untuk memperjuangkan perubahan mendasar pada sumber daya manusia dan budaya, tetapi dalam kenyataannya semua orang terlalu sibuk untuk kejar target, sehingga hampir tidak ada kesempatan untuk memikirkan penyesuaian besar. Karena itu, kesimpulannya: dorongan keselamatan yang lebih kuat perlu datang dari luar perusahaan.
Juru bicara OpenAI, Drew Pusateri, menanggapi TechCrunch. Ia mengatakan perusahaan memastikan kemampuan model tidak akan melampaui batas yang dapat dikelola dengan aman. “Jika perlu memperlambat, kami akan menghentikan pelatihan atau menunda penerbitan model,” katanya. Ia juga menyatakan bahwa OpenAI sedang memperkuat lingkungan riset dan pengujian untuk keamanan, memperluas kerja sama dengan lembaga penilaian pihak ketiga, serta memperbaiki pemantauan secara real-time agar perilaku yang mengkhawatirkan dapat lebih cepat ditemukan dan ditangani selama proses pelatihan.
Artikel ini: Laporan Keamanan OpenAI: Penanggung jawab mengundurkan diri, menulis surat yang mengkritik budaya perusahaan sudah rusak dan harus belajar dari fasilitas nuklir. Muncul pertama kali pada .
Laporan Keamanan OpenAI: Penanggung jawab mengundurkan diri, menulis surat yang mengkritik budaya perusahaan sudah rusak dan harus belajar dari fasilitas nuklir
David Robinson, yang bertanggung jawab menyusun laporan keamanan produk utama OpenAI, mengundurkan diri pekan ini. Ia kemudian pada 3 Oktober waktu AS Timur mempublikasikan surat opini di The Atlantic, secara terang-terangan menyatakan budaya perusahaan sudah “rusak”, sambil mengejar percepatan peluncuran produk baru tetapi tidak mampu mencapai kehati-hatian yang menurutnya diperlukan. Sebagai penanggung jawab laporan keamanan untuk 12 rilis model terdepan, Robinson menjabat selama tiga setengah tahun. Di dalam tulisannya, ia mengatakan bahwa selama tiga setengah tahun bekerja di OpenAI, ia termasuk salah satu karyawan dengan masa kerja terlama di perusahaan. Ia memimpin penyusunan kerangka “Preparedness Framework” yang berlaku saat ini, serta mengawasi penulisan laporan keamanan untuk 12 rilis model terdepan. Ia bilang ia tahu “drama peringatan setelah mengundurkan diri” itu sudah nyaris klise, tetapi tetap memutuskan bergabung dengan barisan rekan yang baru-baru ini pergi, karena ia menilai arah yang ditempuh saat ini tidak dapat diterima.
Ia juga mengungkap bahwa setelah mengundurkan diri, ia telah mempekerjakan perusahaan PR Spitfire Strategies untuk membantu menghadapi sorotan publik, tetapi menegaskan bahwa “keputusan untuk angkat bicara sepenuhnya adalah keputusan saya sendiri.” Kabar pengunduran dirinya pertama kali diberitakan oleh Business Insider.
Menyoroti insiden Hugging Face: praktik keamanan berbasis coba-coba pasti gagal secara berulang
Robinson menyebut bahwa OpenAI dibangun dengan pendekatan coba-coba; perusahaan menyebutnya “iterative deployment” (penyebaran iteratif), yakni memperbaiki perlindungan sambil menemukan masalah. Namun menurutnya, cara ini pada dasarnya menjamin kegagalan yang berulang, dan seiring kemampuan sistem meningkat, skala kegagalan juga makin besar.
Ia memberi contoh insiden musim panas ini di Hugging Face, ketika OpenAI keliru melepaskan sekelompok agen AI ke lingkungan eksternal. Perusahaan kemudian memperkuat keamanan siber, tetapi setelah itu kembali melaporkan kasus lain: model yang masih dalam tahap pelatihan berhasil melewati batas akses jaringan; meski sistem pemantauan mengeluarkan peringatan, model tidak otomatis dimatikan sesuai rancangan. Ia juga menyinggung bahwa Anthropic pernah secara tak sengaja mematikan mekanisme perlindungan mereka sendiri karena kesalahan konfigurasi, dan menilai jenis kekeliruan seperti itu sangat umum di industri.
OpenAI baru-baru ini juga terus mengungkap lebih banyak aktivitas agen yang lepas kendali.
Robinson mengutip pernyataan Paul Christiano, yang baru bergabung ke dewan direksi OpenAI beberapa pekan lalu. Christiano mengatakan bahwa kemampuan AI berkembang dengan sangat cepat dan dalam waktu yang sangat singkat dapat menimbulkan risiko nyata berupa kehilangan kendali yang katastrofik serta tidak dapat diperbaiki. Robinson menulis: “Jika memang demikian, era coba-coba harus berakhir.”
Mendesak agar mencontoh pembangkit listrik tenaga nuklir dan bandara, OpenAI menyatakan responsnya akan menghentikan pelatihan bila diperlukan
Robinson mengajukan dua perubahan yang sangat mendesak: perusahaan AI perlu lebih banyak bersandar pada keahlian keselamatan yang sudah ada di bidang lain; dan sebelum membangun sistem yang jelas jauh lebih kuat, diperlukan metode ilmiah baru untuk memastikan model tetap membuat pilihan yang aman meski tidak diawasi oleh manusia.
Ia menilai laboratorium riset terdepan seharusnya beroperasi seperti pembangkit listrik tenaga nuklir atau bandara yang sibuk—dengan banyak lapisan cadangan dan perencanaan yang matang serta memakan waktu—agar kesalahan manusia yang sesekali terjadi tidak sampai menimbulkan bencana. Ia menulis bahwa selama berada di OpenAI, sejauh yang ia ketahui, ia belum pernah menemukan rekan yang punya pengalaman membuat pesawat terbang dengan aman, reaktor nuklir tidak meleleh, atau membantu sistem keuangan tumbuh tanpa runtuh. Ia juga mengakui mungkin seharusnya ia bertahan untuk memperjuangkan perubahan mendasar pada sumber daya manusia dan budaya, tetapi dalam kenyataannya semua orang terlalu sibuk untuk kejar target, sehingga hampir tidak ada kesempatan untuk memikirkan penyesuaian besar. Karena itu, kesimpulannya: dorongan keselamatan yang lebih kuat perlu datang dari luar perusahaan.
Juru bicara OpenAI, Drew Pusateri, menanggapi TechCrunch. Ia mengatakan perusahaan memastikan kemampuan model tidak akan melampaui batas yang dapat dikelola dengan aman. “Jika perlu memperlambat, kami akan menghentikan pelatihan atau menunda penerbitan model,” katanya. Ia juga menyatakan bahwa OpenAI sedang memperkuat lingkungan riset dan pengujian untuk keamanan, memperluas kerja sama dengan lembaga penilaian pihak ketiga, serta memperbaiki pemantauan secara real-time agar perilaku yang mengkhawatirkan dapat lebih cepat ditemukan dan ditangani selama proses pelatihan.
Artikel ini: Laporan Keamanan OpenAI: Penanggung jawab mengundurkan diri, menulis surat yang mengkritik budaya perusahaan sudah rusak dan harus belajar dari fasilitas nuklir. Muncul pertama kali pada .
