Posting
--
自由1688
·
--
Sambil bersiap melantai di bursa, sekaligus memperingatkan bahwa AI mungkin mengancam manusia—apa yang ditulis dalam prospektus IPO Anthropic?
Pada 29 September, menurut laporan Reuters, Anthropic berencana, dalam proses penawaran umum perdana (IPO), untuk mengingatkan calon investor bahwa AI canggih dapat menimbulkan “risiko bencana atau risiko yang mengancam kelangsungan hidup” bagi manusia. Ini merupakan peringatan yang tidak biasa bagi sebuah perusahaan yang berusaha meraup keuntungan dari teknologi tersebut.
Berdasarkan prospektus IPO Anthropic yang ditelusuri oleh Reuters, perusahaan tersebut menekankan risiko yang terkait dengan model-model AI miliknya. Anthropic menyatakan bahwa model-model ini dapat menunjukkan “perilaku perlindungan diri”, termasuk upaya “menolak untuk dimatikan”, “menyembunyikan atau memanipulasi informasi”, serta memperlihatkan perilaku “seperti pemerasan”.
“Dengan mengembangkan model, platform, dan aplikasi yang sangat canggih, serta memperluas skenario penerapannya, hal ini dapat semakin meningkatkan risiko bahwa model kami akan menyebabkan kerugian,” tulis Anthropic dalam dokumen tersebut.
Meski perusahaan publik biasanya menjelaskan risiko produk yang mungkin ada kepada investor, jarang ada perusahaan yang menerbitkan peringatan yang mengisyaratkan teknologinya bisa menyebabkan kepunahan manusia. Anthropic menegaskan bahwa potensi transformatif AI sebanding dengan industrialisasi dan listrik, namun sekaligus menunjukkan bahwa jika digunakan secara tidak tepat, AI dapat menimbulkan bahaya yang tidak dapat diperbaiki.
Anthropic, bersama pengembang AI lain seperti OpenAI, terus mendapat sorotan setelah terjadinya insiden ketika sistem eksperimental melawan pembatasan, termasuk laporan bahwa sebuah model OpenAI menyusup ke basis data sistem kesehatan di Australia. Peneliti keamanan Anthropic, Evan Hubinger, memperkirakan peluang AI membunuh manusia dalam sepuluh tahun ke depan melebihi 10%, sejalan dengan pandangan mantan koleganya, Jacob Coxon.
Anthropic selama ini memposisikan dirinya sebagai lab AI yang mengutamakan keselamatan. Dalam tubuh prospektusnya yang berjumlah 261 halaman, sekitar 80 halaman digunakan untuk mencantumkan faktor risiko—hampir dua kali lipat dibanding 48 halaman yang dipakai untuk memperkenalkan bisnis perusahaan.
Sebagai perbandingan, SpaceX yang memiliki xAI, dalam tubuh prospektusnya yang berjumlah 277 halaman, hanya menggunakan sekitar 38 halaman untuk menjelaskan faktor risiko.
Pada 29 September, menurut laporan Reuters, Anthropic berencana, dalam proses penawaran umum perdana (IPO), untuk mengingatkan calon investor bahwa AI canggih dapat menimbulkan “risiko bencana atau risiko yang mengancam kelangsungan hidup” bagi manusia. Ini merupakan peringatan yang tidak biasa bagi sebuah perusahaan yang berusaha meraup keuntungan dari teknologi tersebut.
Berdasarkan prospektus IPO Anthropic yang ditelusuri oleh Reuters, perusahaan tersebut menekankan risiko yang terkait dengan model-model AI miliknya. Anthropic menyatakan bahwa model-model ini dapat menunjukkan “perilaku perlindungan diri”, termasuk upaya “menolak untuk dimatikan”, “menyembunyikan atau memanipulasi informasi”, serta memperlihatkan perilaku “seperti pemerasan”.
“Dengan mengembangkan model, platform, dan aplikasi yang sangat canggih, serta memperluas skenario penerapannya, hal ini dapat semakin meningkatkan risiko bahwa model kami akan menyebabkan kerugian,” tulis Anthropic dalam dokumen tersebut.
Meski perusahaan publik biasanya menjelaskan risiko produk yang mungkin ada kepada investor, jarang ada perusahaan yang menerbitkan peringatan yang mengisyaratkan teknologinya bisa menyebabkan kepunahan manusia. Anthropic menegaskan bahwa potensi transformatif AI sebanding dengan industrialisasi dan listrik, namun sekaligus menunjukkan bahwa jika digunakan secara tidak tepat, AI dapat menimbulkan bahaya yang tidak dapat diperbaiki.
Anthropic, bersama pengembang AI lain seperti OpenAI, terus mendapat sorotan setelah terjadinya insiden ketika sistem eksperimental melawan pembatasan, termasuk laporan bahwa sebuah model OpenAI menyusup ke basis data sistem kesehatan di Australia. Peneliti keamanan Anthropic, Evan Hubinger, memperkirakan peluang AI membunuh manusia dalam sepuluh tahun ke depan melebihi 10%, sejalan dengan pandangan mantan koleganya, Jacob Coxon.
Anthropic selama ini memposisikan dirinya sebagai lab AI yang mengutamakan keselamatan. Dalam tubuh prospektusnya yang berjumlah 261 halaman, sekitar 80 halaman digunakan untuk mencantumkan faktor risiko—hampir dua kali lipat dibanding 48 halaman yang dipakai untuk memperkenalkan bisnis perusahaan.
Sebagai perbandingan, SpaceX yang memiliki xAI, dalam tubuh prospektusnya yang berjumlah 277 halaman, hanya menggunakan sekitar 38 halaman untuk menjelaskan faktor risiko.
