Menarik dan edukatif
Posting
Cryptopolitan
·
--
Peneliti Meta, Google, OpenAI khawatir bahwa AI bisa belajar untuk menyembunyikan pikirannya
Lebih dari 40 peneliti AI dari OpenAI, DeepMind, Google, Anthropic, dan Meta menerbitkan makalah tentang alat keselamatan yang disebut pemantauan rantai pemikiran untuk membuat AI lebih aman.
Makalah yang diterbitkan pada hari Selasa menjelaskan bagaimana model AI, seperti chatbot saat ini, menyelesaikan masalah dengan memecahnya menjadi langkah-langkah yang lebih kecil, berbicara melalui setiap langkah dalam bahasa yang sederhana sehingga mereka dapat mempertahankan detail dan menangani pertanyaan yang kompleks.
“Sistem AI yang ‘berpikir’ dalam bahasa manusia menawarkan kesempatan unik untuk keamanan kecerdasan buatan: kita dapat memantau rantai pemikiran mereka (CoT) untuk niat berperilaku buruk,” kata makalah itu.
Makalah yang diterbitkan pada hari Selasa menjelaskan bagaimana model AI, seperti chatbot saat ini, menyelesaikan masalah dengan memecahnya menjadi langkah-langkah yang lebih kecil, berbicara melalui setiap langkah dalam bahasa yang sederhana sehingga mereka dapat mempertahankan detail dan menangani pertanyaan yang kompleks.
“Sistem AI yang ‘berpikir’ dalam bahasa manusia menawarkan kesempatan unik untuk keamanan kecerdasan buatan: kita dapat memantau rantai pemikiran mereka (CoT) untuk niat berperilaku buruk,” kata makalah itu.