ByteDance Seed membentuk departemen khusus untuk keamanan dan penyelarasan model. Rasanya memang sangat diperlukan.
Kali ini mereka berencana merekrut 10 peneliti terbaik dari seluruh dunia untuk bergabung dengan departemen ini.
Topik penelitiannya meliputi:
Metode evaluasi mutakhir dan pengembangan benchmark untuk keamanan model besar dan agen
Metode pelatihan untuk menyelaraskan kemampuan mutakhir model
Red teaming otomatis
Interpretabilitas perilaku model
Pemantauan kemampuan dan perilaku model
Kompensasi di ByteDance selalu sangat menarik, dan pekerjaannya sendiri juga penuh tantangan. Teman-teman yang belakangan ini sedang mencari pekerjaan di bidang serupa boleh mencoba melamar.
Belakangan ini, baik model besar maupun kecil sering mengalami jailbreak dan berhasil menembus lingkungan yang diisolasi oleh sandbox.
Risiko seperti ini bisa saja hanya menimbulkan masalah kecil, atau justru berujung pada insiden besar. Dengan menyiapkan sumber daya sejak dini dan terus melakukan riset, setidaknya kita bisa merespons dengan cepat saat masalah muncul.
Seiring meningkatnya kemampuan dan otonomi model, potensi bahaya di sejumlah bidang berisiko juga semakin besar:
Misalnya, bidang CBRN (kimia, biologi, radiologi, dan nuklir).
Mungkin banyak orang merasa empat bidang di atas masih jauh dari kehidupan kita, tetapi serangan konten yang ditujukan kepada individu di internet sangat dekat dengan kita.
AI bahkan mungkin bisa langsung memodifikasi aplikasi, bahkan mengendalikan perangkat lain di rumah.
Seiring AI mampu membobol segala jenis perangkat lunak, AI yang menulis virus yang sangat canggih pun menjadi sesuatu yang masuk akal.
Termasuk membobol kriptografi yang menjadi fondasi seluruh internet kita—kemajuannya pun seharusnya berlangsung sangat pesat.
Secara objektif, kemajuan dalam bidang ini di dalam negeri sebenarnya masih tertinggal dari OpenAI dan Anthropic.
Anthropic didirikan dengan tujuan utama untuk mengutamakan keamanan dan telah lama meneliti penyelarasan serta interpretabilitas. Sementara itu, di komunitas AI luar negeri, topik hangat seputar keamanan muncul hampir setiap satu atau dua minggu. Misalnya, beberapa hari lalu seorang peneliti keamanan OpenAI mengundurkan diri, dan sebelumnya Hugging Face pernah diretas.
Keamanan model adalah bidang lintas disiplin yang sangat mutakhir dan membutuhkan banyak eksplorasi. Bidang ini juga menuntut kemampuan yang cukup tinggi dari para peneliti.
Itulah sebabnya mereka merekrut talenta terbaik dari seluruh dunia secara terbuka. Yang tertarik bisa mencari tahu lebih lanjut.
Kali ini mereka berencana merekrut 10 peneliti terbaik dari seluruh dunia untuk bergabung dengan departemen ini.
Topik penelitiannya meliputi:
Metode evaluasi mutakhir dan pengembangan benchmark untuk keamanan model besar dan agen
Metode pelatihan untuk menyelaraskan kemampuan mutakhir model
Red teaming otomatis
Interpretabilitas perilaku model
Pemantauan kemampuan dan perilaku model
Kompensasi di ByteDance selalu sangat menarik, dan pekerjaannya sendiri juga penuh tantangan. Teman-teman yang belakangan ini sedang mencari pekerjaan di bidang serupa boleh mencoba melamar.
Belakangan ini, baik model besar maupun kecil sering mengalami jailbreak dan berhasil menembus lingkungan yang diisolasi oleh sandbox.
Risiko seperti ini bisa saja hanya menimbulkan masalah kecil, atau justru berujung pada insiden besar. Dengan menyiapkan sumber daya sejak dini dan terus melakukan riset, setidaknya kita bisa merespons dengan cepat saat masalah muncul.
Seiring meningkatnya kemampuan dan otonomi model, potensi bahaya di sejumlah bidang berisiko juga semakin besar:
Misalnya, bidang CBRN (kimia, biologi, radiologi, dan nuklir).
Mungkin banyak orang merasa empat bidang di atas masih jauh dari kehidupan kita, tetapi serangan konten yang ditujukan kepada individu di internet sangat dekat dengan kita.
AI bahkan mungkin bisa langsung memodifikasi aplikasi, bahkan mengendalikan perangkat lain di rumah.
Seiring AI mampu membobol segala jenis perangkat lunak, AI yang menulis virus yang sangat canggih pun menjadi sesuatu yang masuk akal.
Termasuk membobol kriptografi yang menjadi fondasi seluruh internet kita—kemajuannya pun seharusnya berlangsung sangat pesat.
Secara objektif, kemajuan dalam bidang ini di dalam negeri sebenarnya masih tertinggal dari OpenAI dan Anthropic.
Anthropic didirikan dengan tujuan utama untuk mengutamakan keamanan dan telah lama meneliti penyelarasan serta interpretabilitas. Sementara itu, di komunitas AI luar negeri, topik hangat seputar keamanan muncul hampir setiap satu atau dua minggu. Misalnya, beberapa hari lalu seorang peneliti keamanan OpenAI mengundurkan diri, dan sebelumnya Hugging Face pernah diretas.
Keamanan model adalah bidang lintas disiplin yang sangat mutakhir dan membutuhkan banyak eksplorasi. Bidang ini juga menuntut kemampuan yang cukup tinggi dari para peneliti.
Itulah sebabnya mereka merekrut talenta terbaik dari seluruh dunia secara terbuka. Yang tertarik bisa mencari tahu lebih lanjut.