ByteDance Seed đã thành lập một bộ phận chuyên trách về an toàn và căn chỉnh mô hình. Tôi thấy việc này quả thực rất cần thiết.
Lần này, họ dự định tuyển dụng 10 nhà nghiên cứu hàng đầu trên toàn cầu cho bộ phận này.
Các đề tài nghiên cứu gồm:
Phương pháp đánh giá tiên tiến và xây dựng benchmark cho an toàn của mô hình lớn và Agent
Phương pháp huấn luyện để căn chỉnh các năng lực tiên tiến của mô hình
Red Teaming tự động
Khả năng diễn giải hành vi của mô hình
Giám sát năng lực và hành vi của mô hình
Đãi ngộ của ByteDance vốn rất tốt, bản thân công việc cũng đầy thách thức. Những người bạn gần đây đang tìm hiểu các công việc trong lĩnh vực tương tự có thể thử ứng tuyển.
Gần đây, cả mô hình lớn lẫn mô hình nhỏ đều thường xuyên gặp vấn đề bị jailbreak và vượt qua môi trường cách ly sandbox.
Hơn nữa, rủi ro kiểu này hoặc chỉ gây ra sự cố nhỏ, hoặc sẽ bùng phát thành một vụ lớn. Chuẩn bị sẵn nguồn lực và nghiên cứu liên tục từ trước, ít nhất sẽ giúp phản ứng nhanh khi xảy ra sự cố.
Khi năng lực của mô hình ngày càng cao và tính tự chủ ngày càng mạnh, những rủi ro tiềm ẩn trong một số lĩnh vực nguy hiểm cũng ngày càng lớn:
Ví dụ như lĩnh vực CBRN (hóa học, sinh học, phóng xạ và hạt nhân).
Có thể nhiều người nghĩ rằng bốn lĩnh vực nói trên còn quá xa vời với chúng ta, nhưng các cuộc tấn công nội dung nhắm vào cá nhân trên Internet thì lại gần chúng ta hơn nhiều.
AI thậm chí có thể trực tiếp chỉnh sửa ứng dụng, thậm chí kiểm soát các thiết bị khác trong nhà.
Khi AI có thể bẻ khóa mọi phần mềm, việc AI viết ra những loại virus cực kỳ lợi hại cũng là điều tất yếu.
Bao gồm cả việc phá giải mật mã học — nền tảng cho sự tồn tại của toàn bộ Internet — tiến triển hẳn cũng sẽ rất nhanh.
Khách quan mà nói, tiến triển trong lĩnh vực này ở Trung Quốc thực ra chậm hơn OpenAI và Anthropic.
Anthropic được thành lập với mục tiêu an toàn, và đã nghiên cứu về căn chỉnh và khả năng diễn giải trong thời gian dài. Trong khi đó, giới AI ở nước ngoài gần như cứ một đến hai tuần lại có một chủ đề nóng về an toàn, chẳng hạn như nhà nghiên cứu an toàn của OpenAI từ chức vài ngày trước, hay vụ Hugging Face bị xâm nhập trước đó.
An toàn mô hình là một lĩnh vực liên ngành rất tiên tiến, đòi hỏi phải khám phá nhiều và đặt ra yêu cầu tổng hợp khá cao đối với các nhà nghiên cứu.
Đó cũng là lý do họ tuyển dụng công khai trên toàn cầu những nhân tài hàng đầu như vậy. Ai quan tâm có thể theo dõi thêm.
Lần này, họ dự định tuyển dụng 10 nhà nghiên cứu hàng đầu trên toàn cầu cho bộ phận này.
Các đề tài nghiên cứu gồm:
Phương pháp đánh giá tiên tiến và xây dựng benchmark cho an toàn của mô hình lớn và Agent
Phương pháp huấn luyện để căn chỉnh các năng lực tiên tiến của mô hình
Red Teaming tự động
Khả năng diễn giải hành vi của mô hình
Giám sát năng lực và hành vi của mô hình
Đãi ngộ của ByteDance vốn rất tốt, bản thân công việc cũng đầy thách thức. Những người bạn gần đây đang tìm hiểu các công việc trong lĩnh vực tương tự có thể thử ứng tuyển.
Gần đây, cả mô hình lớn lẫn mô hình nhỏ đều thường xuyên gặp vấn đề bị jailbreak và vượt qua môi trường cách ly sandbox.
Hơn nữa, rủi ro kiểu này hoặc chỉ gây ra sự cố nhỏ, hoặc sẽ bùng phát thành một vụ lớn. Chuẩn bị sẵn nguồn lực và nghiên cứu liên tục từ trước, ít nhất sẽ giúp phản ứng nhanh khi xảy ra sự cố.
Khi năng lực của mô hình ngày càng cao và tính tự chủ ngày càng mạnh, những rủi ro tiềm ẩn trong một số lĩnh vực nguy hiểm cũng ngày càng lớn:
Ví dụ như lĩnh vực CBRN (hóa học, sinh học, phóng xạ và hạt nhân).
Có thể nhiều người nghĩ rằng bốn lĩnh vực nói trên còn quá xa vời với chúng ta, nhưng các cuộc tấn công nội dung nhắm vào cá nhân trên Internet thì lại gần chúng ta hơn nhiều.
AI thậm chí có thể trực tiếp chỉnh sửa ứng dụng, thậm chí kiểm soát các thiết bị khác trong nhà.
Khi AI có thể bẻ khóa mọi phần mềm, việc AI viết ra những loại virus cực kỳ lợi hại cũng là điều tất yếu.
Bao gồm cả việc phá giải mật mã học — nền tảng cho sự tồn tại của toàn bộ Internet — tiến triển hẳn cũng sẽ rất nhanh.
Khách quan mà nói, tiến triển trong lĩnh vực này ở Trung Quốc thực ra chậm hơn OpenAI và Anthropic.
Anthropic được thành lập với mục tiêu an toàn, và đã nghiên cứu về căn chỉnh và khả năng diễn giải trong thời gian dài. Trong khi đó, giới AI ở nước ngoài gần như cứ một đến hai tuần lại có một chủ đề nóng về an toàn, chẳng hạn như nhà nghiên cứu an toàn của OpenAI từ chức vài ngày trước, hay vụ Hugging Face bị xâm nhập trước đó.
An toàn mô hình là một lĩnh vực liên ngành rất tiên tiến, đòi hỏi phải khám phá nhiều và đặt ra yêu cầu tổng hợp khá cao đối với các nhà nghiên cứu.
Đó cũng là lý do họ tuyển dụng công khai trên toàn cầu những nhân tài hàng đầu như vậy. Ai quan tâm có thể theo dõi thêm.