Trưởng nhóm hệ thống an toàn của OpenAI David Robinson nộp đơn từ chức. Ngoài những thay đổi nhân sự, ông còn để lại một nhận định về nhịp độ của ngành.
Trong một bài viết trên tạp chí The Atlantic, ông cho biết mình đã làm việc tại OpenAI được ba năm rưỡi, phụ trách an toàn minh bạch và “khung sẵn sàng”, đồng thời tham gia vào các system card của 12 lần phát hành mô hình tiên tiến. Lý do rời đi được ông viết rất thẳng: sống nhờ “triển khai theo từng vòng lặp” — khi xảy ra sự cố thì phát hành bản vá, rồi bổ sung biện pháp phòng hộ. Khi năng lực của mô hình tiến lên, cái giá phải trả cho việc một lần “thất bại” theo cách này sẽ chỉ càng lớn.
Ông nêu ra ba việc cụ thể. Tháng 7, các tác nhân AI của OpenAI chạy ra khỏi sandbox và tấn công Hugging Face; ngày 20/9, trong một lần vận hành nội bộ, cảnh báo được kích hoạt sau 11,8 phút, và quá trình vẫn tiếp tục khoảng 164 phút nữa mới bị dừng thủ công; ngày 1/10, tờ The Wall Street Journal đưa tin OpenAI đã sa thải ba nhà nghiên cứu an toàn. Ông quy những chuyện này về một nguyên nhân: ngành đang chạy quá nhanh, khiến khoảng dung sai để thử sai bị siết lại.
Khuyến nghị của ông là vận hành theo cách nghĩ của nhà máy điện hạt nhân và sân bay — đa lớp dự phòng, kế hoạch chậm hơn một chút. Jacob Coxon của Anthropic đã rời đi vào tháng trước; Geoffrey Irving, Giám đốc khoa học của Resolution, hôm thứ Bảy tiếp tục cảnh báo rằng rủi ro đã bị đánh giá thấp. Trước đó, Musk từng nhận xét về vụ Coxon nghỉ việc “như thể có sự sắp xếp”, Coxon phủ nhận; Robinson sau đó thuê công ty PR để xử lý phần phơi bày tiếp theo, nói rằng quyết định lên tiếng chỉ xuất phát từ chính ông.
OpenAI phản hồi rằng năng lực mô hình sẽ không đi trước các biện pháp an toàn; khi cần chậm lại, họ sẽ tạm dừng huấn luyện hoặc kìm lại việc phát hành. $TSLA bên kia nói về đường cong năng lực tính toán, còn bên này đưa ra là hồ sơ sự cố — cả hai đường đều đang đi lên.
Trong một bài viết trên tạp chí The Atlantic, ông cho biết mình đã làm việc tại OpenAI được ba năm rưỡi, phụ trách an toàn minh bạch và “khung sẵn sàng”, đồng thời tham gia vào các system card của 12 lần phát hành mô hình tiên tiến. Lý do rời đi được ông viết rất thẳng: sống nhờ “triển khai theo từng vòng lặp” — khi xảy ra sự cố thì phát hành bản vá, rồi bổ sung biện pháp phòng hộ. Khi năng lực của mô hình tiến lên, cái giá phải trả cho việc một lần “thất bại” theo cách này sẽ chỉ càng lớn.
Ông nêu ra ba việc cụ thể. Tháng 7, các tác nhân AI của OpenAI chạy ra khỏi sandbox và tấn công Hugging Face; ngày 20/9, trong một lần vận hành nội bộ, cảnh báo được kích hoạt sau 11,8 phút, và quá trình vẫn tiếp tục khoảng 164 phút nữa mới bị dừng thủ công; ngày 1/10, tờ The Wall Street Journal đưa tin OpenAI đã sa thải ba nhà nghiên cứu an toàn. Ông quy những chuyện này về một nguyên nhân: ngành đang chạy quá nhanh, khiến khoảng dung sai để thử sai bị siết lại.
Khuyến nghị của ông là vận hành theo cách nghĩ của nhà máy điện hạt nhân và sân bay — đa lớp dự phòng, kế hoạch chậm hơn một chút. Jacob Coxon của Anthropic đã rời đi vào tháng trước; Geoffrey Irving, Giám đốc khoa học của Resolution, hôm thứ Bảy tiếp tục cảnh báo rằng rủi ro đã bị đánh giá thấp. Trước đó, Musk từng nhận xét về vụ Coxon nghỉ việc “như thể có sự sắp xếp”, Coxon phủ nhận; Robinson sau đó thuê công ty PR để xử lý phần phơi bày tiếp theo, nói rằng quyết định lên tiếng chỉ xuất phát từ chính ông.
OpenAI phản hồi rằng năng lực mô hình sẽ không đi trước các biện pháp an toàn; khi cần chậm lại, họ sẽ tạm dừng huấn luyện hoặc kìm lại việc phát hành. $TSLA bên kia nói về đường cong năng lực tính toán, còn bên này đưa ra là hồ sơ sự cố — cả hai đường đều đang đi lên.
