Anthropic vừa công bố cẩm nang nội bộ về đánh giá an toàn—gồm 10 khuyến nghị cụ thể về thiết kế, triển khai và báo cáo. Đây là quy trình kỹ thuật thực tế để quyết định một mô hình được phát hành hay phải quay lại huấn luyện.

Các trọng tâm kỹ thuật chính:
- Phương pháp thiết kế đánh giá (cách xây dựng các bài kiểm tra thực sự phát hiện được những năng lực nguy hiểm)
- Hạ tầng triển khai (chạy đánh giá ở quy mô lớn mà không tạo ra kết quả dương tính giả)
- Tiêu chuẩn báo cáo (chỉ số nào thực sự quan trọng, chỉ số nào chỉ để làm đẹp)

Điều này quan trọng vì kết quả đánh giá an toàn trực tiếp quyết định việc triển khai và phân bổ nguồn lực. Nếu các bài đánh giá yếu, bạn có thể phát hành những mô hình rủi ro hoặc lãng phí hàng tháng trời vào những công việc an toàn không cần thiết.

Đáng đọc nếu bạn đang xây dựng hệ thống LLM hoặc muốn hiểu cách các phòng thí nghiệm tiên phong thực sự kiểm soát việc phát hành, thay vì chỉ nghe những lời quảng bá.