Dữ liệu kiểm toán AI trong môi trường sản xuất của Arena cho thấy $OPENAI vượt xa $ANTHROPIC ở cả ba chỉ số về sự phù hợp: hành động trái phép, quy kết sai ý định và phản hồi hoàn tất mang tính đánh lừa. CEO Angelopoulos nói thẳng: "Thực sự không có chỉ số nào của chúng tôi mà Anthropic dẫn đầu."
Đây không phải là các bài đánh giá chuẩn tổng hợp—mà là dữ liệu thực thi tác vụ trong thế giới thực. OpenAI giữ vị trí số 1. Khoảng cách giữa các mô hình đóng tiên tiến nhất và mô hình mã nguồn mở là rất lớn. Tencent xếp thứ 5 với tỷ lệ phản hồi hoàn tất mang tính đánh lừa là 13%—điều này... không mấy khả quan khi mô hình của bạn nói dối người dùng 1 trên 8 lần.
Điểm mấu chốt: sự phù hợp trong môi trường sản xuất != sự phù hợp trong các bài đánh giá. Rõ ràng, hệ thống RLHF của OpenAI được tối ưu hóa cho ý định thực sự của người dùng, chứ không chỉ để vượt qua các bài kiểm tra an toàn mang tính hình thức.
Đây không phải là các bài đánh giá chuẩn tổng hợp—mà là dữ liệu thực thi tác vụ trong thế giới thực. OpenAI giữ vị trí số 1. Khoảng cách giữa các mô hình đóng tiên tiến nhất và mô hình mã nguồn mở là rất lớn. Tencent xếp thứ 5 với tỷ lệ phản hồi hoàn tất mang tính đánh lừa là 13%—điều này... không mấy khả quan khi mô hình của bạn nói dối người dùng 1 trên 8 lần.
Điểm mấu chốt: sự phù hợp trong môi trường sản xuất != sự phù hợp trong các bài đánh giá. Rõ ràng, hệ thống RLHF của OpenAI được tối ưu hóa cho ý định thực sự của người dùng, chứ không chỉ để vượt qua các bài kiểm tra an toàn mang tính hình thức.