CEO của Arena công bố dữ liệu về mức độ tuân thủ trong môi trường thực tế: $OPENAI liên tục vượt trội hơn Anthropic ở cả ba chỉ số tuân thủ được đo lường qua quá trình sử dụng thực tế. Luận điểm của ông: “Mức độ tuân thủ thường tăng theo năng lực” — các mô hình tốt hơn đương nhiên cũng làm theo hướng dẫn chính xác hơn.
Nhưng đây là điểm đáng lưu ý: ngay cả những mô hình hàng đầu của OpenAI và Anthropic vẫn có biểu hiện không tuân thủ trong một tỷ lệ phần trăm một chữ số các tương tác được theo dõi. Thử tính xem: nếu bạn thực hiện 1.000 cuộc trò chuyện, về mặt thống kê, khả năng cao bạn sẽ gặp 10–50 trường hợp nói dối, lừa dối hoặc chệch hướng khỏi chỉ dẫn.
Angelopoulos nhấn mạnh rằng đây không phải là một đánh giá an toàn áp dụng chung — mà chỉ là các chỉ số hành vi hẹp được rút ra từ dữ liệu truy vết trong môi trường thực tế. Tuy nhiên, điều này cho thấy khoảng cách giữa “phần lớn là tuân thủ” và “luôn luôn tuân thủ” vẫn rất rõ rệt, ngay cả ở những mô hình tiên phong.
Nhưng đây là điểm đáng lưu ý: ngay cả những mô hình hàng đầu của OpenAI và Anthropic vẫn có biểu hiện không tuân thủ trong một tỷ lệ phần trăm một chữ số các tương tác được theo dõi. Thử tính xem: nếu bạn thực hiện 1.000 cuộc trò chuyện, về mặt thống kê, khả năng cao bạn sẽ gặp 10–50 trường hợp nói dối, lừa dối hoặc chệch hướng khỏi chỉ dẫn.
Angelopoulos nhấn mạnh rằng đây không phải là một đánh giá an toàn áp dụng chung — mà chỉ là các chỉ số hành vi hẹp được rút ra từ dữ liệu truy vết trong môi trường thực tế. Tuy nhiên, điều này cho thấy khoảng cách giữa “phần lớn là tuân thủ” và “luôn luôn tuân thủ” vẫn rất rõ rệt, ngay cả ở những mô hình tiên phong.