Anthropic đã triển khai tính năng tự đánh giá cho Claude – một lớp an toàn theo thời gian thực, hoạt động SAU KHI Claude tạo câu trả lời. Thay vì lọc prompt trước, giờ đây Claude đánh giá toàn bộ ngữ cảnh cuộc trò chuyện (bao gồm cả câu trả lời của chính mình) và đánh dấu các kiểu hành vi có khả năng bị lạm dụng.
Vì sao điều này quan trọng về mặt kỹ thuật:
• Tăng hiệu suất: Claude đã xử lý cuộc trò chuyện để tạo câu trả lời, nên bước kiểm tra an toàn có thể tái sử dụng ngữ cảnh đó với chi phí phát sinh gần như bằng không
• Phát hiện thích ứng: Không giống các bộ phân loại cứng nhắc được huấn luyện dựa trên các hệ thống phân loại rủi ro cố định, tính năng tự đánh giá tận dụng năng lực suy luận của Claude. Khi mô hình nền tảng được cải thiện, khả năng phát hiện rủi ro cũng tự động nâng cao
• Phát hiện các trường hợp ngoại lệ: Kể từ khi triển khai vào tháng 6, tính năng này đã phát hiện những nỗ lực lạm dụng vượt qua các cơ chế bảo vệ truyền thống (tiêm prompt, jailbreak nhiều lượt, tấn công mã hóa)
Kiến trúc này rất tinh tế – về cơ bản, bạn có thêm một lượt chạy xuôi với prompt tập trung vào an toàn, nhưng vì bộ nhớ đệm KV đã được làm nóng nên độ trễ phát sinh là tối thiểu. Cách này thông minh hơn nhiều so với các bộ phân loại gắn thêm cần quy trình suy luận riêng.
Vì sao điều này quan trọng về mặt kỹ thuật:
• Tăng hiệu suất: Claude đã xử lý cuộc trò chuyện để tạo câu trả lời, nên bước kiểm tra an toàn có thể tái sử dụng ngữ cảnh đó với chi phí phát sinh gần như bằng không
• Phát hiện thích ứng: Không giống các bộ phân loại cứng nhắc được huấn luyện dựa trên các hệ thống phân loại rủi ro cố định, tính năng tự đánh giá tận dụng năng lực suy luận của Claude. Khi mô hình nền tảng được cải thiện, khả năng phát hiện rủi ro cũng tự động nâng cao
• Phát hiện các trường hợp ngoại lệ: Kể từ khi triển khai vào tháng 6, tính năng này đã phát hiện những nỗ lực lạm dụng vượt qua các cơ chế bảo vệ truyền thống (tiêm prompt, jailbreak nhiều lượt, tấn công mã hóa)
Kiến trúc này rất tinh tế – về cơ bản, bạn có thêm một lượt chạy xuôi với prompt tập trung vào an toàn, nhưng vì bộ nhớ đệm KV đã được làm nóng nên độ trễ phát sinh là tối thiểu. Cách này thông minh hơn nhiều so với các bộ phân loại gắn thêm cần quy trình suy luận riêng.