Các nhà nghiên cứu của Meta đã phát triển một phương pháp phát hiện các mô hình AI được chưng cất, xác định được 79% số bản sao được kiểm tra với tỷ lệ dương tính giả 0,1%, mà không cần xem xét nội bộ các mô hình đáng ngờ. Kỹ thuật này, có tên WM-Basin, nhắm đến các mô hình được huấn luyện bằng đầu ra từ những mô hình “giáo viên” có gắn thủy vân và được trình bày trong một bài báo công bố ngày 27 tháng 10 năm 2026.

Những điểm chính

• WM-Basin phân tích văn bản được tạo qua API thay vì trọng số hoặc logits của mô hình.

• Meta đã đánh giá kỹ thuật này trên 1.200 mô hình học sinh.

• Khả năng phát hiện vẫn được duy trì qua một số thay đổi mô hình, nhưng suy giảm khi tinh chỉnh bằng dữ liệu sạch và diễn đạt lại.

Cách WM-Basin phát hiện các mô hình AI được chưng cất

WM-Basin sử dụng một mô hình thăm dò riêng, không bị can thiệp, để phân tích văn bản do một mô hình bị nghi là đã được chưng cất tạo ra. Các nhà nghiên cứu từ Meta FAIR và Meta Superintelligence Labs mô tả phương pháp này trong bài “Watermark Basins: Black-Box Detection of Distilled LLMs”, đăng trên arXiv với mã số 2610.37266.

Bài báo xem xét một tình huống sao chép cụ thể: một người thu thập các câu trả lời từ một mô hình giáo viên có gắn thủy ấn thông qua API, rồi dùng những câu trả lời đó để huấn luyện mô hình học sinh. WM-Basin tìm kiếm bằng chứng về mối liên hệ huấn luyện này chỉ bằng văn bản do mô hình học sinh tạo ra.

Bộ phát hiện đưa văn bản đó vào một mô hình thăm dò cố định rồi chuyển đổi thành các biểu diễn gradient—một cách để xem xét việc huấn luyện trên văn bản sẽ làm thay đổi các tham số của mô hình thăm dò như thế nào. Sau đó, nó phân biệt các hướng tinh chỉnh thông thường với sự tương ứng với một “lưu vực thủy ấn” dành riêng cho khóa trong không gian tham số.

Nhờ vậy, kỹ thuật này trở thành một hình thức phân tích hộp đen: không cần truy cập trọng số hay logit của mô hình bị nghi vấn. Chỉ cần các câu trả lời bằng văn bản lấy qua API là đủ để tiến hành phát hiện.

Tỷ lệ phát hiện 79% trên 1.200 mô hình học sinh

Theo các nhà nghiên cứu, WM-Basin đạt tỷ lệ dương tính thật 79% trong khi duy trì tỷ lệ dương tính giả ở mức 0,1% khi sử dụng n-gram=1; trong khi đó, bộ phát hiện hộp đen cấp token tốt nhất trước đây chỉ đạt tỷ lệ dương tính thật 29% trong cùng điều kiện.

Các tác giả cũng lưu ý rằng khi ngưỡng phát hiện trở nên nghiêm ngặt hơn và cửa sổ n-gram lớn hơn, lợi thế của WM-Basin so với các phương pháp cạnh tranh càng tăng.

Đánh giá bao gồm 1.200 mô hình học sinh, có quy mô từ 135 triệu đến 8,2 tỷ tham số. Các nhà nghiên cứu huấn luyện những mô hình này trên các chuỗi lập luận toán học lấy từ OpenR1-Math, bao gồm sáu họ kiến trúc mô hình học sinh, nhiều mô hình giáo viên và các phương pháp thủy ấn khác nhau.

Những phát hiện này là cơ sở cho các cải thiện mà bài báo tuyên bố đạt được trong việc phát hiện mô hình AI được chưng cất qua đánh giá khả năng suy luận toán học.

Những thay đổi nào giúp duy trì hoặc làm suy yếu khả năng phát hiện?

Các nhà nghiên cứu nhận thấy tín hiệu phát hiện của WM-Basin vẫn tồn tại sau khi lượng tử hóa, cắt tỉa và học tăng cường sau chưng cất. Lượng tử hóa nén mô hình để giảm chi phí vận hành, còn cắt tỉa loại bỏ các tham số.

Phương pháp này cũng duy trì độ tin cậy cao hơn khi tín hiệu cấp token suy yếu, chẳng hạn trong quá trình lấy mẫu ở nhiệt độ thấp.

Một số thay đổi khác làm giảm hiệu quả của phương pháp. Tinh chỉnh sâu trên dữ liệu sạch, không có thủy ấn làm suy giảm khả năng phát hiện, trong khi diễn đạt lại các chuỗi lập luận của mô hình giáo viên là một cách khác có thể dùng để né tránh. Các tác giả đặc biệt nêu việc tiếp tục tinh chỉnh có giám sát trên dữ liệu không có thủy ấn là một trong những cách tiếp cận này.

Bằng chứng thủy ấn dành cho các nhà phát triển AI

Sự kết hợp giữa khả năng phát hiện cao hơn và tỷ lệ báo động giả thấp có thể củng cố bằng chứng dựa trên thủy ấn trong các khiếu nại pháp lý hoặc hợp đồng về việc sao chép mô hình. Với mục đích đó, tỷ lệ dương tính giả đặc biệt đáng chú ý vì chỉ số này đo lường các trường hợp bị gắn cờ nhầm, chứ không phải các trường hợp được nhận diện chính xác.

So sánh được WM-Basin báo cáo cho thấy với cùng tỷ lệ dương tính giả 0,1%, tỷ lệ dương tính thật đạt 79%, so với 29% của phương pháp cấp token trước đây. Các thử nghiệm nền tảng sử dụng những mô hình học sinh được huấn luyện trên các chuỗi lập luận toán học từ OpenR1-Math.

Bài viết được thực hiện với sự hỗ trợ của trí tuệ nhân tạo và được ban biên tập xem xét.