Anthropic, công ty đứng sau Claude, đã ra mắt FlashProve, một công cụ cung cấp cho khách hàng biên nhận kỹ thuật số để chứng minh câu trả lời của AI đến từ mô hình mà họ đã trả tiền để sử dụng.

Điểm chính

  • Anthropic ra mắt FlashProve, có thể tạo bằng chứng mật mã với tốc độ khoảng 110 token mỗi giây trên một GPU H100

  • FlashProve tạo bằng chứng cho yêu cầu gồm 1.024 token với kích thước bằng chứng khoảng 19 MB

  • FlashProve tiêu tốn thời gian GPU nhiều gấp khoảng 70 đến 95 lần so với chạy cùng mô hình trên vLLM

  • FlashProve đưa ra câu trả lời cùng một bằng chứng gọn nhẹ gắn với mô hình đã cam kết, để bên xác minh có thể kiểm tra nhanh hơn so với chạy lại toàn bộ mô hình

Georgios Konstantopoulos đã đăng bài về công trình này. Anthropic phát triển dòng mô hình Claude, và nghiên cứu của chính công ty đã trình bày các con số cùng thiết kế hệ thống.

Suy luận có thể chứng minh nhắm đến vấn đề bộ định tuyến ẩn: “Đến từ mô hình”

Anthropic cho biết người dùng vẫn chưa thể dễ dàng kiểm tra xem câu trả lời có đến từ mô hình được nêu tên, một mô hình thay thế rẻ hơn hay một luồng token bị can thiệp hay không. Hệ thống suy luận có thể chứng minh của hãng giải quyết vấn đề này bằng cách yêu cầu nhà cung cấp mô hình cam kết sử dụng một mô hình cụ thể, sau đó tạo bằng chứng mật mã xác nhận phản hồi đến từ mô hình có các trọng số đã cam kết đó.

Nghiên cứu tập trung vào zkSNARK, một hệ thống bằng chứng cho phép một bên chứng minh rằng phép tính đã được thực hiện chính xác mà không tiết lộ toàn bộ dữ liệu nền. Trong trường hợp này, suy luận có thể chứng minh xác nhận rằng văn bản đã được tạo ra và một mô hình cụ thể với các trọng số cụ thể đã tạo ra văn bản đó.

Anthropic cho biết FlashProve đã tạo bằng chứng cho một yêu cầu gồm 1.024 token với kích thước bằng chứng khoảng 19 MB. Với Llama 4 Maverick, mô hình hỗn hợp chuyên gia có 400 tỷ tham số, công ty cho biết một GPU H100 có thể tạo các bằng chứng đó với tốc độ khoảng 110 token mỗi giây.

Đọc thêm: Anthropic trả tiền cho các giáo sư để thử nghiệm Claude trên con đường hướng tới việc làm

Mức tăng tốc vẫn đi kèm với cái giá phải trả

Những con số đó vẫn đi kèm với một khoản đánh đổi đáng kể.

FlashProve sử dụng lượng thời gian GPU cao gấp khoảng 70 đến 95 lần so với khi chạy cùng mô hình trên vLLM, công cụ suy luận mã nguồn mở được nhiều nhà phát triển sử dụng trong môi trường thực tế. Điều đó có nghĩa là suy luận có thể chứng minh chưa phải lựa chọn mặc định cho mọi lưu lượng chatbot, mà là một phương án dành cho các khối lượng công việc đòi hỏi độ tin cậy cao, hợp đồng doanh nghiệp, hệ thống chịu sự quản lý và dịch vụ AI nhạy cảm về bảo mật, nơi danh tính mô hình quan trọng ngang với tốc độ.

Anthropic xem công trình này là một phần trong bộ công cụ tuân thủ và an toàn rộng lớn hơn, đồng thời lập luận rằng nếu các phòng thí nghiệm AI phải tuân theo quy định về hệ thống nào có thể phục vụ người dùng nào, thì bằng chứng suy luận cung cấp cho kiểm toán viên nhiều hơn một lời hứa trên bảng điều khiển: đó là biên nhận mật mã xác nhận đầu ra đến từ mô hình mà nhà cung cấp đã cam kết.

Từ API “hãy tin tôi” đến đầu ra có thể xác minh

Việc phân phối AI ngày càng có nhiều lớp hơn. Doanh nghiệp thường truy cập mô hình thông qua cổng kết nối, đơn vị môi giới và các lớp điều phối thay vì kết nối trực tiếp với điểm cuối của phòng thí nghiệm. Điều này khiến việc thay thế mô hình trở nên dễ dàng hơn vì mục đích kiểm soát chi phí, độ trễ hoặc do kẻ tấn công, và Anthropic đã dành chu kỳ này để bổ sung các tính năng doanh nghiệp và bảo mật cho Claude.

Nghiên cứu hôm thứ Ba đưa nỗ lực đó xuống một tầng thấp hơn: từ việc ai có thể gọi mô hình đến việc liệu đầu ra có thể được chứng minh sau đó hay không. Công nghệ này cũng có khía cạnh tiền mã hóa. zkSNARK xuất hiện từ cùng dòng công nghệ được dùng trong các hệ thống blockchain bảo vệ quyền riêng tư, còn Anthropic áp dụng cơ chế đó cho suy luận AI thay vì các giao dịch trên chuỗi.

FlashProve thay đổi dấu vết kiểm toán AI như thế nào

FlashProve nằm giữa suy luận thông thường và xác minh hình thức.

Khách hàng gửi một lời nhắc, mô hình chạy, rồi hệ thống đưa ra cả câu trả lời lẫn một bằng chứng gọn nhẹ gắn với mô hình đã cam kết. Sau đó, bên xác minh có thể kiểm tra bằng chứng nhanh hơn nhiều so với việc chạy lại toàn bộ mô hình, qua đó xác nhận phản hồi đến từ mô hình mà không cần mỗi khách hàng phải lưu trữ một mô hình khổng lồ.

Đối với khách hàng sử dụng dịch vụ đám mây, suy luận có thể chứng minh rất quan trọng khi Anthropic không phải bên duy nhất tham gia xử lý yêu cầu. Một ngân hàng sử dụng Claude thông qua đơn vị môi giới hoặc một nhóm chính phủ dựa vào cổng kết nối nội bộ có thể ít quan tâm đến văn phong hơn việc mô hình được nêu tên có thực sự xử lý yêu cầu hay không. FlashProve cung cấp cho họ một cách kỹ thuật để kiểm tra tuyên bố đó, dù chi phí vẫn là rào cản chính đối với việc áp dụng rộng rãi.

Đọc tiếp: Anthropic thu về 23,5 tỷ USD tiền mặt trước khi IPO