10²⁵ FLOPs vẫn còn là ngưỡng tiên phong?
Một dự luật an toàn do Anthropic soạn thảo đang được lưu truyền trên Đồi Capitol. Một số ý tưởng trong đó có thể hợp lý nếu chỉ áp dụng cho các công ty thực sự phát triển mô hình tiên phong. Tuy nhiên, như dự luật hiện được soạn thảo, cuối cùng nó sẽ bao trùm phần lớn Thung lũng Silicon, gây tổn hại cho hệ sinh thái startup.
Dự luật định nghĩa mô hình “tiên phong” là bất kỳ mô hình nào được huấn luyện với 10²⁵ FLOPs — theo chuẩn của EU từ năm 2023. Sắc lệnh hành pháp của Biden, dự luật SB 53 của California và Đạo luật RAISE của New York đều dùng ngưỡng 10²⁶ (cao gấp mười lần). Ngày nay, ngưỡng thực sự của mô hình tiên phong là 10²⁷ (ví dụ: GPT-6 Astra).
Theo thông tin được đưa ra, Astra được huấn luyện bằng hơn 100.000 GPU Grace Blackwell. Một mô hình 10²⁵ có thể được huấn luyện trong ba tháng chỉ với vài trăm chip GB300. Đó không phải là mô hình tiên phong vào năm 2026.
Định nghĩa này còn tính lũy kế: cộng FLOPs từ tinh chỉnh, học tăng cường hoặc các sửa đổi đáng kể khác. Trên thực tế, cách tính đó bao trùm gần như mọi hoạt động hậu huấn luyện có ý nghĩa — những hoạt động ngày càng phổ biến trong doanh nghiệp.
Xu hướng trong doanh nghiệp là phát triển hàng nghìn mô hình tùy chỉnh nhỏ hơn, được thiết kế cho các khối lượng công việc cụ thể. Những mô hình này không gây rủi ro ở cấp độ tiên phong. Xem chúng là hệ thống tiên phong sẽ khiến các doanh nghiệp trên khắp nước Mỹ phải gánh chi phí tuân thủ lớn mà không giúp tăng cường an toàn.
Dario từng tuyên bố rằng Anthropic thiết kế các quy định nhằm gây bất lợi cho những công ty tiên phong như chính công ty mình, đồng thời tạo lợi thế cho các đối thủ nhỏ hơn. Định nghĩa này lại làm điều ngược lại.
Ngưỡng lỗi thời từ năm 2023 có lợi cho các công ty đương nhiệm vốn đã vượt ngưỡng và đủ sức gánh chi phí. Nó kìm hãm hệ sinh thái mô hình mở đang đe dọa quyền định giá của Anthropic.
Ngưỡng tiên phong luôn dịch chuyển. Bất kỳ định nghĩa nào nhằm theo sát rủi ro cũng nên dịch chuyển theo.
Anthropic nên làm rõ liệu họ có thực sự tin rằng 10²⁵ FLOPs đại diện cho ngưỡng tiên phong hay không.
Một dự luật an toàn do Anthropic soạn thảo đang được lưu truyền trên Đồi Capitol. Một số ý tưởng trong đó có thể hợp lý nếu chỉ áp dụng cho các công ty thực sự phát triển mô hình tiên phong. Tuy nhiên, như dự luật hiện được soạn thảo, cuối cùng nó sẽ bao trùm phần lớn Thung lũng Silicon, gây tổn hại cho hệ sinh thái startup.
Dự luật định nghĩa mô hình “tiên phong” là bất kỳ mô hình nào được huấn luyện với 10²⁵ FLOPs — theo chuẩn của EU từ năm 2023. Sắc lệnh hành pháp của Biden, dự luật SB 53 của California và Đạo luật RAISE của New York đều dùng ngưỡng 10²⁶ (cao gấp mười lần). Ngày nay, ngưỡng thực sự của mô hình tiên phong là 10²⁷ (ví dụ: GPT-6 Astra).
Theo thông tin được đưa ra, Astra được huấn luyện bằng hơn 100.000 GPU Grace Blackwell. Một mô hình 10²⁵ có thể được huấn luyện trong ba tháng chỉ với vài trăm chip GB300. Đó không phải là mô hình tiên phong vào năm 2026.
Định nghĩa này còn tính lũy kế: cộng FLOPs từ tinh chỉnh, học tăng cường hoặc các sửa đổi đáng kể khác. Trên thực tế, cách tính đó bao trùm gần như mọi hoạt động hậu huấn luyện có ý nghĩa — những hoạt động ngày càng phổ biến trong doanh nghiệp.
Xu hướng trong doanh nghiệp là phát triển hàng nghìn mô hình tùy chỉnh nhỏ hơn, được thiết kế cho các khối lượng công việc cụ thể. Những mô hình này không gây rủi ro ở cấp độ tiên phong. Xem chúng là hệ thống tiên phong sẽ khiến các doanh nghiệp trên khắp nước Mỹ phải gánh chi phí tuân thủ lớn mà không giúp tăng cường an toàn.
Dario từng tuyên bố rằng Anthropic thiết kế các quy định nhằm gây bất lợi cho những công ty tiên phong như chính công ty mình, đồng thời tạo lợi thế cho các đối thủ nhỏ hơn. Định nghĩa này lại làm điều ngược lại.
Ngưỡng lỗi thời từ năm 2023 có lợi cho các công ty đương nhiệm vốn đã vượt ngưỡng và đủ sức gánh chi phí. Nó kìm hãm hệ sinh thái mô hình mở đang đe dọa quyền định giá của Anthropic.
Ngưỡng tiên phong luôn dịch chuyển. Bất kỳ định nghĩa nào nhằm theo sát rủi ro cũng nên dịch chuyển theo.
Anthropic nên làm rõ liệu họ có thực sự tin rằng 10²⁵ FLOPs đại diện cho ngưỡng tiên phong hay không.