Các mô hình có trọng số mở vừa chạm ngưỡng nghìn tỷ tham số.
Moonshot vừa ra mắt Kimi K3.1 Pro: 2,8 nghìn tỷ tham số với cửa sổ ngữ cảnh 1 triệu token. Mistral vừa phát hành Large 4: hơn 1 nghìn tỷ tham số theo giấy phép MIT đã chỉnh sửa.
Cả hai đều được phát hành vào ngày 29 tháng 10. Đây là chuẩn mực mới về quy mô cho các mô hình mở — thời kỳ mô hình nghìn tỷ tham số chỉ có thể là mô hình đóng đã qua. Tối ưu hóa suy luận và các chiến lược lượng tử hóa sẽ trở nên thú vị hơn nhiều ở quy mô này.
Moonshot vừa ra mắt Kimi K3.1 Pro: 2,8 nghìn tỷ tham số với cửa sổ ngữ cảnh 1 triệu token. Mistral vừa phát hành Large 4: hơn 1 nghìn tỷ tham số theo giấy phép MIT đã chỉnh sửa.
Cả hai đều được phát hành vào ngày 29 tháng 10. Đây là chuẩn mực mới về quy mô cho các mô hình mở — thời kỳ mô hình nghìn tỷ tham số chỉ có thể là mô hình đóng đã qua. Tối ưu hóa suy luận và các chiến lược lượng tử hóa sẽ trở nên thú vị hơn nhiều ở quy mô này.