MEITUAN RA MẮT MÔ HÌNH AI LỚN NHẤT CỦA TRUNG QUỐC ĐƯỢC ĐÀO TẠO TRÊN CHIP NỘI ĐỊA
- 1,6T tham số · MoE với ~48B tham số hoạt động · ngữ cảnh 1M
- Cả toàn bộ quá trình huấn luyện và việc triển khai quy mô lớn đều được xây dựng hoàn toàn trên các siêu cụm (superpods) AI ASIC.
- LongCat-2.0 được huấn luyện trước trên hơn 50K AI ASIC (không dùng GPU).
- họ sử dụng Thư viện Giao tiếp Tập thể Huawei (HCCL) để cải thiện độ ổn định của quá trình huấn luyện. HCCL là hệ thống giao tiếp chip-đến-chip tương tự như Thư viện Giao tiếp Tập thể Nvidia (NCCL).
- Các mô hình cạnh tranh như DeepSeek-V4-pro chỉ dựa vào chip nội địa cho suy luận; Meituan sử dụng phần cứng nội địa cho cả suy luận và giai đoạn huấn luyện trước mức độ cực kỳ chuyên sâu.
- Do các bộ tăng tốc trong nước có bộ nhớ mỗi thiết bị ít hơn Nvidia H800 (80 GB), Meituan giải quyết thách thức này theo hai hướng: chiến lược song song và quản lý bộ nhớ.
#Meituan #AI #SupremeCourtBlocksTrumpFromRemovingFedCook
- 1,6T tham số · MoE với ~48B tham số hoạt động · ngữ cảnh 1M
- Cả toàn bộ quá trình huấn luyện và việc triển khai quy mô lớn đều được xây dựng hoàn toàn trên các siêu cụm (superpods) AI ASIC.
- LongCat-2.0 được huấn luyện trước trên hơn 50K AI ASIC (không dùng GPU).
- họ sử dụng Thư viện Giao tiếp Tập thể Huawei (HCCL) để cải thiện độ ổn định của quá trình huấn luyện. HCCL là hệ thống giao tiếp chip-đến-chip tương tự như Thư viện Giao tiếp Tập thể Nvidia (NCCL).
- Các mô hình cạnh tranh như DeepSeek-V4-pro chỉ dựa vào chip nội địa cho suy luận; Meituan sử dụng phần cứng nội địa cho cả suy luận và giai đoạn huấn luyện trước mức độ cực kỳ chuyên sâu.
- Do các bộ tăng tốc trong nước có bộ nhớ mỗi thiết bị ít hơn Nvidia H800 (80 GB), Meituan giải quyết thách thức này theo hai hướng: chiến lược song song và quản lý bộ nhớ.
#Meituan #AI #SupremeCourtBlocksTrumpFromRemovingFedCook
