moe

Bước nhảy sao mở nguồn Step 3.7 Flash: Mô hình MoE 198B tham số, tập trung vào Agent cấp sản xuất

Bước nhảy sao chính thức phát hành và mở nguồn mô hình Flash thế hệ mới Step 3.7 Flash, sử dụng giấy phép Apache 2.0. Mô hình sử dụng lõi ngôn ngữ 196B + 1.8B Transformer hình ảnh tạo thành kiến trúc MoE thưa thớt, tổng tham số 198B, kích hoạt chỉ 11B. Hỗ trợ bối cảnh 256K và 3 cấp độ suy diễn, tối ưu hóa cho Agent cấp sản xuất, mã, tìm kiếm trực tuyến và quy trình làm việc đa mô thức.

Tại sao quan trọng: Nhóm AI của Trung Quốc đã đạt được bước đột phá quan trọng trong lĩnh vực mô hình MoE đa mô thức mã nguồn mở, thiết kế kiến trúc với tham số kích hoạt thấp + mật độ khả năng cao đại diện cho hướng đi của suy diễn hiệu quả trong ngành.

#AI #开源 #大模型 #MoE #trí tuệ nhân tạo