moe

🚨 $KIMI THU NHỎ 2,78T THAM SỐ VÀO 8GB RAM — KHÔNG CẦN GPU! 💥

🔍 Thí nghiệm mã nguồn mở này thách thức mọi giả định về quy mô suy luận. Một dự án thuần C99 176KB chạy bộ trọng số 1,56TB của Kimi K3 chỉ với 8GB bộ nhớ bằng cách truyền phát (stream) các trọng số của chuyên gia từ bộ nhớ NVMe theo nhu cầu. 💡

Điểm “phép màu” nằm ở kích hoạt thưa MoE — chỉ có 16 trên tổng 896 chuyên gia hoạt động trên mỗi lớp. Vì vậy, nhà phát triển đánh đổi băng thông lưu trữ flash lấy RAM, coi ổ đĩa như một phần mở rộng chậm hơn của bộ nhớ. 📊 Phần đánh đổi rất tàn khốc: mỗi token mất 32,7 giây. Điều này chưa sẵn sàng cho sản xuất, nhưng lại là một bản thiết kế mang tính cấu trúc cho hạ tầng suy luận chi phí siêu thấp.

Tín hiệu lớn hơn là hướng đi. 📉 Khi các nút thắt phần cứng buộc phải kỹ thuật sáng tạo, hiệu quả sẽ trở thành câu chuyện tiếp theo. Liệu chúng ta đang xây “đường ống” cho làn sóng AI phi tập trung tiếp theo? 💬

⚠️ Không phải lời khuyên tài chính. Luôn quản lý rủi ro của bạn. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

Bước nhảy sao mở nguồn Step 3.7 Flash: Mô hình MoE 198B tham số, tập trung vào Agent cấp sản xuất

Bước nhảy sao chính thức phát hành và mở nguồn mô hình Flash thế hệ mới Step 3.7 Flash, sử dụng giấy phép Apache 2.0. Mô hình sử dụng lõi ngôn ngữ 196B + 1.8B Transformer hình ảnh tạo thành kiến trúc MoE thưa thớt, tổng tham số 198B, kích hoạt chỉ 11B. Hỗ trợ bối cảnh 256K và 3 cấp độ suy diễn, tối ưu hóa cho Agent cấp sản xuất, mã, tìm kiếm trực tuyến và quy trình làm việc đa mô thức.

Tại sao quan trọng: Nhóm AI của Trung Quốc đã đạt được bước đột phá quan trọng trong lĩnh vực mô hình MoE đa mô thức mã nguồn mở, thiết kế kiến trúc với tham số kích hoạt thấp + mật độ khả năng cao đại diện cho hướng đi của suy diễn hiệu quả trong ngành.

#AI #开源 #大模型 #MoE #trí tuệ nhân tạo

$KIMI K3 CRAMS 2.78T PARAMETERS INTO 8GB RAM — PURE CPU, NO GPU! ⚡

Kịch bản C99 176KB đang làm mưa làm gió? Nó stream (truyền phát) các trọng số 1.56TB của Kimi K3 từ NVMe thay vì giữ toàn bộ trong bộ nhớ. 🔍 MoE sparse activation kinh điển — chỉ 16 trong tổng 896 chuyên gia của mỗi lớp thực sự được kích hoạt. 💡

Đây giống một cú quét thanh khoản ngược lại: hệ thống kéo trọng số theo nhu cầu như một trader lấy lệnh khỏi sổ. 🦈 Chi phí? 32.7 giây cho mỗi token. Đây là bản prototype (nguyên mẫu), không phải sản xuất — chính dev cũng nói vậy.

Nhưng với những ai theo dõi AI–crypto, đó là một chiếc la bàn. Nếu suy luận có thể chạy trên 8GB nhờ stream từ ổ đĩa, thì chi phí tính toán không còn là nút thắt — và đó là một sự thay đổi về câu chuyện. 📊 Nhà đầu tư/nhóm nào về hạ tầng AI sẽ lên con sóng đó đầu tiên? 👇

⚠️ Không phải lời khuyên tài chính. Luôn quản lý rủi ro của bạn. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡