moe

🚨 TENCENT TĂNG HIỆU QUẢ AI KHI CÂU CHUYỆN MoE NÓNG LÊN $AI 💥

Tencent vừa khắc phục nút thắt lớn trên mẫu MoE khổng lồ 770B của mình, bản xem trước Hy4, giúp giảm lượng token tiêu thụ và số chu kỳ thực thi trên WorkBuddy mà không làm suy giảm sức mạnh tính toán thô. 💡 Khi những gã khổng lồ công nghệ giảm bớt trở ngại mang tính hệ thống trên các mô hình ngữ cảnh 1M quy mô lớn, dòng vốn thông minh sẽ chú ý đến bước chuyển dịch sang hiệu quả này.

📊 Những nâng cấp hiệu quả như thế này thường là chỉ báo sớm cho làn sóng động lực thuật toán tiếp theo trên các giao thức tính toán phi tập trung. ⚡ Dòng tiền thông minh theo dõi tiến độ kỹ thuật thay vì những lời bàn tán sáo rỗng, và các tối ưu hóa tính toán này đang tạo ra động lực nền tảng đáng kể. 🤔 Thị trường đang bỏ qua chất xúc tác về hiệu quả AI này, hay bạn đang chuẩn bị đón đầu cú bứt phá? 👇

⚠️ Đây không phải lời khuyên tài chính. Hãy luôn quản lý rủi ro của bạn. 🛡️

🏷️ #AI #Crypto #ArtificialIntelligence #MoE #Tech

🔥 💎

🚨 $KIMI THU NHỎ 2,78T THAM SỐ VÀO 8GB RAM — KHÔNG CẦN GPU! 💥

🔍 Thí nghiệm mã nguồn mở này thách thức mọi giả định về quy mô suy luận. Một dự án thuần C99 176KB chạy bộ trọng số 1,56TB của Kimi K3 chỉ với 8GB bộ nhớ bằng cách truyền phát (stream) các trọng số của chuyên gia từ bộ nhớ NVMe theo nhu cầu. 💡

Điểm “phép màu” nằm ở kích hoạt thưa MoE — chỉ có 16 trên tổng 896 chuyên gia hoạt động trên mỗi lớp. Vì vậy, nhà phát triển đánh đổi băng thông lưu trữ flash lấy RAM, coi ổ đĩa như một phần mở rộng chậm hơn của bộ nhớ. 📊 Phần đánh đổi rất tàn khốc: mỗi token mất 32,7 giây. Điều này chưa sẵn sàng cho sản xuất, nhưng lại là một bản thiết kế mang tính cấu trúc cho hạ tầng suy luận chi phí siêu thấp.

Tín hiệu lớn hơn là hướng đi. 📉 Khi các nút thắt phần cứng buộc phải kỹ thuật sáng tạo, hiệu quả sẽ trở thành câu chuyện tiếp theo. Liệu chúng ta đang xây “đường ống” cho làn sóng AI phi tập trung tiếp theo? 💬

⚠️ Không phải lời khuyên tài chính. Luôn quản lý rủi ro của bạn. 🛡️

🏷️ #KIMI #AI #MoE #OpenSource #Crypto

💡 🔥

Bước nhảy sao mở nguồn Step 3.7 Flash: Mô hình MoE 198B tham số, tập trung vào Agent cấp sản xuất

Bước nhảy sao chính thức phát hành và mở nguồn mô hình Flash thế hệ mới Step 3.7 Flash, sử dụng giấy phép Apache 2.0. Mô hình sử dụng lõi ngôn ngữ 196B + 1.8B Transformer hình ảnh tạo thành kiến trúc MoE thưa thớt, tổng tham số 198B, kích hoạt chỉ 11B. Hỗ trợ bối cảnh 256K và 3 cấp độ suy diễn, tối ưu hóa cho Agent cấp sản xuất, mã, tìm kiếm trực tuyến và quy trình làm việc đa mô thức.

Tại sao quan trọng: Nhóm AI của Trung Quốc đã đạt được bước đột phá quan trọng trong lĩnh vực mô hình MoE đa mô thức mã nguồn mở, thiết kế kiến trúc với tham số kích hoạt thấp + mật độ khả năng cao đại diện cho hướng đi của suy diễn hiệu quả trong ngành.

#AI #开源 #大模型 #MoE #trí tuệ nhân tạo

$KIMI K3 CRAMS 2.78T PARAMETERS INTO 8GB RAM — PURE CPU, NO GPU! ⚡

Kịch bản C99 176KB đang làm mưa làm gió? Nó stream (truyền phát) các trọng số 1.56TB của Kimi K3 từ NVMe thay vì giữ toàn bộ trong bộ nhớ. 🔍 MoE sparse activation kinh điển — chỉ 16 trong tổng 896 chuyên gia của mỗi lớp thực sự được kích hoạt. 💡

Đây giống một cú quét thanh khoản ngược lại: hệ thống kéo trọng số theo nhu cầu như một trader lấy lệnh khỏi sổ. 🦈 Chi phí? 32.7 giây cho mỗi token. Đây là bản prototype (nguyên mẫu), không phải sản xuất — chính dev cũng nói vậy.

Nhưng với những ai theo dõi AI–crypto, đó là một chiếc la bàn. Nếu suy luận có thể chạy trên 8GB nhờ stream từ ổ đĩa, thì chi phí tính toán không còn là nút thắt — và đó là một sự thay đổi về câu chuyện. 📊 Nhà đầu tư/nhóm nào về hạ tầng AI sẽ lên con sóng đó đầu tiên? 👇

⚠️ Không phải lời khuyên tài chính. Luôn quản lý rủi ro của bạn. 🛡️

🏷️ #KIMI #AI #MoE #Innovation #CryptoAI

🚀 ⚡