Xiaomi vừa “chốt” một AI Cube cho kỹ sư, nhét vào trong máy mini ba chip do hãng tự phát triển là chip xuanjie, tập trung vào suy luận mô hình lớn ngay tại chỗ.
Thông số cũng khá “khủng”:
Mô hình 120B có thể chạy được, và còn có thể bấm một phát để chuyển sang mô hình nhanh 3B; băng thông đạt trực tiếp 1,22TB/s, tối đa có thể nâng lên tầm 200B.
Làn sóng AI tại chỗ và điện toán biên lần này đang thật sự tăng tốc. Sau khi phần cứng đã được “cuốn” mạnh lên, các chặng đường liên quan đến tính toán và các mô hình chắc sẽ còn sôi động hơn.
Dạo này mọi người có đang theo dõi mảng AI không? Cảm giác phần suy luận tại chỗ liệu có lại kéo theo một làn sóng cảm xúc nữa không?$HK1810 #小米