Theo @0x7SUN, CEO của @flock_io, suy luận có thể giúp các hộ gia đình và những địa điểm nhỏ hơn khác triển khai hoạt động điện toán AI. YZi Labs đăng tải thông tin này trên X.

Ông cho biết việc huấn luyện quy mô lớn vẫn cần các GPU được kết nối chặt chẽ tại cùng một nơi, nhưng suy luận ít phụ thuộc hơn vào địa điểm xử lý. Ông lấy @gmcbhutan và nguồn thủy điện của đơn vị này làm ví dụ, nói rằng có thể chạy suy luận khi có điện và giảm số giờ điện toán trong những giai đoạn nguồn điện khan hiếm.

“Có những lúc hoạt động liên tục và những lúc nguồn lực eo hẹp. Nhưng với suy luận thì điều đó thực ra có thể chấp nhận được,” ông nói. Ông nói thêm rằng điều này có thể mở ra cơ hội cho những địa điểm trước đây bị xem là không phù hợp để đặt trung tâm dữ liệu AI, trong đó có nhà ở. Theo ông, vấn đề giờ đây không chỉ là xây trung tâm dữ liệu lớn tiếp theo ở đâu, mà còn là hoạt động điện toán AI có thể trở nên nhỏ gọn và phân tán đến mức nào.