#opg $OPG TIÊU ĐỀ: MÔ HÌNH ĐÃ ĐẾN.
NHƯNG KHÔNG PHẢI VỀ TỐC ĐỘ.
#OpenGreadient #OPG $OPG @OpenGradient Tôi từng nghĩ việc chuyển một mô hình AI từ nơi này sang nơi khác chỉ là vấn đề lưu trữ.
Càng tìm hiểu, tôi càng nhận ra mình đang nhìn sai nút thắt cổ chai.
Hãy tưởng tượng một mô hình AI bỗng nhiên trở nên phổ biến.
Một nút yêu cầu nó.
Sau đó mười.
Rồi một trăm.
Tệp tin có thể đã tồn tại.
Câu hỏi thực sự là:
Liệu mạng lưới có thể cung cấp nó đủ nhanh mà không tạo ra tình trạng tắc nghẽn mỗi lần không?
Đây là lý do OpenGradient thu hút sự chú ý của tôi.
Lưu trữ chỉ là bước đầu tiên.
Một mô hình vẫn phải được phát hiện, xác minh, chuyển giao, tải vào bộ nhớ và chuẩn bị cho việc suy luận.
Mỗi sự chậm trễ đều được cộng dồn lại.
Một AI nhanh không chỉ phụ thuộc vào GPU mạnh mẽ.
Nó cũng liên quan đến việc cơ sở hạ tầng quyết định một cách thông minh những gì nên ở gần, những gì nên di chuyển, và những gì nên chờ đợi.
Tương lai của AI sẽ không thuộc về những mô hình lớn nhất.
Nó sẽ thuộc về những mạng lưới cung cấp những mô hình đó đúng lúc khi cần.
Đó là thách thức về cơ sở hạ tầng mà tôi đang theo dõi chặt chẽ nhất.
Bạn nghĩ điều gì quan trọng hơn cho thế hệ AI tiếp theo?
. Chip nhanh hơn
.Cơ sở hạ tầng thông minh hơn