#opg $OPG Một điều về việc phân phối mô hình lớn không mở rộng theo cách mà mọi người thường kỳ vọng.
Tôi từng nghĩ phần khó là lưu trữ mô hình. Nhưng rồi tôi thấy một thao tác thử lại (retry) chuyển lại chính những gigabyte đó qua mạng, và nhận ra rằng chi phí đã bị chuyển dịch.
Một Blob ID giúp giảm chi phí thỏa thuận, chứ không phải khoảng cách. Mô hình vẫn phải di chuyển, được xác minh và cạnh tranh để giành chỗ trong bộ nhớ cục bộ. Các mô hình phổ biến dần trở thành cơ sở hạ tầng. Các mô hình hiếm vẫn chỉ là các sự kiện băng thông tiềm năng.
Điều này bắt đầu giống phối hợp bộ nhớ đệm (cache) trong điều kiện bất định hơn là lưu trữ.
Ở quy mô lớn, câu hỏi có thể không phải là liệu mô hình có tồn tại hay không, mà là liệu đủ nhiều node (nút) có quyết rằng việc giữ lại là đáng giá trước khi nhu cầu cold-start đồng thời ập đến. Tôi không chắc liệu hai điều đó có phải là cùng một hệ thống hay không
@OpenGradient
#OPG #OpenGradient #AIInfrastructure $OPG
Tôi từng nghĩ phần khó là lưu trữ mô hình. Nhưng rồi tôi thấy một thao tác thử lại (retry) chuyển lại chính những gigabyte đó qua mạng, và nhận ra rằng chi phí đã bị chuyển dịch.
Một Blob ID giúp giảm chi phí thỏa thuận, chứ không phải khoảng cách. Mô hình vẫn phải di chuyển, được xác minh và cạnh tranh để giành chỗ trong bộ nhớ cục bộ. Các mô hình phổ biến dần trở thành cơ sở hạ tầng. Các mô hình hiếm vẫn chỉ là các sự kiện băng thông tiềm năng.
Điều này bắt đầu giống phối hợp bộ nhớ đệm (cache) trong điều kiện bất định hơn là lưu trữ.
Ở quy mô lớn, câu hỏi có thể không phải là liệu mô hình có tồn tại hay không, mà là liệu đủ nhiều node (nút) có quyết rằng việc giữ lại là đáng giá trước khi nhu cầu cold-start đồng thời ập đến. Tôi không chắc liệu hai điều đó có phải là cùng một hệ thống hay không
@OpenGradient
#OPG #OpenGradient #AIInfrastructure $OPG
