Chọn cơ sở hạ tầng tính toán phù hợp cho AI
Hầu hết các đội ngũ AI chọn nhà cung cấp năng lực tính toán theo cách chưa phù hợp.
Họ so sánh giá theo giờ của H100, xem bảng xếp hạng nhà cung cấp và chọn phương án rẻ nhất. Sáu tháng sau, họ phải đối mặt với giới hạn về năng lực, chi phí tăng cao và tình trạng bị khóa chặt vào nhà cung cấp.
Vấn đề là gì? Các quyết định về năng lực tính toán nên dựa trên yêu cầu của khối lượng công việc, chứ không chỉ dựa vào giá GPU.
Sau đây là một khuôn khổ tốt hơn.
1. Trước tiên, hãy đặt những câu hỏi phù hợp
Trước khi chọn nhà cung cấp, hãy cân nhắc năm điều sau:
- Khối lượng công việc: Huấn luyện theo lô hay suy luận độ trễ thấp?