Huấn luyện trên các cụm phần cứng không đồng nhất? Bạn sẽ ngay lập tức gặp phải vấn đề nút thắt cổ chai. Một GPU tiêu dùng chậm sẽ trở thành nút thắt khiến toàn bộ hệ thống phân tán của bạn phải nhàn rỗi. Các nút nhanh chỉ ngồi đó đốt điện trong lúc chờ “người chậm chạp” bắt kịp. Đây là cái giá đồng bộ mà chẳng ai nhắc tới khi trộn RTX 3060 với A100 trong cùng một lần huấn luyện.