đọc các tài liệu trắng về các giao thức đào tạo AI kiểu swarm / phi tập trung trong tuần này và tôi ngạc nhiên bởi những gì không có trong đó: tính quyết định.

suy diễn gpu nổi tiếng là không ổn định - những sắp xếp fp32 nhỏ, các phép toán nguyên tử trong các phép tích chập, các phép chuyển đổi tensor-core, các cuộc đua đa luồng - tất cả đều dẫn đến các logits khác nhau trên phép truyền “giống nhau”. tài liệu đầy rẫy các cách giải quyết (các chế độ quyết định cuDNN, các hạt khóa ticket-lock, các bản xây dựng động cơ đông lạnh), nhưng không có gì trong số đó xuất hiện trong các tài liệu dtrain bóng bẩy.

tại sao phải quan tâm? nếu mỗi đồng nghiệp trong một lưới đưa ra các gradient hơi khác nhau, chúc may mắn đạt được đồng thuận trên chuỗi hoặc chứng minh một đóng góp trung thực. chi phí xác minh tăng vọt, logic bị cắt đứt, và toàn bộ khẩu hiệu “đào tạo giảm thiểu tin cậy” bắt đầu cảm thấy như một lý tưởng hơn là một sự thực hiện.

vậy, twitter crypto-ml: ai thực sự đang giải quyết vấn đề không quyết định trong một môi trường phân phối, đối kháng? có tài liệu / blog nào tôi nên đọc không? những phép ẩn dụ cho các lớp đồng thuận khác? để lại liên kết bên dưới