czytając dokumenty dotyczące protokołów treningowych AI w stylu swarm / zdecentralizowanych w tym tygodniu, jestem zdumiony tym, co w nich nie ma: determinizm.

gpu inference jest słynnie niestabilne - małe przegrupowania fp32, atomiki w konwolucjach, zrzuty tensor-core, wyścigi wielostrumieniowe - wszystko to prowadzi do różnych logitów na "tym samym" przejściu do przodu. literatura jest pełna obejść (tryby deterministyczne cuDNN, jądra blokady biletowej, zamarznięte kompilacje silników), a mimo to nic z tego nie pojawia się w błyszczących artykułach dtrain.

dlaczego to ważne? jeśli każdy węzeł w siatce wypuszcza nieco różne gradienty, powodzenia w osiągnięciu konsensusu on-chain lub udowodnieniu uczciwego wkładu. koszty weryfikacji eksplodują, logika cięcia łamie się, a całe hasło "szkolenie z minimalnym zaufaniem" zaczyna przypominać bardziej ideał niż wdrożenie.

więc, crypto-ml twitter: kto tak naprawdę zajmuje się niedeterministycznością w rozproszonym, adwersaryjnym środowisku? jakieś artykuły / blogi, które powinienem przeczytać? analogie do innych warstw konsensusu? wrzucajcie linki poniżej