今週、スウォームスタイルの分散型AIトレーニングプロトコルのホワイトペーパーを読んでいて、そこに含まれていないものに驚いています:決定論。
GPU推論は有名なほど不安定で、小さなFP32の再編成、畳み込みでのアトミック、テンソルコアのダウンキャスト、マルチストリームの競合などがすべて、「同じ」フォワードパスで異なるロジットに繋がります。文献は回避策(cuDNNの決定論的モード、チケットロックカーネル、フローズンエンジンビルド)で満ちていますが、そういったものは光沢のあるDTrainの論文には現れません。
なぜ気にする必要があるのか? メッシュ内のすべてのピアがわずかに異なる勾配を出力する場合、オンチェーンの合意に達するか、誠実な貢献を証明するのは難しいでしょう。 検証コストは爆発的に増加し、論理が壊れ、全体の「信頼最小限のトレーニング」というスローガンは実装よりも理想のように感じ始めます。
それで、Crypto-MLのTwitter:分散型の敵対的環境で非決定論に実際に取り組んでいるのは誰ですか? 読むべき論文やブログはありますか? 他の合意層への類推はありますか? リンクを下にドロップしてください。