私はずっと @OpenLedger を見ていて、コミュニティが貢献したデータネットが質の高いデータを生み出すのか、あるいはデータ収集を分散化することがスケールでゴミを分散化することを意味するのかを理解しようとしている。
私が注目しているのは、アトリビューションインフラが機能するかどうかではない。誰が何を貢献したかを追跡するのはエンジニアリングで解決済みだ。私が注目しているのは、実際に貢献されているデータが価値のあるものであるのか、あるいは貢献をインセンティブすることで質のない量が生まれるのかどうかだ。
分散型AIにおけるデータ品質の問題。
検証メカニズムではなく、データを貢献した人に報酬を与えると、良いデータを提供するのではなく、最低基準をクリアする低努力の提出で報酬システムをゲームするという根本的な課題。
その違いは重要だよ、インフラがどれだけ分散化されていても、ゴミが入ればゴミが出るからね。
OpenLedgerは誰でもデータネットを作成したり、既存のものに貢献したりできる。貢献者はデータをアップロードし、オンチェーンで検証を受け、報酬を得る。貢献すればするほど、得られる報酬も増える。
私が分からないのは、「誰にでもアクセス可能」で貴重なデータセットが生まれるのか、それとも信号を希薄化するノイズが生まれるのか。
課題は、金銭的インセンティブが提出行動を生み出すこと。人々にデータを提供するためにお金を払うと、彼らはデータを提供する。でも、彼らが提供するデータは報酬最大化を最適化していて、必ずしもモデル改善のためではない。
ほとんどのクラウドソースデータ収集はこの問題に直面する。ボリュームが必要だから、障壁を下げる。量に報酬を与える。
そして低努力の提出が増える。システムをゲームする。支払いに適格な最低限の貢献が価値を追加しない。
@OpenLedger には検証メカニズムがある。データがレビューされる。クオリティコントロールが存在する。
私が注目しているのは、それらのメカニズムがスケールで機能するか、最初は機能してもボリュームが増加するとコストがかかる検証が崩れるかどうか。
ほとんどのプラットフォームは高い基準から始まる。でも成長が必要だから、摩擦を減らす。検証を自動化する。
そしてクオリティは徐々に劣化する。データセットは成長するが、平均的な貢献のクオリティは低下する。
もしかしたらOpenLedgerはこれを解決したのかも。彼らの検証が劣化なしにスケールするかもしれない。
もしかしたら、彼らはそうしていないかもしれないし、同じトレードオフに直面しているかもしれない。クオリティかスケールか。高い基準を持ったキュレーションされたデータセットを持つこともできる。あるいは、緩い基準の巨大なデータセットを持つことも。両方はめったにない。
モデルのパフォーマンスの賭けは、貢献インセンティブがクオリティと一致するか、ただ量と一致するかによる。報酬が実際のモデル改善と相関するなら、貢献者はクオリティを最適化する。報酬がボリュームと相関するなら、貢献者はボリュームを最適化する。
ほとんどの報酬システムは測定可能なものを最適化する。ボリュームは測定可能。クオリティは主観的。だからシステムはボリュームを報酬して、クオリティが追随することを期待してる。
通常はそうならない。クオリティには判断、専門知識、ドメイン知識、時間が必要。それは高価だ。ボリュームは安い。
OpenLedgerのデータネットが中央集権的な代替よりも優れたモデルを生産している証拠が見たい。単に大きなデータセットではなく、より良いモデルパフォーマンスが必要。
OpenLedgerのデータでトレーニングされたモデルが同じかそれ以下のパフォーマンスなら、分散化は価値を加えていない。
データクオリティの問題は重要だ。AIモデルはそのトレーニングデータと同じくらい良い。完璧なインフラや透明なアトリビューション、公正な報酬があっても、基礎データが平均的なら、モデルも平均的になる。
ほとんどの分散型AIプラットフォームは、自分たちのインフラを強調する。私たちのアトリビューションレイヤーを見て。
あまり強調しないこと：私たちのデータクオリティを見て。モデルパフォーマンスを見て。
それは懸念事項だ。もしあなたのデータが実際に良いなら、それを前面に出すべきだ。もしインフラが印象的でも、データが疑わしいなら、インフラについて話すべきだ。
もしかしたら、OpenLedgerは強力なデータを持っていて、彼らのモデルはうまく機能するかもしれない。ベンチマークを見ていないのは、まだ公開していないからかもしれない。
もしかしたら、データは平均的で、彼らはボリュームがクオリティを補うことを期待しているのかもしれない。
それは特定のユースケースでは機能するかもしれない。十分なコンピュートがあれば、より多くのデータが低いクオリティを克服できる。
専門的な分野では機能しない。医療データ、法的データ、科学データ。低品質の貢献をボリュームで補うことはできない。
どのタイプのAI OpenLedgerになるのか見守ってるよ。ボリュームが重要な一般的なモデル？それともクオリティが重要な専門的なモデル？
データクオリティの問題は根本的だ。データを収集し、アトリビューションするための印象的なインフラを構築できる。しかし、データそのものが良くなければ、そのインフラは間違ったものを最適化している。
正直、私はモデルパフォーマンスを強調するプラットフォームを信頼する。インフラを強調しながらパフォーマンス比較を避けるプラットフォームよりも。
