著者: Golden Finance cryptonaitive

2023年6月12日、ブロックチェーンベースのAGIコンピューティング電力市場プロトコルであるGensynは、Eden Block、CoinFund、Galaxy、Protocol Labsなどの参加を得て、a16zが主導する4,300万ドルのシリーズA資金調達の完了を発表した。

Gensynとはどのようなプロジェクトですか？なぜトップVCから巨額の投資を得られるのでしょうか? Golden Finance は 1 つの記事でそれを理解するのに役立ちます。

a16z: Gensyn の 4,300 万ドルのシリーズ A 資金調達を主導した理由

a16z は、Gensyn の 4,300 万ドルのシリーズ A 資金調達を主導した理由を説明する記事を公開しました。 a16z 氏は、人工知能の最近の進歩は驚くべきものであり、世界を救う力があると述べました (Golden Finance の以前のレポート「a16z 創設者の 10,000 ワードの長い記事: なぜ AI が世界を救うのか」を参照)。しかし、AI システムを構築するには、今日の最大かつ最も強力なモデルをトレーニングおよび推論するために、これまで以上に優れたコンピューティング能力を導入する必要があります。これは、コンピューティング能力への特権的アクセスと大規模データセンターの規模の経済のおかげで、人工知能から価値を引き出す競争において、大手テクノロジー企業が新興企業よりも有利であることを意味します。平等な競争の場で競争するには、スタートアップ企業が自社の大規模なコンピューティング能力を手頃な価格で使用できる必要があります。

新しいタイプのコンピューターとしてのブロックチェーンのユニークな点は、開発者がコードを記述し、それが将来どのように動作するかについて確固たる約束をすることができることです。ブロックチェーンのこの許可のないコンポーネントは、コンピューティング能力、あるいはデータやアルゴリズムなどの他の種類のデジタルリソースの買い手と売り手のための、仲介者なしで世界的に取引される市場を作り出す可能性があります。

Gensyn は、開発者 (機械学習モデルをトレーニングできる人) とソルバー (自分のマシンで機械学習モデルをトレーニングしたい人) を結び付ける、ブロックチェーン ベースの AGI コンピューティング パワー マーケット プロトコルです。 Gensyn は、小規模データセンター、個人用ゲーミング PC、M1 および M2 Mac、さらにはスマートフォンなど、世界中で使用されていない機械学習対応コンピューティング デバイスのロングテールを活用することで、機械学習に利用可能なコンピューティング能力を 10 ～ 100 倍に増やすことができます。 

AGI（汎用人工知能）が直面する問題：高度な中央集権化

約半年の開発期間を経て、市場では AGI が未来であると広く認識されるようになりました。しかし、AGI 業界は現在、高度に独占化されているようです。国家間では、中国と米国の貿易と人材をめぐる戦争であり、企業間では、大手テクノロジー企業（Microsoft、Google、Meta）間のゲームです。 AGI の 3 つの主要リソース (計算能力、知識、データ) は現在、高度に集中化されているためです。

計算能力: ますます大規模で複雑なモデルをトレーニングするには、高性能なプロセッサが必要です。国家間：中国と米国間のチップ戦争では、米国は中国が高性能なチップを入手することを積極的に阻止してきた。企業間：生産能力不足のため、Nvidiaの最新AIチップはすべて特定の大口顧客によって購入されており、他の企業はまったく購入できない。テクノロジー スタック: Google の TPU クラスターなど、ディープラーニング専用のハードウェアを独自に作成した企業もあります。これらはディープラーニング用の標準 GPU よりも優れた性能を発揮しますが、販売はされておらず、レンタルのみで利用可能です。

知識: 多くの公的ブレークスルーは、研究者によって開発された新しい大規模モデル アーキテクチャから生まれますが、その基礎となる知的財産と人材をめぐる争いがあります。例えば、米国は中国のAI人材の50％以上を引きつけており、この人材を使って大規模なモデルを開発している大企業は、この技術へのアクセスをますます制限しています。 OpenAI の GPT-3.5 または 4 は名目上は公開されていますが、API の背後にあり、そのソース コードにアクセスできるのは Microsoft だけです。

データ: AGI ディープラーニング モデルには、ラベル付きとラベルなしの両方を含む大量のデータが必要であり、一般的にデータ量が増えるにつれて改善されます。 GPT-3 は 3,000 億語でトレーニングされました。ラベル付きデータは特に重要であり、AGI をトレーニングするために必要なデータセットは少数の大企業に集中しています。あまり知られていない事実ですが、ウェブサイトにアクセスするために reCaptcha を解くたびに、Google マップを改善するためのトレーニング データにラベルが付けられます。

分散型AGIコンピューティングの難しさ

分散型コンピューティングは、AI の研究と開発のためのより安価で自由な基盤を作り出す可能性があります。しかし、分散型 AGI には作業検証の問題があります。第三者が要求した計算を完了したことをどのようにして確認しますか?

プルーフ・オブ・ワークを困難にする要因は 2 つあります。状態依存性と高い計算コストです。

状態依存性: ニューラル ネットワークの各層は、その前の層のすべてのノードに接続されます。つまり、前のレイヤーの状態が必要になります。さらに悪いことに、各レイヤーのすべての重みは、前のタイムステップによって決定されます。したがって、誰かがモデルをトレーニングしたことを確認したい場合 (たとえば、ネットワーク内のランダムなポイントを選択して、同じ状態になるかどうかを確認するなど)、そのポイントまでモデルをトレーニングする必要がありますが、これは非常に計算コストがかかります。

高い計算コスト: 2020 年の GPT-3 セッション 1 回のトレーニング コストは約 1,200 万ドルで、2019 年の GPT-2 のトレーニングの推定コストである約 43,000 ドルの 270 倍以上でした。一般的に、最良のニューラル ネットワークのモデルの複雑さ (サイズ) は現在 3 か月ごとに 2 倍になります。ニューラル ネットワークがより安価で、トレーニングがモデル開発プロセスに占める割合が少なければ、状態依存性から生じる検証オーバーヘッドは許容できるかもしれません。

ディープラーニングのトレーニングを安価にして制御を分散化したい場合、オーバーヘッドの面でも安価で、計算に貢献した人に報酬を与えながら、状態関連の検証を信頼性なく管理できるシステムが必要です。

Gensyn が AGI コンピューティングを分散化する方法

Gensyn プロトコルは、世界中のすべての計算をグローバルな機械学習スーパークラスターに統合し、いつでも誰でも利用できるようにします。次の 2 つの要素を組み合わせることで、極めて大規模かつ低コストで、ニューラル ネットワークの信頼のないトレーニングが可能になります。

1. 革新的な検証システム

あらゆる規模のニューラル ネットワークのトレーニングにおける状態依存性の問題を効果的に解決する検証システム。このシステムは、モデル トレーニング チェックポイントと、オンチェーンで終了する確率的チェックを組み合わせます。これはすべて、オーバーヘッドがモデルのサイズに比例して増加する（検証コストを一定に保つ）トラストレスな方法で実行されます。

Gensyn Litepaper によると、Gensyn は主に 3 つの概念を通じて検証の問題を解決します。確率的学習証明 (勾配ベースの最適化プロセスからのメタデータを使用して、実行された作業の証明書を作成し、特定のステージを複製することで迅速に検証する)、グラフベースの正確なポジショニング プロトコル (複数の粒度、グラフベースの正確なポジショニング プロトコル、およびクロス評価者の一貫した実行を使用して、検証作業を再実行し、一貫性を比較し、最終的にチェーン自体によって確認できるようにする)、Truebit スタイルのインセンティブ ゲーム (ステーキングとスラッシングを使用してインセンティブ ゲームを構築し、経済的に合理的なすべての参加者が誠実に行動し、意図したタスクを実行することを保証する)

このシステムは、提出者、解答者、検証者、内部告発者の 4 人の主な参加者で構成されています。提出者: 計算するタスクを提供し、完了した作業単位に対して支払いを行うシステムのエンドユーザー。ソルバー: システムの主な動作部分であり、モデルのトレーニングを実行し、検証者による検証のための証明を生成します。検証者: 非決定論的なトレーニング プロセスを決定論的な線形計算にリンクし、ソルバーの証明の一部をコピーして、距離を予想されるしきい値と比較します。内部告発者: 最後の防衛線であり、検証者の作業を確認し、累積ボーナスを獲得することを期待して異議を申し立てます。

2. 新しいコンピューティング電源

十分に活用されていない、または十分に活用されていない/最適化されていないコンピューティング デバイスのリソースを活用します。これらのデバイスは、現在使用されていないゲーミング GPU から以前の Ethereum PoW 時代の GPU マイナーまで多岐にわたります。そして、プロトコルの分散化は、最終的にはコミュニティの多数派によって管理され、コミュニティの同意なしに「シャットダウン」できないことを意味します。これにより、Web2 の同等のものとは異なり、検閲耐性が実現します。

大規模+低コスト: Gensynプロトコルはデータセンター所有のGPUと同等のコストを提供し、その規模はAWSを超える可能性があります。