執筆者: マギー、Foresight Research

  • ZKML (ゼロ知識機械学習) は、機械学習にゼロ知識証明を使用するテクノロジーであり、AI とブロックチェーンの間の架け橋となります。 ZKML は、AI モデル/入力のプライバシー保護の問題と検証可能な推論プロセスの問題を解決できるため、小さなモデルや推論された ZKP をチェーンに置くことができます。オンチェーンでのモデル/推論証明の重要性は次のとおりです。

    • ブロックチェーンに物理世界を認識させます。たとえば、ブロックチェーン上で実行される顔認識モデルは、チェーン上の AI モデルを通じて、その顔が女性のものである可能性があること、その顔が何歳であるかなどをブロックチェーンで認識できます。

    • スマートコントラクトに意思決定を任せましょう。たとえば、チェーン上のWETH価格予測モデルは、スマートコントラクトが取引の意思決定を行うのに役立ちます。

    • AI モデルをプライベートで実行します。たとえば、企業はモデルのトレーニングに多くのコンピューティング能力を費やし、プライバシーを保護する方法で推論サービスを提供したいと考えています。または、ユーザーの入力によりプライバシーを確​​保したいと考えています。 ZKML を使用すると、モデル/入力のプライバシーを確​​保できるだけでなく、推論が正しく実行されていることをユーザーに証明し、トラストレス推論を実現できます。

  • ZKMLの応用

    • オンチェーン AI: スマート コントラクトが AI を使用して意思決定できるように、AI モデル/AI 推論証明をチェーン上に配置します。たとえば、オンチェーン取引システムは、オンチェーンの投資決定に使用されます。

    • 自己改善型ブロックチェーン: ブロックチェーンが AI 機能を使用して、履歴データに基づいて戦略を継続的に改善および修正できるようにします。たとえば、AI ベースのオンチェーン評価システムです。

    • AIGCオンチェーン：AIGCによって生成されたコンテンツ/アートワークはMintにNFTにアップロードされ、ZKはプロセスの正確性を証明できますデータセットなどに著作権で保護された画像が使用されていません。

    • ウォレットの生体認証 (KYC): 顔認証の証明がチェーン上にあり、ウォレットは KYC を完了します。

    • AI セキュリティ: AI を不正行為検出、魔女攻撃防止などに使用します。

    • オンチェーン ZKML ゲーム: オンチェーン人工知能チェスプレイヤー、ニューラルネットワーク駆動の NFT キャラクターなど。

  • ZKML 技術的には

    • 目標: ニューラル ネットワークを ZK 回路に変換する 困難: 1. ZK 回路は浮動小数点数をサポートしません。 2. 大きすぎるニューラル ネットワークは変換が困難です。

    • 現在の進捗状況:

      • 最初の ZKML ライブラリは 2 年前に開発されたもので、テクノロジー全体の開発の歴史は非常に浅いです。現在、最新の ZKML ライブラリは、いくつかの単純なニューラル ネットワーク ZK 化をサポートし、ブロックチェーンに適用されます。基本的な線形回帰モデルはチェーン上に置くことができ、他のタイプのより小さなニューラル ネットワーク モデルはチェーン上に置かれていることの証明をサポートできると言われています。しかし、私が見たデモはほとんどなく、手書きの番号認識のものしか見たことがありませんでした。

      • 一部のツールは 100M パラメータをサポートしていると言われており、他のツールは GPT2 を ZK 回路に変換して ZK 証明書を生成できると主張しています。

    • 開発の方向性:

      • ネットワーク量子化 (ネットワーク量子化) は、ニューラル ネットワークの浮動小数点数を固定小数点数および軽量ニューラル ネットワーク (ZK フレンドリー) に変換します。

      • 大規模パラメータ ニューラル ネットワークを ZK 回路に変換し、証明効率を向上させます (ZK 機能を拡張します)。

  • 要約:

    • ZKML は、AI とブロックチェーンの間の架け橋となり、ブロックチェーンが物理世界を認識できるようにし、スマート コントラクトが意思決定を行い、プライバシーを保護するために AI モデルを実行できるようにすることにあります。

    • このテクノロジーの歴史は浅いですが、現在、いくつかの単純なニューラル ネットワーク モデルを ZK 回路に変換し、モデルをアップロードしたり、推論証明をアップロードしたりすることができます。ただし、言語は比較的難しいため、Ddkang/zkml は GPT2、Bert、および Diffusion の自然言語処理モデルの ZK バージョンを生成できると主張していますが、実際の効果は不明ですが、実行できない可能性があります。チェーンにアップロードされました。ネットワークボリューム技術、ZK技術、ブロックチェーン拡張技術の発展により、ZKML言語モデルが間もなく利用可能になると考えられています。

1. 背景

(ZK と ML についてある程度の知識がある場合は、この章をスキップしてください)。

  • ゼロ知識証明 (ZK): ゼロ知識証明とは、証明者が検証者に有用な情報を提供することなく、特定の主張が正しいと検証者に納得させることができることを意味します。 ZK は主に、計算プロセスが正しく実行されていることを証明し、プライバシーを保護するために使用されます。

    • 計算プロセスの正しさを証明する: ZK ロールアップを例に挙げると、ZK ロールアップの操作は、複数のトランザクションをまとめて L1 に公開し、同時に証明を公開するだけです (ゼロ知識証明テクノロジーを使用)。 ) これらのトランザクションが有効であることを主張するには、それが実際に有効であることが L1 で検証されると、zk-rollup のステータスが更新されます。

    • プライバシー保護: Aztec プロトコルを例に挙げます。Aztec の zk.money 上の資産は、ビットコインの UTXO と同様に、請求額を暗号化する必要があります。破棄され、受取人とあなた自身（お釣りを渡します）が新しい請求書が作成されます。ゼロ知識証明は、プライバシーを保護する方法で、破棄されたメモと新しく作成されたメモの量が同じであること、およびユーザーがメモを制御する権利を持っていることを証明するために使用されます。

  • 機械学習: 機械学習は人工知能の一分野です。機械学習理論には主に、コンピューターが自動的に「学習」できるようにするアルゴリズムの設計と分析が含まれます。機械学習アルゴリズムは、データを自動的に分析してパターンを取得し、そのパターンを使用して未知のデータを予測します。機械学習は、コンピューター ビジョン、自然言語処理、生体認証、検索エンジン、医療診断、クレジット カード詐欺の検出、証券市場分析、DNA 配列決定、音声および手書き認識、ゲーム、ロボットなどの分野で広く使用されています。

2. ZKML はどのような問題を解決しますか?

ZKML は、過去 2 年間で暗号化コミュニティにセンセーションを巻き起こした研究開発分野です。機械学習にゼロ知識証明を使用する

、このテクノロジーの主な目標は、ゼロ知識証明を使用して、機械学習のプライバシー保護と検証可能性の問題を解決することです。これにより、小さなモデルまたは推論された ZKP をチェーン上に配置し、AI とブロックチェーンの間の橋渡しができるようになります。

  • オンチェーンのモデル: ML モデルは ZK 回路に変換でき、小さな ZKML モデルはブロックチェーン上のスマート コントラクトに保存できます。ユーザーは、スマート コントラクト メソッドを呼び出すことでモデルを使用できます。たとえば、Modulus Labs の RockyBot は、取引の決定のために WETH の価格を予測するオンチェーン AI モデルを構築しました。

  • モデルの推論と証明はチェーンにアップロードされます。つまり、ML モデルを ZK 回路に変換し、オフチェーンで推論を実行し、ZK 証明を生成します。 ZK 証明は、推論プロセスが正しく実行されていることを証明できます。推論結果と ZK 証明は、呼び出し元の参照と証明のスマート コントラクト検証のためにチェーンに送信されます。

モデル/推論の証明をチェーンに置くことに何の意味があるのでしょうか?

  • ブロックチェーンに物理世界を認識させます。たとえば、ブロックチェーン上で実行される顔認識モデルは、チェーン上の AI モデルを通じて、その顔が女性のものである可能性があること、その顔が何歳であるかなどをブロックチェーンで認識できます。

  • スマートコントラクトに意思決定を任せましょう。たとえば、チェーン上のWETH価格予測モデルは、スマートコントラクトが取引の意思決定を行うのに役立ちます。

  • AI モデルをプライベートで実行します。たとえば、企業はモデルのトレーニングに多くのコンピューティング能力を費やし、プライバシーを保護する方法で推論サービスを提供したいと考えています。または、ユーザーの入力によりプライバシーを確​​保したいと考えています。 ZKML を使用すると、モデル/入力のプライバシーを確​​保できるだけでなく、推論が正しく実行されていることをユーザーに証明し、トラストレス推論を実現できます。

ZKML におけるゼロ知識証明証明の役割:

  1. プライバシー保護: ML モデルまたは予測プロセスの入力データのプライバシーを保護します。

  • データ プライバシー (パブリック モデル + プライベート データ): 医療データ、顔画像などの機密データがいくつかあります。 ZKML を使用して入力データのプライバシーを保護し、このデータに対してパブリック ニューラル ネットワーク モデルを実行して結果を取得できます。たとえば、顔認識モデル、

  • モデルのプライバシー (プライベート モデル + パブリック データ): たとえば、モデルのトレーニングに多額の費用を費やしたので、モデルを公開したくないので、モデルのプライバシーを保護する必要があります。 ZKML を使用すると、パブリック入力を推論して出力を取得できる、プライバシーを保護するプライベート ニューラル ネットワーク モデルを実行できます。

  1. 検証可能性: ZKP を使用して ML 推論プロセスが正しく実行されたことを証明し、機械学習プロセスを検証可能にします。

  • モデルの実行は私のサーバー上では行われないが、推論が正しく実行されることを確認する必要があるとします。 ZKML を使用して特定の入力とモデルに対して推論を実行すると、実行中のプロセスが自分のコンピューター上にない場合でも、ZKP によって出力が生成され、推論が正しいかどうかを検証できます。 ZKP が実行されたことを確認することで、その結果を信じます。

3. ZKML の使用例

  • 計算上の整合性

    • オンチェーン AI: AI モデルをブロックチェーン上にデプロイすることで、スマート コントラクトが AI モデルを通じて意思決定機能を持つことが可能になります。

      • Modulus Labs: RockyBot オンチェーン検証可能な ML トレーディング ボット (ブロックチェーン上の検証可能な機械学習トレーディング ボット)

    • 自己改善型ブロックチェーン: ブロックチェーンが AI 機能を使用して、履歴データに基づいて戦略を継続的に改善および修正できるようにします。

      • Lyra Finance の AMM は人工知能によって強化されています。

      • Astraly 用の AI ベースの評判システムを作成します。

      • Aztec プロトコル向けのスマート コントラクト レベルの AI ベースのコンプライアンス機能を作成する

      • Modulus Labs:自己改善するブロックチェーン (リンク):

    • AIGCオンチェーン：AIGCによって生成されたコンテンツ/アートワークはMintにNFTにアップロードされ、ZKはプロセスの正確性を証明できますデータセットなどに著作権で保護された画像が使用されていません。

    • ML as a Service (MLaaS) の透明性 (リンク)

    • AI セキュリティ: AI を不正行為検出、魔女攻撃防止などに使用します。スマートコントラクトデータに基づいてAI異常検出モデルをトレーニングし、インジケーターが異常な場合はコントラクトを一時停止し、チェーンにアップロードされたことを証明するためにZKを使用して異常検出を実行します。

    • オンチェーン ZKML ゲーム: オンチェーン人工知能チェスプレイヤー、ニューラルネットワーク駆動の NFT キャラクターなど。

    • 検証可能な AI モデルのベンチマーク テスト: ZK を使用して、モデルのベンチマーク テストの証拠を提供し、モデルのパフォーマンスと効果のテスト結果の検証可能性を提供します。

    • モデル トレーニングの正しさの証明: モデル トレーニングは非常にリソースを大量に消費するため、ZK を使用したモデル トレーニングの正しさの証明は現在利用できませんが、多くの人がこのテクノロジーは実現可能であると信じており、ZK を使用してモデルが正しいことを証明しようとしています。 AIGC の著作権問題を解決するために特定のデータを使用する/使用しない。

  • プライバシー保護

    • ウォレット用の生体認証/デジタル ID

      • WordCoin は、虹彩をスキャンする生体認証デバイス Orb を介して、ユーザーに固有の検証可能なデジタル ID を提供します。 WorldCoin は、World ID のアップグレードに使用する予定の zkml に取り組んでいます。アップグレード後、ユーザーは自分の署名生体認証をモバイル デバイス上の暗号化されたストレージに自律的に保存し、iris コードによって生成された ML モデルをダウンロードして作成できるようになります。ローカルでゼロ知識証明を行い、虹彩コードが正しいモデルを使用して署名画像から実際に生成されたことを証明します。

    • ブロックチェーンベースの機械学習報奨金プラットフォーム

      • 同社は報奨金を発行し、公開データと非公開データを提供します。パブリック データはモデルのトレーニングに使用され、プライベート データは予測に使用されます。一部の AI サービス プロバイダーは、モデルをトレーニングして ZK 回路に変換します。モデルを暗号化し、検証のためにコントラクトに送信します。プライベート データの場合は、予測を行い、結果を取得し、検証のために契約に送信される ZK プルーフを生成します。 AIサービスプロバイダーは一連の操作を完了すると報奨金を受け取ります。 zkML: Goerli テストネット上の circomlib-ml のデモ

    • プライバシー保護推論: たとえば、個人の患者データを医療診断に使用し、機密の推論結果 (がん検査結果など) を患者に送信します。 (vCNN 論文、2/16 ページ)

4. ZKMLの領域

SevenX Ventures がコンパイルした ZKML レイアウトから判断します。

  • ハードウェア アクセラレーション: 多くの教育機関が ZKP 用のハードウェア アクセラレーションを積極的に開発しています。これは ZKML の開発にも有益です。 ZKP の生成は通常、FPGA、GPU、ASIC チップを通じて高速化されます。例: Accseal は ZKP ハードウェア アクセラレーション用の ASIC チップを開発しており、Ingonyama は CUDA をサポートする GPU 向けに設計された ZK アクセラレーション ライブラリ ICIClE を構築しています。 Supranational は GPU アクセラレーションに重点を置き、Cysic と Ulvetanna は FPGA アクセラレーションに重点を置いています。

  • 入力: オンチェーン データ入力を使用するため、Axiom、Herodotus、Hyper Oracle、Lagrange はブロックチェーン データへのユーザー アクセスを向上させ、オンチェーン データのより複雑なビューを提供します。 ML 入力データは、インポートされた履歴データから抽出できます。

  • 理由: ModulusLabs は、ZKML 専用の新しい zkSNARK システムを開発しています。このパーツは、主に ZK プロセスで必要なモデルとツールセットを ZK するために使用される ZKML ツール セット パーツとマージできます。 Giza は、完全なオンチェーン モデル展開の拡張機能に焦点を当てた、StarkNet に基づく機械学習プラットフォームです。

  • コンピューティング: 誰もがアクセスできる AI モデルをトレーニングするための分散型コンピューティング ネットワークの構築に重点を置いています。これにより、人々はエッジ コンピューティング リソースを低コストで使用して AI モデルをトレーニングできるようになります。

  • 分散型トレーニング/コンピューティング能力: 誰もがアクセスできる AI モデルをトレーニングするための分散型コンピューティング ネットワークの構築に重点を置きます。これにより、人々は低コストでエッジ コンピューティング リソースを使用して AI モデルをトレーニングできるようになります。

  • ZKML ツールセット: 第 5 章テクノロジー開発の歴史を参照してください。写真の ZAMA は、機械学習におけるプライバシー保護に主に完全準同型暗号化 (FHE) を使用します。ZKML と比較すると、FHEML はトラストレス検証なしでプライバシーのみを提供します。

  • 使用例: Worldcoin、デジタル ID 認証に ZKML を使用。ユーザーの生体認証署名は暗号化されてデバイスに保存され、ZK ベースの虹彩認識の機械学習モデルを使用して ID 認識中にモデルを実行し、生体認証の特徴が一致するかどうかを検証します。 ZKP を使用して、実行中のプロセスが正しいことを証明します。 Modulars Labs はオンチェーン AI 取引ロボットを構築しています。 Cathie の EIP7007、zkML AIGC-NFT 標準。オンチェーン人工知能チェスプレイヤー、ニューラルネットワーク駆動のNFTキャラクターなど。

5. ZKMLの技術開発の歴史

ニューラル ネットワークを ZK 回路に変換する際の主な課題は次のとおりです。

  1. この回路では固定小数点演算が必要ですが、ニューラル ネットワークでは浮動小数点数が広く使用されています。

  2. 問題はモデルのサイズであり、大きなモデルの変換は難しく、回路も大きくなります。

ZKML ライブラリの開発履歴は次のとおりです。

  1. 2021年、zk-ml/linear-regression-demo、Peiyuan Liao

線形回帰回路が実装されています。線形回帰は、出力変数と入力変数間の線形関係を前提とする、数値変数を予測し、2 つ以上の変数間の関係を調べるシナリオに適しています。たとえば、住宅面積やその他の特性に基づいて住宅価格を予測したり、過去の販売データに基づいて将来の販売を予測したりするなどです。

  1. 2022年、0xZKML/zk-mnist、0xZKML

MNIST データセットに基づいて、手書きの数字を認識できるニューラル ネットワーク ZK 回路が構築されました。たとえば、数字の 2 を手書きすると、その筆跡は 2 として認識され、推論プロセスの証明が生成されます。証明はチェーン上に置くことができ、オンチェーンの証明は ethers + snarkjs を使用して検証できます。

実際、zk-mnist ライブラリは現在、最後の層を回路に変換するだけで、完全なニューラル ネットワークを回路に変換するわけではありません。

  1. 2022、ソカシー/zkML、キャシー

zk-mnist と比較すると、ZKML は完全なニューラル ネットワークを回路に変換します。 Cathie の zkMachine Learning は、ML エンジニアがモデルを回路に変換するのに役立つ複数の ZKML ツールキット cirocmlib-ml および keras2circom を提供します。

  1. 2022 年 11 月 11 日、廖培源

ニューラル ネットワークの浮動小数点演算を固定小数点演算に変換します。ほぼすべての機械学習アルゴリズムをブロックチェーンと簡単に統合できるゼロ知識証明回路に変換する汎用ツールとフレームワークを作成し、オープンソース化しました。

  • ビジョンモデル -> AIGC

  • 言語モデル -> チャットボット、ライティングアシスタント

  • 線形モデルとデシジョン ツリー -> 不正行為の検出、Sybil 攻撃の防止

  • マルチモーダルモデル -> レコメンデーションシステム

ブロックチェーンに適したコンテンツ生成機械学習モデル (AIGC) がトレーニングされ、ZK 回路に変換されました。これを使用してアートワークを生成し、簡潔な ZK プルーフを生成し、最後にアートワークを NFT にミントします。

  1. 2022 年 7 月、2023 年 3 月更新、zkonduit/ezkl

エズクル

は、zk-snark (ZKML) の深層学習モデルおよびその他の計算グラフを推論するためのライブラリおよびコマンド ライン ツールです。 Halo2 を証明システムとして使用します。

ニューラル ネットワークなどの計算グラフを定義し、ezkl を使用して ZK-SNARK 回路を生成できます。推論用に生成された ZKP は、スマート コントラクトで検証できます。

1億パラメータのモデルをサポートできると言われていますが、リソースを非常に消費する可能性があります。

  1. 2023 年 5 月、Ddkang/zkml (リンク)

zkml は、ZK を使用して GPT2、Bert、および Diffusion モデルを変換できると主張しています。ただし、大量のメモリが必要になる可能性があり、証明をスマートコントラクトに保存できるかどうかは不明です。

zkml は、ImageNet 上のモデルの実行を 92.4% の精度で検証でき、MNIST モデルを 99% の精度で 4 秒で証明することもできます。

  1. 2023 年 5 月、zkp-gravity/0g

軽量ニューラル ネットワークはプライベート データ + パブリック モデルをサポートします。

一般的に、ZKML テクノロジーの現在の探求の方向性がわかります。

  1. ネットワーク量子化 (ネットワーク量子化) は、ニューラル ネットワークの浮動小数点数を固定小数点数および軽量ニューラル ネットワーク (ZK フレンドリー) に変換します。

  2. 大規模パラメータ ニューラル ネットワークを ZK 回路に変換し、証明効率を向上させます (ZK 機能を拡張します)。

6. まとめ

  1. ZKML は、AI とブロックチェーンの間の架け橋となり、ブロックチェーンが物理世界を認識できるようにし、スマート コントラクトによる意思決定を可能にし、プライバシーを保護するために AI モデルを実行できるようにすることを目的としています。

  2. ZKML の歴史は浅く、急速に発展しています。現在、いくつかの単純なニューラル ネットワーク モデルは ZK 回路に変換でき、モデルをアップロードしたり、推論証明をアップロードしたりすることができます。言語モデルは比較的困難です。現在、Ddkang/zkml は GPT2、Bert、および Diffusion モデルの ZK バージョンを生成できると主張しています。ネットワークボリューム技術、ZK技術、ブロックチェーン拡張技術の発展により、ZKML言語モデルが間もなく利用可能になると考えられています。