AI研究者として、私は@OpenLedger ($OPEN )で、『暗号通貨市場分析』に関する記事を生成するための大規模言語モデルを訓練しました。訓練データには数百万の記事、レポート、コミュニティディスカッションが含まれています。#OpenLedger モデルがビットコイン価格の変動について予測を生成した際、その判断がどの訓練データに依拠しているのかを知りたくなりました。
従来の方法では、計算が遅すぎたり、データセット全体の寄与度しか粗く示せないため、特定の文書や段落まで正確に追跡できません。この場合、Infini-gramを使用します。#OpenLedger システムは、モデルが出力する各キーワードと訓練コーパスを記号的に対応させ、サフィックス配列構造を用いて効率的に照合します。
結果は次のとおりです：
@OpenLedger モデルが「ビットコインの短期的な反発」を予測する際、主に3つの市場分析記事と1つのコミュニティディスカッションの特定の段落を参考にしました。各文書の影響力は定量化され、どの部分のテキストがモデルの意思決定に最も貢献しているかを見ることができます。このプロセスにより、私は：
モデルの意思決定を検証する：モデルが誤った偏ったデータを学習していないことを確認します；
データ提供者にフィードバックを行う：OpenLedger($OPEN )を通じて貢献を定量化し、報酬を配布します；
データセットを最適化する：影響力の高いデータを特定し、モデルの性能を向上させます。
私と私のチームにとって、Infini-gramは単なる技術ではなく、各データの価値を透明にします。モデルが出力する各判断には明確で追跡可能な出所があり、データ提供者はブロックチェーン上で認識を受けることができ、公平で検証可能なAIエコシステムを構築します。
