AI犯错其实不可怕,真正麻烦的是出事以后,所有人都开始甩锅。
開発者は「モデルは当時このように答えた」と言い、モデル供給業者は「バックエンドに異常はなかった」と言い、代理運用側は「ユーザー入力の問題の可能性がある」と言う。最後に調べてみると、残ったのは大量の一般的なログだけで、それらが完全なものかどうか、改ざんされていないかどうかは誰も証明できない。
この状況が通常のチャットなら、体験が悪い程度で済むかもしれないが、もしAIが送金、承認、与信/リスク管理、医療判断に関わるなら、「システム異常」という一言では済まない。
それが私がOpenGradientを「現実的」だと思う理由でもある。つまり、毎回の推論に対して、追及に使える証拠のチェーンを残そうとしている点だ。
モデル呼び出しは署名され、証明はチェーン上に固定される。外部データもデータノードを通じて出所の記録を残せる。今後争いが起きたとしても、みんなが記憶で語り合うのではなく、当時どのモデルを呼び出し、どの入力を使い、結果がいつ返ってきたか、実行パスが変更されていないかまで調べられる。
「AIをより賢くすること」に終始するより、商業導入に近いと思う。
もちろん、記録があることは、責任が自動的に明確になることと同じではない。たとえ証明によってモデルが原文どおり実行されたとしても、プロンプト設計が誤っていたり、元データ自体に問題があったりする可能性はある。チェーン上の証拠は何が起きたかを教えてくれるが、誰が賠償すべきかを直接示すとは限らない。
だからOpenGradientには、その後さらに、より明確な権限、責任、そして紛争処理の仕組みとセットで必要になる。「監査可能」を「絶対に失敗しない」にすり替えてはならない。
しかし少なくとも、まず最初の問題は解決する。AIの重要な行為が、もはや特定の企業のバックエンド内にだけ存在するのではなくなる。
将来の高付加価値AIサービスで勝負を分けるのは、誰が一番うまく話せるかではなく、問題が起きたときに、最初から最後まで一連の出来事をきちんと説明できるかどうかだ。
$OPG @OpenGradient #OPG
開発者は「モデルは当時このように答えた」と言い、モデル供給業者は「バックエンドに異常はなかった」と言い、代理運用側は「ユーザー入力の問題の可能性がある」と言う。最後に調べてみると、残ったのは大量の一般的なログだけで、それらが完全なものかどうか、改ざんされていないかどうかは誰も証明できない。
この状況が通常のチャットなら、体験が悪い程度で済むかもしれないが、もしAIが送金、承認、与信/リスク管理、医療判断に関わるなら、「システム異常」という一言では済まない。
それが私がOpenGradientを「現実的」だと思う理由でもある。つまり、毎回の推論に対して、追及に使える証拠のチェーンを残そうとしている点だ。
モデル呼び出しは署名され、証明はチェーン上に固定される。外部データもデータノードを通じて出所の記録を残せる。今後争いが起きたとしても、みんなが記憶で語り合うのではなく、当時どのモデルを呼び出し、どの入力を使い、結果がいつ返ってきたか、実行パスが変更されていないかまで調べられる。
「AIをより賢くすること」に終始するより、商業導入に近いと思う。
もちろん、記録があることは、責任が自動的に明確になることと同じではない。たとえ証明によってモデルが原文どおり実行されたとしても、プロンプト設計が誤っていたり、元データ自体に問題があったりする可能性はある。チェーン上の証拠は何が起きたかを教えてくれるが、誰が賠償すべきかを直接示すとは限らない。
だからOpenGradientには、その後さらに、より明確な権限、責任、そして紛争処理の仕組みとセットで必要になる。「監査可能」を「絶対に失敗しない」にすり替えてはならない。
しかし少なくとも、まず最初の問題は解決する。AIの重要な行為が、もはや特定の企業のバックエンド内にだけ存在するのではなくなる。
将来の高付加価値AIサービスで勝負を分けるのは、誰が一番うまく話せるかではなく、問題が起きたときに、最初から最後まで一連の出来事をきちんと説明できるかどうかだ。
$OPG @OpenGradient #OPG