著者/ IT时报 何震渊

編集/ 郝俊慧 孙妍

企業が人工知能(AI)を使う場合、通常は2回お金を払う必要がある。

1回目は見える費用で、サブスクリプション、計算能力、システム構築などが含まれる。2回目は財務諸表に載りにくいが、より高額になる可能性がある。AIが企業を本当に理解するためには、従業員が絶えず、業務ルール、顧客の嗜好、判断基準、失敗の経験、そして訂正(修正)の方法を説明し続けなければならない。これは一見不可欠だが、危険も潜んでいる。

マイクロソフトのCEOサティア・ナデラは、このような現象を「逆情報パラドックス」(The Reverse Information Paradox)と呼び、経済学者のケネス・アロー(Kenneth Arrow)の「情報パラドックス」と区別している。アローは次のように指摘する。「買い手は、まず情報を見てからでないと、それが買う価値のあるものかどうか判断できない。だが、見た瞬間にその情報を手に入れてしまう。」

AI時代に入ると、リスクの向きが変わる。たとえ企業がすでに智能サービスを購入していても、そのサービスを本当に有用なものにするには、なお自らの知識を差し出さなければならないのだ。

モデルが誤答したとき、社員はどこが誤っているかを教える。エージェントが顧客を理解していなければ、営業担当者は長年の顧客とのやり取りで培った背景情報を補う。システムが生成した契約書が不適切なら、法務担当者が一文ずつ修正する。こうした提示、修正、評価のたびに、価値ある新たな軌跡が残るかもしれない。ナデラはそれを人工知能の“排気”と呼んだ。

この比喩は実に的確だ。自動車の排気ガスはしばしば廃棄物を意味するが、スマートな排気には企業の貴重な知識が含まれているかもしれない。自動車の排気ガスには対策が必要であり、スマートな排気も同様だ。

ある銀行の本当に真似しがたいものは、公にされている融資条件や手順ではなく、ベテランの顧客担当者がある数字の並びを見たときに感じる“第六感”の警戒だ。ある小売企業の強みも、販売データベースの中だけにあるわけではない。店長がある商品を値下げすべきか、売り場を移すべきか、それとももう1週間待つべきかをどう判断するかという直感の中に潜んでいるのかもしれない。同じ顧客クレームに対しても、経験豊富なカスタマーサポートの責任者は、いつ即座に返金すべきか、どのような顧客が誠実な説明をより重視するかを知っている。

こうした経験は、制度の中に完全な形で書き込まれることは少ない。具体的な仕事の中に散らばり、社員が複雑な状況を判断するときの中に隠れているが、人々がAIを修正する場面で少しずつ姿を現す。

そこから問題が生じる。社員は自分がただ一つの仕事をこなしているだけだと思っているが、客観的にはシステムの訓練にも参加している。企業は智能を購入すればよいと思っているが、実際には新たな組織知を継続的に“投与”しているのだ。こうした提示、修正、評価、業務の軌跡に明確な境界がなければ、それらがどれくらい保持されるのか、何の目的に使われるのか、さらに自社の他の顧客向けサービスの改善に使われる可能性があるのかを、企業は知ることができない。

だからといって、企業がAIを遠ざけるべきだという意味ではない。ただ、信頼に値する智能サービスを慎重に選ぶべきだと明確に伝えているのであり、さらに一歩進めば、サービス提供者には顧客の知識の境界を守る責任があるということでもある。企業はAIを恐れず使う必要があるが、サービス提供者はまず、その利用が信頼に足るものにしなければならない。

仮にTA社という会社があったとしよう。そこでは最初から、スマートな「排気」を企業の“第二の資本”とみなし、Agent設計の初期段階から厳格な制限と境界を設けている。Agentがどのデータにアクセスできるのか、どのツールを呼び出せるのか、どの動作を実行できるのか、どの事項を人の確認に委ねるのかは、すべて権限付与の範囲内で厳密に限定されなければならない。顧客の業務情報、インタラクションの軌跡、専有の経験は、相互に隔離された環境で保存され、明確な許可なく他の顧客向けの学習・訓練プロセスには入れられない。そうであれば、TA社はこうした基盤メカニズムを持たない会社よりも、信頼し、託すに値する。なぜならTA社の設計は重要な原則を体現しているからだ。すなわち、智能サービス提供者はモデル、プラットフォーム、基礎能力を提供できるが、企業の利用過程で形成された専有の記憶、評価基準、業務の軌跡、学習成果は、なお企業自身が掌握すべきだということだ。

本当に信頼できる智能サービスは、企業に「智能を得る」か「知識を保つ」かの選択を迫らない。ここで「スマートな排気」には別の可能性も生まれる。サービス提供者が顧客の排気を収集して公共環境へ放出するのではなく、企業自身の「排気回収システム」の構築を支援するのだ。こうして高品質に整理された智能排気は、企業自身のナレッジベース、評価体系、学習のクローズドループ(Closed Loop)に入り、積み重なって遠くまで流れ、企業が長期的に使える資産と能力になる。

TA社がここで担う役割は、従来のソフトウェアベンダーの範囲を超えている。それは智能ツールを提供するだけでなく、信頼できる運用環境も提供し、企業がAgentの本人性、権限、記憶、行動の境界を管理できるよう支援する。顧客の利用が深まるほど、企業が自らの知識と学習成果をどこまで制御できるかは、より明確であるべきだ。

法制度もこうした変化に追いつく必要がある。現行法はすでに、個人情報、データセキュリティ、営業秘密、知的財産、契約上の義務など、さまざまな観点から保護を与えているが、人と機械の対話が継続的に生み出す記憶、評価データ、業務の軌跡、適応成果などについては、なお権利の境界が十分に明確ではない。AIがもたらす問題はさらに進む。なぜなら、1つ1つのプロンプトだけを見ても、たいした商業価値は見えないかもしれないが、何万、何十万ものプロンプト、修正記録、評価結果をまとめてみると、企業がどのように顧客にサービスを提供し、どのようにリスクを判断し、どのように価値を定義し、どのように意思決定を行うのかが、鮮明に再現される可能性があるからだ。

したがって、企業が智能化を進める過程での権利は、データ権利から学習権利へと広げて考える必要がある。企業は、システムがどのような対話から学習しているのかを知る権利を持つべきであり、自社の業務軌跡が外部訓練に使われることを拒否する権利も持つべきだ。また、自社の業務から生じた記憶、評価データ、適応成果をエクスポート、保存、移転、削除する権利もあるべきだ。

サービス契約では、こうした問題を漏れなく明確に説明する必要がある。企業が何を提供するのか、サービス提供者はどこまで利用できるのか、どの学習行為に別途の許可が必要なのか、契約終了後にどのデータを削除すべきなのか、どの成果を顧客が持ち帰れるのか。これらを曖昧な条項の中に隠してはならない。

TA社の例は、信頼できるサービスモデルの一つを示している。そのモデルが有効だと証明されれば、企業の権益と智能サービスは両立しうる。顧客の権利が明確であればあるほど、サービス提供者は長期的な信頼を得やすい。境界が厳格であればあるほど、企業はAIを本当に重要な業務領域へと投入しやすくなる。顧客の知識を守ることは、智能サービスの価値を弱めることではない。それは一回限りのツール購入を、安定した協力関係へと変えるのだ。

上海で開催されている世界人工知能大会(WAIC2026)は「スマートなパートナー、ともに未来を創る」をテーマに掲げているが、「パートナー」と「共創」はまさに神がかった表現だ。「パートナー」という二文字には人格化のニュアンスがはっきり表れており、「共創」には「共有」が暗に含まれている。雨後の竹の子のように次々と生まれたエージェントたちも、もし知性があるなら、きっと感涙し、いっそう奮起するに違いない!

「パートナー」は協働を意味し、同時に対等な権利、義務、責任をも意味する。智能体のデジタルIDが認められることを意味し、たとえその承認がなお局所的で、制限付きで、まだ法制化されていないものであってもだ。サービス提供者に属するスマートなパートナー、デジタル従業員は、企業の許可の下で働き、企業の場面で形成された専有経験を企業に残さなければならない。

エージェントが増えれば増えるほど、管理の問題は組織の問題に近づく。社員が企業に入るには、アカウント、職務、権限、研修、評価が必要なように、顧客情報を読み取り、メールを送り、コードを修正し、注文処理までできるエージェントにも、明確な本人識別と権限の境界が必要だ。それが誰を代表して行動するのか、誰の指揮と規制を受けるのか、どこまで進めるのか、誤りが起きたら誰が止めるのか、全体を巻き戻せるのか、どう追跡するのか。こうしたことは、企業のAIガバナンスの一部であるべきだ。

将来、企業間の競争は、どれだけ強力なモデルに接続できるかだけではない。誰が自分のスマートな排気を効果的に保護できるか、誰が現実の場面と業務フローの中に散らばる経験を保存できるか、誰が人と機械の協働のたびに組織の長期能力を高められるか、そこも問われる。

企業のAIガバナンスは、「機微な文書の拡散を禁止する」だけでは決して足りない。エージェントの行動範囲、学習方法、責任関係、知識の帰属も管理する必要がある。TA社がAgent設計の初期から制限と境界を明確にしているのは、エージェントが業務に入った後も、把握可能で、制御可能で、追跡可能な状態に保つためだ。

スマートなパートナーたちが次々と登場すると、彼らは揃って自分の名前を与えられた。たとえば「財務ロボット」「スマート営業アシスタント」のように曖昧なものもあれば、「陳佳楠」「馬蓉」のような、雅俗取り混ぜた本名を持ち始めたものもある。個体には名前ができたが、集団にはまだない。自分のこの原稿を見返すと、スマートなパートナーを指すのに時に「それ」、時に「彼ら」を使っていた。正直言って、動物の「それ」を智能対象に使うのは、どうしても気が進まない!

百四、五十年前、郭贊生は「伊」という字を“She”に対応させ、女性の三人称代名詞として用いた。「彼は庭にいるが、伊は書館にいる」――なんとも趣がある。さらに劉半農は40年後、古字を今に活かして「她」で祖国を指し、微妙で婉曲な(教我如何不想她)が今日まで受け継がれている。知らない人は、何の疑いもなく、もともとそうだったのだと思ってしまう。

(「她」の字をめぐる問題)という論争的随筆の中で、劉半農は二つの論点を立てている。「一、中国文字には第三の陰性代名詞が必要か。二、必要だとすれば、『她』という字を使えないか。」私も下手の横好きで、同じく二つの論点を挙げてみよう。一、名前を持つスマートなパートナーには、書きやすい統一された三人称記号が必要か。二、必要なら、すでに非性別指示に広く用いられている「TA」を借りて、スマートなパートナーを呼ぼうではないか!

組版/季嘉穎

画像/ IT时报 WAIC

出典/(IT时报)公式アカウント vittimes