概念推論指数：最優秀のAIモデルは73.6、上限は91

Anthropicと独立した研究者たちは、AIモデルがこれまで「優れている」と証明するのが難しかったこと――すなわち、きれいに検証できる答えがない問題を、推論によって解いていく力――を測る新しい方法を提案した。今週公開された概念推論指数（CRI）は、大規模言語モデルが哲学的な主張、論理的な一貫性、そして意思決定理論のパズルにどれだけうまく対処できるかをスコア化するために、3つの別々のベンチマークを組み合わせている。多くの研究者が、AIシステムが自らのリスク管理においてより大きな役割を担うようになるにつれ、最も重要になるのはこの種の思考だと考えている。
主な要点
概念推論指数（CRI）は、3つのベンチマーク――LMCA、ACCoRD、DTBenchの能力――を組み合わせ、AIの概念推論を0〜100の単一スコアとして表します。
最高性能のモデルであるOpus 5は、CRIで73.6点を記録しました。推定上限（約91）を大きく下回っています。
LMCAデータセットには、ポジション文560件と、哲学、意思決定理論、AIリスクをカバーする1,461件の専門家評価付き議論が含まれています。
スコアは2024年後半以降、ほぼ直線的に上昇しており、横ばいになる兆候はありません。
このプロジェクトは、Anthropicおよび研究者のEmery CooperとCaspar Oesterheldとの共同で構築されました。
概念推論指数（CRI）入門
CRIが存在するのは、AIシステムが将来的に行うかもしれない最も重要な仕事のいくつか――たとえば、高度なAIリスクに備えて人間が理解し計画するのを助けること――が、数学やコーディングの問題のように明確な正解と照合して検証できないからです。CRIの創始者は、AIリスクの低減に関係する多くの課題は、経験的な検証ではなく、哲学やAIフューチャリズムで用いられる種類の議論（argumentation）を必要とし、さらに、信頼できるフィードバックを伴うデータに大きく依存する現在の学習手法では、まさにこの種の推論が弱くなりがちだと主張しています。
その測定ギャップを埋めるため、研究者たちは3つの別々のAIリスク・ベンチマークを作成し、それらを1つの集計スコアにまとめました。概念推論指数（CRI）は、3つのベンチマーク――LMCA、ACCoRD、DTBenchの能力――を1つの数値に集約し、モデルの全体的な概念推論能力を捉えることを目的としています。インデックスは公開されており、conceptualreasoning.aiで入手できます。チームは、新しいモデルや新しいベンチマークが到着するたびにスコアと手法を更新し続けると述べています。
AIリスク管理におけるCRIの目的
そもそもなぜこれを作るのか？研究プロジェクトの背後にいる研究者たちは、AIモデルが人間の専門家レベルでリスク低減の仕事をできるようになれば、その領域でのAI支援出力は、人間だけが生み出すものを大きく上回り得ると述べています。つまり、AIをめぐるガバナンス、アラインメント、協調の失敗といった問題について、モデルがうまく推論できるようになるまでの速さが、リスクが間に合う形で対処されるかどうかを左右する決定的な要因になり得ます。AIモデルにおける概念推論の改善が重要だと考えられるのは、まさにそのギャップ――経験的フィードバックのループがないため標準的な学習で見落とされがちな課題――を狙い撃ちしているからです。
ベンチマークの集約と利用可能性
CRIは単一のテストではありません。重み付けされた合成（コンポジット）です。現在は、LMCAがスコアの60%を占め、ACCoRDとDTBenchの各能力がそれぞれ20%ずつ寄与します。チームは、時間とともに新しいベンチマークを追加し、飽和してきたものを引退させ、モデルが改善するにつれてそれらの重みを再調整する可能性があると述べています。
CRI構成要素ベンチマークの詳細分解
3つの構成要素はいずれも、経験的に検証するのが難しいものの、専門家の判断や論理ルールによっては測定可能な、異なる“タイプの推論”を狙っています。
LMCAデータセット：範囲と専門家評価
LMCA（Language Model Conceptual Argumentationの略）は、高度なAIから生じるリスク、哲学、意思決定理論にまたがる、厳選された専門家評価付きの議論を土台に構築されています。LMCAデータセットには、560のポジション文（主張側の立場）と、それらのポジションに対して書かれた1,461の専門家評価付き議論が含まれています。ほとんどすべての議論は、概念研究者であるEmery Cooperによって評価されており、一部は少なくとももう1人の研究者によって独立に評価されているため、合計で2,140件の評価が得られています。検証用データセットとして約50件の議論を4〜6人が独立に評価し、その後、合計で7〜8時間議論しました。これは、モデルの出力と比較する前に、人間同士がどれほど一致するかを確かめることを目的としたプロセスです。
現時点ではLMCAは、モデルが既存の議論をどれだけうまく判断できるかのみをスコア化しています。もっとも、チームは将来的に、議論生成の測定も追加したいと考えているそうです。
ACCoRD：モデルの信念における論理整合性を測る
ACCoRDは別のものをチェックします。つまり、モデル自身が述べた信念や嗜好が、論理的に矛盾せずに一貫しているかどうかです。モデルがイベントAに対する確率を報告していて、さらにAとBが同時に起こる確率を別途報告しているとします。このとき、P(A)がP(A&B)以上であるといった基本ルールを守っていますか？完全なACCoRDデータセットには、18種類の制約タイプにまたがる、約14,000件のモデル生成による整合性制約が含まれており、これらは自動チェッカーで実行されます。そのうち、手動レビュー後にCRlへ入ったのは567件の検証済み制約です。これは、研究者が確信を持っているチェックだけを残すことを意図した、あえて慎重なフィルタです。
DTBench：意思決定理論（デシジョン・セオリー）推論の評価
DTBenchは、407問の多肢選択問題を用いて意思決定理論の推論をテストします。問題の大半は、意思決定理論に関する学術的な研究を公表しているCaspar Oesterheldによって手作りされ、さらにEmery Cooperによって独立に検証されています。問題は、自己予測や、エージェントのニアコピー（ほぼ同一の存在）との相互作用といったシナリオを扱い、意思決定理論家たちが長年議論してきたタイプの思考実験に相当します。DTBenchの完全なセットには、意思決定論的な態度を測る追加の130問もありますが、それらはCRIスコアには含まれませんでした。
CRIの性能結果とトレンド
テストした最良のモデルでさえ、ベンチマークが想定する“ほぼ完璧”なスコアにはまだ大きく届いていませんが、そのギャップは着実に縮まっています。
現在の性能スコアと上限（セーリング）との比較
CRIのスコア範囲は0〜100で、0はランダムな当てずっぽうを表します。研究者らは、人間の評価自体にいくらかのノイズがあるため（たとえ専門家の評価者でも常に100%一致するわけではありません）、現実的な上限は100ではなく約91だと推定しています。これまでで最も高いスコアはOpus 5の73.6で、95%信頼区間は±2.1です。つまり、現時点のトップ性能と推定上限の間には意味のあるギャップがあり、ベンチマーク自体が制約要因になる前に、モデルが概念推論をさらに改善する余地がまだあることを示唆しています。
モデル性能向上の時系列トレンド
データで目立つのは、モデルが今どこまで到達しているかだけでなく、どれくらいの速さで動いてきたかです。モデルの性能は2024年後半以降、ほぼ直線的に改善しており、研究者らはその傾向が頭打ちになる兆候はないと報告しています。この着実な上昇は、AIシステムが、AIセーフティ研究が依存するような論点が多い議論を要する仕事の“本当に有用な協働者”になり得る時期を予測しようとする人にとって重要です。
ベンチマーク固有の飽和（サチュレーション）推定
すべての構成要素が同じペースで進んでいるわけではありません。研究者らは現在の傾向から推測して、LMCAはおよそ1年で飽和し始めるだろうと大まかに見積もっています。一方でDTBenchはすでに上限にかなり近づいています。評価されたモデルの1つであるFable 5は、DTBenchの問題の98%に正しく答えました。ACCoRDは“ワイルドカード”です。チームは、このベンチマークがいつ飽和するかについて本当に不確実だと言っています。なぜなら、素の推論能力が向上しているとしても、整合性エラーは残り得るからです。
CRIの重要性と共同開発
この一連のことが順位表（リーダーボード）以上に重要なのはなぜでしょうか？それは、概念推論指数の開発者たちが、概念推論をAIリスクに関する仕事におけるボトルネックスキルだと見ているからです。具体的には、過去の結果のデータセットが学習に使えるわけではない状況で、ガバナンス、アラインメント、壊滅的な協調失敗について推論する必要があるタイプの仕事です。AIモデルの概念推論を改善することが重要だと考えられるのは、そのリスク低減作業の多くが経験的なテストよりも議論（argumentation）に依存しているためです。
このプロジェクトは、概念研究者のEmery CooperやCaspar Oesterheldに加え、Anthropicが関わる共同によって構築されました。両者は、データセット設計と、LMCAおよびDTBenchの各コンポーネントを支える専門家評価の両方に貢献しています。こうした機関としての後ろ盾と、領域に特化した専門家の知見の組み合わせが、CRIを、数学・コーディング・一般知識のように正しさを通常は自動的に検証できる分野に焦点を当てた、より従来型のAIベンチマークと区別している要素の一つです。
ライブスコアと手法に関する注記はconceptualreasoning.aiで公開されています。また、基となるLMCAデータセットへのアクセスはリクエストフォームを通じて可能であり、この構造は、チームがベンチマークを閉じた社内指標として扱うのではなく、外部の研究者がベンチマークを検証し挑戦できるようにしたいのだという示唆になっています。
FAQ
概念推論指数（CRI）とは？
CRIは3つのベンチマーク――LMCA、ACCoRD、DTBench――を集約して、AIモデルの概念推論能力を測定し、0〜100の単一スコアを算出します。
LMCAデータセットはどのような種類の推論を評価しますか？
LMCAは、哲学、意思決定理論、AIリスクに関連する概念的議論を、専門家の人間の評価と比較しながら評価します。
ACCoRDでは、AIモデルの論理整合性はどのようにテストされますか？
ACCoRDは、モデルが報告した信念や嗜好が、基本的な確率ルールなどの論理整合性制約を満たしているかどうかを、CRl内の567件の検証済み制約を用いて測定します。
現時点のAIモデルはCRIでどれくらい良い成績を収めていますか？
現在のトップモデルであるOpus 5は、CRIで約73.6（100点満点中）のスコアです。評価された各モデルのスコアは、2024年後半以降、ほぼ直線的に改善しており、伸びが鈍化する兆候はまだ見られません。
この記事は人工知能の支援を受けて作成され、編集チームによってレビューされています。