同じモデルでも「テスト用の外枠」を変えるとスコアに37ポイント差:GPT-6 Astraの99.9%をどう読む?
· ARC Prize公式ブログによると、GPT-6 AstraはARC-AGI-3の半非公開セットで、中立的なStandard harnessでは最高62.7%(max設定、コスト約2万6,000ドル)。一方、OpenAI独自の非公開推論状態とコンテキスト圧縮を維持するProvider Adapter harnessでは、最高99.9%(high設定、約1万9,000ドル)
· どちらのスコアもARC Prize認定のSOTAだが、別々に表記され、相互に置き換えることはできない。Adapterでは速度が約3.66倍、トークン数が49%少ない(ARC Prize)
· Startup Fortuneなど一部メディアは「99.9%は無効と判定された」と報じたが、ARC公式ブログの原文はそうではない。また、AGI Societyの評価では、AstraがAGIに達したと示すには、現状の証拠はまだ不十分とされている
【見解】
本当のニュースは「誰が不正をしたか」ではなく、外枠やコンテキスト管理そのものが約40ポイント近くをもたらし得るということだ。モデルの能力差が縮まるにつれて、ベンチマークのスコアはますますエンジニアリング環境に左右される。これは「AGIはもう到来した」という類のマーケティングを冷ます一方、エージェントのフレームワークや推論状態の管理が次の段階における本当の競争優位になることも示している。計算資源やエージェント基盤を販売する側には追い風だ。
【機会/リスク】
· 10/28のMicrosoft、Google、10/29のAmazonの決算で、AIクラウドの売上高や設備投資(capex)の見通しに注目。AIをめぐるストーリーが続くかどうかは、ここにかかっている
· AI関連コイン(例:
$FET $RENDER )は「AGI」関連の見出しに敏感。煽り気味の見出しで急騰した後、反落するリスクに注意
· 今後、モデルのベンチマークスコアを見るときは、まず「どのharnessを使ったのか、費用はいくらか」と確認しよう
中立的なテスト環境での62.7%と、提供元の環境での99.9%、どちらを信じますか?コメントで教えてください。
#AI #GPT6 #ARCAGI #AI代理 #米国株決算シーズン
参考情報であり、投資助言を構成するものではありません