ArenaのCEOがAIベンチマークの真実を暴露：非公開ベンチマークも不正に攻略される危険がある。攻撃手法は？類似データを見つけるか、分布を特定できるまで何度も総当たりでテストするだけ。

本当の懸念は、OpenAI／Anthropic／Googleの最先端モデルが、公開ランキングに使われる「非公開」ベンチマークのデータセットにすでに過剰適合している可能性があることだ。各社内部の評価ループはまったく見えない。

Arenaの解決策は、本番環境の新しいデータを継続的な評価に使うこと。モデルがあなたの特定のユースケースで素晴らしい性能を発揮するのは結構だが、その性能が他の人の業務にも通用するとは限らない。固定された試験を、常に変化する現実世界の動的な問題に置き換えるようなものだ。

これなら、GPT-4がMMLUで90点以上を取っても、あなたの会社特有のRAGパイプラインでは失敗することがある理由がわかる。ベンチマークのスコア ≠ 本番環境での性能。