Arena（Chatbot Arena）は、最先端AIモデルのリリース前テストの場として事実上の標準になりつつあります。GPT-4oは、ChatGPTの正式公開前にArenaに登場しました。Anthropic、Googleをはじめとする研究機関は、ArenaのブラインドA/Bテスト基盤を利用し、実際のユーザーの好みに照らしてリリース候補を検証してから本番環境に投入しています。これにより、研究機関は偏りのない性能評価を得られ、複数のチェックポイントから最も優れたバージョンを選びやすくなります。つまり、ArenaのクラウドソーシングによるEloランキングは、今や大手AIプロバイダーのデプロイパイプラインの一部となっています。