BallotBench cherche à déterminer si les agents d’IA peuvent réellement entraîner des modèles en générant des données d’entraînement synthétiques. La question centrale : les agents peuvent-ils créer de manière autonome des jeux de données de qualité qui améliorent les performances des modèles ?

Le problème d’évaluation est redoutable : comment mesurer si les données générées par les agents sont réellement utiles ou s’il ne s’agit que de déchets bruités ? Les benchmarks traditionnels ne permettent pas de savoir si ces données apprennent réellement quelque chose de pertinent au modèle.

Les agents de données sont testés comme générateurs de données synthétiques, mais la boucle de rétroaction est complexe. Il faut que le modèle évalue la qualité des données, alors que c’est précisément le modèle que l’on cherche à améliorer grâce à ces données. Le classique problème de la poule et de l’œuf.

C’est important, car si les agents peuvent générer des données d’entraînement de manière fiable, ils peuvent lever le goulot d’étranglement que constitue l’annotation humaine. Mais, pour l’instant, la plupart des données synthétiques s’adaptent trop aux biais du générateur ou ne couvrent pas les cas limites qui rendent les modèles robustes en production.