Le 13 novembre, Deepnote a publié l’Agent Initiative Benchmark : 12 modèles de pointe ont été placés dans le Slack d’une entreprise simulée afin d’évaluer, dans 50 scénarios, si les agents doivent prendre l’initiative.
Résultats (selon les chiffres officiels) :
1. GPT-6 Astra arrive en tête avec 8,97 points, suivi de GPT-6.1 Sol avec 8,65 points, puis de Claude Fable 5.2 avec 8,17 points.
2. Dans les 10 scénarios où il fallait garder le silence, même le premier n’a réussi à se retenir que 8 fois.
3. Coût par essai : 0,112 dollar pour Sol, 1,87 dollar pour Fable 5.2. Les trois modèles les plus chers occupent les places 3 à 5.
Pour un agent de trading, intervenir à tort coûte souvent plus cher que de ne rien faire.
Qu’est-ce qui vous inquiète le plus : un agent qui se tourne les pouces ou un agent qui agit à tort et à travers ?
#AIAgent
Résultats (selon les chiffres officiels) :
1. GPT-6 Astra arrive en tête avec 8,97 points, suivi de GPT-6.1 Sol avec 8,65 points, puis de Claude Fable 5.2 avec 8,17 points.
2. Dans les 10 scénarios où il fallait garder le silence, même le premier n’a réussi à se retenir que 8 fois.
3. Coût par essai : 0,112 dollar pour Sol, 1,87 dollar pour Fable 5.2. Les trois modèles les plus chers occupent les places 3 à 5.
Pour un agent de trading, intervenir à tort coûte souvent plus cher que de ne rien faire.
Qu’est-ce qui vous inquiète le plus : un agent qui se tourne les pouces ou un agent qui agit à tort et à travers ?
#AIAgent