Claude Fable 5.2 a pris la tête d’un nouveau benchmark d’imagerie en sciences de la vie, avec un score presque doublé après l’ajout d’outils.
Selon Crypto Briefing, ce résultat s’explique par l’intégration d’outils : le même modèle obtient des résultats très différents selon qu’il les utilise ou non. Cela signifie que, pour évaluer ce type de modèle, la manière d’utiliser les outils et leur rapport coût-efficacité sont eux-mêmes des variables ; le seul score du modèle sans outils ne suffit pas.
· L’article met l’accent sur le rapport coût-efficacité et la stratégie d’appel aux outils, et non sur la capacité du modèle lui-même à comprendre la biologie.
Pour évaluer ce type de modèle, vous commenceriez par regarder le score sans outils ou celui obtenu avec des outils ?
Selon Crypto Briefing, ce résultat s’explique par l’intégration d’outils : le même modèle obtient des résultats très différents selon qu’il les utilise ou non. Cela signifie que, pour évaluer ce type de modèle, la manière d’utiliser les outils et leur rapport coût-efficacité sont eux-mêmes des variables ; le seul score du modèle sans outils ne suffit pas.
· L’article met l’accent sur le rapport coût-efficacité et la stratégie d’appel aux outils, et non sur la capacité du modèle lui-même à comprendre la biologie.
Pour évaluer ce type de modèle, vous commenceriez par regarder le score sans outils ou celui obtenu avec des outils ?
