Faire tourner un agent consomme beaucoup de tokens : voici un outil pour réduire la facture. Avant que les journaux, les fichiers JSON et les fichiers renvoyés par les outils ne soient transmis au modèle, headroom les compresse localement.
Selon les tests officiels : lors d’un dépannage SRE, le nombre de tokens est passé de 55 957 à 24 340, soit une réduction de 57 % ; un journal de 10 144 tokens a été ramené à 1 260, sans perdre les lignes FATAL essentielles ; les tableaux JSON et les lignes de journal répétitifs peuvent être réduits de plus de 90 %, tandis que le texte brut se compresse à peine. La compression prend moins d’une milliseconde, les données ne sont pas transmises à l’extérieur et le score au test de mathématiques GSM8K reste à 0,870 avant comme après compression.
Mon avis : ce qui coûte le plus cher quand on fait tourner un agent, ce n’est pas que le modèle réfléchisse trop, mais que les journaux renvoyés par les outils soient lus encore et encore. Les compresser localement avant de les envoyer au modèle, c’est déjà réduire la facture de moitié avant même de parler du reste. À mon sens, les économies dépendront de ce que produit votre agent : ceux qui génèrent beaucoup de journaux en profiteront les premiers.
#IAdePointe
$BTC
Selon les tests officiels : lors d’un dépannage SRE, le nombre de tokens est passé de 55 957 à 24 340, soit une réduction de 57 % ; un journal de 10 144 tokens a été ramené à 1 260, sans perdre les lignes FATAL essentielles ; les tableaux JSON et les lignes de journal répétitifs peuvent être réduits de plus de 90 %, tandis que le texte brut se compresse à peine. La compression prend moins d’une milliseconde, les données ne sont pas transmises à l’extérieur et le score au test de mathématiques GSM8K reste à 0,870 avant comme après compression.
Mon avis : ce qui coûte le plus cher quand on fait tourner un agent, ce n’est pas que le modèle réfléchisse trop, mais que les journaux renvoyés par les outils soient lus encore et encore. Les compresser localement avant de les envoyer au modèle, c’est déjà réduire la facture de moitié avant même de parler du reste. À mon sens, les économies dépendront de ce que produit votre agent : ceux qui génèrent beaucoup de journaux en profiteront les premiers.
#IAdePointe
$BTC
