Запуск Agent сжигает токены — теперь есть способ сэкономить: headroom локально сжимает логи, JSON и файлы, возвращаемые инструментами, прежде чем они попадут в модель.
По официальным тестам: при устранении сбоя SRE объём сократился с 55957 до 24340 токенов — экономия 57%; лог на 10144 токена сжался до 1260, при этом важные строки FATAL сохранились; повторяющиеся массивы JSON и строки логов сокращаются более чем на 90%, а обычный текст практически не сжимается. Сжатие занимает меньше 1 миллисекунды, данные никуда не передаются; результат теста по математике GSM8K до и после сжатия одинаковый — 0.870.
Моё мнение: при запуске Agent больше всего денег уходит не на долгие размышления модели, а на повторное чтение логов, которые возвращают инструменты. Сначала сжимаем их локально, а потом передаём модели — и сразу сокращаем счёт вдвое, а там уже можно думать о другом. Думаю, насколько это поможет, зависит от того, что выдаёт ваш Agent. Те, у кого много логов, почувствуют выгоду первыми.
#ПереднийКрайИИ
$BTC
По официальным тестам: при устранении сбоя SRE объём сократился с 55957 до 24340 токенов — экономия 57%; лог на 10144 токена сжался до 1260, при этом важные строки FATAL сохранились; повторяющиеся массивы JSON и строки логов сокращаются более чем на 90%, а обычный текст практически не сжимается. Сжатие занимает меньше 1 миллисекунды, данные никуда не передаются; результат теста по математике GSM8K до и после сжатия одинаковый — 0.870.
Моё мнение: при запуске Agent больше всего денег уходит не на долгие размышления модели, а на повторное чтение логов, которые возвращают инструменты. Сначала сжимаем их локально, а потом передаём модели — и сразу сокращаем счёт вдвое, а там уже можно думать о другом. Думаю, насколько это поможет, зависит от того, что выдаёт ваш Agent. Те, у кого много логов, почувствуют выгоду первыми.
#ПереднийКрайИИ
$BTC
