Chạy Agent đốt Token giờ đã có công cụ tiết kiệm: headroom nén ngay trên máy các log, JSON và tệp do công cụ trả về trước khi đưa chúng vào mô hình.
Theo thử nghiệm chính thức: một lần xử lý sự cố SRE giảm từ 55957 Token xuống còn 24340, tiết kiệm 57%; một log dài 10144 Token được nén còn 1260 mà vẫn giữ lại các dòng FATAL quan trọng; các mảng JSON và dòng log trùng lặp có thể giảm hơn 90%, còn văn bản thuần thì hầu như không nén được. Mỗi lần nén chưa đến 1 mili giây, nội dung không bị gửi ra ngoài; điểm bài kiểm tra toán GSM8K trước và sau khi nén đều là 0.870.
Quan điểm của tôi: thứ khiến việc chạy Agent tốn tiền nhất không phải là mô hình suy nghĩ nhiều, mà là log do công cụ trả về bị đọc đi đọc lại. Nén ngay trên máy trước khi đưa vào mô hình, hóa đơn giảm một nửa rồi hãy tính chuyện khác. Tôi nghiêng về nhận định rằng tiết kiệm được bao nhiêu còn tùy Agent của bạn trả về những gì; ai có nhiều log sẽ hưởng lợi trước.
#AItiênphong
$BTC
Theo thử nghiệm chính thức: một lần xử lý sự cố SRE giảm từ 55957 Token xuống còn 24340, tiết kiệm 57%; một log dài 10144 Token được nén còn 1260 mà vẫn giữ lại các dòng FATAL quan trọng; các mảng JSON và dòng log trùng lặp có thể giảm hơn 90%, còn văn bản thuần thì hầu như không nén được. Mỗi lần nén chưa đến 1 mili giây, nội dung không bị gửi ra ngoài; điểm bài kiểm tra toán GSM8K trước và sau khi nén đều là 0.870.
Quan điểm của tôi: thứ khiến việc chạy Agent tốn tiền nhất không phải là mô hình suy nghĩ nhiều, mà là log do công cụ trả về bị đọc đi đọc lại. Nén ngay trên máy trước khi đưa vào mô hình, hóa đơn giảm một nửa rồi hãy tính chuyện khác. Tôi nghiêng về nhận định rằng tiết kiệm được bao nhiêu còn tùy Agent của bạn trả về những gì; ai có nhiều log sẽ hưởng lợi trước.
#AItiênphong
$BTC
