أصبحت هناك أداة لتوفير المال عند تشغيل الوكلاء واستهلاكهم للتوكنات: تضغط headroom السجلات وبيانات JSON والملفات محليًا قبل أن يرسلها إليك أحد الأدوات إلى النموذج.
وفقًا لاختبارات الشركة: انخفضت رموز عملية واحدة لاستكشاف عطل في SRE من 55957 إلى 24340، أي توفير بنسبة 57٪؛ وضُغط سجل من 10144 رمزًا إلى 1260، مع الاحتفاظ بأسطر FATAL المهمة؛ ويمكن تقليص مصفوفات JSON وأسطر السجلات المتكررة بأكثر من 90٪، بينما يصعب ضغط النصوص العادية. يستغرق الضغط أقل من 1 ملي ثانية، ولا تُرسل البيانات إلى الخارج، وكانت نتيجة اختبار الرياضيات GSM8K هي 0.870 قبل الضغط وبعده.
رأيي: أكثر ما يكلّف عند تشغيل الوكلاء ليس كثرة تفكير النموذج، بل تكرار قراءة السجلات التي تعيدها الأدوات. اضغطها محليًا قبل إدخالها إلى النموذج، وستنخفض الفاتورة إلى النصف قبل أن تفكر في أي شيء آخر. وأرجّح أن مقدار التوفير يعتمد على ما يُخرجه وكيلك؛ ومن لديه الكثير من السجلات سيجني الفائدة أولًا.
#مستجدات_الذكاء_الاصطناعي
$BTC
وفقًا لاختبارات الشركة: انخفضت رموز عملية واحدة لاستكشاف عطل في SRE من 55957 إلى 24340، أي توفير بنسبة 57٪؛ وضُغط سجل من 10144 رمزًا إلى 1260، مع الاحتفاظ بأسطر FATAL المهمة؛ ويمكن تقليص مصفوفات JSON وأسطر السجلات المتكررة بأكثر من 90٪، بينما يصعب ضغط النصوص العادية. يستغرق الضغط أقل من 1 ملي ثانية، ولا تُرسل البيانات إلى الخارج، وكانت نتيجة اختبار الرياضيات GSM8K هي 0.870 قبل الضغط وبعده.
رأيي: أكثر ما يكلّف عند تشغيل الوكلاء ليس كثرة تفكير النموذج، بل تكرار قراءة السجلات التي تعيدها الأدوات. اضغطها محليًا قبل إدخالها إلى النموذج، وستنخفض الفاتورة إلى النصف قبل أن تفكر في أي شيء آخر. وأرجّح أن مقدار التوفير يعتمد على ما يُخرجه وكيلك؛ ومن لديه الكثير من السجلات سيجني الفائدة أولًا.
#مستجدات_الذكاء_الاصطناعي
$BTC
