يسعدنا أن نشارككم أن https://llm.runonflux.com يعمل رسميًا وبشكل كامل. وبدلًا من الاعتماد على بنية تحتية مؤجرة من مزود خدمات سحابي كبير (hyperscaler)، تعمل هذه المنصة بالكامل بواسطة عقد Flux.
تقدّم الخدمة تجربة سلسة عبر نقطة نهاية واحدة متوافقة مع OpenAI، تمنح الوصول إلى ثمانية نماذج مختلفة. وضمن الكواليس، يتم تنظيم النظام إلى خمس مجموعات (pools)، تحتوي كل مجموعة منها على عشرين مثيلًا. ولضمان أفضل أداء وسهولة استخدام للمستخدمين، تم تجهيز الشبكة بتوجيه مراعي للكمون (latency-aware routing)، وجلسات لاصقة (sticky sessions)، ومفاتيح API عديمة الحالة (stateless API keys).
تقدّم الخدمة تجربة سلسة عبر نقطة نهاية واحدة متوافقة مع OpenAI، تمنح الوصول إلى ثمانية نماذج مختلفة. وضمن الكواليس، يتم تنظيم النظام إلى خمس مجموعات (pools)، تحتوي كل مجموعة منها على عشرين مثيلًا. ولضمان أفضل أداء وسهولة استخدام للمستخدمين، تم تجهيز الشبكة بتوجيه مراعي للكمون (latency-aware routing)، وجلسات لاصقة (sticky sessions)، ومفاتيح API عديمة الحالة (stateless API keys).
