我們很高興地分享:https://llm.runonflux.com 已正式上線並正常運行。該平臺不再依賴超大規模雲服務商租用的基礎設施,而是完全由 Flux 節點驅動。
該服務通過一個符合 OpenAI 兼容標準的端點提供無縫體驗,讓你可訪問八種不同的模型。在底層架構上,系統被組織爲五個資源池,每個資源池包含二十個實例。爲確保最佳性能併兼顧用戶便利,網絡已全面配備了延遲感知路由、粘性會話以及無狀態的 API 密鑰。
該服務通過一個符合 OpenAI 兼容標準的端點提供無縫體驗,讓你可訪問八種不同的模型。在底層架構上,系統被組織爲五個資源池,每個資源池包含二十個實例。爲確保最佳性能併兼顧用戶便利,網絡已全面配備了延遲感知路由、粘性會話以及無狀態的 API 密鑰。
