Nous sommes ravis de vous annoncer que https://llm.runonflux.com est officiellement en ligne et opérationnel. Plutôt que de s’appuyer sur une infrastructure louée auprès d’un hyperscaler, cette plateforme est entièrement alimentée par des nœuds Flux.
Le service offre une expérience fluide grâce à un seul point de terminaison compatible avec OpenAI qui donne accès à huit modèles différents. En coulisses, le système est organisé en cinq pools, chacun contenant vingt instances. Afin de garantir des performances optimales et la commodité pour les utilisateurs, le réseau est entièrement équipé d’un routage sensible à la latence, de sessions persistantes (sticky sessions) et de clés API sans état.
Le service offre une expérience fluide grâce à un seul point de terminaison compatible avec OpenAI qui donne accès à huit modèles différents. En coulisses, le système est organisé en cinq pools, chacun contenant vingt instances. Afin de garantir des performances optimales et la commodité pour les utilisateurs, le réseau est entièrement équipé d’un routage sensible à la latence, de sessions persistantes (sticky sessions) et de clés API sans état.
