Nos complace compartir que https://llm.runonflux.com ya está oficialmente en funcionamiento. En lugar de depender de infraestructura alquilada de un hiperescalador, esta plataforma está impulsada por completo por nodos de Flux.
El servicio ofrece una experiencia fluida a través de un único endpoint compatible con OpenAI que brinda acceso a ocho modelos diferentes. Bajo el capó, el sistema está organizado en cinco pools, con veinte instancias en cada pool. Para garantizar un rendimiento óptimo y la comodidad de los usuarios, la red está completamente equipada con enrutamiento consciente de la latencia, sesiones persistentes y claves API sin estado.
El servicio ofrece una experiencia fluida a través de un único endpoint compatible con OpenAI que brinda acceso a ocho modelos diferentes. Bajo el capó, el sistema está organizado en cinco pools, con veinte instancias en cada pool. Para garantizar un rendimiento óptimo y la comodidad de los usuarios, la red está completamente equipada con enrutamiento consciente de la latencia, sesiones persistentes y claves API sin estado.
