Estamos entusiasmados em compartilhar que https://llm.runonflux.com está oficialmente no ar e funcionando. Em vez de depender de infraestrutura alugada de um hyperscaler, esta plataforma é alimentada inteiramente por nós do Flux.
O serviço oferece uma experiência perfeita por meio de um endpoint compatível com OpenAI que dá acesso a oito modelos diferentes. Por trás dos bastidores, o sistema é organizado em cinco pools, com cada pool contendo vinte instâncias. Para garantir desempenho ideal e conveniência para o usuário, a rede está totalmente equipada com roteamento ciente de latência, sessões persistentes e chaves de API sem estado.
O serviço oferece uma experiência perfeita por meio de um endpoint compatível com OpenAI que dá acesso a oito modelos diferentes. Por trás dos bastidores, o sistema é organizado em cinco pools, com cada pool contendo vinte instâncias. Para garantir desempenho ideal e conveniência para o usuário, a rede está totalmente equipada com roteamento ciente de latência, sessões persistentes e chaves de API sem estado.
