Мы рады сообщить, что https://llm.runonflux.com официально запущен и работает. Вместо того чтобы полагаться на арендованную инфраструктуру у гиперскейлера, эта платформа полностью работает на узлах Flux.

Сервис обеспечивает плавный пользовательский опыт благодаря одному совместимому с OpenAI конечному пункту, который дает доступ к восьми различным моделям. Под капотом система организована в пять пулов, и каждый пул содержит двадцать экземпляров. Чтобы обеспечить оптимальную производительность и удобство пользователей, сеть полностью оснащена маршрутизацией с учетом задержек, сессионными «липкими» связями (sticky sessions) и ключами API без состояния (stateless).