Chúng tôi rất vui mừng thông báo rằng https://llm.runonflux.com đã chính thức hoạt động trở lại. Thay vì phụ thuộc vào hạ tầng thuê từ một siêu nhà cung cấp (hyperscaler), nền tảng này được vận hành hoàn toàn bằng các node Flux.
Dịch vụ mang đến trải nghiệm liền mạch thông qua một endpoint tương thích với OpenAI, cho phép truy cập vào tám mô hình khác nhau. Ở phía sau, hệ thống được tổ chức thành năm pool, mỗi pool chứa hai mươi instance. Để đảm bảo hiệu năng tối ưu và sự thuận tiện cho người dùng, mạng lưới được trang bị đầy đủ cơ chế định tuyến nhận biết độ trễ (latency-aware routing), phiên dính (sticky sessions) và khóa API không trạng thái.
Dịch vụ mang đến trải nghiệm liền mạch thông qua một endpoint tương thích với OpenAI, cho phép truy cập vào tám mô hình khác nhau. Ở phía sau, hệ thống được tổ chức thành năm pool, mỗi pool chứa hai mươi instance. Để đảm bảo hiệu năng tối ưu và sự thuận tiện cho người dùng, mạng lưới được trang bị đầy đủ cơ chế định tuyến nhận biết độ trễ (latency-aware routing), phiên dính (sticky sessions) và khóa API không trạng thái.
