ພວກເຮົາດີໃຈທີ່ຈະແຈ້ງວ່າ https://llm.runonflux.com ຖືກເປີດໃຊ້ງານຢ່າງເປັນທາງການ ແລະ ພ້ອມໃຊ້ງານແລ້ວ. ແທນທີ່ຈະອາໄສໂຄງລະບົບທີ່ເຊົ່າຈາກ hyperscaler, ແພລດຟອມນີ້ຖືກຂັບເຄື່ອນດ້ວຍ Flux nodes ຢ່າງສົມບູນ.
ບໍລິການນີ້ມອບປະສົບການທີ່ລຽບລື່ນຜ່ານ one OpenAI-compatible endpoint ເຊິ່ງໃຫ້ການເຂົ້າເຖິງໂມເດວທີ່ແຕກຕ່າງກັນ 8 ລຸ້ນ. ຢູ່ດ້ານຫຼັງ, ລະບົບຖືກຈັດເປັນ 5 pools, ໂດຍແຕ່ລະ pool ມີ 20 instances. ເພື່ອໃຫ້ຮັບປະສິດທິພາບທີ່ດີທີ່ສຸດ ແລະ ຄວາມສະດວກສຳລັບຜູ້ໃຊ້, ເຄືອຂ່າຍໄດ້ຖືກຕິດຕັ້ງຢ່າງພ້ອມດ້ວຍ latency-aware routing, sticky sessions, ແລະ stateless API keys.
ບໍລິການນີ້ມອບປະສົບການທີ່ລຽບລື່ນຜ່ານ one OpenAI-compatible endpoint ເຊິ່ງໃຫ້ການເຂົ້າເຖິງໂມເດວທີ່ແຕກຕ່າງກັນ 8 ລຸ້ນ. ຢູ່ດ້ານຫຼັງ, ລະບົບຖືກຈັດເປັນ 5 pools, ໂດຍແຕ່ລະ pool ມີ 20 instances. ເພື່ອໃຫ້ຮັບປະສິດທິພາບທີ່ດີທີ່ສຸດ ແລະ ຄວາມສະດວກສຳລັບຜູ້ໃຊ້, ເຄືອຂ່າຍໄດ້ຖືກຕິດຕັ້ງຢ່າງພ້ອມດ້ວຍ latency-aware routing, sticky sessions, ແລະ stateless API keys.
