🖥️ Одна видеокарта не вмещает GLM-5.3, поэтому Nvidia разделила модель с 753 миллиардами параметров между двумя машинами
В новом руководстве Nvidia запускает GLM-5.3 от Z.ai, квантованную до NVFP4, на двух DGX Station, соединённых через ConnectX-8. Размер контрольной точки — около 464 ГБ. В одной видеокарте GB300 — 252 ГБ памяти, поэтому каждая машина хранит около 218 ГиБ весов, а ответы выдаются через единый API. В тесте Nvidia на программирование скорость вывода достигла пика в 607,8 токена в секунду при 16 одновременных запросах, а затем упала до 385, когда одновременно выполнялись 32 запроса.
⭐ Высокая скорость — это результат для множества пользователей. Один пользователь всё ещё получает около 115 токенов в секунду.
#AI
В новом руководстве Nvidia запускает GLM-5.3 от Z.ai, квантованную до NVFP4, на двух DGX Station, соединённых через ConnectX-8. Размер контрольной точки — около 464 ГБ. В одной видеокарте GB300 — 252 ГБ памяти, поэтому каждая машина хранит около 218 ГиБ весов, а ответы выдаются через единый API. В тесте Nvidia на программирование скорость вывода достигла пика в 607,8 токена в секунду при 16 одновременных запросах, а затем упала до 385, когда одновременно выполнялись 32 запроса.
⭐ Высокая скорость — это результат для множества пользователей. Один пользователь всё ещё получает около 115 токенов в секунду.
#AI
