llmperformance

🚀 Искусственный интеллект только что получил серьезное обновление скорости!

Теперь Together AI обеспечивает рекордные скорости вывода — до 334 токенов/сек — благодаря новому движку, созданному для графических процессоров NVIDIA Blackwell. Протестировано такими компаниями, как Zoom и Salesforce, эта технология раздвигает границы производительности и эффективности.

🧠 Их собственный стек использует:

• Тензорные ядра 5-го поколения

• Ядро ThunderKittens

• Turbo Speculator для быстрого и точного декодирования

• Безъядерная квантизация для сохранения качества модели

С этими достижениями Together AI быстро становится лидером в области моделей рассуждений с открытым исходным кодом и инфраструктуры ИИ.

👉 Подписывайтесь на нас, чтобы получать больше обновлений в области инноваций ИИ!

#AI #NVIDIA #LLMperformance #GPUspeed #bitinsider