🚀 AI właśnie otrzymało poważny upgrade prędkości!
Together AI teraz dostarcza rekordowe prędkości wnioskowania — do 334 tokenów/sek — dzięki nowemu silnikowi zbudowanemu dla GPU Blackwell firmy NVIDIA. Testowane przez firmy takie jak Zoom i Salesforce, ta technologia przesuwa granice wydajności i efektywności.
🧠 Ich niestandardowy stos technologiczny wykorzystuje:
• rdzenie Tensor 5. generacji
• framework jądra ThunderKittens
• Turbo Speculator do szybkiego i dokładnego dekodowania
• kwantyzację bezstratną, aby zachować jakość modelu
Dzięki tym postępom, Together AI szybko staje się jednym z czołowych graczy w modelach rozumowania open-source i infrastrukturze AI.
👉 Śledź nas, aby uzyskać więcej aktualizacji w innowacjach AI!
#AI #NVIDIA #LLMperformance #GPUspeed #bitinsider