🚀 AI právě dostala vážné zrychlení!
Together AI nyní poskytuje rekordní rychlosti inferencí — až 334 tokenů/sec — díky svému novému enginu navrženému pro GPU Blackwell od NVIDIA. Testováno společnostmi jako Zoom a Salesforce, tato technologie posouvá hranice výkonu a efektivity.
🧠 Jejich vlastní stack používá:
• 5. generaci Tensor Cores
• Rámec ThunderKittens kernel
• Turbo Speculator pro rychlé a přesné dekódování
• Bezztrátovou kvantizaci pro zachování kvality modelu
S těmito pokroky se Together AI rychle stává předním hráčem v modelech otevřeného zdroje pro uvažování a AI infrastruktuře.
👉 Sledujte nás pro více novinek v inovacích AI!
#AI #NVIDIA #LLMperformance #GPUspeed #bitinsider