llmperformance

🚀 AI vừa nhận được nâng cấp tốc độ nghiêm trọng!

Together AI hiện đang cung cấp tốc độ suy diễn kỷ lục — lên đến 334 tokens/giây — nhờ vào động cơ mới được xây dựng cho GPU Blackwell của NVIDIA. Được thử nghiệm bởi các công ty như Zoom và Salesforce, công nghệ này đang đẩy giới hạn của hiệu suất và hiệu quả.

🧠 Bộ công cụ tùy chỉnh của họ sử dụng:

• Tensor Cores thế hệ thứ 5

• Khung kernel ThunderKittens

• Turbo Speculator cho việc giải mã nhanh chóng & chính xác

• Phân loại không mất dữ liệu để giữ chất lượng mô hình

Với những tiến bộ này, Together AI đang nhanh chóng trở thành một trong những người chơi hàng đầu trong các mô hình suy luận mã nguồn mở và hạ tầng AI.

👉 Theo dõi chúng tôi để cập nhật thêm về đổi mới AI!

#AI #NVIDIA #LLMperformance #GPUspeed #bitinsider