Le framework d’accélération d’inférence DeepSpec que DeepSeek a sorti cette semaine est assez impressionnant : avec le modèle V4, la vitesse peut augmenter jusqu’à 85 %. Ce n’est pas juste pour faire joli sur des scores, c’est vraiment en train de faire baisser les coûts d’inférence. Avec ce type d’outil, les cas d’usage légers qui étaient auparavant bloqués par la puissance de calcul pourraient être débloqués plus tôt. Cependant, comme les frameworks open source se diffusent vite, la fenêtre des premiers arrivés est très courte. Ensuite, ceux qui suivent risquent de se mettre directement à faire la guerre des prix ; sans attache à un scénario précis, ça peut vite devenir du travail pour rien.