Microsoft a annoncé l'open source de Deep Speed Chat pour aider les utilisateurs à former de grands modèles de langage tels que ChatGPT, afin que chacun puisse avoir son propre ChatGPT.
Il est rapporté que Deep Speed Chat est développé sur la base de la bibliothèque d'optimisation d'apprentissage en profondeur Deep Speed de Microsoft. Il possède des fonctions telles que la formation et le raisonnement amélioré. Il utilise également la technologie RLHF (apprentissage par renforcement avec mécanisme de rétroaction artificielle) pour augmenter la formation. vitesse jusqu'à 15 fois plus rapide que celle du système existant. Plus de fois, le coût est considérablement réduit. Par exemple, un modèle de type ChatGPT avec 13 milliards de paramètres peut être entraîné en seulement 1,25 heure. (Daily Planet)