Les chatbots IA comme ChatGPT ont fait tourner les têtes dans le monde entier grâce à leur capacité humaine à discuter de n'importe quel sujet.
Néanmoins, le rapport de Benj Edwards pour Ars Technica, publié jeudi 6 avril, met en évidence un inconvénient majeur : ces chatbots peuvent, par inadvertance, diffuser des informations fausses mais convaincantes, ce qui en fait des sources d'informations peu fiables et des contributeurs potentiels à la diffamation.
Edwards explique que les chatbots IA, tels que ChatGPT d'OpenAI, utilisent des « grands modèles de langage » (LLM) pour générer des réponses. Les LLM sont des programmes informatiques formés sur de grandes quantités de données textuelles pour lire et produire un langage naturel. Cependant, ils sont sujets à des erreurs, communément appelées « hallucinations » ou « confabulations » dans les milieux universitaires. Edwards préfère la « confabulation », car elle suggère des fabrications créatives mais involontaires.
L'article d'Ars Technica souligne le problème des robots IA générant des informations trompeuses, trompeuses ou diffamatoires. Edwards fournit des exemples de ChatGPT accusant à tort un professeur de droit de harcèlement sexuel et affirmant à tort qu'un maire australien avait été reconnu coupable de corruption. Malgré ces inconvénients, ChatGPT est considéré comme une mise à niveau de GPT-3, car il peut refuser de répondre à certaines questions ou avertir d'inexactitudes potentielles.
Le PDG d'OpenAI, Sam Altman, a admis les limites de ChatGPT, tweetant sur ses limites « incroyables » et les risques de s'appuyer sur lui pour des questions cruciales. Altman a également souligné la connaissance simultanée du chatbot et son penchant à être « confiant et dans l’erreur ».
Edwards se penche sur leur fonctionnement pour comprendre comment les modèles GPT comme ChatGPT se confondent. Les chercheurs créent des LLM comme GPT-3 et GPT-4 en utilisant « l’apprentissage non supervisé », dans lequel le modèle apprend à prédire le mot suivant dans une séquence en analysant de vastes données textuelles et en affinant ses prédictions par essais et erreurs.
ChatGPT diffère de ses prédécesseurs, car il a été formé sur des transcriptions de conversations écrites par des humains, déclare Edwards. OpenAI a utilisé « l'apprentissage par renforcement à partir des commentaires humains » (RLHF) pour affiner ChatGPT, conduisant à des réponses plus cohérentes et à moins de confabulations. Néanmoins, des inexactitudes demeurent.
Edwards met en garde contre une confiance aveugle dans les résultats des chatbots IA, mais reconnaît que les améliorations technologiques pourraient changer la donne. Depuis son lancement, ChatGPT a subi plusieurs mises à niveau, améliorant la précision et sa capacité à refuser de répondre aux questions auxquelles il ne peut pas répondre.
Bien qu'OpenAI n'ait pas répondu directement aux questions sur l'exactitude de ChatGPT, Edwards se réfère aux documents de l'entreprise et aux rapports d'actualité pour obtenir des informations. Le scientifique en chef d’OpenAI, Ilya Sutskever, estime qu’une formation plus approfondie en RLHF peut résoudre le problème des hallucinations. Dans le même temps, Yann LeCun, scientifique en chef de l’IA chez Meta, affirme que les LLM actuels basés sur GPT ne résoudront pas le problème.
Edwards mentionne également des méthodes alternatives pour améliorer la précision du LLM en utilisant les architectures existantes. Bing Chat et Google Bard utilisent déjà des recherches sur le Web pour affiner leurs résultats, et une version compatible avec le navigateur de ChatGPT devrait emboîter le pas. De plus, les plugins ChatGPT prévoient d'augmenter les données de formation de GPT-4 avec des sources externes, comme le Web et des bases de données spécialisées. Comme le souligne Edwards, cela reflète l’augmentation de la précision qu’un humain gagne en consultant une encyclopédie.
Enfin, Edwards suggère qu’un modèle de type GPT-4 pourrait être entraîné pour reconnaître le moment où il fabrique des informations et s’ajuster en conséquence. Cela pourrait impliquer une conservation des données plus avancée et la liaison des données de formation à des scores de « confiance », similaires au PageRank. Une autre possibilité consiste à affiner le modèle pour qu’il soit plus prudent lorsqu’il est moins confiant dans ses réponses.