KI-Chatbots wie ChatGPT erregen dank ihrer menschenähnlichen Fähigkeit, jedes Thema zu diskutieren, weltweit Aufsehen.
Der am Donnerstag (6. April) veröffentlichte Bericht von Benj Edwards für Ars Technica zeigt jedoch einen großen Nachteil auf: Diese Chatbots können unbeabsichtigt falsche, aber überzeugende Informationen verbreiten, was sie zu unzuverlässigen Faktenquellen und potenziellen Verleumdern macht.
Edwards erklärt, dass KI-Chatbots wie ChatGPT von OpenAI „große Sprachmodelle“ (LLMs) verwenden, um Antworten zu generieren. LLMs sind Computerprogramme, die auf riesigen Textdatenmengen trainiert werden, um natürliche Sprache zu lesen und zu produzieren. Sie sind jedoch anfällig für Fehler, die in akademischen Kreisen häufig als „Halluzinationen“ oder „Konfabulationen“ bezeichnet werden. Edwards bevorzugt „Konfabulation“, da sie auf kreative, aber unbeabsichtigte Erfindungen schließen lässt.
Der Artikel von Ars Technica unterstreicht das Problem, dass KI-Bots trügerische, irreführende oder diffamierende Informationen generieren. Edwards nennt Beispiele dafür, wie ChatGPT einen Juraprofessor fälschlich der sexuellen Belästigung beschuldigte und fälschlicherweise behauptete, ein australischer Bürgermeister sei wegen Bestechung verurteilt worden. Trotz dieser Nachteile gilt ChatGPT als Upgrade von GPT-3, da es die Beantwortung bestimmter Fragen ablehnen oder vor möglichen Ungenauigkeiten warnen kann.
OpenAI-CEO Sam Altman hat die Einschränkungen von ChatGPT eingestanden und auf Twitter über dessen „unglaubliche“ Einschränkungen und die Risiken geschrieben, sich in wichtigen Angelegenheiten auf den Chatbot zu verlassen. Altman bemerkte auch, dass der Chatbot gleichzeitig Wissen und eine Vorliebe dafür habe, „selbstbewusst und falsch“ zu sein.
Edwards untersucht ihre Funktionsweise, um zu verstehen, wie GPT-Modelle wie ChatGPT konfabulieren. Forscher erstellen LLMs wie GPT-3 und GPT-4 mithilfe von „unüberwachtem Lernen“, wobei das Modell lernt, das nächste Wort in einer Sequenz vorherzusagen, indem es umfangreiche Textdaten analysiert und seine Vorhersagen durch Versuch und Irrtum verfeinert.
ChatGPT unterscheidet sich von seinen Vorgängern, da es anhand von Gesprächsprotokollen trainiert wurde, die von Menschen geschrieben wurden, erklärt Edwards. OpenAI nutzte „Reinforcement Learning from Human Feedback“ (RLHF), um ChatGPT zu verfeinern, was zu kohärenteren Antworten und weniger Konfabulationen führte. Dennoch bleiben Ungenauigkeiten bestehen.
Edwards warnt davor, den Ergebnissen von KI-Chatbots blind zu vertrauen, räumt jedoch ein, dass technologische Verbesserungen dies ändern könnten. Seit seiner Einführung wurde ChatGPT mehrfach aktualisiert, wodurch die Genauigkeit verbessert und die Möglichkeit geschaffen wurde, Fragen abzulehnen, die es nicht beantworten kann.
Obwohl OpenAI nicht direkt auf Anfragen zur Genauigkeit von ChatGPT geantwortet hat, bezieht sich Edwards auf Unternehmensdokumente und Nachrichtenberichte, um Erkenntnisse zu gewinnen. OpenAIs Chefwissenschaftler Ilya Sutskever glaubt, dass weiteres RLHF-Training das Halluzinationsproblem lösen kann. Gleichzeitig argumentiert Metas Chef-KI-Wissenschaftler Yann LeCun, dass die aktuellen GPT-basierten LLMs das Problem nicht lösen werden.
Edwards erwähnt auch alternative Methoden zur Verbesserung der LLM-Genauigkeit unter Verwendung vorhandener Architekturen. Bing Chat und Google Bard verwenden bereits Websuchen, um ihre Ergebnisse zu verfeinern, und eine browserfähige Version von ChatGPT soll diesem Beispiel folgen. Darüber hinaus planen ChatGPT-Plugins, die Trainingsdaten von GPT-4 mit externen Quellen wie dem Internet und spezialisierten Datenbanken zu erweitern. Wie Edwards betont, spiegelt dies die Genauigkeitssteigerung wider, die ein Mensch durch das Nachschlagen in einer Enzyklopädie erzielt.
Schließlich schlägt Edwards vor, dass ein GPT-4-ähnliches Modell trainiert werden könnte, um zu erkennen, wann es Informationen fälscht, und sich entsprechend anzupassen. Dies könnte eine fortgeschrittenere Datenkuratierung und die Verknüpfung von Trainingsdaten mit „Vertrauens“-Werten, ähnlich wie beim PageRank, beinhalten. Eine andere Möglichkeit besteht darin, das Modell so zu optimieren, dass es vorsichtiger ist, wenn man sich seiner Antworten nicht so sicher ist.