Chatboty AI, takie jak ChatGPT, przyciągają uwagę na całym świecie dzięki swojej ludzkiej zdolności do omawiania dowolnego tematu.
Niemniej jednak raport Benja Edwardsa dla Ars Technica opublikowany w czwartek (6 kwietnia) podkreśla poważną wadę: te chatboty mogą w sposób niezamierzony rozpowszechniać fałszywe, ale przekonujące informacje, co czyni je niewiarygodnymi źródłami faktów i potencjalnymi przyczynami zniesławienia.
Edwards wyjaśnia, że chatboty AI, takie jak ChatGPT OpenAI, wykorzystują „duże modele językowe” (LLM) do generowania odpowiedzi. LLM to programy komputerowe szkolone na ogromnych ilościach danych tekstowych w celu czytania i tworzenia języka naturalnego. Są jednak podatne na błędy, zwane potocznie „halucynacjami” lub „konfabulacjami” w kręgach akademickich. Edwards woli „konfabulację”, ponieważ sugeruje twórcze, ale niezamierzone fabrykacje.
Artykuł Ars Technica podkreśla problem botów AI generujących zwodnicze, wprowadzające w błąd lub zniesławiające informacje. Edwards podaje przykłady tego, jak ChatGPT fałszywie oskarżył profesora prawa o molestowanie seksualne i błędnie twierdził, że australijski burmistrz został skazany za przekupstwo. Pomimo tych wad ChatGPT jest uważany za aktualizację GPT-3, ponieważ może odmówić odpowiedzi na pewne pytania lub ostrzec o potencjalnych nieścisłościach.
Dyrektor generalny OpenAI Sam Altman przyznał się do ograniczeń ChatGPT, tweetując o jego „niesamowitych” ograniczeniach i ryzyku polegania na nim w kluczowych sprawach. Altman zwrócił również uwagę na jednoczesną wiedzę chatbota i jego skłonność do bycia „pewnym siebie i mylonym”.
Edwards zagłębia się w ich działanie, aby zrozumieć, w jaki sposób konfabulują modele GPT, takie jak ChatGPT. Naukowcy tworzą LLM, takie jak GPT-3 i GPT-4, korzystając z „uczenia się bez nadzoru”, w ramach którego model uczy się przewidywać kolejne słowo w sekwencji, analizując ogromne dane tekstowe i udoskonalając swoje przewidywania metodą prób i błędów.
ChatGPT różni się od swoich poprzedników tym, że został przeszkolony na podstawie transkrypcji rozmów pisanych przez ludzi, stwierdza Edwards. OpenAI zastosowało „uczenie się przez wzmacnianie na podstawie informacji zwrotnych od ludzi” (RLHF), aby udoskonalić ChatGPT, co doprowadziło do uzyskania bardziej spójnych odpowiedzi i mniejszej liczby konfabulacji. Niemniej jednak niedokładności pozostają.
Edwards ostrzega przed ślepym ufaniem wynikom chatbota AI, ale przyznaje, że ulepszenia technologiczne mogą to zmienić. Od momentu uruchomienia ChatGPT przeszedł wiele ulepszeń, zwiększając dokładność i zdolność do odmowy odpowiedzi na pytania, których nie może rozwiązać.
Chociaż OpenAI nie odpowiedziało bezpośrednio na zapytania dotyczące dokładności ChatGPT, Edwards w celu uzyskania spostrzeżeń odwołuje się do dokumentów firmowych i raportów prasowych. Główny naukowiec OpenAI, Ilya Sutskever, uważa, że dalsze szkolenie RLHF może rozwiązać problem halucynacji. Jednocześnie Yann LeCun, główny specjalista ds. sztucznej inteligencji w Meta, argumentuje, że obecne LLM oparte na GPT nie rozwiążą problemu.
Edwards wspomina również o alternatywnych metodach poprawy dokładności LLM przy użyciu istniejących architektur. Bing Chat i Google Bard korzystają już z wyszukiwarek internetowych w celu udoskonalenia swoich wyników, a oczekuje się, że wersja ChatGPT obsługująca przeglądarkę pójdzie ich śladem. Dodatkowo wtyczki ChatGPT planują rozszerzać dane szkoleniowe GPT-4 o źródła zewnętrzne, takie jak Internet i specjalistyczne bazy danych. Jak wskazuje Edwards, odzwierciedla to wzrost dokładności, jaki człowiek zyskuje dzięki korzystaniu z encyklopedii.
Na koniec Edwards sugeruje, że model podobny do GPT-4 można wytrenować w zakresie rozpoznawania fabrykowania informacji i odpowiedniego dostosowywania się. Może to obejmować bardziej zaawansowaną selekcję danych i łączenie danych szkoleniowych z wynikami „zaufania”, podobnymi do PageRank. Inną możliwością jest takie dostrojenie modelu, aby był bardziej ostrożny w przypadku mniejszej pewności co do swoich reakcji.