AI tērzēšanas roboti, piemēram, ChatGPT, ir pagriezuši galvas visā pasaulē, pateicoties to cilvēciskajai spējai apspriest jebkuru tēmu.
Tomēr Benja Edvardsa pārskatā par Ars Technica, kas publicēts ceturtdien, 6. aprīlī, ir uzsvērts būtisks trūkums: šie tērzēšanas roboti var netīši izplatīt nepatiesu, taču pārliecinošu informāciju, padarot tos par neuzticamiem faktu avotiem un potenciāliem neslavas celšanas veicinātājiem.
Edvards skaidro, ka AI tērzēšanas roboti, piemēram, OpenAI ChatGPT, izmanto “lielo valodu modeļus” (LLM), lai radītu atbildes. LLM ir datorprogrammas, kas apmācītas ar lielu teksta datu apjomu, lai lasītu un radītu dabisku valodu. Tomēr viņi ir pakļauti kļūdām, ko akadēmiskajās aprindās parasti sauc par "halucinācijām" vai "konfabulācijām". Edvards dod priekšroku “konfabulācijai”, jo tas liecina par radošiem, bet netīšiem izdomājumiem.
Ars Technica rakstā ir uzsvērta AI robotu problēma, kas rada maldinošu, maldinošu vai apmelojošu informāciju. Edvards sniedz piemērus, kā ChatGPT nepatiesi apsūdz tiesību zinātņu profesoru seksuālā uzmākšanā un nepamatoti apgalvo, ka Austrālijas mērs ir notiesāts par kukuļņemšanu. Neskatoties uz šiem trūkumiem, ChatGPT tiek uzskatīts par jauninājumu no GPT-3, jo tas var atteikties atbildēt uz noteiktiem jautājumiem vai brīdināt par iespējamām neprecizitātēm.
OpenAI izpilddirektors Sems Altmans ir atzinis ChatGPT ierobežojumus, čivinot par tā “neticamajiem” ierobežojumiem un riskiem paļauties uz to svarīgos jautājumos. Altmans arī atzīmēja tērzēšanas robota vienlaicīgās zināšanas un tieksmi būt "pārliecinātam un nepareizam".
Edvards iedziļinās viņu darbībā, lai saprastu, kā notiek GPT modeļu, piemēram, ChatGPT, konfabulācija. Pētnieki izveido LLM, piemēram, GPT-3 un GPT-4, izmantojot “nepārraudzītu mācīšanos”, kur modelis mācās paredzēt nākamo vārdu pēc kārtas, analizējot milzīgus teksta datus un uzlabojot prognozes, izmantojot izmēģinājumus un kļūdas.
Edvards norāda, ka ChatGPT atšķiras no saviem priekšgājējiem, jo tas ir apmācīts cilvēku rakstītos sarunu atšifrējumos. OpenAI izmantoja “pastiprinošu mācīšanos no cilvēku atgriezeniskās saites” (RLHF), lai precizētu ChatGPT, tādējādi radot saskaņotākas atbildes un mazāk konfabulāciju. Tomēr neprecizitātes joprojām pastāv.
Edvards brīdina akli neuzticēties AI tērzēšanas robota izvadēm, taču atzīst, ka tehnoloģiskie uzlabojumi to var mainīt. Kopš ChatGPT palaišanas ir veikti vairāki jauninājumi, uzlabojot precizitāti un spēju atteikties atbildēt uz jautājumiem, uz kuriem tā nevar atbildēt.
Lai gan OpenAI nav tieši atbildējis uz jautājumiem par ChatGPT precizitāti, Edvards atsaucas uz uzņēmuma dokumentiem un ziņu ziņojumiem, lai gūtu ieskatu. OpenAI galvenais zinātnieks Iļja Sutskevers uzskata, ka turpmāka RLHF apmācība var risināt halucināciju problēmu. Tajā pašā laikā Meta galvenais AI zinātnieks Jans Lekuns apgalvo, ka pašreizējie uz GPT balstītie LLM neatrisinās problēmu.
Edvards min arī alternatīvas metodes LLM precizitātes uzlabošanai, izmantojot esošās arhitektūras. Bing Chat un Google Bard jau izmanto tīmekļa meklēšanu, lai uzlabotu savus rezultātus, un ir paredzams, ka pārlūkprogrammā iespējota ChatGPT versija sekos šim piemēram. Turklāt ChatGPT spraudņi plāno papildināt GPT-4 apmācības datus ar ārējiem avotiem, piemēram, tīmekli un specializētām datu bāzēm. Kā norāda Edvards, tas atspoguļo precizitātes pieaugumu, ko cilvēks gūst, iepazīstoties ar enciklopēdiju.
Visbeidzot, Edvards ierosina, ka GPT-4 līdzīgu modeli varētu apmācīt atpazīt, kad tas veido informāciju, un attiecīgi pielāgot. Tas varētu ietvert uzlabotu datu pārvaldību un apmācības datu saistīšanu ar “uzticamības” rādītājiem, līdzīgi kā PageRank. Vēl viena iespēja ir precizēt modeli, lai tas būtu piesardzīgāks, kad tas ir mazāk pārliecināts par savām atbildēm.