Od barbarské společnosti po umělou inteligenci, počítačový vědec Wu Jun vám vysvětlí detaily ChatGDP.
Večer 3. dubna byl Wu Jun, počítačový vědec a odborník na model přirozeného jazyka, pozván do místnosti pro živé vysílání, aby provedl živé vysílání na aktuálně žhavá témata, jako je umělá inteligence a ChatGPT.
Q1:
Proč vyvolává vznik ChatGPT paniku?
Vím, že ChatGPT je v Číně v poslední době velmi populární a mnoho lidí o něm diskutuje. Ale co je velmi zajímavé, je to, že ve skutečnosti už o tomto tématu mnoho lidí ve Spojených státech nemluví. Ve skutečnosti to není jen ChatGPT Když se podívám na deset let zpět, kdy se objevilo mnoho nových technologií, zjistil jsem, že diskuse v čínských médiích byla mnohem vyšší než ve Spojených státech. Ačkoli se tato technologie ve skutečnosti objevuje hlavně ve Spojených státech, Číňané se jí více zabývají. Myslím, že je to dobrá věc, ale je to také špatná věc.
„Špatná věc“ je, že tyto technologie byly ve skutečnosti příliš medializované a mnoho lidí na tom vydělává. Například blockchain byl v té době tak horký, ale teď o něm málokdo diskutuje, že? Toto je první. Druhým je Metaverse V současnosti na tom stále trvá pouze Facebook ve Spojených státech. Když jsme přijeli do Číny, mnoho lidí diskutovalo o tom, zda budeme v budoucnu žít ve zcela virtuálním světě. Nakonec Facebook od konce loňského roku do začátku letošního roku investoval do tohoto oboru desítky miliard dolarů, aniž by slyšel jediné slovo, a konečně zahájil rozsáhlé propouštění. V současné době je jedním z nejžhavějších témat ChatGPT Někteří lidé jsou nadšení, někteří se bojí a také vidím, že v Číně je stále mnoho lidí, kteří loví v rozbouřených vodách a snaží se všem znovu uříznout pórek.
Než vám povím, co je ChatGPT, povím vám historický příběh Tento historický příběh vás rozesměje, ale když se podíváte zpět, mnoho lidí se dnes chová stejně.
V roce 1503 Kolumbův syn zapsal tuto příhodu na západ do Nového světa. Výsledkem bylo, že v polovině plavby dorazil na Jamajku a na lodi nebylo žádné jídlo. Proto Kolumbus a jeho posádka mohli jen doufat, že místní obyvatelé zajistí jídlo a pití. Po pár dnech proviantu však měla posádka konflikty s místními – někteří členové posádky ukradli místním věci, a tak místní přerušili dodávky potravin.
Aby se Kolumbus z této nesnáze dostal, přišel s chytrým nápadem. Kolumbus s sebou tehdy nosil věčný kalendář a do kalendáře si poznamenal, že v určitý rok, měsíc a den bude zatmění Slunce, zatmění Měsíce a všechny tyto informace. Kolumbus v té době zavolal místním kmenovým vůdcům a řekl, že když mi nedáš jídlo, urazil jsi Boha, Bůh se rozhněvá, měsíc zčervená a pak Bůh měsíc odejme. Samozřejmě nyní v podstatě všichni víme, že když dojde k úplnému zatmění Měsíce, tedy když Země Měsíc úplně nezablokuje, Měsíc je skutečně červený, čemuž říkáme „krvavý měsíc“. To však tehdejší Jamajčané nevěděli. Výsledkem bylo, že v noci Jamajčané zjistili, že měsíc zčervenal a pak pomalu mizel kousek po kousku. Místní propadli panice a všichni říkali, že je Bůh potrestá.
Kmenový vůdce se spěšně vydal za Kolumbem a slíbil, že bude souhlasit se všemi Kolumbovými podmínkami. Kolumbus řekl: Dobře, půjdu do stanu a budu se modlit k Bohu, aby tě nepotrestal, ale potřebuji trochu času, a pak Kolumbus vešel do stanu. Ve skutečnosti po vstupu do stanu držel Kolumbus přesýpací hodiny a díval se na čas.
Dnes máme znalosti z astronomie a definitivně známe dobu úplného zatmění Měsíce, které bude pravděpodobně trvat asi 48 minut a do té doby se Měsíc znovu objeví. Ale tito Jamajčané to nevědí. Co viděli, bylo, že když Kolumbus vyšel ze svého stanu, vyšel měsíc. Pak Kolumbus řekl: Bůh vyslyšel mou radu a slíbil, že ti odpustí, ale musíš nám poskytnout dobré jídlo. Proto jsou místní lidé vděční a nadále jim poskytují jídlo.
Co tento příběh znamená? Úplné zatmění Měsíce má svůj důvod, ale když lidé důvod neznají, často mohou tento přírodní jev připsat pouze působení boha. A tento bůh sám byl stvořen člověkem. Jinými slovy, poté, co si člověk sám stvořil boha, pak leží u nohou boha a stává se jeho otrokem.
To je důvod, proč vás chci naučit kurz "Historie světových civilizací".
Ve skutečnosti je vývojový proces této civilizace procesem lidských bytostí, které neustále chápou přírodní zákony. Udělali jsme malý pokrok, takže už nejsme jako místní domorodci, kteří slepě věří, že modlitba k Bohu může skutečně zabránit tomu, aby Měsíc zmizel. Nyní víme, že za zatměním Slunce a Měsíce ve skutečnosti fungují tři Keplerovy zákony planet, a pak za třemi Keplerovy zákony planet stojí Newtonův zákon univerzální gravitace. Poté, co lidé pochopí tento důvod, už se nebojí jen přírody. Přírodní zákony můžeme využít k mnoha a mnoha věcem.
Q2:
Jaký je technický základ ChatGPT?
Když se podíváme zpět z historie do současnosti, situace ChatGPT je vlastně podobná Za ní stojí matematický model zvaný jazykový model. Jinými slovy, za ChatGPT je matematický model. Dnes je tato technologie výkonná ze tří hlavních důvodů:
Za prvé to vyžaduje mnoho výpočtů;
Za druhé, má velké množství dat;
Za třetí, dnešní metody školení jazykových modelů jsou mnohem lepší než dříve. Co je tedy jazykový model? Nebo je to produkt jaké doby?
Je to technologie vyvinutá týmem vedeným mým mentorem Fredem Jelínkem v roce 1972. Konkrétně se jednalo o technologii, ke které vedl lidi v IBM a která sloužila k měření pravděpodobnosti výskytu věty nebo jazykového jevu. K čemu to tedy je? Jeho prvotní použití bylo pro rozpoznávání řeči, později pro strojový překlad a později pro počítačové otázky a odpovědi, což je otázka odpovědi, kterou známe dnes.
V té době by se to dalo použít jako shrnutí, pokud je například článek o 10 000 slovech, jak shrnout obsah článku do deseti vět? Pro lidi, kteří provádějí toto zpracování přirozeného jazyka, je to matematický problém. Jinými slovy, jaké máte podmínky? Podmínkou je těchto 10 000 slov a jaký je pak výsledek, kterého chcete dosáhnout? Výsledkem může být deset vět nebo sto slov a je zde mnoho kombinací. Můžete vybrat několik vět náhodně, nebo můžete některé věty rozdělit do dvou odstavců a na konec přidat méně důležité úpravy nebo popisy . Pak můžete také spojit dvě věty do jedné věty. Když pak spojíte text, počítač spočítá pravděpodobnost, které věty se spojí s větší pravděpodobností, a pomůže vám je spojit podle pravděpodobnosti.
ChatGPT, který dnes vidíme, je tento velký jazykový model, který vám zobrazí text s nejvyšší pravděpodobností a nejpravděpodobnějším výskytem. Obecně je tedy proces generování výsledků pomocí ChatGPT proces, který využívá velké množství výpočetních zdrojů. Vyžaduje velmi velké množství dat k podpoře a existuje mnoho GPU (počítačových procesorů). Bez těchto věcí nelze ChatGPT postavit.
A dnešní ChatGTP vlastně není jen technologie, ale má za sebou i spoustu pracovních sil. Najali také společnost, která provedla audit výsledků vytvořených ChatGPT. Například ChatGPT vygeneroval sto abstraktů, všechny jsou docela dobré, ale už je nedokážu rozlišit. Pak jsou tito lidé zodpovědní za to, že mi pomáhají rozlišit, který z nich je přesnější.
Ve skutečnosti můžete vidět, že za Chat GPT je jazykový model a technologie tohoto jazykového modelu existuje již od roku 1972. Nyní, po padesáti letech v tomto odvětví, si lidé ve skutečnosti nemyslí, že je to velký problém. Předtím tento jazykový model skutečně dělal spoustu věcí.
Pokud jde o jazykový model, tento termín původně navrhl můj mentor Jarinick. Přišel na Johns Hopkins University asi v roce 1993 a já jsem přijel na univerzitu v roce 1996 a stal jsem se jeho studentem. Takže čínskou verzi tohoto slova, což jsou čtyři slova „jazykový model“, jak vidíte, jsem vytvořil já, když jsem v 90. letech publikoval článek. V té době jsme jen my v kruhu věděli, že to dokáže spoustu věcí, ale nenapadlo vás říct, co? O této záležitosti se bude žhavě diskutovat později.
Můžete to chápat takto, "jazykový model" je pro ChatGPT to, co jsou tři Keplerovy zákony planet pro zatmění Měsíce.
Q3:
Jaká byla situace, když se zrodil „jazykový model“?
Jaká byla tedy situace jazykového modelu v době jeho vynálezu?
Ve skutečnosti již v 90. letech byly modely získané pomocí jednoduchých statistických metod velmi nepřesné. To se rovná, dovolte mi použít analogii, pozorování planet, ale použití Ptolemaiovy geocentrické teorie k jejich předpovědi je velmi nepřesné. Proto jsme v té době začali zavádět spoustu informací o gramatice, tématech a sémantice. Pak se tento jazykový model stává velmi komplikovaným. Složitost přináší další velký problém.
Co je za problém?
Vytvořil jsem například velmi složitý jazykový model Kolik parametrů měl v té době tento jazykový model? 6 milionů parametrů, to znamená, že velikost jazykového modelu této písně je v podstatě určena těmito parametry. To, na čem jsem v té době pracoval, byl už ten největší a nejsložitější jazykový model, jaký se v té době dal postavit. V té době jsem nepoužíval PC, ale 20 super serverů a natrénovat takový jazykový model trvalo asi 3 měsíce. Takže vidíte, výpočtová částka je velmi velká. Jaké jsou tedy parametry jazykového modelu použité v první verzi ChatGPT? Parametrů je asi 200 miliard a v průběhu let jsou vidět změny. Proto se dnes mnoho lidí ptá, že ChatGPT se objevil ve Spojených státech. Kdy budou čínské výzkumné instituce schopny vytvořit ChatGPT? Ve skutečnosti to většina výzkumných institucí v Číně nemůže udělat, ne kvůli úrovni výzkumu, ale protože Chat GPT spotřebovává příliš mnoho zdrojů. Dnešní ChatGPT může stát téměř 1 miliardu amerických dolarů pouze na hardwaru. To nezahrnuje náklady na elektřinu, takže náklady a výdaje jsou velmi obrovské. Takže, pokud skončíte s vtipem a zeptáte se, jaký je největší přínos ChatGPT, myslím, že přispěl ke globálnímu oteplování. Chci tedy říci, že princip ChatGPT je velmi jednoduchý, ale ve skutečnosti je docela obtížné ho dosáhnout v inženýrství.
Q4:
Jaké otázky umí počítače dobře zodpovědět?
Do jaké míry mohly dosáhnout jazykové modely kolem roku 2010, tedy před 13 lety? Dovolte mi ukázat vám dva příklady. Oba tyto příklady byly provedeny předtím, než jsem v roce 2014 opustil Google. V té době jsem byl zodpovědný za automatický systém otázek a odpovědí Google, který umožňoval počítačům odpovídat na otázky. Protože je však tento produkt v angličtině, v čínském světě v podstatě neukazuje přílišnou tvář.
Dovolte mi ukázat vám otázku, na kterou odpověděl Google, proč je nebe modré?
Můžete se podívat na toto: Sluneční světlo se láme, když dopadá na Zemi. Plyny ve vzduchu rozptylují světlo různých barev na různá místa index než jiné barvy, takže obloha vypadá modře. To byla odpověď vygenerovaná tehdejšími počítači. Abych byl spravedlivý, tato odpověď je lepší než moje vlastní odstavcová odpověď, protože k vysvětlení tohoto jevu potřebujete znát spoustu fyzikálních znalostí a věta se zdá být docela rozumná. Jedním z účelů lidí, kteří dnes ChatGPT používají, je nechat ho odpovídat na otázky.
Tady to pro vás rozeberu.
Ve skutečnosti lze otázky, které klademe počítačům, rozdělit do dvou kategorií. První kategorie se nazývá jednoduché otázky a druhá kategorie se nazývá složité otázky. Jednoduché otázky jsou otázky týkající se faktů, například odkud je určitá hvězda a v jakém roce se narodila. To vše jsou jednoduché otázky. Protože je to fakt a existuje jasná odpověď.
Druhou kategorií jsou složité problémy, a proto si všichni myslí, že ChatGPT je tak úžasný. Dokáže integrovat informace a odpovědět, proč je nebe modré, jako by to mělo svou vlastní logiku. Další otázka se týká postupu, například jak upéct dort, můžete to napsat? Dnes jsme se zeptali ChatGPT, jak péct vejce vysoko, a může vám velmi podrobně říci, kolik šálků vody, kolik vajec přidat, kolik mouky přidat atd. Pak na základě odpovědí, které poskytuje, můžete opravdu upéct dort a může být docela dobrý. To je to, co všichni považují za úžasné.
Ale musíte vědět, že počítače to v roce 2014 skutečně udělaly a udělaly to velmi dobře. O technologii samotné tedy není mnoho záhad.
Q5:
Počítače nebo lidé, kdo je lepší v psaní?
V dnešní době všichni mluví o ChatGPT horlivě a dalším důvodem je, že si myslí, že umí psát. Například psaní pracovní prezentace je místo, kde dnes Američané ChatGPT nejvíce využívají. Tento týden jsem udělal 1 234 567 věcí, těchto sedm věcí, hej? Vidíte, nemusím to psát sám, nechám ChatGPT vygenerovat a poté ho upravit.
Nicméně psaní na počítači je ve skutečnosti obtížné nebo snadné, mohu vám dát příklad.
Poté, co jsem v roce 2014 odešel z Google, jsem v té době moc neprogramoval, ale přesto jsem v té době měl nějaké výpočetní prostředky, takže jsem psal nějaké programy a ve volném čase si hrál. Tehdy jsem požádal počítač, aby napsal dvě básně. Tyto dvě básně si můžete přečíst.
První báseň je pětiznaková Podle mých slov je to báseň ve stylu Li Bai. Tuto báseň napsal sám počítač. Ve skutečnosti, když si to přečtete, zjistíte, že v této básni jsou některé charakteristiky Li Bai.
Pokud jde o druhou básničku, obrázek dávám také níže, můžete se podívat.
Za prvé, protože starověké básně mají všechny stejný význam ping a lei, ale naše současná výslovnost byla odlišná od tehdejší výslovnosti, takže je nám jedno, zda je toto ping a lei v souladu s dávnými časy, ale my pouze se podívejte na jeho obsah a umělecké pojetí Při čtení to bude velmi hladké.
Dobře, takže zpět k tomu.
Jak jste vytvořili první báseň? Ve skutečnosti to nemůže být jednodušší, stačí dát Li Baiovy básně do počítače. Existuje více než 1000 básní od Li Bai, což je jen asi 10 000 vět. To je pro počítače příliš jednoduché. Při psaní rozděluji věty do skupin po dvou nebo třech znacích, například „Kongchou“ je skupina a „Recalling Chang'an“ je skupina tří postav. Pak se dá dohromady jazykový model, o kterém jsem právě mluvil, a vypočítá se pravděpodobnost, který z nich má největší pravděpodobnost? Poté, co jsem to rozebral, jsem mu řekl, že chci napsat báseň o vzpomínce na Chang'ana. Druhá báseň je trochu složitější.
Ale víte, jak dlouho mi trvalo napsat tyto dva programy? Dva dny. Co to znamená? Znamená to, že pro vás není příliš těžké požádat počítač, aby napsal něco slušného. Není to tak tajemné, jak si myslíte, nebo samotné psaní na počítači není tak tajemné, jak si myslíte.
Proč tedy tyto dvě básně vypadají tak dobře? Protože se jedná o báseň Tang, formát poezie Tang je pevný. Ze stejného důvodu, proč je dobré používat ChatGPT k psaní týdenních zpráv? Protože formát týdenního reportu je v podstatě seznam, jde také o pevný formát. Včetně toho, že pokud čtete čínskou verzi Wall Street Journal, dovolte mi, abych vám řekl, že 90 % zdejšího obsahu je napsáno počítači, ale vy to nevíte. Po jeho napsání mu samozřejmě lidé musí dát téma a poté napsat úvod k jeho prvnímu odstavci a poté uvést shrnutí a název. Proč je lepší psát finanční články? Protože obsahuje mnoho faktů a formát je pevný, dělá to velmi dobře.
Strávil jsem tak dlouho povídáním o pozadí ChatGPT Vlastně chci jen říct, že to není tajemné a není za ním příliš sofistikovaný stroj. ChatGPT na jedné straně spoléhá na matematický model a tento matematický model existuje již od roku 1972, ale dnes je jeho výpočetní výkon velmi silný a spoléhá na výpočty hrubé síly. Kolik energie tedy spotřebuje školení ChatGPT? Může to být 3 000 elektromobilů Tesla, z nichž každý má najeto 200 000 mil a uběhnout to k smrti stačí na trénování jednou.
Q6:
Jaký dopad na nás má ChatGPT?
Pojďme si tedy promluvit o tom, jaký dopad má ChatGPT na lidi.
Vraťme se do historie Každá technologická revoluce má skutečně nějaký dopad na lidi. ChatGPT však není novou technologickou revolucí, protože jak jsem právě řekl, tento proces je velmi dlouhý Od 70. do 90. let jsme udělali spoustu věcí a od 90. let až do současnosti mnoho lidí udělalo hodně. věc. Největší pokrok zde ve skutečnosti není samotný jazykový model. Ve skutečnosti je to hluboké učení, které přišlo kolem roku 2000, díky němuž byly tréninkové jazykové modely přesnější než dříve.
Tréninkové jazykové modely dnes již nejsou jen o statistikách. To je jeden z důvodů, proč může ChatGP T dosahovat lepších výsledků. A jaký dopad může mít ChatGPT na lidi?
Neodpovím přímo na vaši otázku. Nejprve jsem vám ukázal tyto dvě básně Tang. Mimochodem, tyto dvě básně jsou dobře napsané, ale vaše původní chápání dynastie Tang nebude kvůli těmto dvěma básním aktualizováno. Protože ChatGPT je svým způsobem trochu jako papoušek, musíte nejdřív něco říct a pak to může následovat. Možná to zní hezky, ale další informace to neposkytuje. 90 % obsahu na internetu dnes spadá do této kategorie – nepřináší více nových informací, není to ani původní obsah, ani to není nic jiného než kopírování a skládání dohromady. V současné době si myslím, že 99 % obsahu krátkých videí jako Douyin a Kuaishou spadá do této kategorie a nejsou výživné, po přečtení vám to může připadat zajímavé, ale ve skutečnosti, bez ohledu na to, kolik toho přečtete ve skutečnosti pro vás nemá žádnou pomoc. Pokud ChatGPT opravdu někoho ohrožuje, myslím, že ohrožuje práci tohoto typu lidí, tedy ti na Douyinu, kteří natáčejí krátká videa nebo publikují nějaký obsah, si povedou mnohem lépe než oni. Předpokládejme, že existuje skupina lidí, kteří každý den převracejí věty ve třech stovkách tangských básní a také je dokážou skládat některé básně, pak je ChatGPT určitě dokáže skládat mnohem rychleji než lidé. Tato technologie tedy bude mít dopad na tuto skupinu lidí.
Takže, kdo nebude ovlivněn? Lidé, kteří vytvořili obsah, nebudou ovlivněni.
Proč to říkám? Vzpomeňte si na otázku, kterou jsem právě teď položil: "Proč je nebe modré?" Proč může Google na tuto otázku odpovědět?
Protože když Google odpovídal, pravděpodobně analyzoval v té době téměř všechny slušné věty v angličtině, což bylo asi 100 miliard anglických vět. Takže vlastně zjistíte, že na některých univerzitních webech a na webu NASA má tuto odpověď, ale my jsme ji dali dohromady, smazali a smazali a vybrali. Ale první fyzici provedli tento výzkum a zjistili tuto pravdu. Tato práce je smysluplná a nelze ji nahradit ChatCPT. Co tedy obnáší práce Chat GPT? Například poté, co Ptolemaios vytvořil tento model, jednou za čas sestavili v Evropě kalendář na několik desetiletí a pak do něj označili, který den bude zatmění Slunce, jak se budou v ten den pohybovat planety atd. . Pak podle těchto pravidel lidé vytisknou mnoho kopií této knihy. Tento ChatGPT je ekvivalentní mnoha knihám, když si to vezmete a podíváte se na to později, řeknete si, eh, zatmění Měsíce nastane v určitý rok, měsíc a. den a odpověď bude velmi jasná. Skutečně smysluplná práce za tím však není tisk této knihy, ale výzkum Ptolemaia. Takže si myslím, že historicky vzato ChatGPT ve skutečnosti není technologickou revolucí, týká se pouze líných lidí, kteří jsou příliš líní používat mozek a vytvářet nové věci. Ti, kteří skutečně prozkoumají tajemství lidského vědění, nebudou nikdy nahrazeni.
Q7:
Jaké nové příležitosti může ChatGPT přinést?
Mnoho lidí se ptá, jaké nové příležitosti má ChatGPT? Upřímně řečeno, nemáte šanci, protože to spotřebovává příliš mnoho zdrojů a vy si to nemůžete dovolit. Kdo tedy může mít prospěch? To jsou lidé, kteří prodávají zdroje.
Mohu udělat analogii, to znamená, že během zlaté horečky v Kalifornii se mnoho lidí hrnulo hledat zlato, dodnes nevíme, který zlatokop skutečně vydělával, a nikdo nezanechal jeho jméno . Ale kdo ty peníze nakonec vydělá? Je to prodejce vody a prodejce džínů. Totéž platí pro ChatGPT. Pokud jdou všichni společně kopat zlato, ve skutečnosti nemůžete vydělat žádné peníze, ale v tomto procesu si stejně musíte koupit vodu a džíny, které budete nosit, jsou to nakonec tyto dvě skupiny lidí, kteří vydělávají. Levi's byla společnost, která se v té době zrodila a vyráběla džíny.
Pak můžete nakonec zaplatit peníze několika velkým cloudovým společnostem, což může být výsledek. Dobře, teď, když jsem dokončil povídání o historii ChatGPT, dám vám krátké shrnutí.
Za prvé, nebojte se.
Dnes se mnoho lidí ChatGPT bojí, stejně jako se domorodí obyvatelé Jamajky, se kterými se Kolumbus setkal, báli zatmění Měsíce.
Za druhé, nenuťte se hledat takzvané příležitosti Práce je způsob, jakým byste měli pracovat.
Viděl jsem, jak se mě někteří studenti ptali, proč Apple nedělá ChatGPT, a řekl jsem, že je to správné! To je důvod, proč je Apple nejbohatší společností na světě s nejvyššími zisky a největší tržní kapitalizací. V současné době mnoho takzvaných společností, které se zabývají tímto druhem umělé inteligence, stále ztrácí peníze. Proto se mnoho studentů někdy ptá na příliš neobvyklé otázky, takže se jich ze srandy ptám, splatili jste hypotéku? Pokud jste to nesplatili, prostě se vraťte do práce a dělejte svou práci dobře. To je pro všechny to nejsmysluplnější, a to platí i historicky.
Za třetí, musíte prokouknout triky těchto takzvaných spiklenců nebo lidí, kteří vás chtějí odříznout.
To znamená, že pokud někdo předstírá, že je Kolumbus a říká, že je zástupcem Boha, a pak se může modlit k Bohu, aby vyšel Měsíc, nevěřte tomu. Musíte tedy porozumět části vědy za ChatGPT. Stále musíte pochopit některé z nejjednodušších principů, jako jsou ty, o kterých dnes mluvím.