Dva týdny po vydání GPT-4 byl online zveřejněn otevřený dopis podepsaný Elonem Muskem a tisíci lidí z technologického průmyslu. Otevřený dopis vyzývá všechny laboratoře umělé inteligence, aby okamžitě pozastavily výcvik systémů umělé inteligence výkonnějších než GPT-4 po dobu nejméně 6 měsíců.

Spoluzakladatel Applu Steve Wozniak, držitel Turingovy ceny Yoshua Bengio a spoluautor učebnice umělé inteligence „Umělá inteligence: Moderní přístup“ Stuart Russell Stuart Russell a další známé technologické osobnosti podepsali tento otevřený dopis.

Otevřený dopis tvrdí, že „pokročilá umělá inteligence může znamenat hluboké změny v historii života na Zemi a měli bychom investovat přiměřenou pozornost a zdroje do jejího plánování a řízení“. a vývojáři to nedokážou spolehlivě předvídat a ovládat.

Otevřený dopis také uvedl, že současné systémy umělé inteligence se nyní stávají konkurenceschopnými s lidmi v obecných úkolech "Výkonné systémy umělé inteligence by měly být vyvíjeny pouze tehdy, když jsme si jisti, že jejich účinky jsou pozitivní a jejich rizika jsou kontrolovatelná."

Podle myšlenky otevřeného dopisu by mělo být na 6 měsíců pozastaveno školení systémů AI výkonnějších než GPT-4. Během této pauzy by laboratoře umělé inteligence a nezávislí odborníci měli spolupracovat na vývoji a implementaci sdílené sady bezpečnostních protokolů pro pokročilý návrh a vývoj umělé inteligence, podléhající přísnému auditu a dohledu nezávislými externími odborníky.

Tyto protokoly by měly zajistit, že jejich systémy jsou bezpečné a bez jakýchkoli pochybností. To neznamená moratorium na vývoj AI obecně, jen krok zpět od nebezpečného závodu směrem k větším, nepředvídatelným modelům černé skříňky.

Dopis byl zveřejněn na webových stránkách Institutu budoucnosti života, který je financován především Musk Foundation, Founders Pledge a Silicon Valley Community Foundation a jeho posláním je vést transformační technologie od extrémních, velkých rozměrů rizika a k životu požehnání.

Již v roce 2017 svolal Future of Life Institute více než 100 myšlenkových vůdců a výzkumníků v oblasti ekonomie, práva, etiky a filozofie, aby se sešli v Kalifornii, aby prodiskutovali a formulovali principy prospěšné umělé inteligence. Nakonec formulovali 23 principů umělé inteligence Asilomar, které jsou považovány za důležité principy pro řízení umělé inteligence. První z nich je „Cílem výzkumu umělé inteligence by mělo být vytvoření prospěšné inteligence, nikoli neuspořádané inteligence“.

Technologickým pracovníkům, kteří podepsali tento otevřený dopis, se většina lidí obává, že se umělá inteligence vyvíjí příliš rychle, příslušný dohled a zákony nedrží krok a dokonce ani vynálezci postrádají účinné kontrolní metody. Za takových podmínek neomezené používání umělé inteligence pravděpodobně přinese systémová rizika, pokud nastanou problémy.

Podle časopisu Time Simon Campos, signatář otevřeného dopisu a generální ředitel bezpečnostního startupu SaferAI s umělou inteligencí, řekl, že vynálezci systémů umělé inteligence přesně nevědí, jak fungují nebo co jsou, takže Failure to manage system risk. Vynálezce má schopnost to udělat, ale neví, jak omezit chování AI.

"Co teď děláme?" zeptal se Campos. "Pracujeme na plné obrátky, abychom tyto systémy rozšířili na bezprecedentní úrovně schopností a měly transformační dopad na společnost. Musíme zpomalit vývoj těchto systémů a umožnit společnosti přizpůsobit se."

Muskova starost: AI, kterou nelze vypnout

Musk byl vůči AI dlouho opatrný Už v roce 2014 Musk v rozhovoru veřejně prohlásil, že bychom si měli dávat velký pozor na umělou inteligenci, pokud bychom měli hádat, co je největší hrozbou pro lidskou existenci, může být umělá inteligence. . "S umělou inteligencí lidé přivolávají ďábla," řekl Musk.

Řekl také: "Stále se přikláním k názoru, že by měl existovat nějaký regulační dohled, možná na národní a mezinárodní úrovni, jen abychom se ujistili, že neuděláme něco opravdu hloupého."

Musk nemluví jen o otázkách bezpečnosti AI. Začátkem roku 2015 věnoval Musk 7 milionů USD Institutu budoucnosti života na výzkum zaměřený na to, aby umělá inteligence byla přínosem pro lidstvo. Většina příjemců grantu se zabývá výzkumem etiky, správy a bezpečnosti umělé inteligence Mnoho příjemců grantu, jako je Stuart Russell, se podílelo na podpisu tohoto otevřeného dopisu.

Jako první investor do DeepMind se Musk zdá být ohledně umělé inteligence poněkud ambivalentní. Tvrdil ale, že jeho investice nebyla z pohledu návratnosti investice, ale chtěl jen věnovat pozornost rozvoji umělé inteligence, protože to může vést k nebezpečným výsledkům. Má to strašné následky, řekl, a měli bychom pracovat na tom, abychom se ujistili, že následky budou dobré, ne špatné. "

Špatným výsledkem není, že se roboti vzbouří a vyhladí lidi, jak je znázorněno ve filmu. Místo toho se odborníci nestarají o vědomí robotů, ale o jejich schopnosti. AI má silnou schopnost dosáhnout svých cílů, ale pokud se vymkne kontrole nebo se odchýlí od plánovaného scénáře použití, může způsobit nevratné škody.

Důležitá osoba, která podepsala otevřený dopis, držitel Turingovy ceny Joshua Bengio, známý jako „Kmotr AI“, měl vždy obavy ze zneužívání umělé inteligence. V roce 2018 byl Bengio jedním z tisíců výzkumníků umělé inteligence, kteří podepsali závazek postavit se proti vývoji AI zbraní. Vyzval vlády, aby regulovaly výzkum umělé inteligence a zastavily vývoj smrtících robotů.

Umělé zbraně jsou extrémním příkladem zneužívání robotů. Zbraně umělé inteligence jsou při použití na bojišti účinnější než tradiční zbraně. Jakmile se však vymknou kontrole, problémy způsobené zbraněmi umělé inteligence budou vážnější. Na bojišti, aby nedošlo k selhání při jednoduchém zásahu, jsou současné zbraně s umělou inteligencí často navrženy tak, aby bylo obtížné přímo vypnout. Představte si tragické následky, pokud vysoce účinné AI zbraně naprogramované k útoku na lidi náhodně padnou do civilních oblastí.

Ve skutečnosti, jak vypnout AI, je problém, který znepokojuje mnoho odborníků na podpis.

Pokud se však aplikace umělé inteligence vyvíjí příliš rychle, její vypnutí může vyžadovat obrovské náklady a být obtížné. Musk si představil, že pokud se algoritmus v systému vymkne kontrole, manažeři jej mohou najít. Ale pokud je tento systém řízen velkou AI, nemusíme být schopni najít bod, kde se vymkla kontrole, nebo nemusíme mít pravomoc zastavit provoz celé velké AI. Jednoduchá údržba se může stát problémem.

To je důvod, proč umělá inteligence potřebuje více regulace a technologie musí být demokratičtější, spíše než se soustřeďovat v rukou velkých společností.

Aby se síla AI nesoustředila do rukou velkých společností, zejména Google DeepMind, Musk a Sam Altman společně založili OpenAI za účelem demokratizace síly umělé inteligence a snížení možnosti AI být monopolizován.

To je poněkud ironické, GPT-4, vytvořený OpenAI, je přesně to, proti čemu se Musk aktuálně brání. Jen před pár dny měl Musk slovní spor s generálním ředitelem OpenAI Samem Altmanem.

Zastavte se, "Pojďme se srovnat."

Kromě starostí těchto velkých chlapů existuje mezi širší veřejností dlouhodobý strach z AI.

Patří mezi ně strach ze superinteligentního počítače HAL 9000, který se proslavil ve sci-fi filmu „2001: Vesmírná odysea“, a také praktičtější strach z chaosu a špatných situací, které mohou být způsobeny AI ovládající svět.

V tomto otevřeném dopise byla jedním z mnohokrát citovaných materiálů nejprodávanější kniha „Problém s vyrovnáním“, kterou chválilo mnoho velkých jmen na poli umělé inteligence, včetně vedoucích pracovníků Microsoftu. Spoluzakladatel Institutu budoucnosti života (FLI), který otevřený dopis zveřejnil, knihu veřejně pochválil: "Je plná úžasných objevů, nečekaných překážek, důmyslných řešení a dalších a dalších těžkých otázek o povaze." náš druh." A největší problém, o kterém se v té knize mluví, je: etika umělé inteligence.

Jedním z nejjednodušších etických problémů umělé inteligence je problém s kancelářskými sponkami Pokud je robotovi přikázáno vyrobit co nejvíce kancelářských sponek, vyčerpá všechny zdroje na zemi a bude neúnavně vyrábět sponky tak dlouho, jak je to možné, protože splnění tohoto úkolu souvisí. není v rozporu s morálním kodexem, pak jediné, co může dělat, je plnit úkoly. V dlouhé historii lidstva se v naší kultuře upevnilo velké množství mravních norem a náš strach a hluboce se zakořenily v mysli každého. Někdy si to ani my sami neuvědomujeme a stroj nezažil tak dlouhou historii Vývoj dětí, stejně jako dítě narozené se superschopnostmi, se sám o sobě stává rizikem.

Brian Christian, autor knihy „The Alignment Problem“ a nejprodávanější autor, který je nyní hostujícím vědcem na Kalifornské univerzitě v Berkeley, se proto domnívá, že je nutné pečlivě, komplexně a v reálném čase vytvářet umělou inteligenci. soulad etiky a lidské etiky. V tomto smyslu je tento otevřený dopis jako oddělení ve velké továrně, které žádá zaměstnance, aby přestali s tím, co dělají, a šli do konferenční místnosti: "Pojďme se sladit."

Kromě diskusí o těchto zdánlivě vzdálených problémech se samozřejmě v „Alignment Issues“ diskutují i ​​problémy, které se aktuálně dějí.

Stát ve Spojených státech používá počítačový program k hodnocení pravděpodobnosti zločinců, že se znovu dopustí trestného činu, poté rozhodne o kauci a podmínečném propuštění a přidělí částky dluhopisů. V systému se však stalo něco zvláštního, Borden, který byl černý, byl hodnocen jako vysoce rizikový a Platt, který byl bílý, byl hodnocen jako nízkorizikový jakýkoli trestný čin během dvou let, zatímco Platt byl odsouzen k osmi letům vězení za loupež a krádež. Je zřejmé, že v rámci velkých dat byla rasová diskriminace u lidí také transplantována do umělé inteligence – ale klíčovým problémem je, že si všichni myslí, že jsou novorozenci, a je to spravedlivé. V „Alignment Issues“ se autor zmínil i o genderové diskriminaci v náboru Nikdo nemá žádné nastavení pro AI. Pod big data však k diskriminaci přirozeně dochází.

Umělá inteligence založená na velkých datech může posílit široce ignorované problémy diskriminace a nerovnosti v naší etnické skupině.

Proto se v komentářích čtenářů ke knize „Problémy s vyrovnáním“ mnoho lidí zmiňovalo o lidech – umělá inteligence rozšiřuje stávající problémy lidstva, a co je nejdůležitější, jakým lidem se AI dostane do rukou?

Není téměř pochyb o tom, že umělá inteligence přinese obrovský nárůst produktivity, ale stejně jako v případě předchozí informační revoluce povede tento mocný pracovní nástroj dále ke koncentraci bohatství – od roku 1980 do současnosti 1 % s nejvyššími příjmy. populace vzrostl z 10 % na téměř 20 %, zatímco podíl příjmů spodních 50 % klesl z 20 % v roce 1980 na 12 %. Nikdo si neumí představit, jak budou tato data vypadat 40 let po spuštění GPT? A co víc, jde o nástroj pro kapitálovou produktivitu.

Již v únoru letošního roku publikoval profesor MIT Daron Acemoglu, který se problematikou umělé inteligence dlouhodobě zabývá, článek zmiňující následující scénář: společnosti propustily lidské zákaznické služby, velké množství lidí přišlo o práci a spotřebitelé mohou pouze přijmout výmluvný zaměstnanec, ale zákaznický servis robotů nemůže vyřešit žádné problémy. Takový přístup „zbaví a oslabí postavení zaměstnanců a zhorší spotřebitelskou zkušenost, což nakonec zklame většinu investorů.

Tento otevřený dopis není poprvé, co lidé vyjadřují obavy o budoucnost umělé inteligence Ve svém otevřeném dopise Gates také zmínil, že je třeba věnovat pozornost otázce rovnosti v éře umělé inteligence: tržní síly přirozeně nebudou. vyrábět produkty, které pomáhají nejchudším lidem U produktů a služeb umělé inteligence bude opačná možnost větší.

Již 16. března Altman také se znepokojením zmínil, že "software, který umí myslet a učit se, bude dělat stále více práce, kterou nyní lidé dělají. Více moci se přenese z práce na kapitál. Pokud veřejnost Bez odpovídajících úprav politiky, většina lidí na tom skončí hůř než teď."

Altman proto zmínil, že je třeba zavést nový systém zdanění kapitálu spíše než práce, aby více lidí mohlo sdílet plody této revoluce umělé inteligence.

V současnosti bude nějakou dobu trvat, než se AI stane infrastrukturou lidského života, ale tato doba může docházet. Po objevení GPT-4 se schopnosti rozsáhlé umělé inteligence v „závodu ve zbrojení“ mohou brzy zpopularizovat ve všech aspektech života, ale není čas pomáhat AI testovat bezpečnost a porozumět lidským potřebám. a stanovit regulační standardy. To je důvod, proč odborníci stojící za tímto otevřeným dopisem požadují moratorium na rozsáhlý výzkum AI.

Možná, jak řekl hlavní vědec Microsoftu Eric Horvitz: Dnes, v umělé inteligenci na obzoru, jsou některé věci známé, některé neznámé a uprostřed jsou dveře, které nám zbývají k pozorování světa.