TL;DR Podsumowanie
OpenAI podnosi świadomość na temat zagrożeń, jakie niesie ze sobą superinteligencja oparta na sztucznej inteligencji i powołuje specjalny zespół, który zajmie się tymi kwestiami.
Firma kładzie nacisk na dostosowanie superinteligencji do ludzkich wartości i intencji oraz ustanowienie nowych instytucji zarządzania.
OpenAI zdaje sobie sprawę, że dostosowanie AGI wiąże się ze znacznym ryzykiem i może wymagać wspólnego wysiłku całej ludzkości.
Dyrektor generalny OpenAI, Sam Altman, rozpoczął globalną kampanię mającą na celu podniesienie świadomości na temat potencjalnych zagrożeń związanych z superinteligencją sztucznej inteligencji, w wyniku której maszyny przewyższą inteligencję człowieka i mogą stać się niekontrolowalne.
W odpowiedzi na te obawy firma OpenAI ogłosiła niedawno utworzenie specjalnego zespołu, którego zadaniem będzie opracowanie metod radzenia sobie z zagrożeniami związanymi z superinteligencją, które mogą pojawić się w tej dekadzie.
Firma podkreśla, że skuteczne zarządzanie superinteligencją wymaga powołania nowych instytucji zarządzających i rozwiązania kluczowego problemu dostosowania superinteligencji do ludzkich wartości i intencji.
Organizacja OpenAI zdaje sobie sprawę, że dostosowanie AGI (sztucznej inteligencji ogólnej) wiąże się ze znacznym ryzykiem dla ludzkości i może wymagać zbiorowego wysiłku całej ludzkości, co stwierdzono we wpisie na blogu opublikowanym w zeszłym roku.
Nowo utworzony zespół, nazwany „Superalignment”, składa się z najlepszych badaczy i inżynierów w dziedzinie uczenia maszynowego. Ilya Sutskever, współzałożyciel i główny naukowiec OpenAI, oraz Jan Leike, szef ds. wyrównania, kierują tym przedsięwzięciem.
Aby sprostać podstawowym wyzwaniom technicznym związanym z dopasowaniem superinteligencji, OpenAI zobowiązało się przeznaczyć 20% swoich dotychczas pozyskanych zasobów obliczeniowych na problem dopasowania. Firma przewiduje, że w ciągu czterech lat rozwiąże te wyzwania.
Głównym celem zespołu superalignment jest opracowanie zautomatyzowanego badacza wyrównania na poziomie ludzkim. Wiąże się to z tworzeniem systemów AI, które mogą skutecznie wyrównać superinteligentne systemy AI, przewyższając ludzi pod względem szybkości i precyzji.
Aby osiągnąć ten kamień milowy, zespół skupi się na opracowaniu skalowalnej metody szkoleniowej, która wykorzystuje systemy AI do oceny innych systemów AI. Zweryfikują swój wynikowy model, automatyzując wyszukiwanie potencjalnie problematycznych zachowań. Kanał dopasowania zostanie również poddany rygorystycznym testom obciążeniowym poprzez celowe trenowanie niespójnych modeli w celu oceny ich wykrywalności.
Działania OpenAI mające na celu rozwiązanie ryzyka związanego z superinteligencją stanowią znaczący krok naprzód w dążeniu do odpowiedzialnego i zgodnego rozwoju AI. Poprzez zebranie zespołu najlepszych badaczy i zaangażowanie znacznych zasobów obliczeniowych firma demonstruje swoje zaangażowanie w proaktywne łagodzenie potencjalnych ryzyk związanych z nadejściem superinteligencji. Rozpoczynając tę ambitną podróż, OpenAI ustanawia precedens współpracy i jedności w zabezpieczaniu przyszłości ludzkości w epoce AI.