Сотрудникам OpenAI на этой неделе сообщили, что ИИ-лаборатория будет открыта для того, чтобы ограничивать темпы своей работы в самых передовых областях ИИ. Сэм Альтман выдвинул то же предложение и конкурентам в сфере ИИ, включая Anthropic, которая также признала риски, связанные с развитием ИИ, в отчете, где было раскрыто, что ученые, связанные с государственными учреждениями, пытались использовать ее модели Claude для исследований в области биологического оружия. 

OpenAI заявила, что уже приостановила некоторые внутренние тренировочные запуски и смягчила отдельные этапы разработки моделей из-за опасений по поводу безопасности.

Последовательное появление этих разоблачений раздувает дискуссию о том, движется ли отрасль слишком быстро в преддверии публичных размещений: обе компании продолжают подогревать ожидания,

Почему Альтман хочет замедлить развитие ИИ?

Глава OpenAI Сэм Альтман на общей встрече компании сообщил присутствующим, что ИИ-лаборатория, а также другие согласившиеся лаборатории, могут замедлить темпы выпуска моделей передового уровня.

Из-за добровольного характера любой подобной договорённости Альтман признал, что не каждая компания будет поддерживать этот план, — об этом сообщили источники, на которые ссылается Bloomberg.

Эта скептическая позиция имеет прецедент. Три года назад, в марте 2023 года, Илон Маск, Стив Возняк и более 1 000 других подписали открытое письмо с призывом остановить передовые работы в области ИИ на шесть месяцев.

Как сообщали СМИ в то время, лаборатории на самом деле не выполнили мораторий, который они совместно согласовали.

Заявление о рисках ИИ также появилось в посте от 6 сентября главного научного сотрудника OpenAI Якуба Пахоччи, где он попросил ИИ-компании координироваться «чтобы замедлить будущие разработки по мере необходимости». Пахоччи выразил надежду, что добровольные замедления «станут обычным явлением, пока не будут установлены общие пороги безопасности».

В июле Альтман сказал, что он сообщил чиновникам Белого дома о необходимости ограничить развитие ИИ. Вместе с генеральным директором Anthropic Дарьо Амодеем Альтман также ранее подписал однострочное заявление, в котором ИИ назван риском исчезновения для общества в масштабе всей страны.

Можно ли использовать модели ИИ для создания биологического оружия?

ИИ-модели продвинулись до стадии, на которой они могут быть способны поддерживать исследования биологического оружия. На этой неделе OpenAI заявила, что её модели решили задачу по математике уравнений Навье—Стокса, пусть даже это было сделано на спорных условиях.

Anthropic предоставила новые основания для этой дискуссии, когда 10 сентября представила 154-страничный доклад по анализу угроз: в нём были подробно описаны пять случаев, когда попытки исследователей использовать возможности Клода были направлены на поддержку их работ по биологическому оружию.

Anthropic заявила, что попытки из «неподдерживаемых регионов» были направлены на обход ограничений по местоположению и сокрытие цели их работы. Лаборатория сообщила, что удалила эти аккаунты, но не назвала ни страны, ни учреждения.

Разве риски ИИ сейчас не перевешивают выгоды?

Эти сообщения появились на фоне волны публичной тревоги внутри лабораторий. 8 сентября исследователь Джейкоб Коксон ушёл с работы и обвинил и OpenAI, и Anthropic в «азартной игре с нашими жизнями», сказав, что коллеги считают, что технология сможет «убить нас всех к концу десятилетия», и предупредив о вымирании людей к 2030 году.

Его пост набрал более 150 миллионов просмотров. Два дня спустя, 10 сентября, бывшие сотрудники Anthropic и DeepMind от Google озвучили похожие опасения и потребовали большей прозрачности.

Позднеиюльская петиция о создании механизма замедления развития собрала подписи более чем 1 000 работников в крупнейших ИИ-компаниях.

Теперь OpenAI добивается от Конгресса обязательных правил безопасности, основанных на возможностях, которые охватывают тестирование, независимые оценки, кибербезопасность и отчётность об инцидентах. «Перспектива развития ИИ, ускоряемого ИИ, требует большего, чем добровольные обязательства», — написал главный директор по вопросам глобальной политики Крис Лихэн.

Сначала действовала Калифорния: губернатор Гэвин Ньюсом в среду подписал SB 813 и AB 1405, а также сопроводительный законопроект AB 1864, целью которого является защита от биологических угроз, усиленных с помощью ИИ.

В Вашингтоне сенатор Берни Сандерс внёс законопроект, чтобы приостановить разработку передового ИИ и запретить искусственный суперинтеллект, заявив BBC, что игнорирование предупреждений учёных сделает кого-то «тупицей».

Президент Дональд Трамп отреагировал, заявив в четверг, что он беспокоится: «если мы не победим в гонке за ИИ, нас поставят в очень плохое положение».

Не просто читайте новости о криптовалюте. Поймите их. Подпишитесь на нашу рассылку. Она бесплатна.