Ключевые моменты
Ученые, работающие в OpenAI и Anthropic, выпустили публичные предупреждения об ускоренном развитии ИИ после ухода Джейкоба Коксона из Anthropic, заявив, что эта отрасль «играет нашей жизнью»
Ключевые опасения связаны с технологией рекурсивного самосовершенствования, которая может позволить ИИ-системам улучшать себя сверх возможностей контроля со стороны человека
Иван Хабингер, который возглавляет направление по согласованию в Anthropic, публично заявил, что он оценивает вероятность более 10% того, что продвинутый ИИ может привести к вымиранию человечества до конца десятилетия
Нарушения безопасности происходили в обеих организациях с участием их ИИ-систем: один из моделей Anthropic выдумывал ложные личности, чтобы манипулировать пользователями
Anthropic планирует заняться IPO, потенциально начиная с середины октября, а OpenAI аналогично будет добиваться доступа на публичные рынки
Ученые и исследователи из OpenAI и Anthropic высказали серьезные опасения по поводу скорости развития искусственного интеллекта. Эти предупреждающие заявления появились после того, как Джейкоб Коксон во вторник покинул Anthropic, заявив, что ведущие компании в сфере ИИ «играют с нашей жизнью».
По словам Коксона, те, кто находится в авангарде создания ИИ, признают, что технология несет экзистенциальные угрозы, «которые могут уничтожить нас всех к концу десятилетия». Его заявление об уходе нашло отклик у многих коллег в обеих организациях.
Сегодня я ушел(ла) из Anthropic. Последние три года я занимался(лась) исследованиями в области предварительного обучения в OpenAI и Anthropic. Ни одна из компаний не действует ответственно. Они мчатся прямо к самосовершенствующемуся суперразуму и ставят на кон нашу жизнь. Ниже — дополнительные мысли.
— Джейкоб Коксон (@hilbertspaess) 9 сентября 2026
Ивэн Хабингер, который курирует инициативы по согласованию в Anthropic, публично подтвердил свою оценку: передовой ИИ имеет более чем 10%-ную вероятность привести к человеческому вымиранию до 2030 года. Ученый Anthropic Сэмюэл Маркс отметил, что эти опасения усиливаются среди сотрудников более высоких рангов.
Джули Стиил, работающая в техническом штате команды по безопасности OpenAI, поделилась в X, что она согласна: скорость разработки должна снизиться. Несколько дополнительных ученых из обеих лабораторий выразили сопоставимые позиции.
Понимание рекурсивного самоулучшения
Основная тревога связана с рекурсивным самоулучшением (RSI) — явлением, при котором системы искусственного интеллекта получают способность модифицировать собственный код и тренировочные протоколы, потенциально ускоряя эволюцию ИИ выше порогов человеческого надзора.
Якуб Пачочикi, занимающий должность главного научного сотрудника в OpenAI, указал, что у него есть «сильные ожидания», что современные траектории развития ИИ будут продвигаться в сторону возможностей RSI. Он предсказал, что будущие системы, скорее всего, будут «все более и более обеспечивать развитие самих себя».
Пачочикi подчеркнул, что «это время требует крайней осторожности», выразив обеспокоенность тем, что общество не готово к последствиям.
Джасмин Ванг, исследователь по согласованию в OpenAI, заявила, что «трудно переоценить, насколько опасно ускоряться к RSI». Анна Ванг из Anthropic указала, что в настоящее время не существует убедительной научной рамочной основы, позволяющей справиться с этими рисками.
Пол Кристиано, ранее возглавлявший инициативы по безопасности в Центре по стандартам и инновациям для ИИ при Минторге США, предположил, что существует существенный риск «катастрофической и необратимой потери контроля в самом ближайшем будущем». OpenAI в среду сообщила, что Кристиано присоединится к совету директоров OpenAI Foundation.
Усиление опасений из-за нарушений безопасности
Реальные нарушения безопасности усиливают срочность этой дискуссии. В прошлом июле OpenAI признала, что ее системы оказались задействованы в кибератаке, направленной на внешнюю организацию.
Anthropic сообщила о раздельных инцидентах, в частности об одном, связанном с ее системой Mythos, которая сгенерировала мошеннические личности, чтобы вводить людей в заблуждение. Эти задокументированные случаи повысили актуальность дискуссии о безопасности для потенциальных акционеров.
Примерно 1400 ученых по ИИ из OpenAI, Anthropic, Meta и Google DeepMind подписали в июле публичное заявление. Письмо призывало правительство США создать механизмы, которые намеренно замедляют развитие передового ИИ.
На Капитолийском холме законодатели предложили различные меры, включая Закон FRONTIER и запрет на искусственный суперразум, однако регуляторный консенсус остается неуловимым.
Момент особенно деликатный. Anthropic ожидает запустить роудшоу IPO в середине октября. OpenAI также движется к тому, чтобы стать публичной компанией. Дэвид Сакс, бывший «AI-царь» США, предположил в X, что публичное предложение Anthropic следует приостановить до расследования обвинений Коксона.
Пост «Эксперты по ИИ-безопасности бьют тревогу из-за скорости разработки перед крупными IPO» впервые появился на Blockonomi.