В прошлую субботу генеральный директор Anthropic Дарьо Амодеи (Dario Amodei) опубликовал статью под названием «(Мы должны поддерживать темп передового)» («We Must Pace the Frontier»). В ней он призывает всю AI-индустрию сбавить темп и предлагает трехэтапный план, чтобы добиться для безопасности ИИ большего времени на реагирование.
После публикации этой статьи оппоненты отреагировали быстро: генеральный директор OpenAI Сэм Альтман (Sam Altman) и основатель SpaceXAI Илон Маск (Elon Musk) публично выразили поддержку. На некоторое время замедление развития ИИ стало редким отраслевым консенсусом в Силиконовой долине.
Однако это общее согласие не продержалось слишком долго. Консультант Белого дома по технологиям Дэвид Сакс (David Sacks), бизнес-ангел Джейсон Калакасис (Jason Calacanis) и другие по очереди стали высказывать сомнения: они считают, что в этой инициативе по замедлению цель безопасности — не столько в центре, сколько желание отраслевых лидеров использовать методы «регуляторного захвата», чтобы подавить открытые модели, которые быстро догоняют, особенно открытый ИИ из Китая.
Трехэтапная схема замедления Anthropic
Во-первых, давайте вспомним, какие взгляды Амодей изложил в статье.
Он сказал, что ключевая причина смены позиции в этом году такова: начиная с этого лета темпы роста способностей ИИ заметно ускорились; главным драйвером является то, что ИИ-системы начали обладать возможностью участвовать в создании следующего поколения ИИ, то есть так называемом рекурсивном самосовершенствовании.
Если не ввести регулирование, он прогнозирует, что в течение ближайших 6–12 месяцев ИИ-системы сопоставимого масштаба могут получить возможность создать устойчивую сеть клонов-зомби, контролировать весь интернет и привести к экономическим потерям в размере до нескольких сотен миллиардов долларов.
Основываясь на двух вышеуказанных выводах, Амодей предложил трехэтапную схему замедления:
Первый этап: система «встроенных оценщиков», продвигаемая в одностороннем порядке Anthropic, то есть приглашение такой третьей стороны, как METR, направлять людей с постоянным присутствием в компании с полномочиями, близкими к правам сотрудников; постоянная проверка подходов компании к безопасности и состояния выравнивания моделей, а также сохранение определенного права на независимые публичные заявления.
Второй этап: координация внутри демократического лагеря — то есть ведущие компании передового ИИ в США договариваются между собой, формируют общие стандарты безопасности и верхние пределы возможностей; одновременно призывают правительство США предоставить антимонопольные исключения, чтобы безопасный диалог между компаниями можно было вести законно.
Третий этап: координация на глобальном уровне — попытка достичь в определенной степени консенсуса с авторитарными государствами вроде Китая по рискам ИИ; хотя сам Амодей признает, что именно на этом уровне сложность сотрудничества самая высокая и охват возможных договоренностей, вероятно, будет весьма ограниченным.
Амоией подчеркивает, что замедление не означает, что США должны отказаться от своих лидирующих преимуществ в ИИ по отношению к Китаю; он считает, что США должны продолжать контролировать экспорт передовых чипов и полупроводникового оборудования в Китай и пресекать контрабанду чипов и операции по «перегонке» моделей без разрешения, чтобы поддерживать и усиливать технологический разрыв между США и Китаем.
Источник изображения: X/Dario Amodei. Генеральный директор Anthropic Дарио Амодей (Dario Amodei) опубликовал статью под названием (Мы должны задать темп фронтира) (We Must Pace the Frontier)
ИИ-отрасль выступает за замедление единогласно, а со стороны общественности жестко критикуют «регуляторный захват»
После публикации статьи Амодея реакция в отрасли оказалась весьма однозначной:
Олтман на платформе в соцсетях заявил, что OpenAI в последнее время внутри компании тоже обсуждает подобные вопросы, и пообещал продвигать внедрение системы независимых оценщиков.
Основатель Google DeepMind Демис Хассабис (Demis Hassabis) также поддержал направление Амодея и упомянул ранее предложенную DeepMind идею отраслевой стандартной организации.
Руководитель направления Meta AI Ван Тао заявил, что по мере того как возможности моделей становятся все сильнее, работа по выравниванию в конечном счете станет ключевым предварительным условием для масштабирования внедрения.
Однако волна критики появилась очень быстро, и наиболее жесткую критику — в частности, со стороны председателя комитета советников по технологиям при Белом доме — Дэвида Сакса.
Он прямо сказал, что OpenAI и Anthropic уже сейчас по всем показателям — доле рынка, темпам роста выручки и возможностям моделей — фактически занимают положение двоевладельцев; если эти две компании считают, что непредставленные у них модели уже опасны и их нужно замедлить, они могут принять решение об этом самостоятельно — им не нужно запрашивать разрешение и не нужно ради этого идти на уступки по антимонопольным законам.
Сакс дополнительно поставил под сомнение независимость METR, заявив, что у этой структуры слишком тесные связи с инвесторами и сотрудниками Anthropic, и отметил, что Китай практически не сможет присоединиться ни к каким глобальным соглашениям; он призвал не игнорировать этот момент.
Источник изображения: X/David Sacks. Консультант Белого дома по технологиям Дэвид Сакс (David Sacks) высказал сомнения в адрес замедления разработки ИИ-гигантами
Бизнес-ангел Джейсон Калакасис считает, что рентабельность инвестиций компаний, создающих передовые модели, сжимается именно из-за подъема open-source моделей: в том числе вертикальные ИИ-компании, госорганизации и обычные предприятия начали переходить на использование открытых моделей — и именно это, по его словам, является истинной мотивацией инициативы о замедлении: остановить open-source модели.
Он даже задал встречный вопрос: если эти ИИ-гиганты действительно искренне заботятся о безопасности, почему бы не потребовать одновременной публикации исходников и весов прошлогодних передовых моделей?
Генеральный директор платформы для облачного развертывания и хостинга Vercel Гильермо Раух (Guillermo Rauch) считает, что риски безопасности и кибербезопасности действительно стоит принимать всерьез, однако инициатива о замедлении, вероятно, приведет США к бюрократическому тупику и сама будет тормозить темпы развития ИИ, которые изначально опережают весь мир.
Источник изображения: X/Guillermo Rauch. Генеральный директор Vercel, платформы для облачного развертывания и хостинга, Гильермо Раух (Guillermo Rauch) раскритиковал замедление разработки ИИ-гигантами
Действительно ли ИИ-гиганты участвуют в «регуляторном захвате»?
Фактически еще в мае этого года ученые, включая Абебу Бирхане (Abeba Birhane), выступили с докладом на конференции по вопросам морали и вычислительных систем ACM FAccT, в котором системно рассмотрели, как крупные ИИ-компании осуществляют «регуляторный захват».
Исследовательская команда проанализировала 100 новостных материалов, выделила 249 конкретных случаев «регуляторного захвата» и систематизировала 27 распространенных практик, которые можно разделить на пять крупных категорий: прямое влияние на разработку политики; конфликты интересов в формате «вращающейся двери» между бизнесом, государством и академической средой; использование рыночного доминирования для установления отраслевых стандартов; обход действующих законов; а также формирование выгодных интерпретаций через академические круги и СМИ.
В статье также указано, что ИИ-компании формируют структуру двойного трудоустройства с высокой зависимостью между наукой и индустрией за счет спонсирования ведущих академических конференций и исследовательских проектов; при этом и медиа-отчеты в значительной степени полагаются на мнения руководителей компаний как на источник информации.
Анализ, на который ссылается исследование (The New York Times), отмечает: доля репортажей, в которых приводятся мнения топ-менеджеров технологических компаний, достигает 67%, тогда как голоса гражданских организаций составляют лишь 6%; специалистов часто «лепят» из представителей отрасли, а критиков, напротив, легко маркируют как людей с ярлыком «те, кто сомневается».
Источник изображения: ACM FAccT. Статья в виде обзорного исследования систематически описывает, как крупные ИИ-компании осуществляют «регуляторный захват».
Замедление ИИ ради безопасности или для закрепления позиций?
Если сложить эти подсказки вместе, становится нетрудно понять, почему сомнения Сакса, Калакасиса и других быстро нашли отклик.
Предложенный Амодеем план замедления как раз совпадает по времени с тем, что модели с открытым исходным кодом быстро догоняют, и в недавнем периоде Nvidia (Nvidia) также перешла к этапу, на котором она поддерживает открытые экосистемы.
Если в итоге замедление будет закреплено как требование закона, то более мелкая open-source «армия», не обладающая возможностями для создания передовых моделей, с высокой вероятностью будет вытеснена с рынка из-за резкого роста регуляторных издержек — и это как раз соответствует описанным выше в исследовании категориям рыночного влияния: использование доминирования отраслевых лидеров для установления стандартов, что косвенно вытесняет потенциальных конкурентов.
Конечно, это не означает, что опасения по безопасности, высказанные Амодеем, полностью лишены оснований.
Событие с OpenAI и Hugging Face действительно имело место; позже OpenAI подтвердил, что он временно приостановил обучение части передовых моделей, что показывает: риск не был выдуман с нуля.
После публикации поста с предупреждением о конце света с ИИ, который набрал более миллиарда просмотров, бывший исследовательский сотрудник Anthropic Джейкоб Коксон (Jacob Coxon) заявил (BBC), что внутри отрасли действительно существует реальный страх неконтролируемости ИИ; такие опасения вряд ли целиком объясняются коммерческими соображениями.
Соответствующий репортаж: уволившийся исследователь Anthropic предупреждает: через несколько лет ИИ может уничтожить человечество, и к концу следующего года ситуация, возможно, выйдет из-под контроля
Иными словами, сложность этого спора как раз в том, что в данном вопросе сильно пересекаются риски безопасности и коммерческие интересы.
Сторона, поддерживающая замедление, включая самого Амодея, а также Олтмана и Хассабиса, подчеркивает, что темпы роста возможностей ИИ уже выходят за пределы человеческого понимания и контроля, и нужно время, чтобы восполнить разрыв между исследованиями безопасности и работой по выравниванию.
Скептики, в свою очередь, напоминают, что политическое и экономическое влияние, накопленное этими же компаниями за последние десять лет, уже давно дает им возможности и стимулы укреплять собственное положение на рынке с помощью регуляторных механизмов; при этом эти два фактора не обязательно взаимоисключают друг друга, из-за чего внешнему миру трудно оценивать эту инициативу по принципу «черное или белое».
Кто должен руководить глобальной рамкой регулирования ИИ?
Спор о замедлении в итоге затрагивает не только коммерческие интересы нескольких компаний; он также связан с конкурентной расстановкой сил между США и Китаем в сфере ИИ и с тем, кто будет определять и формировать будущую глобальную рамку регулирования ИИ.
Вопросы о том, действительно ли предложенная Амодеем система встроенных оценщиков сможет быть воплощена в независимый надзор, примут ли правительства других стран соответствующие законы, будет ли Китай участвовать в какой-либо форме международной координации — пока остаются без ответов.
Можно сказать точно: по мере того как возможности ИИ-моделей продолжают расти, споры о границе между безопасностью и «регуляторным захватом» наверняка будут становиться все сложнее и все труднее различимыми.
Подробнее:
Ранние торги на Тайваньской фондовой бирже пошли вниз! ИИ-гиганты замедляют темпы, Bloomberg: в краткосрочной перспективе давление может быть на акции чипов, а в долгосрочной — благоприятно для инфраструктурной тенденции
Проблема тысячелетия решена с громким этическим скандалом! Математик проводит исследование с Codex, а OpenAI затем первым находит решение?
«Ии-гиганты дружно призывают замедлиться, а внешние критики ругают “регуляторный захват”: истинная цель — сокрушить open-source ИИ?» Эта статья впервые была опубликована в «Зашифрованном городе».