北京时间6月5日，AI创业公司Anthropic发布博客文章，呼吁全球顶尖AI实验室认真考虑放缓前沿模型的研发步伐。该公司警告，当前AI系统演进速度过快，可能很快就能在无需人类干预的情况下实现“递归式自我改进”（recursive self-improvement），由此引发的社会风险不容忽视。
Anthropic内部数据显示，其最先进模型能力正以惊人速度提升。所谓“递归式自我改进”，是指AI系统具备协助改善下一代模型、优化自身能力或加速研发流程的能力。
Как только это больше не будет сильно зависеть от человеческих инженеров, скорость прогресса AI может значительно превысить существующие рамки регулирования и оценки безопасности. Авторы статьи, директор исследовательского института Anthropic и руководитель по политике, написали: "Мы считаем, что если бы у мира была возможность замедлить или временно приостановить развитие передового AI, чтобы дать обществу и исследованию согласованности возможность идти в ногу с техническим прогрессом, это было бы хорошо." Статья также предлагает достичь глобального соглашения о том, как замедлить разработку и установить механизмы проверки для наблюдения за соблюдением со стороны отрасли.
Этот призыв вызвал интерес не только на технологическом уровне. С одной стороны, Anthropic находится на острие жесткой конкуренции — они только что завершили раунд финансирования, с оценкой в 9650 миллиардов долларов, впервые обогнав соперника OpenAI (8520 миллиардов долларов), и уже тайно подали заявку на IPO, планируя выйти на Уолл-стрит уже этой осенью.
С другой стороны, их позиция по безопасности долгое время вызывала споры. Венчурный инвестор и неформальный советник Трампа Дэвид Сакс обвинял компанию в продвижении "агенты захвата регулирования", что подразумевает подавление конкурентов под предлогом регулирования. Профессор Уортонской школы бизнеса Университета Пенсильвании Итан Моллик отметил, что статья Anthropic "в некотором роде самоанализ, но с маркетинговыми элементами", однако их оценка текущих тенденций в AI "заслуживает внимания".
Важно отметить, что этот призыв происходит на фоне быстрого формирования рамок регулирования AI в США. 2 июня президент Трамп подписал указ, требующий от таких компаний, как OpenAI, Google, Anthropic, открывать правительству окно для тестирования кибербезопасности на срок до 30 дней перед публичным выпуском новых моделей. В то же время Конгресс США продвигает двупартийное законодательство по AI, требуя от ведущих разработчиков раскрывать безопасность и риски безопасности новых моделей.
Это значит, что вопрос "нужно ли ограничивать AI-соревнования" переходит от внутреннего обсуждения в отрасли к центру обсуждений в политике и на капитальных рынках. Anthropic откровенно заявляет, что это, безусловно, поднимает данную тему на более высокие уровни публичного принятия решений.