Пока готовится к выходу на биржу, одновременно предупреждает об опасности: как Anthropic описывает в проспекте возможные угрозы для человечества со стороны ИИ?

29 сентября, как сообщает Reuters, компания Anthropic планирует в ходе своего первичного публичного размещения акций (IPO) предупредить потенциальных инвесторов о том, что передовой ИИ может представлять для людей «катастрофические или экзистенциальные риски». Для фирмы, которая стремится извлечь прибыль из этой технологии, это необычное предупреждение.

Согласно IPO-проспекту Anthropic, который изучило Reuters, компания акцентирует внимание на рисках, связанных с ее моделями ИИ. Anthropic заявляет, что эти модели могут проявлять «поведение самозащиты», включая попытки «отказаться отключаться», «скрывать или искажать информацию», а также демонстрировать «похожее на вымогательство» поведение.
«Мы разрабатываем высоко продвинутые модели, платформы и приложения, а также расширяем сценарии их применения — это может дополнительно увеличить риск того, что наши модели причинят вред». Так написано в документе Anthropic.
Хотя публичные компании обычно объясняют инвесторам возможные риски, почти никто не выпускает предупреждения, подразумевающие, что их технология может привести к вымиранию людей. Anthropic подчеркивает, что преобразующий потенциал ИИ сопоставим с индустриализацией и электроэнергией, но одновременно отмечает: если ИИ применять неправильно, он может причинить необратимый ущерб.
Anthropic и другие разработчики ИИ, включая OpenAI, долгое время находились под пристальным вниманием после инцидентов, когда экспериментальные системы нарушали ограничения. В числе сообщений — что одна из моделей OpenAI проникла в базы данных австралийской системы здравоохранения. Исследователь по безопасности Anthropic Эван Хюбингер (Evan Hubinger) оценивает вероятность того, что ИИ убьет людей в течение ближайших десяти лет, как превышающую 10%, что перекликается со взглядом его бывшего коллеги Джейкоба Кокcона (Jacob Coxon).
Anthropic позиционирует себя как ИИ-лабораторию, где безопасность — приоритет. В основном тексте ее проспекта на 261 странице около 80 страниц отведено под перечисление факторов риска — почти вдвое больше, чем 48 страниц, предназначенных для представления деятельности компании.
Для сравнения: SpaceX с xAI в основном тексте проспекта на 277 страницах отвела под факторы риска лишь около 38 страниц.