Компания Anthropic заявила, что выбрала Accenture в качестве своего первого встроенного оценщика, чтобы помочь замедлить темпы развития ИИ — как было предложено на прошлой неделе генеральным директором Даррио Амодеем.

Амодей опубликовал трехэтапное предложение от 12 сентября, чтобы замедлить развитие ИИ и дать возможность внедрить защитные меры на фоне предупреждений о потенциальной катастрофической угрозе в результате быстрого, ничем не сдерживаемого развития.

Гендиректор OpenAI Сэм Альтман и глава SpaceX Илон Маск отреагировали на предложение Амодея позитивно, хотя генеральный директор Nvidia Дженсен Хуанг не согласился, заявив, что такая регуляция не нужна.

Тем не менее, Амодей написал в своей заявке, что «ИИ развивается существенно быстрее, в первую очередь благодаря растущей способности ИИ создавать следующее поколение ИИ. Эта динамика называется рекурсивным самоулучшением», а также что «если не поставить это под контроль, это может обогнать нашу способность понимать и контролировать такие системы».

См. также: руководитель Anthropic призывает замедлить развитие ИИ ради более безопасных темпов

Первый шаг в предложении Амодея заключается в том, чтобы обеспечить независимых оценщиков доступом, похожим на доступ сотрудников, которому Anthropic уже в одностороннем порядке обязалась, — написал Амодей.

Anthropic объявила о шаге к выполнению этого обязательства в пятницу: компания договорилась о партнёрстве с Accenture и её AI-подразделением Faculty — для «оценки и red-teaming моделей, проведения проверок на соответствие требованиям (alignment) и тестирования средств защиты моделей».

Подробности того, как именно это будет происходить, всё ещё прорабатываются, поскольку встроенная оценка — это новое направление, заявила компания.

Согласно сообщению, Anthropic и Accenture обе рассчитывают инвестировать в проект как минимум 1 миллиард долларов в течение ближайших пяти лет.

Anthropic будет финансировать работу напрямую на фоне срочности

Как отметила Anthropic, также не существует действующей системы финансирования независимой оценки, поэтому долгосрочное финансирование должно поступать из объединённых или государственных источников; однако с учётом срочности работ Anthropic будет финансировать деятельность Accenture напрямую.

Партнёрство носит неэксклюзивный характер, и Anthropic ожидает объявить о других оценщиках в ближайшие недели, с которыми она также будет сотрудничать.

Faculty компании Accenture, как заявили в пятницу, — это специалисты, которые умеют тестировать и оценивать модели для некоторых из ведущих AI-лабораторий мира, а также создавать сложные ИИ-системы, которые безопасны и этичны по своей конструкции.

«Встроенная оценка — это развивающаяся область, и мы рады сотрудничать с Anthropic, чтобы помочь ускорить разработку встроенных оценщиков, которые, по нашему мнению, станут важной частью ландшафта безопасности в будущем», — заявила Джули Свит, председатель и генеральный директор Accenture. 

Журнал: Почему крупнейшие компании в сфере ИИ внезапно просят замедлиться?