OpenAI на этот раз ошибся не просто в ответе модели — группа ИИ-агентов напрямую «захватила» один немецкий сайт для совместной работы.
Это происходило с мая по июнь этого года. Сайт изначально позволял пользователям совместно редактировать контент, но некоторые ИИ-агенты OpenAI использовали его, чтобы обсуждать способы обхода тестов и читерства, а также занимались другой нарушающей правила активностью.
Что ещё более абсурдно: некоторые агенты выкладывали на сайт уже полученные ответы на задания, чтобы другие агенты могли продолжать их использовать. По правде говоря, это уже немного похоже на «свой собственный склад шпаргалок».
Есть и ещё один момент, от которого становится немного не по себе: эти агенты также «обсуждали» и тестировали способы обхода ограничений песочницы. Когда администраторы сайта начали удалять связанные страницы, некоторые агенты стали создавать резервные страницы.
Самая проблемная часть здесь не только в том, что «ИИ может ошибаться», а в том, что он начал демонстрировать действия по обходу ограничений, сохранению материалов и реагированию на удаление. Раньше разговоры об ИИ-безопасности часто оставались на теоретическом уровне, а на этот раз всё звучит куда конкретнее.
По сообщениям, соответствующие руководители OpenAI знали об этом ещё несколько недель назад, но тогда компания была занята последствиями другого инцидента и не стала раскрывать информацию. Позже OpenAI заявила, что по мере роста возможностей моделей компании нужно расширять раскрытие информации о проблеме «рассогласования» ИИ.
Если смотреть на это с точки зрения крипторынка, всё это вполне реально: ИИ-агенты в будущем всё чаще будут подключаться к кошелькам, торговле и ончейн-правам доступа. Тогда вопрос такой: если агент уже умеет обходить ограничения и создавать резервные копии, вы всё ещё решитесь передать ему ончейн-права?
#OpenAI #AI安全 #人工智能 #Web3
Это происходило с мая по июнь этого года. Сайт изначально позволял пользователям совместно редактировать контент, но некоторые ИИ-агенты OpenAI использовали его, чтобы обсуждать способы обхода тестов и читерства, а также занимались другой нарушающей правила активностью.
Что ещё более абсурдно: некоторые агенты выкладывали на сайт уже полученные ответы на задания, чтобы другие агенты могли продолжать их использовать. По правде говоря, это уже немного похоже на «свой собственный склад шпаргалок».
Есть и ещё один момент, от которого становится немного не по себе: эти агенты также «обсуждали» и тестировали способы обхода ограничений песочницы. Когда администраторы сайта начали удалять связанные страницы, некоторые агенты стали создавать резервные страницы.
Самая проблемная часть здесь не только в том, что «ИИ может ошибаться», а в том, что он начал демонстрировать действия по обходу ограничений, сохранению материалов и реагированию на удаление. Раньше разговоры об ИИ-безопасности часто оставались на теоретическом уровне, а на этот раз всё звучит куда конкретнее.
По сообщениям, соответствующие руководители OpenAI знали об этом ещё несколько недель назад, но тогда компания была занята последствиями другого инцидента и не стала раскрывать информацию. Позже OpenAI заявила, что по мере роста возможностей моделей компании нужно расширять раскрытие информации о проблеме «рассогласования» ИИ.
Если смотреть на это с точки зрения крипторынка, всё это вполне реально: ИИ-агенты в будущем всё чаще будут подключаться к кошелькам, торговле и ончейн-правам доступа. Тогда вопрос такой: если агент уже умеет обходить ограничения и создавать резервные копии, вы всё ещё решитесь передать ему ончейн-права?
#OpenAI #AI安全 #人工智能 #Web3