OpenAI заявляет, что ChatGPT будет раньше вмешиваться, если подростки спрашивают о насилии. Компания также планирует публиковать данные о безопасности, чтобы родители и школы могли видеть, выявляет ли чат-бот рискованные беседы.

Главное

• 30 октября OpenAI опубликовала отчет о безопасности сообщества и в четверг представила обновленную Спецификацию моделей

• OpenAI расширила меры по предотвращению насилия и предусмотрела более раннее вмешательство в общение с подростками в ChatGPT

• В отчете компания обязуется публиковать сведения о безопасности: как часто применяются меры вмешательства и какие случаи они охватывают

• Инструменты защиты подростков в ChatGPT включают маршрутизацию на основе классификаторов: она позволяет сокращать, отклонять или перенаправлять рискованные диалоги, а некоторые чаты направлять к сообщениям кризисной поддержки

OpenAI опубликовала отчёт 30 октября, а в четверг компания также разместила обновлённую спецификацию Model Spec, в которой сформулированы пять ценностей для более совершенных систем и предложена более широкая рамочная политика для этих изменений, заметных пользователям. ChatGPT — потребительский чат-бот и приложение OpenAI.

Системы безопасности решают, когда модель должна ответить, отказать, перенаправить пользователя или показать ему ресурсы поддержки.

Защита подростков: от политики к продукту

В новом отчёте говорится, что OpenAI расширяет меры по предотвращению насилия в ChatGPT и вводит более раннее вмешательство для пользователей-подростков. Это важно, потому что в защите молодёжи решающее значение имеет своевременность.

Если система вмешивается только после того, как запрос становится откровенным, значит, продукт уже не смог распознать некоторые рискованные взаимодействия.

В отчёте OpenAI о безопасности сообществ от 30 октября компания обязуется публиковать сведения о мерах безопасности в связи с этими изменениями. В частности, она планирует раскрывать данные о частоте вмешательств и типах случаев, которые они охватывают. Эти сведения должны позволить внешним наблюдателям оценить, измеряет ли компания вредоносное использование или лишь описывает свои намерения.

Это изменение не означает полного запрета на обсуждение сложных тем.

Речь идёт о более строгой системе маршрутизации. В отчёте подчёркивается, что необходимо различать обычные вопросы, признаки кризисной ситуации и запросы, на которые не следует давать пошаговые инструкции. Также отмечается, что важно чётко определять границы, когда люди завуалированно выражают намерение причинить вред.

Читайте также: OpenAI и ServiceNow поручили ChatGPT отвечать на запросы в службе поддержки офиса

От общих защитных ограничений к правилам с учётом возраста

Пятничный отчёт вышел после года, в течение которого лаборатории ИИ подвергались всё более пристальному вниманию из-за того, как потребительские ассистенты реагируют на темы самоповреждения, насилия и использования ИИ молодёжью.

Ранее защитные ограничения часто сводились к общим правилам отказа. Новый подход более адресный и учитывает поведение пользователя.

Это значит, что модель не только фильтрует итоговые ответы, но и анализирует закономерности в разговоре, которые могут указывать на рост риска.

На практике это может означать более ранние попытки снизить напряжение и более мягкое перенаправление разговора.

Это также может означать более строгие ограничения на предоставление практических подробностей. Для OpenAI усиление защиты подростков также соответствует более масштабному обновлению спецификации Model Spec.

По мере того как модели становятся совершеннее, безопасность всё меньше зависит от статичного списка запретов и всё больше — от многоуровневой оценки возраста, контекста и намерений.

Как изменения OpenAI повлияют на школы и родителей

В первую очередь этот материал адресован семьям, педагогам и школьным администраторам, которые уже видят ChatGPT на устройствах учеников. Их больше интересует не результаты тестов, а то, насколько предсказуемо система ведёт себя в нестандартных ситуациях.

Этот отчёт не превращает ChatGPT в продукт для молодёжи с родительским контролем, и родители по-прежнему не получают школьную административную панель для просмотра каждого разговора.

Но он повышает планку, которую OpenAI устанавливает для массового ассистента, используемого несовершеннолетними.

Это важно для всей индустрии, поскольку многие конкуренты используют аналогичную модель продукта. Когда одна крупная лаборатория начинает публиковать метрики безопасности для подростков и описывать принципы вмешательства, другие испытывают давление и вынуждены документировать аналогичные меры контроля.

Как на самом деле работают системы защиты подростков

Инструменты защиты подростков в ChatGPT обычно многоуровневые, а не сводятся к одной мере. OpenAI может настраивать базовую модель, проверять входящие запросы с помощью классификаторов, анализировать черновики ответов до их отображения и направлять некоторые чаты к сообщениям кризисной поддержки.

Ключевой механизм — первичная сортировка.

Классификатору не нужно идеально понимать весь разговор — достаточно уверенности, чтобы направить потенциально опасный диалог по более строгому алгоритму, где ответ можно сократить, отклонить или перенаправить.

В обновлённой спецификации Model Spec от OpenAI и отчёте от 30 октября описываются маршрутизация на основе классификаторов и обещание публиковать больше отчётов. Школам и молодёжным организациям теперь важно следить за конкретикой.

OpenAI заявила, что будет публиковать данные о частоте срабатываний, категориях случаев и компромиссах, связанных с ложными срабатываниями. Без этих подробностей читатели могут понять направление изменений политики, но пока не могут оценить масштаб их воздействия.

Читайте далее: OpenAI устанавливает 5 правил, чтобы ИИ-агенты не отклонялись от сценария