A OpenAI afirma que o ChatGPT intervirá mais cedo quando adolescentes perguntarem sobre violência e planeja divulgar dados de segurança para que pais e escolas possam ver se o chatbot está identificando conversas arriscadas.
Principais conclusões
OpenAI publicou um relatório comunitário de segurança em 30 de outubro e divulgou uma versão atualizada do Model Spec na quinta-feira
A OpenAI ampliou as medidas de prevenção à violência e passou a intervir mais cedo quando adolescentes usam o ChatGPT
O relatório se compromete a divulgar informações públicas sobre segurança, incluindo a frequência das intervenções e os tipos de casos abrangidos
As ferramentas de segurança para adolescentes no ChatGPT incluem encaminhamento baseado em classificadores, que pode encurtar, recusar ou redirecionar interações arriscadas e encaminhar algumas conversas para mensagens de apoio em situações de crise
A OpenAI publicou o relatório em 30 de outubro, e a empresa também divulgou na quinta-feira uma versão atualizada do Model Spec, que define cinco valores para sistemas mais capazes e oferece um enquadramento de políticas mais amplo para essas mudanças voltadas aos usuários. O ChatGPT é o chatbot e aplicativo de consumo da OpenAI.
Seus sistemas de segurança decidem quando o modelo deve responder, recusar, redirecionar ou apresentar recursos de apoio.
A segurança de adolescentes passa da política para o produto
O novo relatório afirma que a OpenAI está ampliando a prevenção da violência no ChatGPT e adicionando intervenções mais precoces para usuários adolescentes. Isso é importante porque, na segurança dos jovens, o momento da intervenção é o mais difícil.
Se um sistema só intervém depois que um pedido se torna explícito, o produto já falhou em detectar algumas interações arriscadas.
O relatório de segurança comunitária da OpenAI, de 30 de outubro, assume o compromisso de divulgar informações públicas sobre essas mudanças, descrevendo planos para publicar dados sobre a frequência das intervenções e os tipos de casos que elas abrangem. Essas divulgações devem permitir que observadores externos avaliem se a empresa está medindo o uso nocivo ou apenas descrevendo suas intenções.
A mudança não é uma proibição total de assuntos difíceis.
É um sistema de encaminhamento mais rigoroso. O relatório enfatiza a necessidade de distinguir perguntas normais, sinais de crise e pedidos que não devem receber orientações práticas, e observa que é necessário trabalhar os limites quando as pessoas expressam indiretamente intenções nocivas.
Leia também: OpenAI e ServiceNow colocam o ChatGPT para atender ao suporte de TI do escritório
De proteções gerais a regras específicas por idade
O relatório de sexta-feira vem após um ano em que os laboratórios de IA enfrentaram um escrutínio maior sobre como os assistentes de consumo lidam com automutilação, violência e uso por jovens.
As proteções anteriores costumavam se concentrar em regras amplas de recusa. A abordagem mais recente é mais direcionada e comportamental.
Isso significa que o modelo filtra as respostas finais e também verifica padrões na conversa que indiquem um risco crescente.
Na prática, isso pode incluir tentativas mais precoces de acalmar a situação e redirecionamentos mais delicados.
Também pode significar limites mais rigorosos para detalhes operacionais. Para a OpenAI, a mudança na segurança de adolescentes também está alinhada à atualização mais ampla do seu Model Spec.
À medida que os modelos se tornam mais capazes, a segurança depende menos de uma lista estática de proibições e mais de avaliações em camadas sobre idade, contexto e intenção.
Como as mudanças da OpenAI afetam escolas e pais
O público-alvo mencionado aqui são famílias, educadores e administradores escolares que já veem o ChatGPT nos dispositivos dos alunos. Eles se interessam menos pelas pontuações em testes de referência do que por saber se o sistema se comporta de forma previsível em situações atípicas.
O relatório não transforma o ChatGPT em um produto juvenil supervisionado, e os pais ainda não têm acesso a um painel administrativo escolar para cada conversa.
Mas eleva o padrão que a OpenAI está estabelecendo para um assistente de mercado de massa usado por menores.
Isso importa para todo o setor, porque muitos concorrentes adotam um formato de produto semelhante. Quando um grande laboratório começa a publicar métricas de segurança voltadas para adolescentes e informações sobre intervenções, os demais ficam sob pressão para documentar controles semelhantes.
Como funcionam, na prática, os sistemas de segurança para adolescentes
As ferramentas de segurança para adolescentes no ChatGPT geralmente funcionam em camadas, não como um mecanismo único. A OpenAI pode ajustar o modelo-base, aplicar verificações de classificação às solicitações recebidas, inspecionar respostas preliminares antes de exibi-las e encaminhar algumas conversas para mensagens de apoio em situações de crise.
O mecanismo principal é a triagem.
Um classificador não precisa entender perfeitamente toda a conversa, apenas ter confiança suficiente para encaminhar uma interação arriscada para um fluxo de políticas mais rigoroso, no qual a resposta pode ser encurtada, recusada ou redirecionada.
O Model Spec atualizado da OpenAI e o relatório de 30 de outubro descrevem o encaminhamento baseado em classificadores e prometem mais informações públicas. Para escolas e grupos de jovens, o próximo ponto a observar é o nível de especificidade.
A OpenAI afirmou que fornecerá taxas, categorias e informações sobre as contrapartidas dos falsos positivos. Sem esses detalhes, os leitores conseguem perceber a direção das políticas, mas ainda não a dimensão do seu efeito.
Leia a seguir: OpenAI define 5 regras para impedir que agentes de IA saiam do roteiro