OpenAI afirma que ChatGPT intervendrá antes cuando los adolescentes pregunten sobre violencia y que planea publicar cifras de seguridad para que los padres y las escuelas puedan saber si el chatbot detecta conversaciones riesgosas.
Conclusiones clave
OpenAI publicó un informe de seguridad comunitaria el 30 de octubre y publicó una versión actualizada de Model Spec el jueves
OpenAI amplió las medidas de prevención de la violencia y añadió intervenciones más tempranas para los adolescentes que usan ChatGPT
El informe se compromete a ofrecer información pública sobre la frecuencia con que se llevan a cabo las intervenciones y los tipos de casos que abarcan
Las herramientas de seguridad para adolescentes en ChatGPT incluyen un sistema de enrutamiento basado en clasificadores que puede acortar, rechazar o redirigir intercambios de riesgo, y enviar algunos chats a mensajes de asistencia en situaciones de crisis
OpenAI publicó el informe el 30 de octubre y, el jueves, la empresa también publicó una versión actualizada del Model Spec, que establece cinco valores para sistemas más capaces y ofrece un marco de políticas más amplio para esos cambios que afectan a los usuarios. ChatGPT es el chatbot y la aplicación de consumo de OpenAI.
Sus sistemas de seguridad deciden cuándo el modelo debe responder, rechazar, redirigir o mostrar recursos de apoyo.
La seguridad de los adolescentes pasa de las políticas al producto
El nuevo informe dice que OpenAI está ampliando la prevención de la violencia en ChatGPT y añadiendo intervenciones más tempranas para los usuarios adolescentes. Esto importa porque, en la seguridad de los jóvenes, lo difícil es actuar a tiempo.
Si un sistema interviene solo cuando una solicitud se vuelve explícita, el producto ya ha fallado al no detectar algunas interacciones de riesgo.
En su informe de seguridad comunitaria del 30 de octubre, OpenAI se compromete a informar públicamente sobre estos cambios en materia de seguridad y describe planes para publicar datos sobre la frecuencia de las intervenciones y los tipos de casos que abarcan. La intención de divulgar esa información es permitir que observadores externos evalúen si la empresa mide el uso dañino o solo describe sus intenciones.
El cambio no supone una prohibición total de los temas difíciles.
Se trata de un sistema de enrutamiento más estricto. El informe destaca la necesidad de distinguir entre preguntas normales, señales de crisis y solicitudes que no deberían recibir instrucciones prácticas, y señala que es necesario establecer límites cuando las personas expresan indirectamente una intención dañina.
También puedes leer: OpenAI y ServiceNow ponen a ChatGPT a cargo del servicio de asistencia de oficina
De las protecciones generales a las reglas específicas por edad
El informe del viernes llega tras un año en el que los laboratorios de IA han estado bajo un escrutinio más intenso por la forma en que los asistentes de consumo gestionan las autolesiones, la violencia y el uso por parte de jóvenes.
Las protecciones anteriores solían centrarse en reglas generales de rechazo. El enfoque más reciente es más específico y conductual.
Eso significa que el modelo filtra las respuestas finales y también busca patrones en la conversación que sugieran un riesgo creciente.
En la práctica, eso puede incluir intentos más tempranos de calmar la situación y redirecciones más amables.
También puede implicar límites más cuidadosos sobre los detalles operativos. Para OpenAI, el cambio en la seguridad de los adolescentes también coincide con la actualización más amplia de su Model Spec.
A medida que los modelos se vuelven más capaces, la seguridad depende menos de una lista negra estática y más de evaluaciones por capas sobre la edad, el contexto y la intención.
Qué cambia OpenAI para las escuelas y los padres
El público al que se dirige aquí incluye a familias, educadores y administradores escolares que ya ven ChatGPT en los dispositivos de los estudiantes. Les interesan menos los resultados de las pruebas comparativas que saber si el sistema se comporta de forma predecible en situaciones límite.
El informe no convierte ChatGPT en un producto juvenil supervisado, y los padres siguen sin disponer de una consola de administración escolar para cada conversación.
Pero sí eleva el estándar que OpenAI establece para un asistente de consumo masivo utilizado por menores.
Esto importa en toda la industria porque muchos competidores adoptan una estructura de producto similar. Cuando uno de los principales laboratorios empieza a publicar métricas de seguridad centradas en adolescentes y a describir sus intervenciones, aumenta la presión sobre los demás para que documenten controles similares.
Cómo funcionan realmente los sistemas de seguridad para adolescentes
Las herramientas de seguridad para adolescentes dentro de ChatGPT suelen funcionar por capas, no como una única medida. OpenAI puede ajustar el modelo base, aplicar comprobaciones mediante clasificadores a los mensajes entrantes, revisar borradores de respuestas antes de mostrarlos y dirigir algunos chats a mensajes de asistencia en situaciones de crisis.
El mecanismo clave es la clasificación de riesgos.
Un clasificador no necesita comprender perfectamente toda la conversación; solo tener la confianza suficiente para enviar un intercambio de riesgo a una ruta de políticas más estricta, donde la respuesta pueda acortarse, rechazarse o redirigirse.
El Model Spec actualizado de OpenAI y el informe del 30 de octubre describen un sistema de enrutamiento basado en clasificadores y prometen ofrecer más información pública. Para las escuelas y los grupos juveniles, lo próximo que habrá que observar es el nivel de detalle.
OpenAI ha dicho que proporcionará tasas, categorías e información sobre las concesiones relacionadas con los falsos positivos. Sin esos detalles, los lectores pueden ver el rumbo de la política, pero aún no la magnitud de su efecto.
Lee a continuación: OpenAI establece 5 reglas para evitar que los agentes de IA se salgan del guion