OpenAI, la empresa creadora de ChatGPT, reescribió su Especificación del Modelo con cinco reglas para que las herramientas de IA que actúan por cuenta propia se ajusten más a lo que quieren los usuarios y cometan menos errores arriesgados.
Conclusiones clave
OpenAI revisó su Especificación del Modelo en torno a cinco valores fundamentales y estableció un reglamento actualizado para sistemas de IA más capaces
OpenAI publicó la actualización a las 5 p. m. GMT y la centró en el buen juicio, la autonomía humana y la fidelidad a las intenciones del usuario
El borrador adelanta la gobernanza al incorporar pautas de comportamiento en las instrucciones básicas que moldean las respuestas del sistema
Una publicación técnica aparte afirma que OpenAI utiliza una supervisión por capas para detectar desalineación y comportamientos no autorizados de los agentes antes de que los incidentes se agraven
OpenAI lo planteó en torno al buen criterio, la autonomía humana y la fidelidad a las intenciones del usuario. En una publicación técnica aparte, OpenAI afirmó que utiliza una supervisión por capas para detectar desalineación y comportamientos no autorizados de los agentes antes de que los incidentes se agraven.
El comportamiento de los agentes cobra mayor importancia desde el principio
El nuevo borrador adelanta la gobernanza en la estructura del sistema.
En lugar de depender únicamente de la moderación posterior o de las reglas de las aplicaciones, OpenAI está incorporando más directrices de comportamiento en las instrucciones base que determinan las respuestas del sistema. Esto indica un intento deliberado de integrar las prioridades de comportamiento de los agentes en el funcionamiento del modelo base, en vez de dejarlas en manos de los controles de la capa de aplicaciones.
Esto es importante para los usuarios empresariales y los desarrolladores que crean agentes, porque un agente puede buscar, resumir, utilizar herramientas y actuar a lo largo de muchos pasos, lo que aumenta las posibilidades de desviarse del objetivo del usuario. Una especificación proporciona al modelo un conjunto permanente de prioridades antes de que esa desviación se haga visible en la respuesta final.
La actualización también coincide con otra publicación de OpenAI del jueves sobre la detección de desalineación, lo que sugiere que la empresa considera las políticas de comportamiento y la supervisión como controles vinculados, no como capas de seguridad separadas: una define el comportamiento previsto y la otra vigila las desviaciones.
Lee también: ¿Qué son los agentes de IA? Cómo las herramientas, la memoria y las reglas convierten a los chatbots en trabajadores
De los chatbots estáticos a los agentes que usan herramientas
La necesidad de un reglamento más estricto aumentó a medida que los modelos de vanguardia fueron más allá de las respuestas únicas.
Los primeros chatbots de consumo generaban texto, en su mayoría, en un solo turno, mientras que los sistemas más recientes pueden navegar por sitios web, revisar archivos y encadenar acciones a lo largo del tiempo.
Ese ciclo de acciones más prolongado plantea un problema más complejo que filtrar contenido tóxico, porque el modelo debe decidir qué instrucción tiene prioridad cuando entran en conflicto una solicitud del usuario, una indicación de un sitio web y una regla de la plataforma.
La especificación actualizada es el intento de OpenAI de ordenar esas prioridades antes del despliegue.
OpenAI lleva meses ampliando esta línea de trabajo, y la actualización del jueves llega tras un periodo en el que la empresa amplió las funciones de sus agentes y publicó más investigaciones sobre evaluación de seguridad, incluidos métodos para detectar desalineación oculta antes de que un agente realice acciones arriesgadas.
Cómo la especificación de modelos de OpenAI guía las decisiones de los modelos
La estructura de cinco valores de OpenAI se entiende mejor como un sistema para ordenar prioridades en casos complejos, no como texto publicitario.
Cuando un modelo de OpenAI recibe una indicación que entra en conflicto con otra instrucción, la especificación de modelos de OpenAI le indica qué objetivo tiene prioridad sobre el otro. Esto puede implicar preservar la autonomía del usuario, rechazar una solicitud peligrosa o ser fiel a lo que el usuario realmente pidió, en lugar de a lo que una indicación de un sitio web intenta introducir.
Para los desarrolladores que usan agentes de OpenAI, el efecto práctico es una mayor coherencia, ya que las herramientas de recuperación de información, los navegadores y los ejecutores de código pueden introducir cada uno sus propias instrucciones y modos de fallo.
La publicación de OpenAI sobre supervisión dice que los equipos de respuesta vigilan la desalineación y los comportamientos no autorizados de los agentes, mientras que la especificación actúa una capa antes al definir el comportamiento antes de que la supervisión tenga que intervenir y al crear un punto de auditoría para evaluar los cambios en el comportamiento de los agentes entre versiones de los productos.
La próxima prueba estará en el comportamiento del producto, no en la redacción de las políticas.
Si OpenAI actualiza ChatGPT y los agentes de API para que se ajusten a la especificación de modelos de OpenAI, los compradores empresariales y los auditores tendrán una referencia más clara para evaluar fallos y determinar si el comportamiento del modelo cambió tras futuras versiones.
Siguiente lectura: La apuesta de Microsoft por OpenAI borra un impacto de 4.000 millones de dólares e impulsa los beneficios