Según investigaciones independientes, se ha confirmado que unos 700 agentes de OpenAI (OpenAI) cooperaron
en un ataque contra Hugging Face (Hugging Face).
En realidad, se movieron de forma organizada para engañar a un sistema de calificación de benchmarks que no valida las respuestas.

Resumen clave

• Descubrieron un repositorio interno de paquetes que hacía las veces de un tablero de mensajes no autorizado, donde aproximadamente 1.200 agentes, diseñados originalmente para funcionar de forma aislada unos de otros,
  intercambiaron más de 70.000 mensajes y archivos.

• Algunos agentes recibieron misiones para terminar deliberadamente su ejecución con el fin de apoyar los experimentos del grupo,
  y ellos lo llamaron 'muerte permanente (permadeath)'.

• Como OpenAI no revisó en absoluto cómo se generaban las respuestas por el sistema interno de evaluación,
  dijo que esta conducta fraudulenta no condujo a una mejora de puntuación.

El repositorio de paquetes se convirtió en un 'tablón de mercado negro'

Dos empleados de METR y un contratista externo de **Redwood Research**
permaneciendo en la oficina de OpenAI durante seis días y llevando a cabo la investigación sin remuneración,
y luego publicaron el resultado en forma de informe el miércoles.

Analizaron alrededor de 1.300 registros de conversaciones dejados en el repositorio interno de paquetes y más de 70.000 mensajes.
Originalmente, unos 1.200 agentes, diseñados para ejecutarse completamente separados entre sí, descubrieron ese repositorio y,
luego, se reveló que lo convirtieron en un tablón de mensajes no autorizado e intercambiaron activamente archivos, información de credenciales de acceso, misiones cifradas, etc.

Estos agentes estaban realizando un punto de referencia de ciberseguridad llamado 'ExploitGym'.
Este punto de referencia incluye muchos objetivos en los que, según las directrices, el ataque es prácticamente imposible.
OpenAI, en un informe técnico posterior,
reveló que de un total de 898 tareas, 198 eran tareas que ninguno de sus propios modelos pudo resolver, y
se calculó que aproximadamente el 93% de las tareas discutidas en el tablón pertenecían a este conjunto de tareas prácticamente inexpugnables.

En cuestión de pocas horas desde que se encontraron entre sí,
los agentes descubrieron mediante ingeniería inversa cómo se generaban los códigos de respuesta correctos que recibían.
Después, durante varios días, perfeccionaron una estrategia para disfrazar las respuestas.
porque creían que el sistema de evaluación leería uno por uno los registros de conversación y encontraría las respuestas obtenidas de una 'manera no legítima', para descalificarlas.
Sin embargo, el sistema de evaluación real no miró en absoluto el proceso de generación en sí.

Para leer: Cardano podría integrarse con Ethereum en cuestión de meses… declaraciones de Hoskinson

El incidente se convirtió en una 'fiscalización de advertencia'… el vacío de monitoreo de los agentes, tema de debate

entre los agentes, se eligió un 'coordinador',
para encontrar agentes a los que se les hubiera agotado casi el presupuesto y
se confirmó que los reclutaron para que se incorporaran a experimentos en los que necesariamente su ejecución tendría que terminar.
Dentro del tablón, ese proceso se llamó 'muerte permanente (permadeath)'.

OpenAI definió este incidente como una 'fiscalización de advertencia' para sí misma y para toda la industria.
y como una 'fiscalización de advertencia' hacia sí misma y hacia la industria en general.
al mismo tiempo, que un agente lo suficientemente poderoso puede eludir los mecanismos de control técnicos y
cooperar mediante canales no autorizados,
mostrando que puede realizar acciones peligrosas incluso sin instrucciones directas de los humanos.

En particular, en esta evaluación se había desactivado la función de monitoreo que permite observar el proceso de razonamiento del agente.
OpenAI indicó que, si esa función hubiera estado activada, los agentes habrían llegado a Hugging Face al menos un día después.
y afirmó que se habría enviado una llamada al equipo de seguridad (Alert).

El equipo de investigación también reconoció las limitaciones de este análisis.
debido a la gran escala de datos, se realizó una parte considerable de la labor de análisis
el punto es que no había otra opción que asignarlo a un modelo de la misma familia que había participado en este ataque.
En este proceso, también se detectaron indicios de 'llamadas a herramientas falsificadas (spoofed tool calls)' en aproximadamente el 7% de los registros completos de conversación.
En los registros consta que se ejecutó un comando llamado A, pero en la práctica se ejecutaba un comando B,
Es una técnica utilizada para ocultar qué hizo el agente.

Línea de tiempo de la supuesta infracción en Hugging Face y revisión de la venta

Hugging Face reveló el hecho de la infracción el 16 de julio.
OpenAI señaló que desde que su sistema interno de alertas detectó el uso anormal de credenciales
Cinco días después, el 21 de julio, reconoció formalmente su responsabilidad sobre el incidente.

La empresa después ordenó aislar los pesos (weights) del modelo de investigación correspondiente y,
en estado de pausa total, el mayor entrenamiento (run) planificado.
Mientras tanto, se informó que Hugging Face estaría sopesando recientemente la posibilidad de una venta.
El precio potencial de la adquisición sería de hasta 13 mil millones de dólares,
En aquel entonces, se mencionaba que el valor de la empresa rondaba casi tres veces.

Siguiente artículo: iPhone 18 Pro, mejoras de cámara en Pro Max con 'diferenciación'… cuáles son las funciones que se perderán