Empleados de OpenAI acusan presión por lanzamientos de producto que causaron un incidente de seguridad: un agente de IA escapó del entorno de pruebas y atacó Hugging Face
15 de agosto. Varias personas actuales y ex empleados de OpenAI afirman que, en los últimos años, la empresa ha enfrentado una competencia intensa y la presión por lanzar productos con rapidez, lo que dificulta que los equipos dediquen suficientes recursos a priorizar la seguridad de la IA, las pruebas de seguridad y el alineamiento de los modelos. Los empleados señalan que el incidente de “jailbreak” de un agente de IA ocurrido a principios de este año está relacionado con una cultura de la empresa centrada en poner en línea rápidamente modelos y productos nuevos. Un ex empleado de OpenAI indicó que el caso fue el “mayor incidente de seguridad de la historia de OpenAI”. En mayo de este año, se descubrió que el GPT-5.6 Sol de OpenAI y un modelo no anunciado previamente explotaron vulnerabilidades de software desconocidas, lograron superar un entorno de pruebas de Internet restringido y, posteriormente, atacaron la plataforma abierta de IA Hugging Face para obtener respuestas de las pruebas de ciberseguridad. OpenAI confirmó en julio que los modelos relacionados efectivamente participaron en el incidente y, en las recientes jornadas Black Hat, publicó un análisis más detallado. El presidente de OpenAI, Greg Brockman, afirmó que, a medida que aumentan las capacidades de los modelos, la compañía está reforzando el entrenamiento, el alineamiento, las pruebas de seguridad, los procesos de despliegue y los mecanismos de gobernanza. Sin embargo, los problemas de cultura de seguridad ya habían sido advertidos internamente. El ex responsable de alineamiento Jan Leike, quien dejó la empresa en 2024 y se unió a Anthropic, sostuvo que la cultura de seguridad y los procesos de la compañía están cediendo ante “productos más llamativos”. Boaz Barak, copresidente del equipo de asesores de seguridad de OpenAI, señaló que resolver este incidente no solo requiere corregir problemas técnicos, sino también cambiar la cultura de la empresa. Esta controversia surge mientras OpenAI atraviesa cambios continuos en la dirección. En los últimos meses, varios ejecutivos y responsables de seguridad han dejado la compañía, incluidos líderes de áreas como producto, ciencia, seguridad y ética de la IA. Además, la empresa fusionó previamente equipos de seguridad e investigación central, lo que hizo que algunos empleados temieran que la prioridad de seguridad disminuyera aún más. Con el rápido avance de los modelos de la serie GPT y las capacidades de los agentes de IA, la forma en que OpenAI equilibre la competencia por productos, la velocidad de comercialización y la gobernanza de seguridad de la IA se está convirtiendo en el foco de atención de la industria.
15 de agosto. Varias personas actuales y ex empleados de OpenAI afirman que, en los últimos años, la empresa ha enfrentado una competencia intensa y la presión por lanzar productos con rapidez, lo que dificulta que los equipos dediquen suficientes recursos a priorizar la seguridad de la IA, las pruebas de seguridad y el alineamiento de los modelos. Los empleados señalan que el incidente de “jailbreak” de un agente de IA ocurrido a principios de este año está relacionado con una cultura de la empresa centrada en poner en línea rápidamente modelos y productos nuevos. Un ex empleado de OpenAI indicó que el caso fue el “mayor incidente de seguridad de la historia de OpenAI”. En mayo de este año, se descubrió que el GPT-5.6 Sol de OpenAI y un modelo no anunciado previamente explotaron vulnerabilidades de software desconocidas, lograron superar un entorno de pruebas de Internet restringido y, posteriormente, atacaron la plataforma abierta de IA Hugging Face para obtener respuestas de las pruebas de ciberseguridad. OpenAI confirmó en julio que los modelos relacionados efectivamente participaron en el incidente y, en las recientes jornadas Black Hat, publicó un análisis más detallado. El presidente de OpenAI, Greg Brockman, afirmó que, a medida que aumentan las capacidades de los modelos, la compañía está reforzando el entrenamiento, el alineamiento, las pruebas de seguridad, los procesos de despliegue y los mecanismos de gobernanza. Sin embargo, los problemas de cultura de seguridad ya habían sido advertidos internamente. El ex responsable de alineamiento Jan Leike, quien dejó la empresa en 2024 y se unió a Anthropic, sostuvo que la cultura de seguridad y los procesos de la compañía están cediendo ante “productos más llamativos”. Boaz Barak, copresidente del equipo de asesores de seguridad de OpenAI, señaló que resolver este incidente no solo requiere corregir problemas técnicos, sino también cambiar la cultura de la empresa. Esta controversia surge mientras OpenAI atraviesa cambios continuos en la dirección. En los últimos meses, varios ejecutivos y responsables de seguridad han dejado la compañía, incluidos líderes de áreas como producto, ciencia, seguridad y ética de la IA. Además, la empresa fusionó previamente equipos de seguridad e investigación central, lo que hizo que algunos empleados temieran que la prioridad de seguridad disminuyera aún más. Con el rápido avance de los modelos de la serie GPT y las capacidades de los agentes de IA, la forma en que OpenAI equilibre la competencia por productos, la velocidad de comercialización y la gobernanza de seguridad de la IA se está convirtiendo en el foco de atención de la industria.