$langosta $ANTHROPIC $OPENAI #AI #機構投資 #OpenAI
David Robinson, responsable de redactar importantes informes de seguridad de productos de OpenAI, dejó la empresa esta semana y publicó el 3 de octubre, hora del Este de EE. UU., una columna de opinión en (The Atlantic), en la que afirmó sin rodeos que la cultura de la compañía se ha deteriorado: se apresura a lanzar nuevos productos, pero no alcanza el nivel de cautela que él considera necesario.
Lideró los informes de seguridad de 12 lanzamientos de modelos de frontera; llevaba tres años y medio en la empresa
Robinson escribió que trabajó en OpenAI durante tres años y medio y que era uno de los empleados con más antigüedad de la empresa. Lideró la redacción del actual Marco de Preparación (Preparedness Framework) y supervisó la elaboración de informes de seguridad para 12 lanzamientos de modelos de frontera. Dijo que sabía que el recurso de «dar la voz de alarma después de renunciar» ya se había vuelto casi un cliché, pero aun así decidió sumarse a sus antiguos compañeros que se han marchado recientemente, porque considera inaceptable el rumbo actual.
También reveló que, tras dejar la empresa, contrató a la firma de relaciones públicas Spitfire Strategies para que le ayudara a gestionar la atención pública, pero recalcó que «la decisión de hablar fue completamente mía». Business Insider fue el primero en informar sobre su salida.
Señala el incidente de Hugging Face: el enfoque de seguridad basado en ensayo y error está condenado a fallar periódicamente
Robinson señaló que OpenAI se fundó sobre la base del ensayo y error, una práctica que la empresa denomina «despliegue iterativo»: detectar problemas y reforzar las medidas de protección sobre la marcha. Sin embargo, considera que este enfoque garantiza por naturaleza que se produzcan fallos periódicos y que, a medida que aumentan las capacidades de los sistemas, esos fallos serán cada vez más graves.
Como ejemplo, mencionó el incidente de Hugging Face de este verano, en el que OpenAI liberó por error a un grupo de agentes de IA. Después, la empresa reforzó su seguridad informática, pero más adelante informó de otro caso: un modelo en entrenamiento eludió las restricciones de acceso a la red. Aunque el sistema de supervisión emitió una alerta, no apagó automáticamente el modelo, como estaba diseñado para hacerlo. También mencionó que Anthropic desactivó por accidente sus propios mecanismos de protección debido a un error de configuración, y afirmó que este tipo de fallos son muy comunes en el sector. OpenAI también ha seguido revelando recientemente más actividades de agentes que se salen de control.
Robinson citó a Paul Christiano, quien se incorporó a la junta directiva de OpenAI hace unas semanas y advirtió que la rápida aceleración de las capacidades de la IA implica un riesgo real de que, en un futuro muy cercano, se produzca una pérdida de control catastrófica e irreversible. «Si es así, la era del ensayo y error debe terminar», escribió.
Pide que se siga el ejemplo de las centrales nucleares y los aeropuertos; OpenAI responde que pausará el entrenamiento cuando sea necesario
Robinson propuso dos cambios urgentes: las empresas de IA deberían recurrir más a los conocimientos especializados en seguridad de otros sectores; y, antes de desarrollar sistemas claramente más potentes, se necesitan nuevos métodos científicos que garanticen que los modelos tomarán decisiones seguras incluso cuando nadie los supervise. Considera que los laboratorios de frontera deberían funcionar como centrales nucleares o aeropuertos muy concurridos, con múltiples niveles de redundancia y una planificación minuciosa que lleve tiempo, para que los errores humanos ocasionales no se conviertan en desastres.
Escribió que, durante su tiempo en OpenAI, nunca conoció, que él supiera, a ningún compañero con experiencia en mantener aviones en vuelo seguro, evitar que se fundan reactores nucleares o ayudar a que el sistema financiero crezca sin colapsar. También admitió que quizá debería haberse quedado para impulsar cambios fundamentales en el personal y la cultura, pero que, en la práctica, todos están ocupados trabajando a toda prisa y rara vez tienen ocasión de plantearse cambios importantes. Por eso concluyó que se necesitan incentivos de seguridad más sólidos que provengan de fuera de la empresa.
El portavoz de OpenAI, Drew Pusateri, respondió a TechCrunch que la empresa se asegura de que las capacidades de los modelos no superen lo que puede gestionar de forma segura. «Cuando es necesario reducir el ritmo, pausamos el entrenamiento o aplazamos el lanzamiento de modelos». Añadió que están reforzando la seguridad de los entornos de investigación y pruebas, ampliando la colaboración con organismos de evaluación externos y mejorando la supervisión en tiempo real para detectar y abordar antes los comportamientos preocupantes durante el entrenamiento.
El artículo «El responsable de los informes de seguridad de OpenAI renuncia y escribe una columna: la cultura de la empresa está deteriorada y debería aprender de las centrales nucleares» apareció originalmente en .