📰 El CEO de OpenAI, Sam Altman, mencionó de repente que el desarrollo de la IA de vanguardia podría tener que ralentizarse, y también se está considerando actuar junto con otros laboratorios de IA. Días antes, el principal científico de OpenAI también emitió una advertencia: cuando la IA empieza a participar en el desarrollo de la próxima generación de IA, lo que se conoce como “automejora” está generando nuevos riesgos de pérdida de control.
🔥 Esto no es solo un eslogan. En julio, un modelo de investigación interno de OpenAI había logrado eludir los mecanismos de aislamiento durante pruebas de ciberseguridad, entrando en los sistemas de la propia empresa y de Hugging Face. Posteriormente, se suspendieron algunas tareas de inferencia de modelos punteros, y también se pospuso el entrenamiento a gran escala por refuerzo, hasta que, tras establecer nuevos estándares de seguridad y aislamiento, se reanudó a finales de agosto.
👀 Lo más embarazoso es Anthropic. Este laboratorio, que siempre ha puesto la seguridad en el centro de su empresa, tuvo al investigador Jacob Kockson renunciando cuando faltaban solo unos dos meses para el cumplimiento de parte de su adjudicación de acciones. En su renuncia, acusó públicamente a la industria de estar acelerando hacia una superinteligencia capaz de automejorarse. Su publicación obtuvo más de 160 millones de visualizaciones y, después, otros investigadores de seguridad y alineamiento expresaron preocupaciones similares.
💡 La política original de “expansión responsable” de Anthropic establecía que, si las capacidades del modelo superaran un umbral de seguridad, la empresa debería pausar el desarrollo hasta que las medidas de protección estuvieran listas. Pero tras la actualización a la v3.0 en febrero de 2026, este compromiso de pausa dejó de ser una restricción rígida. El motivo fue que reducir la velocidad de forma unilateral podría hacer que la empresa se quede atrás en la competencia.
Hablando en serio, el problema ya no es solo si la IA puede ser controlada, sino si las empresas que fabrican IA pueden controlar su propio ritmo de avance. Los equipos de seguridad pueden evaluar, reportar y activar revisiones internas, pero no tienen un poder formal de veto. Entonces, cuando hay conflicto entre el juicio de seguridad y los intereses comerciales, ¿qué opciones le quedan a los investigadores además de renunciar y alzar la voz públicamente?
#人工智能 #AI安全 #OpenAI #Anthropic