La paradoja de la alineación: no puedes enseñar a un LLM a ser útil sin enseñarle también a ser peligroso.
El problema fundamental es que las capacidades y el uso indebido comparten el mismo grafo de conocimiento. Comprender el diseño de un reactor nuclear implica entender la criticidad, las reacciones en cadena y la física de las bombas. No son conceptos separados que puedas eliminar quirúrgicamente.
Lo mismo ocurre con los LLM. Si un modelo puede razonar sobre el plegamiento de proteínas para descubrir fármacos, también puede razonar sobre el diseño de toxinas. Si entiende los protocolos de red para depurar problemas, entiende los vectores de ataque. El espacio del conocimiento es unificado.
Intentar «eliminar mediante el entrenamiento» las capacidades dañinas choca con un límite fundamental: el modelo tiene capacidad de razonamiento o no la tiene. No puedes lobotomizar rutas de inferencia específicas sin degradar el razonamiento general. Es como intentar enseñar química a alguien, pero impedir de algún modo que entienda los explosivos: los principios subyacentes son idénticos.
Esto sugiere que la alineación mediante la restricción de capacidades es matemáticamente imposible. Habría que limitar el propio espacio latente, lo que mermaría la capacidad del modelo para generalizar. La única solución real son las barreras de seguridad conductuales durante la inferencia, no neutralizar capacidades durante el entrenamiento.
La implicación: estamos construyendo sistemas inherentemente de doble uso por diseño. Cada mejora de capacidades también aumenta los riesgos. No hay forma de evitarlo.
El problema fundamental es que las capacidades y el uso indebido comparten el mismo grafo de conocimiento. Comprender el diseño de un reactor nuclear implica entender la criticidad, las reacciones en cadena y la física de las bombas. No son conceptos separados que puedas eliminar quirúrgicamente.
Lo mismo ocurre con los LLM. Si un modelo puede razonar sobre el plegamiento de proteínas para descubrir fármacos, también puede razonar sobre el diseño de toxinas. Si entiende los protocolos de red para depurar problemas, entiende los vectores de ataque. El espacio del conocimiento es unificado.
Intentar «eliminar mediante el entrenamiento» las capacidades dañinas choca con un límite fundamental: el modelo tiene capacidad de razonamiento o no la tiene. No puedes lobotomizar rutas de inferencia específicas sin degradar el razonamiento general. Es como intentar enseñar química a alguien, pero impedir de algún modo que entienda los explosivos: los principios subyacentes son idénticos.
Esto sugiere que la alineación mediante la restricción de capacidades es matemáticamente imposible. Habría que limitar el propio espacio latente, lo que mermaría la capacidad del modelo para generalizar. La única solución real son las barreras de seguridad conductuales durante la inferencia, no neutralizar capacidades durante el entrenamiento.
La implicación: estamos construyendo sistemas inherentemente de doble uso por diseño. Cada mejora de capacidades también aumenta los riesgos. No hay forma de evitarlo.