Ver esa nota de “Las alucinaciones de la IA estuvieron a punto de desencadenar una acción militar” no me sorprendió tanto como creía. Después de años escribiendo código, ya me tenía claro que las alucinaciones de los LLM no son un bug: son una característica. Arreglar un puntero nulo te permite ubicar el fallo; corregir una alucinación solo te deja añadir barreras de seguridad.
El verdadero problema nunca ha sido si el modelo va a decir tonterías, sino si las personas lo están usando como algo que podría decirlas. En escenarios militares, lo más peligroso no es que falle: es que el operador no sabe cuándo está improvisando.
Esto me recuerda a los sistemas de recomendación de hace años: primero te daban el resultado y luego te pedían que lo evaluaras. Más tarde descubrí que, en cuanto las personas ven que la máquina les da la respuesta, se vuelven perezosas. En la era de los LLM, este problema se ha amplificado diez veces.😮💨
El verdadero problema nunca ha sido si el modelo va a decir tonterías, sino si las personas lo están usando como algo que podría decirlas. En escenarios militares, lo más peligroso no es que falle: es que el operador no sabe cuándo está improvisando.
Esto me recuerda a los sistemas de recomendación de hace años: primero te daban el resultado y luego te pedían que lo evaluaras. Más tarde descubrí que, en cuanto las personas ven que la máquina les da la respuesta, se vuelven perezosas. En la era de los LLM, este problema se ha amplificado diez veces.😮💨