Sam Altman plantea una preocupación crítica sobre la seguridad: la gente trata los modelos de IA como autoridades religiosas o como fuentes absolutas de verdad en lugar de herramientas probabilísticas. Esto no va sobre la tecnología en sí, sino sobre patrones de comportamiento humano en los que los usuarios renuncian al pensamiento crítico y delegan el juicio en las salidas del modelo como si fueran oráculos infalibles.

El riesgo de seguridad: cuando los humanos dejan de cuestionar las respuestas de la IA y las tratan como dogma, se producen modos de fallo peligrosos. Los modelos alucinan, tienen sesgos de entrenamiento y carecen de una base real en el mundo, pero si los usuarios no mantienen el escepticismo, actuarán sobre salidas defectuosas sin verificarlas.

Esto resulta especialmente preocupante a medida que los modelos se vuelven más capaces y convincentes. El mejor rendimiento, de forma paradójica, incrementa el riesgo porque los usuarios confían más en ellos. La solución no es solo técnica: requiere diseñar sistemas que fomenten explícitamente la supervisión humana y la evaluación crítica de las salidas, en lugar de la aceptación ciega.