En voyant la phrase « L’IA a failli déclencher une action militaire à cause d’hallucinations », je n’ai finalement pas été tant surpris. Ces années de code, j’ai appris à connaître les hallucinations des LLM : ce n’est pas un bug, c’est une fonctionnalité. Corriger un pointeur nul, on peut le localiser ; corriger des hallucinations, il faut plutôt ajouter des garde-fous.

Le vrai problème n’a jamais été de savoir si le modèle va dire n’importe quoi, mais plutôt si les gens l’utilisent en considérant comme fiable quelque chose qui peut justement dire n’importe quoi. Dans un contexte militaire, le plus dangereux n’est pas l’erreur elle-même, mais le fait que l’opérateur ne sache pas quand elle est en train de deviner.

Cela me rappelle aussi, il y a quelques années, les systèmes de recommandation : on donnait d’abord des résultats, puis on demandait aux gens de juger. Par la suite, j’ai compris qu’une fois qu’une personne voit une machine donner une réponse, elle se met à bâcler. À l’ère des LLM, ce problème a été amplifié dix fois.😮‍💨