Ao ver aquela notícia sobre “alucinação de IA quase ter disparado uma ação militar”, eu fiquei até menos surpreso do que esperava. Depois de anos programando, eu já tinha noção das alucinações dos LLMs — não é um bug, é uma característica. Corrigir ponteiro nulo ajuda a localizar; corrigir alucinação, você só consegue adicionar proteções.

O verdadeiro problema nunca é se o modelo vai ou não falar besteira, e sim se as pessoas estão usando aquilo como se soubessem que aquilo pode falar besteira. No contexto militar, o mais perigoso não é o erro em si, e sim o fato de o operador não saber quando ele está chutando.

Isso me lembra sistemas de recomendação de anos atrás, em que primeiro você recebia o resultado e só depois precisava julgar. Mais tarde descobri que, assim que a pessoa vê uma máquina dando a resposta, ela passa a preguiçar. Na era dos LLMs, esse problema foi ampliado dez vezes.😮‍💨