Увидев фразу «ИИ-галлюцинации чуть не спровоцировали военное действие», я почему-то не слишком удивился. Пишу код уже много лет — я в курсе, что у LLM-галлюцинаций не бывает «бага» как такового: это скорее особенность. Чинить указатель можно, чтобы он указывал куда надо, а вот с галлюцинациями ты можешь только ставить ограждения.

Настоящая проблема никогда не в том, будет ли модель лгать, а в том, есть ли у людей привычка использовать то, что умеет выдумывать. В военных сценариях самое опасное — не сама ошибка как факт, а то, что оператор не понимает, когда модель начинает «угадывать».

Это напоминает мне ранние годы, когда рекомендательные системы тоже сначала давали результат, а потом предлагали человеку оценить. Позже выяснилось: как только человек видит, что машина дала ответ, он начинает лениться. В эпоху LLM эта проблема усилилась в десять раз.😮‍💨