Als ich die Meldung „AI-Halluzinationen hätten fast einen militärischen Einsatz ausgelöst“ sah, war ich erstaunlicherweise nicht so sehr überrascht. Seit Jahren schreibe ich Code, und ich weiß: Bei LLM-Halluzinationen ist das im Prinzip klar – das ist kein Bug, sondern ein Feature. Gegen Nullzeiger kann man gezielt vorgehen; gegen Halluzinationen kann man nur Leitplanken setzen.

Das eigentliche Problem besteht nie darin, ob das Modell Unsinn erzählt, sondern darin, ob Menschen das, was leicht als Unsinn durchgehen könnte, auch tatsächlich als einen solchen Unsinn behandeln. In Militärszenarien ist das Gefährlichste nicht der Fehler an sich, sondern dass ein Bediener nicht weiß, wann das System gerade rät.

Das erinnert mich an Empfehlungen vor einigen Jahren – erst Ergebnisse liefern, dann entscheiden lassen. Später habe ich herausgefunden: Wenn Menschen sehen, dass die Maschine ihnen eine Antwort gibt, machen sie es sich faul. Im Zeitalter der LLMs wird dieses Problem um das Zehnfache verstärkt.😮‍💨