Ob ein Weltmodell Physik wirklich versteht, lässt sich nicht allein daran erkennen, ob es eine Erklärung der Schwerkraft wiedergeben kann.

Dieser ausgewählte Ausschnitt von AI on Air stammt aus einer aktuellen Folge der Redpoint-AI-Reihe. Zu hören ist Oriol Vinyals, VP of Research bei Google DeepMind und Co-Leiter von Google Gemini.

▷ Zentrale Herausforderung: Wenn ein Modell nach dem Training über Sprache verfügt, können seine Antworten auf Fragen zur „Schwerkraft“ lediglich auf Erklärungen beruhen, die es während des Trainings im Internet gelesen hat. Das beweist nicht, dass das Weltmodell intern tatsächlich über dieses Konzept verfügt.
▷ Mögliche Bewertungsmethode: Die Frage, ob „Schwerkraft“ in den Repräsentationen des Weltmodells vorhanden ist, mit Erklärungen verknüpfen, die sich daraus dekodieren lassen. Zunächst prüfen, ob sich eine grundlegende Erklärung geben lässt, anschließend, ob sich daraus eine Gleichung ableiten lässt.
▷ Methodischer Hinweis: Frühe unüberwachte maschinelle Übersetzung konnte Repräsentationen von Sprachen aufeinander abstimmen, die im Training nicht gesehen worden waren. Ebenso lassen sich die Dekodierungsfähigkeiten eines Sprachmodells mit dem konzeptuellen Verständnis auf der Ebene des Weltmodells abgleichen. Die Bewertung muss letztlich jedoch für die Anwendung relevant sein.🪁