Laut ChainCatcher, das sich auf The Defiant beruft, beauftragte OpenAI die Organisation für KI-Sicherheitsbewertungen METR damit, die Sicherheit des bislang größten Trainingslaufs für bestärkendes Lernen zu überprüfen. Die Überprüfung ist ein Pilotprojekt, das einen einzelnen Trainingslauf umfasst. METR erhält dafür Modell-Snapshots und interne Trainingsaufzeichnungen.
Die beiden Organisationen haben sich nicht auf umfassendere Monitoring-Bewertungen geeinigt; deren Umfang ist weiterhin offen. METR, früher als ARC Evals bekannt, hat unabhängige Bewertungen vor der Veröffentlichung für führende KI-Labore durchgeführt und zuvor OpenAIs internes Monitoring-System auf Fehlanpassungen adversarial getestet.
