OpenAI gibt den Start von Control Room bekannt: die „Notbremse“ für Modellaufgaben in der Forschung.
Sobald das Überwachungssystem oder ein Mensch entscheidet, einen Job abzubrechen, verweigert die Inferenz-Engine innerhalb von höchstens etwa 35 Sekunden die weitere Ausgabe von Tokens – die Bremse sitzt direkt in der Sampling-Schicht, statt darauf zu vertrauen, dass das Skript der Forschenden gehorcht. Fällt Control Room selbst aus oder wird abgeschaltet, greift ebenfalls ein Fail-closed-Verhalten: Alle Inferenzanfragen werden direkt abgelehnt. Die Workloads für die Forschung an Frontier-Modellen sind bereits umgestellt; die übrigen Forschungsaufgaben folgen in den nächsten Tagen.
Je leistungsfähiger die Modelle werden, desto wichtiger ist es, dass sie sich im Ernstfall wirklich stoppen lassen. Das ist keine technische Spielerei, aber deutlich verlässlicher als die bloße Behauptung: „Wir können sie abschalten.“
#OpenAI #AI安全 #ControlRoom
Sobald das Überwachungssystem oder ein Mensch entscheidet, einen Job abzubrechen, verweigert die Inferenz-Engine innerhalb von höchstens etwa 35 Sekunden die weitere Ausgabe von Tokens – die Bremse sitzt direkt in der Sampling-Schicht, statt darauf zu vertrauen, dass das Skript der Forschenden gehorcht. Fällt Control Room selbst aus oder wird abgeschaltet, greift ebenfalls ein Fail-closed-Verhalten: Alle Inferenzanfragen werden direkt abgelehnt. Die Workloads für die Forschung an Frontier-Modellen sind bereits umgestellt; die übrigen Forschungsaufgaben folgen in den nächsten Tagen.
Je leistungsfähiger die Modelle werden, desto wichtiger ist es, dass sie sich im Ernstfall wirklich stoppen lassen. Das ist keine technische Spielerei, aber deutlich verlässlicher als die bloße Behauptung: „Wir können sie abschalten.“
#OpenAI #AI安全 #ControlRoom
