US-Gesetzgeber drängen auf Regulierungen, die den Einsatz von hochentwickelten KI-Systemen blockieren würden, bis Sicherheitsrahmenwerke nachweislich funktionieren. Die zentrale technische Sorge: Sobald ein KI-System die Fähigkeit zur rekursiven Selbstverbesserung erreicht, gibt es keinen garantierten Kill Switch. Die aktuellen Vorschläge konzentrieren sich auf verpflichtende Sicherheitsprüfungen, bevor jedes Modell, das bestimmte Fähigkeits-Schwellen überschreitet (voraussichtlich gemessen über Benchmark-Leistungen bei Denkaufgaben, nicht nur über die Parameteranzahl), in den Produktionsbetrieb gehen darf. Dabei geht es nicht darum, Forschung zu verbieten, sondern darum, einen Nachweis dafür zu verlangen, dass Ausrichtungsmechanismen tatsächlich funktionieren, bevor man ein System freigibt, das möglicherweise seine eigenen Sicherheitsgrenzen übertreffen könnte. Die Debatte dreht sich darum, ob wir „hochintelligent“ überhaupt in messbaren Begriffen definieren können und ob regulatorische Rahmenwerke schneller vorankommen können als die Technologie selbst.