Nachdem ich Zeit damit verbracht habe, mir das Newton-Protocol anzusehen, habe ich begonnen, etwas in Frage zu stellen, das in Gesprächen über KI-Agenten selten zur Sprache kommt.
Die meisten Menschen machen sich Sorgen um eine bösartige KI.
Ich fange an zu denken, dass die größere Gefahr eine gehorsame ist.
Nicht um einen Agenten, der die Regeln bricht. Einen Agenten, der sie perfekt befolgt und dabei unter Berechtigungen arbeitet, die niemand richtig durchdacht hat.
Das ist eine andere Art von Scheitern. Und es wird viel schwerer zu ignorieren, sobald KI anfängt, Geld zu bewegen statt Text zu erzeugen.
Viele Diskussionen über autonome Agenten drehen sich immer noch um Fähigkeit. Können sie recherchieren? Können sie handeln? Können sie Workflows automatisieren? Können sie den Betrieb steuern?
Diese Fragen sind wichtig, aber sie gehen davon aus, dass bessere Intelligenz der Haupt-Engpass ist.
Ich bin nicht überzeugt, dass es so ist.
Stell dir vor, du gibst einem KI-Agenten die Autorität, wiederkehrende Softwarekosten für ein Unternehmen zu verwalten. Die Aufgabe klingt harmlos. Verträge verlängern, Rechnungen bezahlen, Services am Laufen halten.
Stell dir nun vor, sechs Monate später hat sich das Unternehmen vergrößert, zehn neue Tools integriert, mehrere Zahlungssysteme verbunden und dem selben Agenten mehr Verantwortung übertragen, weil er sich weiterhin gut bewährt hat.
Nichts bricht.
Es tritt kein böswilliges Verhalten auf.
Es passiert kein dramatischer Fehler.
Doch der Umfang der Autorität wird still und leise viel größer, als ursprünglich irgendwer beabsichtigt hatte.
Dieses Szenario erscheint mir realistischer als das populäre Bild, in dem eine KI plötzlich durchdreht.
Die ersten ernsthaften Probleme in autonomen Volkswirtschaften könnten eher von Berechtigungsdrift als von einem Intelligenzversagen herrühren.
Das war die Formulierung, zu der ich immer wieder zurückkam, als ich mir Newton Protocol angesehen habe.
Das, was meine Aufmerksamkeit erregt hat, war nicht Transaktionsgeschwindigkeit oder Automatisierung. Es ging um die Fokussierung darauf, zu definieren, was ein Agent tun darf, bevor er handelt.
Weil, sobald Agenten mit echten wirtschaftlichen Systemen interagieren, die Autorisierung zu einer operativen Infrastruktur wird.
Betrachte zwei Situationen.
Im ersten Fall darf ein KI-Agent jeden Monat bis zu 500 $ für genehmigte Softwareanbieter ausgeben. Es geht eine Zahlungsanfrage für einen vertrauten Dienst ein. Die Transaktion läuft sofort durch.
Im zweiten stößt derselbe Agent auf eine Anfrage eines neuen Anbieters, der zuvor nicht genehmigt war. Die Zahlung wird nicht abgelehnt, weil der Agent unintelligent ist. Sie stoppt, weil das Berechtigungs-Framework eine zusätzliche Validierung erzwingt.
Die Reibung verlagert sich nach oben.
Die Kosten tauchen auf, bevor der Fehler passiert, und nicht danach.
Das klingt offensichtlich, bis man an Skalierung denkt.
Ein Manager kann zwanzig Entscheidungen pro Tag manuell prüfen.
Ein autonomes Netzwerk aus Agenten könnte Tausende machen.
An diesem Punkt hört Vertrauen auf, etwas zu sein, das Menschen aktiv liefern. Es muss direkt im System selbst verankert werden.
Eines, das ich interessant finde, ist: Stärkere Kontrollmechanismen für Berechtigungen sind nicht kostenlos.
Sie verringern das Risiko, aber sie reduzieren auch die Flexibilität.
Ein Agent, der in engen Grenzen arbeitet, kann Gelegenheiten übersehen, die ein autonomeres System erfassen würde. Zusätzliche Prüfungen erhöhen die Latenz. Mehr Validierung bedeutet mehr Komplexität. Es gibt immer einen Trade-off zwischen Geschwindigkeit und Kontrolle.
Dieser Trade-off wird oft ignoriert, weil Autonomie sich leichter vermarkten lässt als Einschränkungen.
Doch Einschränkungen sind normalerweise genau dort, wo Zuverlässigkeit herkommt.
Mach ein einfaches Gedankenexperiment.
Wenn du heute zwischen einem KI-Agenten mit außergewöhnlicher Schlussfolgerungskraft und unbegrenzter Ausgabenbefugnis wählen müsstest, oder einem durchschnittlichen Agenten, der in strengen Berechtigungsgrenzen arbeitet: Wem würdest du mit deinem Geschäftskonto vertrauen?
Die meisten Menschen sind schneller, als sie erwarten.
Und die Antwort sagt normalerweise mehr über Vertrauen als über Intelligenz.
Vielleicht mache ich mich bei diesem Problem zu sehr an einer Sache fest. Das ist möglich.
Die KI-Branche hat die Angewohnheit, das heutige Engpass-Problem so aussehen zu lassen, als wäre es dauerhaft, bevor etwas Unerwartetes die Landschaft verändert. Bessere Modelle könnten diese vielen Bedenken mittelfristig reduzieren.
Trotzdem komme ich immer wieder zu derselben Beobachtung zurück.
Jedes reife wirtschaftliche System entwickelt irgendwann Mechanismen für delegierte Autorität.
Unternehmen haben Genehmigungsketten.
Banken haben Genehmigungsschichten.
Regierungen haben Prüf- und Überwachungsprozesse.
Nicht weil die Teilnehmenden böswillig sind, sondern weil die Autorität im Laufe der Zeit wächst, wenn niemand klare Grenzen definiert.
Warum sollten autonome Agenten da anders sein?
Hier beginnt sich Newton Protocol weniger wie ein KI-Projekt und mehr wie ein Governance-Experiment anzufühlen.
Die Frage ist nicht, ob ein Agent eine Aktion ausführen kann.
Die Frage ist, ob später überhaupt jemand nachprüfen kann, warum diese Aktion überhaupt erlaubt war.
Das ist viel weniger eine aufregende Frage.
Wahrscheinlich ist es auch das, was am meisten zählt.
Erst nachdem man diese Perspektive durchgedacht hat, beginnt das Token Sinn zu ergeben.
Wenn ein Netzwerk für die Durchsetzung von Berechtigungen, die Validierung von Aktionen und die Aufrechterhaltung der Rechenschaftspflicht verantwortlich ist, brauchen die Teilnehmenden Anreize, sich ehrlich zu verhalten. Wirtschaftliche Ausrichtung wird Teil des Vertrauensmodells, statt eine separate Funktion zu sein.
Das Token ist nicht der Grund, warum das System überhaupt existiert.
Das ist eine Folge des Problems, das das System zu lösen versucht.
Was mir nicht aus dem Kopf geht, ist nicht Newton selbst.
Es ist die Möglichkeit, dass wir die falsche Frage über KI stellen.
Wir verbringen enorme Mengen an Zeit damit zu debattieren, ob KI Entscheidungen treffen kann.
Wir verbringen viel weniger Zeit damit zu fragen, wer seine Berechtigungen definiert hat.
Und wenn autonome Agenten irgendwann für bedeutende wirtschaftliche Aktivitäten verantwortlich werden, könnte diese zweite Frage am Ende viel mehr Aufmerksamkeit auf sich ziehen als die erste.