#newt $NEWT Die meisten Leute, die über KI-Risiken sprechen, wirken, als wären sie auf ein Thema fixiert.
Was wäre, wenn das Modell die falsche Entscheidung trifft?
Früher dachte ich auch, das wäre das Hauptproblem.
Dann habe ich ein bisschen Zeit damit verbracht, das Newton Protocol zu lesen, und ich bin bei einer anderen Frage hängen geblieben.
Was wäre, wenn die KI die richtige Entscheidung trifft… aber in erster Linie nie dafür vorgesehen war, diese Entscheidung überhaupt zu treffen?
Das fühlt sich ehrlich gesagt nach einem viel realistischeren Scheitern an.
Eine KI kann die korrekte Transaktion generieren. Sie kann die beste Route finden. Sie kann alles perfekt optimieren.
Keine dieser Dinge beantwortet eine einfache Frage.
Wer hat ihr eigentlich die Erlaubnis gegeben?
Ich glaube, die Leute verwechseln ständig Intelligenz mit Autorität.
Das sind nicht dasselbe.
Ein Modell kann unglaublich klug sein und trotzdem völlig ohne Befugnis, eine bestimmte Geldbörse anzufassen, ein konkretes Asset zu bewegen oder eine bestimmte Transaktion zu genehmigen.
Genau das ist mir aufgefallen, als ich das Newton Protocol gelesen habe.
Das Protokoll geht nicht davon aus, dass jede technisch gültige Transaktion ausgeführt werden sollte. Es prüft, ob die Aktion mit den im Voraus definierten Richtlinien übereinstimmt. Ausgabenlimits. Delegierte Berechtigungen. Anforderungen an die Identität. Welche Regeln die Anwendung auch immer durchzusetzen beschlossen hat.
Die Autorisierung kommt vor der Ausführung.
An genau diesem Punkt hat sich meine Denkweise geändert.
Vielleicht besteht die eigentliche Herausforderung nicht darin, eine KI zu bauen, die niemals Fehler macht.
Viel Glück dabei.
Vielleicht geht es darum sicherzustellen, dass eine KI nicht außerhalb der Autorität handeln kann, die ihr gegeben wurde—selbst dann nicht, wenn sie technisch dazu in der Lage wäre.
Eine Sache kam mir beim Lesen der Dokumentation immer wieder vor.
Intelligenz beantwortet „Kann ich das?“
Autorisierung beantwortet „Bin ich berechtigt, das zu tun?“
Das sind nicht dieselben Fragen.
Vielleicht liege ich falsch, aber wenn KI echtes Geld verwalten soll, dann möchte ich, dass die Erlaubnis jedes einzelne Mal geprüft wird—noch bevor Intelligenz ins Spiel kommt.
#Newt @NewtonProtocol $NEWT
Was wäre, wenn das Modell die falsche Entscheidung trifft?
Früher dachte ich auch, das wäre das Hauptproblem.
Dann habe ich ein bisschen Zeit damit verbracht, das Newton Protocol zu lesen, und ich bin bei einer anderen Frage hängen geblieben.
Was wäre, wenn die KI die richtige Entscheidung trifft… aber in erster Linie nie dafür vorgesehen war, diese Entscheidung überhaupt zu treffen?
Das fühlt sich ehrlich gesagt nach einem viel realistischeren Scheitern an.
Eine KI kann die korrekte Transaktion generieren. Sie kann die beste Route finden. Sie kann alles perfekt optimieren.
Keine dieser Dinge beantwortet eine einfache Frage.
Wer hat ihr eigentlich die Erlaubnis gegeben?
Ich glaube, die Leute verwechseln ständig Intelligenz mit Autorität.
Das sind nicht dasselbe.
Ein Modell kann unglaublich klug sein und trotzdem völlig ohne Befugnis, eine bestimmte Geldbörse anzufassen, ein konkretes Asset zu bewegen oder eine bestimmte Transaktion zu genehmigen.
Genau das ist mir aufgefallen, als ich das Newton Protocol gelesen habe.
Das Protokoll geht nicht davon aus, dass jede technisch gültige Transaktion ausgeführt werden sollte. Es prüft, ob die Aktion mit den im Voraus definierten Richtlinien übereinstimmt. Ausgabenlimits. Delegierte Berechtigungen. Anforderungen an die Identität. Welche Regeln die Anwendung auch immer durchzusetzen beschlossen hat.
Die Autorisierung kommt vor der Ausführung.
An genau diesem Punkt hat sich meine Denkweise geändert.
Vielleicht besteht die eigentliche Herausforderung nicht darin, eine KI zu bauen, die niemals Fehler macht.
Viel Glück dabei.
Vielleicht geht es darum sicherzustellen, dass eine KI nicht außerhalb der Autorität handeln kann, die ihr gegeben wurde—selbst dann nicht, wenn sie technisch dazu in der Lage wäre.
Eine Sache kam mir beim Lesen der Dokumentation immer wieder vor.
Intelligenz beantwortet „Kann ich das?“
Autorisierung beantwortet „Bin ich berechtigt, das zu tun?“
Das sind nicht dieselben Fragen.
Vielleicht liege ich falsch, aber wenn KI echtes Geld verwalten soll, dann möchte ich, dass die Erlaubnis jedes einzelne Mal geprüft wird—noch bevor Intelligenz ins Spiel kommt.
#Newt @NewtonProtocol $NEWT