Kleiner Side-Take: Das Unternehmen, das einen KI-Agenten betreibt, sollte nicht auch das einzige Unternehmen sein, das dafür verantwortlich ist zu beweisen, dass der Agent die Regeln einhält.
OpenAI’s neues Enterprise-Produkt Presence macht dieses Problem ziemlich unmittelbar.
Presence hilft dabei, OpenAI’s Enterprise-Agenten mit den Systemen des Unternehmens zu verbinden, definiert, was sie tun können, testet sie vor dem Start, bewertet ihre Antworten, steuert, wann sie an einen Menschen eskalieren, und verbessert sich im Laufe der Zeit.
Wenn die Berechtigungen, Richtlinien, Bewertungen und Protokolle für jede Aktion, die der Agent durchführt, in demselben Stack des Anbieters leben, der den Agenten bereitstellt, dann erzwingt der Anbieter selbst auch die Regeln und produziert den Nachweis, dass diese Regeln eingehalten wurden.
Das mag für Aufgaben mit geringem Risiko akzeptabel sein, wird aber viel schwieriger zu rechtfertigen, wenn Agenten auf Kundenkonten zugreifen, Erstattungen ausstellen, Abonnements ändern, Geld bewegen oder Entscheidungen treffen können, die echte Menschen betreffen.
Enterprise-Agenten brauchen eine neutrale Schicht darunter, die aufzeichnet, was passiert ist, und durchsetzt, was der Agent tun darf – unabhängig davon, welches Modell oder welche Agent-Plattform ein Unternehmen verwendet.
Das ist es, was wir bei @SaharaAI - aufbauen: verifizierbare Ausführungsprotokolle und Nutzungsrichtlinien, die nicht davon abhängen, dass der Anbieter verifiziert wird.
OpenAI’s neues Enterprise-Produkt Presence macht dieses Problem ziemlich unmittelbar.
Presence hilft dabei, OpenAI’s Enterprise-Agenten mit den Systemen des Unternehmens zu verbinden, definiert, was sie tun können, testet sie vor dem Start, bewertet ihre Antworten, steuert, wann sie an einen Menschen eskalieren, und verbessert sich im Laufe der Zeit.
Wenn die Berechtigungen, Richtlinien, Bewertungen und Protokolle für jede Aktion, die der Agent durchführt, in demselben Stack des Anbieters leben, der den Agenten bereitstellt, dann erzwingt der Anbieter selbst auch die Regeln und produziert den Nachweis, dass diese Regeln eingehalten wurden.
Das mag für Aufgaben mit geringem Risiko akzeptabel sein, wird aber viel schwieriger zu rechtfertigen, wenn Agenten auf Kundenkonten zugreifen, Erstattungen ausstellen, Abonnements ändern, Geld bewegen oder Entscheidungen treffen können, die echte Menschen betreffen.
Enterprise-Agenten brauchen eine neutrale Schicht darunter, die aufzeichnet, was passiert ist, und durchsetzt, was der Agent tun darf – unabhängig davon, welches Modell oder welche Agent-Plattform ein Unternehmen verwendet.
Das ist es, was wir bei @SaharaAI - aufbauen: verifizierbare Ausführungsprotokolle und Nutzungsrichtlinien, die nicht davon abhängen, dass der Anbieter verifiziert wird.