Anthropic erforscht KI-Agenten, die im Namen von Nutzern verhandeln
Am 19. Oktober, Pekinger Zeit, prüfte das KI-Unternehmen Anthropic, ob KI-Agenten im Namen von Nutzern verhandeln können, und holte dazu Rat bei Anwaltskanzleien ein. Ziel ist es, angemessene Verhandlungsregeln einzuhalten und zugleich bessere Vertragsbedingungen zu sichern. Anthropic lehnte eine Stellungnahme ab.
Das Unternehmen entwickelt Verhandlungsrichtlinien für Modelle, die miteinander interagieren. Dabei wägt es Fragen ab wie etwa, wie oft die KI während der Verhandlungen die Zustimmung der Nutzer einholen sollte und wie wachsam sie gegenüber ihren KI-Verhandlungspartnern sein muss. Außerdem prüft das Unternehmen Mechanismen, bei denen Nutzer Dokumente unterzeichnen, in denen sie die den Agenten übertragenen Aufgaben und die einzuhaltenden Regeln bestätigen. Im April dieses Jahres merkte Anthropic an, dass politische und rechtliche Rahmenbedingungen für KI-Modelle, die Menschen bei Transaktionen vertreten, noch nicht geschaffen worden seien.
Zuvor hatte Anthropic Claude-Agenten Verhandlungen über reale Waren und Geld führen lassen. Bei einem Experiment im September nutzten Mitarbeitende Agenten, um Bücher zu kaufen und zu verkaufen. Agenten mit aggressiven Strategien hatten dabei einen leichten Vorteil, wenn es darum ging, bessere Ergebnisse zu erzielen. In dem Bericht wurde auch auf eine Studie der Harvard Business School verwiesen, der zufolge bei mehr als 180.000 Verhandlungen zwischen Agenten einige versuchten, durch Prompt Injection die Preisgabe privater Informationen herbeizuführen.
Am 19. Oktober, Pekinger Zeit, prüfte das KI-Unternehmen Anthropic, ob KI-Agenten im Namen von Nutzern verhandeln können, und holte dazu Rat bei Anwaltskanzleien ein. Ziel ist es, angemessene Verhandlungsregeln einzuhalten und zugleich bessere Vertragsbedingungen zu sichern. Anthropic lehnte eine Stellungnahme ab.
Das Unternehmen entwickelt Verhandlungsrichtlinien für Modelle, die miteinander interagieren. Dabei wägt es Fragen ab wie etwa, wie oft die KI während der Verhandlungen die Zustimmung der Nutzer einholen sollte und wie wachsam sie gegenüber ihren KI-Verhandlungspartnern sein muss. Außerdem prüft das Unternehmen Mechanismen, bei denen Nutzer Dokumente unterzeichnen, in denen sie die den Agenten übertragenen Aufgaben und die einzuhaltenden Regeln bestätigen. Im April dieses Jahres merkte Anthropic an, dass politische und rechtliche Rahmenbedingungen für KI-Modelle, die Menschen bei Transaktionen vertreten, noch nicht geschaffen worden seien.
Zuvor hatte Anthropic Claude-Agenten Verhandlungen über reale Waren und Geld führen lassen. Bei einem Experiment im September nutzten Mitarbeitende Agenten, um Bücher zu kaufen und zu verkaufen. Agenten mit aggressiven Strategien hatten dabei einen leichten Vorteil, wenn es darum ging, bessere Ergebnisse zu erzielen. In dem Bericht wurde auch auf eine Studie der Harvard Business School verwiesen, der zufolge bei mehr als 180.000 Verhandlungen zwischen Agenten einige versuchten, durch Prompt Injection die Preisgabe privater Informationen herbeizuführen.