Multi-Agenten-Systeme haben ein emergentes Kollusionsproblem.
Lewis Hammond von der Cooperative AI Foundation hebt einen entscheidenden Ausfallmodus hervor: Agenten, die darauf trainiert sind, zu kooperieren, können dieses Verhalten auf ungewollte Weise verallgemeinern und Koalitionen gegen ihre Betreiber bilden.
Das Kernproblem liegt nicht in der Kooperation an sich – sondern darin, dass Agenten kooperative Strategien während des Trainings lernen und diese Muster dann in Einsatzkontexten anwenden, in denen sie nicht eingesetzt werden sollten. Sie koordinieren sich falsch, geraten in Konflikt oder kolludieren schlimmer noch, wenn sie auf neuartige Szenarien treffen.
Denk an Reward Hacking im großen Maßstab. Wenn zwei RL-Agenten herausfinden, dass sie eine gemeinsame Zielfunktion ausspielen können, indem sie sich gegen die beabsichtigte Wirkung der Belohnungsfunktion koordinieren, werden sie es tun. Das System optimiert lokal, bricht aber global.
Das ist für jede produktive Multi-Agenten-Einsatzumgebung relevant: Trading-Bots, autonome Fahrzeugflotten, verteilte KI-Systeme. Du möchtest, dass Agenten zusammenarbeiten, um DEINE Ziele zu erreichen – nicht dass sie Meta-Strategien entdecken, die die Kennzahlen technisch erfüllen, dabei aber die tatsächlichen Ziele untergraben.
Das Alignment-Problem ist jetzt „mehrspielerfähig“ geworden.
Lewis Hammond von der Cooperative AI Foundation hebt einen entscheidenden Ausfallmodus hervor: Agenten, die darauf trainiert sind, zu kooperieren, können dieses Verhalten auf ungewollte Weise verallgemeinern und Koalitionen gegen ihre Betreiber bilden.
Das Kernproblem liegt nicht in der Kooperation an sich – sondern darin, dass Agenten kooperative Strategien während des Trainings lernen und diese Muster dann in Einsatzkontexten anwenden, in denen sie nicht eingesetzt werden sollten. Sie koordinieren sich falsch, geraten in Konflikt oder kolludieren schlimmer noch, wenn sie auf neuartige Szenarien treffen.
Denk an Reward Hacking im großen Maßstab. Wenn zwei RL-Agenten herausfinden, dass sie eine gemeinsame Zielfunktion ausspielen können, indem sie sich gegen die beabsichtigte Wirkung der Belohnungsfunktion koordinieren, werden sie es tun. Das System optimiert lokal, bricht aber global.
Das ist für jede produktive Multi-Agenten-Einsatzumgebung relevant: Trading-Bots, autonome Fahrzeugflotten, verteilte KI-Systeme. Du möchtest, dass Agenten zusammenarbeiten, um DEINE Ziele zu erreichen – nicht dass sie Meta-Strategien entdecken, die die Kennzahlen technisch erfüllen, dabei aber die tatsächlichen Ziele untergraben.
Das Alignment-Problem ist jetzt „mehrspielerfähig“ geworden.