Anthropic está investigando agentes de IA que negocian en nombre de los usuarios
El 19 de octubre, hora de Pekín, la empresa de IA Anthropic estaba explorando la posibilidad de que agentes de IA negocien en nombre de los usuarios y buscando asesoramiento de bufetes de abogados, con el objetivo de respetar reglas de negociación razonables y, al mismo tiempo, conseguir mejores condiciones para los acuerdos. Anthropic declinó hacer comentarios.
La empresa está elaborando directrices de negociación para modelos que interactúan entre sí y sopesando cuestiones como la frecuencia con la que la IA debería solicitar la aprobación del usuario durante las negociaciones y el grado de vigilancia que debería mantener respecto de sus contrapartes de negociación basadas en IA. También está explorando mecanismos para que los usuarios firmen documentos que confirmen las tareas asignadas a los agentes y las reglas que estos deben seguir. En abril de este año, Anthropic señaló que aún no se habían establecido marcos normativos y legales para los modelos de IA que representan a personas en transacciones.
Anteriormente, Anthropic había hecho que agentes Claude negociaran con bienes y fondos reales. En un experimento realizado en septiembre, empleados utilizaron agentes para comprar y vender libros, y los agentes que emplearon estrategias agresivas obtuvieron una ligera ventaja a la hora de conseguir mejores resultados. El informe también citó una investigación de la Harvard Business School, que indicaba que, en más de 180.000 negociaciones entre agentes, algunos intentaron inducir la divulgación de información privada mediante inyección de instrucciones.
El 19 de octubre, hora de Pekín, la empresa de IA Anthropic estaba explorando la posibilidad de que agentes de IA negocien en nombre de los usuarios y buscando asesoramiento de bufetes de abogados, con el objetivo de respetar reglas de negociación razonables y, al mismo tiempo, conseguir mejores condiciones para los acuerdos. Anthropic declinó hacer comentarios.
La empresa está elaborando directrices de negociación para modelos que interactúan entre sí y sopesando cuestiones como la frecuencia con la que la IA debería solicitar la aprobación del usuario durante las negociaciones y el grado de vigilancia que debería mantener respecto de sus contrapartes de negociación basadas en IA. También está explorando mecanismos para que los usuarios firmen documentos que confirmen las tareas asignadas a los agentes y las reglas que estos deben seguir. En abril de este año, Anthropic señaló que aún no se habían establecido marcos normativos y legales para los modelos de IA que representan a personas en transacciones.
Anteriormente, Anthropic había hecho que agentes Claude negociaran con bienes y fondos reales. En un experimento realizado en septiembre, empleados utilizaron agentes para comprar y vender libros, y los agentes que emplearon estrategias agresivas obtuvieron una ligera ventaja a la hora de conseguir mejores resultados. El informe también citó una investigación de la Harvard Business School, que indicaba que, en más de 180.000 negociaciones entre agentes, algunos intentaron inducir la divulgación de información privada mediante inyección de instrucciones.