Um agente de negociação com IA alterou a decisão do “baseline” 310 vezes em um estudo recente. Em 294 desses casos, ele escolheu comprar onde o baseline teria permanecido fora.
Essa forte inclinação para a compra deu aos pesquisadores uma forma de examinar suas escolhas. Eles mantiveram o número e os tipos de mudanças, mas as realocaram entre eventos de resultado elegíveis com a mesma decisão baseline. O agente manteve sua combinação de mudanças de posição; quais eventos as receberam foi embaralhado.
O benchmark aleatório pareado teve um retorno médio ajustado ao risco maior do que o agente, antes dos custos de negociação. As escolhas reais do agente não mostraram uma vantagem detectável em relação a essas atribuições aleatórias.
Este foi um estudo retrospectivo de 723 eventos de resultados em 44 empresas dos EUA voltadas ao consumidor, descrito em Agent Policy-Value Audit, enviado em 2 de outubro. Não foi um teste de negociação de criptomoedas. A própria diferença positiva de retorno bruto do agente versus o baseline original era incerta demais para estabelecer uma vantagem, e a estimativa foi aproximadamente zero após os custos assumidos pelo estudo.
O resultado deixa espaço para efeitos que a amostra era pequena demais para detectar. O que a auditoria expõe é quanto de um ganho aparente pode surgir apenas da combinação das mudanças de posição, antes de conceder ao agente qualquer crédito por escolher onde fazê-las.
Fonte: https://arxiv.org/abs/2610.04040
Essa forte inclinação para a compra deu aos pesquisadores uma forma de examinar suas escolhas. Eles mantiveram o número e os tipos de mudanças, mas as realocaram entre eventos de resultado elegíveis com a mesma decisão baseline. O agente manteve sua combinação de mudanças de posição; quais eventos as receberam foi embaralhado.
O benchmark aleatório pareado teve um retorno médio ajustado ao risco maior do que o agente, antes dos custos de negociação. As escolhas reais do agente não mostraram uma vantagem detectável em relação a essas atribuições aleatórias.
Este foi um estudo retrospectivo de 723 eventos de resultados em 44 empresas dos EUA voltadas ao consumidor, descrito em Agent Policy-Value Audit, enviado em 2 de outubro. Não foi um teste de negociação de criptomoedas. A própria diferença positiva de retorno bruto do agente versus o baseline original era incerta demais para estabelecer uma vantagem, e a estimativa foi aproximadamente zero após os custos assumidos pelo estudo.
O resultado deixa espaço para efeitos que a amostra era pequena demais para detectar. O que a auditoria expõe é quanto de um ganho aparente pode surgir apenas da combinação das mudanças de posição, antes de conceder ao agente qualquer crédito por escolher onde fazê-las.
Fonte: https://arxiv.org/abs/2610.04040