Certa vez, contratei um designer para criar um logotipo para um projeto pequeno.
Na primeira mensagem, eu escrevi só bem pouco:
“Faça apenas o necessário.”
Uma semana depois, o designer enviou a versão final.
Tenho que admitir que o logotipo ficou muito bonito.
Cores harmoniosas.
Composição equilibrada.
Ficou muito mais profissional do que eu imaginava.
Mas eu ainda assim não usei.
Não foi porque o designer não estava fazendo um bom trabalho.
Mas porque, quando olhei de novo, percebi que os dois lados estavam tentando chegar a resultados diferentes.
O designer está otimizando para o logo mais bonito.
O que eu realmente preciso é de um logo fácil de imprimir em embalagens de tecido, com baixo custo, e que ainda seja reconhecível quando for reduzido para apenas alguns centímetros.
Ninguém faz algo errado.
Só estamos otimizando para dois objetivos diferentes.
Isso me fez pensar bastante ao ler sobre o @NewtonProtocol.
Quando falamos de execução de IA, normalmente avaliamos um resultado perguntando:
“A execução está correta?”
Mas talvez exista uma pergunta ainda mais difícil.
A execução está sendo otimizada para o objetivo de quem?
Na minha opinião, é aqui que pequenas diferenças conseguem criar uma distância enorme.
Um agente pode executar cada passo com muita precisão.
Não comete erros.
Não deixa nada para trás.
Não viola nenhuma regra.
Mas se todo o processo estiver sendo otimizado para outro objetivo que não é exatamente o que o usuário precisa, o resultado final ainda pode acabar sendo um fracasso.
O que é notável é que execuções assim geralmente são muito difíceis de detectar.
Pelo que se vê, tudo parece fazer sentido.
Só quando o usuário obtém o resultado é que o desvio aparece.
Na minha opinião, este é um ponto interessante ao olhar para o @NewtonProtocol.
O que eu me preocupo não é se o agente consegue concluir a execução ou não.
O ponto não é esse; é como o sistema mantém a execução alinhada com o objetivo que o usuário quer de verdade otimizar, em vez de permitir que o agente vá mudando gradualmente para outro critério apenas porque parece mais razoável no decorrer da execução.
Autoquestionamento.
Claro que, se um agente sempre ficar estritamente preso ao objetivo inicial, sem capacidade de se adaptar, ele se tornará pouco flexível diante das mudanças da realidade.
Mas se o agente puder alterar livremente os critérios de otimização durante a execução, sem nenhum mecanismo de controle, a distância entre o que o usuário precisa e o que o sistema produz vai ficando cada vez maior, mesmo que cada passo seja feito com muita precisão.
Para mim, uma execução de IA confiável não é a que produz o resultado mais bonito.
Na verdade, é uma execução que continua fiel ao objetivo que o usuário realmente quer alcançar desde o começo.