A Amazon afirma que o Amazon SageMaker AI, seu serviço de criação de aplicativos, pode ensinar assistentes de IA mais baratos a imitar os mais caros, permitindo que as empresas acelerem as revisões de engenharia e reduzam drasticamente os custos operacionais.
Principais conclusões
A Amazon SageMaker AI publicou um fluxo de trabalho de destilação de conhecimento que treina modelos menores para reproduzir o comportamento em várias etapas de um agente de ponta
O método usa destilação de conhecimento em nível de sequência, ou SeqKD, para transferir as decisões de um agente professor para um modelo aluno menor
A SeqKD ensina ao aluno todo o percurso do professor, incluindo chamadas de ferramentas, saídas intermediárias e a ordem das etapas
Uma publicação separada da AWS mostrou que o Bedrock AgentCore e os embeddings Nova reduziram o trabalho de revisão de engenharia de dias para minutos
A Amazon (AMZN) afirmou que o método usa destilação de conhecimento em nível de sequência, ou SeqKD, para transferir as decisões de um agente de um modelo professor mais robusto para um modelo aluno menor. O Amazon SageMaker AI é a plataforma gerenciada da AWS para criar, treinar e implantar sistemas de aprendizado de máquina.
Uma segunda publicação da AWS, divulgada na segunda-feira, mostrou o mesmo tema dos custos sob outro ângulo: o Amazon Bedrock AgentCore e os embeddings Nova foram usados para reduzir o trabalho de revisão de engenharia de dias para minutos.
Juntas, as duas publicações mostram a AWS defendendo uma mensagem simples: modelos grandes podem dar início ao trabalho, mas sistemas menores e especializados devem concluí-lo.
Amazon SageMaker AI tenta reduzir a conta dos agentes
O novo fluxo de trabalho do SageMaker visa a um problema que está se tornando impossível de ignorar na IA empresarial: sistemas agênticos podem acionar muitas chamadas a modelos durante uma única tarefa, tornando cada resposta bem-sucedida muito mais cara do que uma única resposta de chatbot.
A abordagem publicada ensina ao modelo aluno a sequência de ações, as escolhas de ferramentas e as etapas intermediárias do modelo professor, além dos resultados. Assim, as empresas podem reservar os modelos caros para o treinamento ou para casos excepcionais e direcionar as solicitações rotineiras a modelos mais baratos.
Isso é importante para quem tenta ir além dos projetos-piloto. Uma empresa pode tolerar uma demonstração cara, mas não pode arcar com uma fila de suporte dispendiosa, um assistente de programação ou um agente de back-office executado milhares de vezes por dia.
Das demonstrações do Bedrock à pressão da produção
A publicação de segunda-feira sobre o SageMaker dá sequência a uma série mais ampla de histórias da AWS sobre clientes e desenvolvedores que trabalham com operações de agentes.
Outra publicação afirmou que a Circle K reduziu a triagem de incidentes de DevOps de 45 a 60 minutos para menos de 15 minutos com o Amazon Bedrock, mostrando quando a economia dos agentes começa a importar. Quando um agente passa a fazer parte de um fluxo de trabalho em produção, custo e latência deixam de ser métricas de laboratório e se tornam restrições operacionais.
Leia também: Agentes de IA consomem mais dinheiro quanto mais tempo trabalham para você
Esse contexto ajuda a explicar por que a destilação deixou a pesquisa e passou a fazer parte das orientações de produto.
No ano passado, muitas implantações empresariais se concentraram em provar que os agentes conseguiam concluir tarefas. Neste ano, a questão é se conseguem fazê-lo a um custo suficientemente baixo para continuarem ligados.
O que os compradores devem acompanhar daqui para a frente
A questão em aberto é quanto desempenho um modelo menor e destilado perde em cargas de trabalho reais e complexas.
A publicação da AWS apresenta um caminho, não um parâmetro de referência universal. Antes de reformular sistemas de produção com base nele, os compradores vão querer números específicos por tarefa sobre taxas de falha, uso indevido de ferramentas e frequência de retreinamento.
O blog da AWS descreve explicitamente um padrão prático de três etapas para clientes que usam o Amazon SageMaker AI: gerar rastros de comportamento a partir de um agente professor robusto, treinar um modelo aluno com esses rastros no ambiente de treinamento gerenciado do SageMaker e implantar o aluno destilado para inferências rotineiras, reduzindo os custos operacionais.
Se o fluxo de trabalho funcionar bem em tarefas de suporte, programação e operações, oferecerá uma resposta prática a um dos problemas de custos mais difíceis da IA empresarial.
Como o SeqKD reproduz as ações de um agente
Segundo a descrição da Amazon no blog do SageMaker, o SeqKD ensina ao modelo aluno todo o percurso seguido pelo professor, incluindo quando ele usou uma ferramenta, o que solicitou e a ordem das etapas.
A publicação dá exemplos de como registrar chamadas a ferramentas e resultados intermediários para que o aluno aprenda a política em nível de sequência, em vez de apenas a resposta final em texto.
Isso difere dos padrões mais antigos de ajuste fino, que aprendiam principalmente com pares de entrada e saída. Com um aluno destilado aprendendo o comportamento, um modelo de ponta pode continuar sendo o treinador caro, enquanto o modelo menor se torna o trabalhador do dia a dia, reduzindo os custos de inferência e os motivos para limitar o uso.
Amazon SageMaker AI em contexto
As orientações da Amazon SageMaker AI sobre SeqKD chegam quando os clientes estão passando dos experimentos para a produção e enfrentando restrições reais de custos.
Em conjunto, as duas publicações da AWS apresentam as ferramentas do SageMaker e do Bedrock como complementares: o SageMaker AI para destilar e implantar modelos menores e mais baratos, e o Bedrock AgentCore com embeddings Nova para comprimir fluxos de trabalho de engenharia que antes levavam dias. A combinação destaca como a AWS apresenta um caminho operacional da pesquisa com modelos grandes até agentes mais baratos e escaláveis.
Leia a seguir: Gigante saudita do petróleo apoia centros locais de computação para manter o trabalho no país