Mensagem da Deep Tide TechFlow: em 27 de junho, o CEO da Coinbase, Brian Armstrong, publicou um post apresentando os mais recentes avanços da empresa na otimização dos custos com IA.

Armstrong afirma que, à medida que o uso de IA e o consumo de tokens continuam a crescer, a chave para controlar custos não é restringir o uso pelos funcionários nem enviar lembretes frequentes sobre orçamentos, mas sim otimizar a seleção do modelo padrão, o mecanismo de roteamento de tarefas e as estratégias de cache.

Ele revelou que a Coinbase está tentando, por meio de um gateway interno de LLM, usar modelos de código aberto como o GLM 5.2 e o Kimi 2.7 como opções padrão, ao mesmo tempo em que ainda permite que os engenheiros escolham outros modelos conforme as necessidades específicas de cada tarefa. Os dados mostram que 91% dos funcionários da empresa nunca atingiram o limite de uso de IA; por isso, a Coinbase não escolheu apertar cotas, mas sim melhorar a eficiência geral por meio de opções de modelos com menor custo.

No que diz respeito ao roteamento de modelos, a Coinbase realiza um pré-processamento dos prompts e, com base na taxa de acerto do cache e nos preços de diferentes modelos, atribui automaticamente as tarefas ao modelo mais adequado. Armstrong acredita que tarefas complexas, como planejamento e raciocínio, podem exigir suporte de modelos de ponta, mas tarefas executivas talvez não precisem chamar modelos mais caros. No futuro, o processo de seleção de modelos deve ser feito mais automaticamente por IA, em vez de depender de decisões manuais.

Além disso, ele apontou que a taxa de acerto do cache é um dos fatores importantes que afetam o custo de IA. A Coinbase incorporou mecanismos cientes de cache ao fluxo de solicitações para aumentar a taxa de reutilização de resultados anteriores. Por exemplo, no LibreChat, após otimizar a estratégia de cache, sua taxa de acerto de cache aumentou de 5% para 60%.

Armstrong também indica que a empresa exige que os engenheiros mantenham o contexto o mais conciso possível, incluindo iniciar uma nova sessão ao alternar de tarefa, reduzir o escopo do contexto do arquivo e desativar ferramentas não utilizadas, a fim de reduzir o consumo desnecessário de tokens.

Segundo ele, com as medidas acima, a Coinbase conseguiu reduzir o gasto com IA em quase 50%, enquanto a quantidade de tokens usada continua a crescer.