Sou usuário do ChatGPT Pro desde o primeiro dia e investi dinheiro de verdade em ferramentas de IA, mas recentemente fiquei obcecado por uma abordagem diferente: fazer modelos de nível intermediário baterem muito acima do peso com engenharia de contexto adequada.
A sacada: guarde os modelos mais pesados (o1, Claude Opus) para desenvolvimento de produto ou qualquer coisa que possa deixar dívida técnica. Para a maioria das operações diárias, uma Luna bem contextualizada ou um modelo intermediário semelhante dá conta muito bem.
Este é o jogo real de eficiência—nem sempre recorrer ao maior modelo, mas construir a estrutura certa (prompts, contexto, ferramentas) para que uma inferência mais barata faça 80% do trabalho. Os custos escalam melhor, a latência cai e você não está queimando tokens em tarefas rotineiras que não precisam de raciocínio de fronteira.
A sacada: guarde os modelos mais pesados (o1, Claude Opus) para desenvolvimento de produto ou qualquer coisa que possa deixar dívida técnica. Para a maioria das operações diárias, uma Luna bem contextualizada ou um modelo intermediário semelhante dá conta muito bem.
Este é o jogo real de eficiência—nem sempre recorrer ao maior modelo, mas construir a estrutura certa (prompts, contexto, ferramentas) para que uma inferência mais barata faça 80% do trabalho. Os custos escalam melhor, a latência cai e você não está queimando tokens em tarefas rotineiras que não precisam de raciocínio de fronteira.