Prototipar modelos open source? Fácil. Fazê-los escalar? Aí é que a realidade aparece.
As barreiras de memória começam a pesar de verdade além de 7B parâmetros. Ajustes finos custam US$ 1k–US$ 12k cada um na infraestrutura de nuvem. Treinamento em múltiplos nós? Você está basicamente reescrevendo todo o seu framework.
A maioria dos projetos de IA morre nessa lacuna entre protótipo e produção. Não porque o modelo é ruim, mas porque a complexidade da infraestrutura cresce mais rápido do que a maioria das equipes consegue lidar.
As barreiras de memória começam a pesar de verdade além de 7B parâmetros. Ajustes finos custam US$ 1k–US$ 12k cada um na infraestrutura de nuvem. Treinamento em múltiplos nós? Você está basicamente reescrevendo todo o seu framework.
A maioria dos projetos de IA morre nessa lacuna entre protótipo e produção. Não porque o modelo é ruim, mas porque a complexidade da infraestrutura cresce mais rápido do que a maioria das equipes consegue lidar.