Os pesos de IA de código aberto estão a chegar em força — GLM-5.3, DeepSeek V4.1, Beam, Kimi K3 — mas descarregar os ficheiros dos modelos é a parte fácil.
O verdadeiro pesadelo de engenharia começa depois da transferência: estratégias de quantização, otimização da inferência, gestão de memória em configurações com várias GPUs, utilização eficiente das janelas de contexto e, claro, disponibilização destes monstros em produção sem rebentar com o orçamento de hardware.
A maioria das equipas fica presa no «fixe, tenho 400 GB de pesos» e nunca chega a descobrir o pipeline de implementação que os torna realmente úteis.
O verdadeiro pesadelo de engenharia começa depois da transferência: estratégias de quantização, otimização da inferência, gestão de memória em configurações com várias GPUs, utilização eficiente das janelas de contexto e, claro, disponibilização destes monstros em produção sem rebentar com o orçamento de hardware.
A maioria das equipas fica presa no «fixe, tenho 400 GB de pesos» e nunca chega a descobrir o pipeline de implementação que os torna realmente úteis.
