A Qualcomm disse que seu novo chip consegue executar localmente em celulares um modelo MoE de 30B.
Minha primeira reação foi desconfiança; a segunda foi — se for realmente possível, muitas das nossas decisões dentro da equipe de “é necessário ajustar a API” terão de ser revistas. Latência, privacidade e off-line: assim que essas três coisas forem resolvidas, o espaço de produtos para inferência local será muito maior do que na nuvem.
Claro que conseguir rodar e conseguir rodar rápido são coisas diferentes. Vamos ver quando testarmos no hardware real. Mas eu gosto bastante da direção: o modelo vai ficando cada vez menor, o chip vai sendo cada vez mais robusto; e a camada intermediária na nuvem vai ficando cada vez mais fina.
Minha primeira reação foi desconfiança; a segunda foi — se for realmente possível, muitas das nossas decisões dentro da equipe de “é necessário ajustar a API” terão de ser revistas. Latência, privacidade e off-line: assim que essas três coisas forem resolvidas, o espaço de produtos para inferência local será muito maior do que na nuvem.
Claro que conseguir rodar e conseguir rodar rápido são coisas diferentes. Vamos ver quando testarmos no hardware real. Mas eu gosto bastante da direção: o modelo vai ficando cada vez menor, o chip vai sendo cada vez mais robusto; e a camada intermediária na nuvem vai ficando cada vez mais fina.