Nos últimos dois dias, tenho testado um framework de inferência de código aberto. Ao executar o mesmo modelo em uma placa gráfica de consumo e quantizá-lo para 4 bits, a velocidade triplicou e a qualidade caiu menos do que eu imaginava. Isso significa algo bastante prático: muitas tarefas que antes exigiam a nuvem agora podem ser executadas em uma única máquina. Quando a estrutura de custos muda, o formato dos produtos também muda.