Evan Conrad, CEO da San Francisco Compute, destaca uma ideia importante sobre a implantação de infraestrutura de IA: esqueça a proximidade dos usuários para cargas de trabalho de treinamento — instale os sistemas perto de fontes de energia.
Em trabalhos de treinamento que duram vários dias, o custo e a disponibilidade de eletricidade são mais importantes do que a latência. A aposta dele: veremos uma onda de clusters de GPUs com menos de 15 MW espalhados pelo mundo, onde quer que haja energia barata.
A exceção? Inferência em tempo real, como o processamento de vídeo/áudio ao vivo — essas aplicações ainda precisam estar próximas da borda para oferecer tempos de resposta abaixo de 100 ms. Treinamento = energia em primeiro lugar. Inferência de baixa latência = usuário em primeiro lugar. Cargas de trabalho diferentes, topologias diferentes.
Em trabalhos de treinamento que duram vários dias, o custo e a disponibilidade de eletricidade são mais importantes do que a latência. A aposta dele: veremos uma onda de clusters de GPUs com menos de 15 MW espalhados pelo mundo, onde quer que haja energia barata.
A exceção? Inferência em tempo real, como o processamento de vídeo/áudio ao vivo — essas aplicações ainda precisam estar próximas da borda para oferecer tempos de resposta abaixo de 100 ms. Treinamento = energia em primeiro lugar. Inferência de baixa latência = usuário em primeiro lugar. Cargas de trabalho diferentes, topologias diferentes.