O custo real do bate-papo: por que o ChatGPT é uma conversa de US$ 250 milhões
Vamos falar de números – grandes. Quão grande? Experimente $ 700.000 por dia. É isso que custa manter o ChatGPT funcionando. 🤑
De acordo com um relatório da SemiAnalysis, a OpenAI gasta cerca de US$ 694.444 diariamente neste chatbot.
E se você não é fã de matemática, deixe-me explicar: são impressionantes US$ 250 milhões por ano. O culpado? Chips que consomem muita energia.
Para ser mais técnico, o ChatGPT opera em cerca de 3.617 servidores HGX A100, que totalizam até 28.936 GPUs. Estas não são suas GPUs de jogos comuns; essas são feras de alta octanagem e centradas no desempenho.
Cada consulta feita no ChatGPT custa cerca de 0,36 centavos. Pode não parecer muito, mas multiplique por milhões de usuários e começa a fazer sentido. Ou centavos, se preferir.
Agora, esses dados são pré-GPT-4. Portanto, a esta altura, os custos operacionais provavelmente subiram ainda mais. E aqui vai uma ideia: se as GPUs são tão caras, qual é a estratégia para o futuro?
Entra a Microsoft – o maior investidor da OpenAI. Eles estão desenvolvendo seus próprios chips para reduzir a dependência das caras GPUs da Nvidia.
Mas não perca toda a esperança. A empresa de investimentos ARK tem uma fresta de esperança para nós. De acordo com a Lei dos Custos de Wright, o preço de execução de modelos de IA como o ChatGPT despencará à medida que a tecnologia avança.
Esperemos que essa previsão se confirme porque, nesse ritmo, precisaremos de uma capa de super-herói financeiro para o ChatGPT. 🦸♂️
Então, da próxima vez que você pedir ao ChatGPT para escrever um soneto ou resolver uma equação, lembre-se: alguém, em algum lugar, está pagando um bom dinheiro por aquela poesia computacional. 🤔
