Uma caixinha silenciosa, com 512 GB de memória, capaz de alojar um modelo de 670 mil milhões de parâmetros, e que consome menos de 200 watts. Este ano, a Apple retirou essa configuração das prateleiras.
E não disse uma palavra ao fazê-lo. Cortou a configuração de topo de 512 GB para 256 GB, e foi só isso que sobrou em stock. Os revendedores venderam as unidades restantes com uma sobretaxa; houve quem pedisse 20 mil dólares. É isso.
Fiquei a pensar nisso a noite toda. O preço é só uma parte da história. Nesta ronda da corrida ao hardware de IA, o que importa nem sequer é a velocidade de cálculo: primeiro, é preciso ver se cabe.
Um modelo de 670 mil milhões de parâmetros, quantizado para 4 bits, ocupa 448 GB só em pesos. Esses 448 GB têm de ficar na camada de memória mais próxima das unidades de cálculo. Ser um pouco mais lento ainda se aguenta. Não caber significa uma linha de erro. A sério. Uma linha. E depois não acontece mais nada.
A placa gráfica de consumo mais cara da NVIDIA tem 32 GB de memória de vídeo. Não há preço que resolva isso. Para chegar aos 448 GB, seriam precisas oito placas. Depois de calcular cada camada, é preciso voltar atrás para ir buscar a seguinte; tudo fica bloqueado naquele barramento, de um lado para o outro. Por muitas placas que se juntem, ficam todas à espera. É um desperdício, o contador da eletricidade dispara e o tempo perde-se todo em filas. Há testes que mostram que, assim, o sistema nem chega a dois tokens por segundo, consumindo mais de 400 watts. Esta caixinha chega aos 17 ou 18 por segundo e consome menos de 200 watts.
A velocidade vem depois. A primeira questão é se sequer consegue começar a trabalhar.
Claro que também tem um ponto fraco. Se lhe deres um documento longo, com 16 mil caracteres, tens de esperar dez minutos pela primeira palavra. Adivinha porque é tão lento. A leitura de documentos longos depende totalmente da largura de banda da memória, que não consegue acompanhar. Numa conversa curta, não há problema: começa a responder em menos de meio minuto. Por isso, serve para tarefas em que é preciso alojar modelos grandes; trabalho com muitas solicitações em simultâneo não é para ela.
Então porque é que a retiraram? Por causa da memória.
Produzir 1 GB de HBM consome uma área de wafer equivalente à necessária para produzir 3 GB de DDR5. A margem bruta da HBM é de 60%; a da memória de consumo, de 20% a 30%. Três fabricantes controlam 95% da produção mundial, e a capacidade está a ser deslocada a toda a velocidade para a HBM. Este ano, a capacidade mundial de wafers DRAM cresceu apenas 1%. Um por cento. Não chega nem para abrir o apetite.
O resultado vê-se nos preços. Um módulo DDR4 de 16 GB custava 3,20 dólares no final de 2024; no final do ano passado, custava 62 dólares. Quem armazenou memória naquela altura está agora a rir-se. Os preços contratuais da memória para servidores subiram mais 50% no segundo trimestre deste ano. Como é que não haviam de subir? A HP diz que, há um ano, a memória representava 15% a 18% do custo dos materiais de um portátil; agora representa 35%. A pequena máquina da NVIDIA passou de 3.999 para 4.699 dólares. O aumento deve-se à memória, pouco tem a ver com o chip.
Muita gente pensa que esta vaga só afeta os centros de dados. Na verdade, já está a aparecer na fatura do teu próximo computador e do teu próximo telemóvel. Só ainda não chegou pelo correio.
Naqueles anos da mineração com placas gráficas, já pagámos uma vez o preço de esbarrar no mesmo limite.
O Ethereum Classic ainda usa o algoritmo de então. Tem um ficheiro chamado DAG, que cresce a cada dezenas de milhares de blocos e tem de caber inteiro na memória de vídeo. Se não couber, a máquina de mineração devolve logo o erro «Allocation failed», que quer dizer «não cabe». A 1 de outubro deste ano, o ficheiro chegou aos 4,63 mil milhões de bytes. As placas de 4 GB já não chegavam há muito; 5 GB era o mínimo para começar.
Havia muitas placas de 4 GB com um poder de cálculo nada mau. Foram condenadas à morte pela capacidade. Na altura, muita gente não se conformava e achava que, com mais otimizações, ainda dava para minerar. Já não havia margem para otimizar. O tamanho do ficheiro não tinha nada que ver com otimização. Simplesmente, não cabia.
A mesma barreira, seis anos depois, chegou ao mundo da IA. Desta vez, o que encareceu tem outro nome: memória.
A promessa vendida pelas redes de computação distribuída nos últimos dois anos é que, juntando placas gráficas ociosas, se consegue algo mais barato do que a cloud. Isso só é verdade até certo ponto. Nem sequer chega a metade. O que se consegue juntar é o número de placas, não a capacidade de cada uma. Se empilharmos cem placas de 24 GB, será que conseguimos alojar aquele modelo de 448 GB? Não. O tipo de trabalho que estas redes conseguem aceitar tem um limite: a escala fica condicionada pela memória de vídeo de cada placa. Mais placas não significa, de qualquer maneira, que o modelo caiba.
Aposto que, no próximo ano, será ainda mais difícil correr modelos localmente. A nova capacidade de produção dos fabricantes de memória só começará a aumentar significativamente em 2028. Durante estes dois anos, quem tiver capacidade de memória é que manda.
A Apple ainda não disse uma palavra sobre a possibilidade de voltar a oferecer 512 GB na próxima geração. Não há confirmação. Mesmo nenhuma.
Se vais comprar uma máquina para correr modelos, olha primeiro para a memória. Deixa o poder de cálculo para depois. Não invertas a ordem. Caso contrário, o dinheiro que investiste terá sido em vão.
$BTC $ETC $TAO
#AI算力 #以太坊经典 #memória
E não disse uma palavra ao fazê-lo. Cortou a configuração de topo de 512 GB para 256 GB, e foi só isso que sobrou em stock. Os revendedores venderam as unidades restantes com uma sobretaxa; houve quem pedisse 20 mil dólares. É isso.
Fiquei a pensar nisso a noite toda. O preço é só uma parte da história. Nesta ronda da corrida ao hardware de IA, o que importa nem sequer é a velocidade de cálculo: primeiro, é preciso ver se cabe.
Um modelo de 670 mil milhões de parâmetros, quantizado para 4 bits, ocupa 448 GB só em pesos. Esses 448 GB têm de ficar na camada de memória mais próxima das unidades de cálculo. Ser um pouco mais lento ainda se aguenta. Não caber significa uma linha de erro. A sério. Uma linha. E depois não acontece mais nada.
A placa gráfica de consumo mais cara da NVIDIA tem 32 GB de memória de vídeo. Não há preço que resolva isso. Para chegar aos 448 GB, seriam precisas oito placas. Depois de calcular cada camada, é preciso voltar atrás para ir buscar a seguinte; tudo fica bloqueado naquele barramento, de um lado para o outro. Por muitas placas que se juntem, ficam todas à espera. É um desperdício, o contador da eletricidade dispara e o tempo perde-se todo em filas. Há testes que mostram que, assim, o sistema nem chega a dois tokens por segundo, consumindo mais de 400 watts. Esta caixinha chega aos 17 ou 18 por segundo e consome menos de 200 watts.
A velocidade vem depois. A primeira questão é se sequer consegue começar a trabalhar.
Claro que também tem um ponto fraco. Se lhe deres um documento longo, com 16 mil caracteres, tens de esperar dez minutos pela primeira palavra. Adivinha porque é tão lento. A leitura de documentos longos depende totalmente da largura de banda da memória, que não consegue acompanhar. Numa conversa curta, não há problema: começa a responder em menos de meio minuto. Por isso, serve para tarefas em que é preciso alojar modelos grandes; trabalho com muitas solicitações em simultâneo não é para ela.
Então porque é que a retiraram? Por causa da memória.
Produzir 1 GB de HBM consome uma área de wafer equivalente à necessária para produzir 3 GB de DDR5. A margem bruta da HBM é de 60%; a da memória de consumo, de 20% a 30%. Três fabricantes controlam 95% da produção mundial, e a capacidade está a ser deslocada a toda a velocidade para a HBM. Este ano, a capacidade mundial de wafers DRAM cresceu apenas 1%. Um por cento. Não chega nem para abrir o apetite.
O resultado vê-se nos preços. Um módulo DDR4 de 16 GB custava 3,20 dólares no final de 2024; no final do ano passado, custava 62 dólares. Quem armazenou memória naquela altura está agora a rir-se. Os preços contratuais da memória para servidores subiram mais 50% no segundo trimestre deste ano. Como é que não haviam de subir? A HP diz que, há um ano, a memória representava 15% a 18% do custo dos materiais de um portátil; agora representa 35%. A pequena máquina da NVIDIA passou de 3.999 para 4.699 dólares. O aumento deve-se à memória, pouco tem a ver com o chip.
Muita gente pensa que esta vaga só afeta os centros de dados. Na verdade, já está a aparecer na fatura do teu próximo computador e do teu próximo telemóvel. Só ainda não chegou pelo correio.
Naqueles anos da mineração com placas gráficas, já pagámos uma vez o preço de esbarrar no mesmo limite.
O Ethereum Classic ainda usa o algoritmo de então. Tem um ficheiro chamado DAG, que cresce a cada dezenas de milhares de blocos e tem de caber inteiro na memória de vídeo. Se não couber, a máquina de mineração devolve logo o erro «Allocation failed», que quer dizer «não cabe». A 1 de outubro deste ano, o ficheiro chegou aos 4,63 mil milhões de bytes. As placas de 4 GB já não chegavam há muito; 5 GB era o mínimo para começar.
Havia muitas placas de 4 GB com um poder de cálculo nada mau. Foram condenadas à morte pela capacidade. Na altura, muita gente não se conformava e achava que, com mais otimizações, ainda dava para minerar. Já não havia margem para otimizar. O tamanho do ficheiro não tinha nada que ver com otimização. Simplesmente, não cabia.
A mesma barreira, seis anos depois, chegou ao mundo da IA. Desta vez, o que encareceu tem outro nome: memória.
A promessa vendida pelas redes de computação distribuída nos últimos dois anos é que, juntando placas gráficas ociosas, se consegue algo mais barato do que a cloud. Isso só é verdade até certo ponto. Nem sequer chega a metade. O que se consegue juntar é o número de placas, não a capacidade de cada uma. Se empilharmos cem placas de 24 GB, será que conseguimos alojar aquele modelo de 448 GB? Não. O tipo de trabalho que estas redes conseguem aceitar tem um limite: a escala fica condicionada pela memória de vídeo de cada placa. Mais placas não significa, de qualquer maneira, que o modelo caiba.
Aposto que, no próximo ano, será ainda mais difícil correr modelos localmente. A nova capacidade de produção dos fabricantes de memória só começará a aumentar significativamente em 2028. Durante estes dois anos, quem tiver capacidade de memória é que manda.
A Apple ainda não disse uma palavra sobre a possibilidade de voltar a oferecer 512 GB na próxima geração. Não há confirmação. Mesmo nenhuma.
Se vais comprar uma máquina para correr modelos, olha primeiro para a memória. Deixa o poder de cálculo para depois. Não invertas a ordem. Caso contrário, o dinheiro que investiste terá sido em vão.
$BTC $ETC $TAO
#AI算力 #以太坊经典 #memória