Principais conclusões:

• É difícil ignorar o crescente fascínio pela inteligência artificial (IA) e o entusiasmo pela sua potencial sinergia com a Web3. No entanto, a realidade atual desta integração nascente revela uma desconexão entre as necessidades de infraestrutura da IA ​​e as estruturas blockchain existentes.

• Nesta série, exploraremos a relação entre IA e Web3, os desafios, oportunidades e aplicações verticais na Web3.

• Esta primeira parte da série se aprofunda nos desenvolvimentos da infraestrutura Web3 para IA, nos desafios atuais de requisitos computacionais e nas áreas de oportunidades.

A Inteligência Artificial (IA) e a tecnologia blockchain são duas das tecnologias mais inovadoras que capturaram a imaginação do público na última década. Os desenvolvimentos da IA ​​na Web2 têm sido inquestionáveis, como visto com o número acelerado de investimentos feitos este ano por VCs. Da rodada de financiamento de US$ 1,3 bilhão da Inflection AI em junho de 2023 com investimentos da Microsoft e Nvidia, ao concorrente da OpenAI, Anthropic, levantando US$ 1,25 bilhão da Amazon em setembro de 2023.

No entanto, o caso de uso e a intersecção da Web3 ainda são céticos. A Web3 desempenha um papel no desenvolvimento da IA? Se sim, como e por que precisamos de blockchain na IA? Uma narrativa que estamos vendo é que a Web3 tem o potencial de revolucionar relacionamentos produtivos, enquanto a IA tem o poder de transformar a produtividade em si. No entanto, reunir essas tecnologias está se mostrando complexo, revelando desafios e oportunidades para requisitos de infraestrutura.

Infraestrutura de IA e a crise da GPU

O principal gargalo que vemos atualmente na IA é a crise da GPU. Large Language Models (LLMs) como o GPT-3.5 da OpenAI desbloquearam o primeiro aplicativo matador que vemos hoje, o ChatGPT. É o aplicativo mais rápido a atingir 100 milhões de MAU em 6 semanas, em comparação com o YouTube e o Facebook, que levaram 4 anos. Isso abriu as comportas de novos aplicativos alavancando modelos LLM, alguns exemplos sendo o Midjourney construído no StableLM da Stable Diffusion e o PaLM2 alimentando o Bard, APIs, MakerSuite e Workspaces do Google.

O aprendizado profundo é um processo longo e computacionalmente intensivo em grande escala - quanto mais parâmetros os LLMs têm, mais memória de GPU é necessária para operar. Cada parâmetro no modelo é armazenado na memória da GPU e o modelo precisa carregar esses parâmetros na memória durante a inferência. Se o tamanho do modelo exceder a memória da GPU disponível, é o ponto em que o tamanho do modelo ultrapassa a memória da GPU disponível e o modelo de ML para de funcionar. Os principais players como a OpenAI também estão enfrentando escassez de GPU, resultando em dificuldades na implantação de seus modelos multimodais com modelos de comprimento de sequência mais longo (8k VS 32k). Com escassez significativa de chips de fornecimento, os aplicativos em larga escala atingiram o limite do que é possível com LLMs, deixando as startups de IA competindo pelo poder da GPU para obter vantagem de pioneirismo.

Soluções de GPU: Abordagens centralizadas e descentralizadas

No curto prazo, soluções centralizadas como o lançamento do tensorRT-LLM da Nvidia em agosto de 2023, oferecendo inferência otimizada e desempenho aprimorado, e a antecipação do lançamento do Nvidia H200s no segundo trimestre de 2024 devem resolver as restrições de GPU. Além disso, empresas de mineração tradicionais como CoreWeave e Lambda Labs estão se voltando para o fornecimento de computação em nuvem focada em GPU com base em taxas de aluguel que variam de US$ 2 a US$ 2,25/hora para Nvidia H100s. As empresas de mineração utilizam ASIC (Application-Specific Integrated Circuit), pois fornecem vantagens significativas sobre computadores de uso geral ou GPUs para eficiência de mineração por meio de design específico de algoritmo e arquiteturas de hardware especializadas para maior poder de hash.

No lado da Web3, a ideia de um mercado do tipo Airbnb para GPUs tem sido um conceito popular e há alguns projetos tentando fazer isso. Incentivos em blockchain são ideais para bootstrapping de redes e é um mecanismo eficaz para atrair participantes ou entidades com GPUs ociosas de forma descentralizada. Normalmente, obter acesso a GPUs envolve assinar contratos de longo prazo com provedores de nuvem e os aplicativos podem não necessariamente utilizar as GPUs durante todo o período do contrato.

Outra abordagem chamada Petals envolve dividir um modelo LLM em várias camadas que são hospedadas em diferentes servidores, semelhante ao conceito de sharding. Foi desenvolvido como parte da colaboração BigScience por engenheiros e pesquisadores da Hugging Face, University of Washington e Yandex, para citar alguns. Qualquer usuário pode se conectar à rede de forma descentralizada como um cliente e aplicar o modelo aos seus dados.

Oportunidades para aplicações de infraestrutura AI X Web3

Embora ainda existam algumas desvantagens, a infraestrutura Web3 tem o potencial de enfrentar os desafios impostos pela integração de IA e apresenta oportunidades para soluções inovadoras, como exploraremos a seguir.

Redes de computação de IA descentralizadas

Redes de computação descentralizadas conectam indivíduos que precisam de recursos de computação com sistemas que possuem capacidades computacionais não utilizadas. Este modelo, onde indivíduos e organizações podem contribuir com seus recursos ociosos para a rede sem incorrer em despesas adicionais, permite que a rede forneça preços mais econômicos em contraste com provedores centralizados.

Há possibilidades na renderização de GPU descentralizada facilitada por redes peer-to-peer baseadas em blockchain para escalar a criação de conteúdo 3D com tecnologia de IA em jogos Web3. No entanto, uma desvantagem significativa para redes de computação descentralizadas está na potencial desaceleração durante o treinamento de aprendizado de máquina devido à sobrecarga de comunicação entre diversos dispositivos de computação.

Dados de IA descentralizados

Os dados de treinamento servem como o conjunto de dados inicial usado para ensinar aplicativos de aprendizado de máquina a reconhecer padrões ou atender a um critério específico. Por outro lado, dados de teste ou validação são empregados para avaliar a precisão do modelo, e um conjunto de dados separado é necessário para validação, pois o modelo já está familiarizado com os dados de treinamento.

Há esforços contínuos para criar mercados para fontes de dados de IA e rotulagem de dados de IA onde o blockchain serve como uma camada de incentivo para grandes empresas e instituições melhorarem a eficiência. No entanto, em seu atual estágio inicial de desenvolvimento, essas verticais enfrentam obstáculos como a necessidade de revisão humana e preocupações em torno de dados habilitados para blockchain.

Por exemplo, há redes de computação SP projetadas especificamente para treinamento de modelos de ML. As redes de computação SP são adaptadas para casos de uso específicos, geralmente adotando uma arquitetura que consolida recursos de computação em um pool unificado, semelhante a um supercomputador. As redes de computação SP determinam o custo por meio de um mecanismo de gás ou um parâmetro controlado pela comunidade.

Prompts descentralizados

Embora a descentralização total dos LLMs apresente desafios, os projetos estão explorando maneiras de descentralizar os prompts, incentivando contribuições de técnicas autotreinadas. Essa abordagem incentiva os criadores a gerar conteúdo, fornecendo estruturas de incentivo econômico para mais participantes no cenário.

Os primeiros exemplos incluem plataformas de chatbot alimentadas por IA que têm incentivos tokenizados para criadores de conteúdo e criadores de modelos de IA para treinar chatbots, que podem posteriormente se tornar NFTs negociáveis, concedendo acesso a dados com permissão do usuário para treinamento e ajuste fino do modelo. Por outro lado, os mercados de prompts descentralizados visam incentivar os criadores de prompts, permitindo que a propriedade de seus dados e prompts seja negociada no mercado.

Aprendizado de máquina de conhecimento zero (ZKML)

2023 foi realmente o ano em que os LLMs demonstraram seu poder. Para que os projetos de blockchain realizem todo o potencial da IA, é essencial que esses modelos sejam executados na cadeia. No entanto, os desafios dos limites de gás e custos computacionais ainda apresentam complexidades para a integração da IA.

E se os LLMs pudessem ser executados off-chain e seus resultados de saída usados ​​para conduzir decisões e atividades on-chain, tudo isso enquanto geram provas de que essas decisões são tomadas pelo modelo de IA de ML e não por saídas aleatórias? Isso é essencialmente o que o ZKML é. Com o próximo lançamento do GPT-5 da OpenAI e do Llama3 da Meta, os LLMs estão crescendo com recursos aprimorados. O objetivo principal do ZKML é minimizar o tamanho das provas, o que o torna um ajuste natural para combinar provas ZK com tecnologia de IA. Por exemplo, as provas ZK podem ser aplicadas para compactar modelos em inferência ou treinamento de ML descentralizado, pelo qual os usuários contribuem para o treinamento enviando dados para um modelo público em uma rede on-chain.

Atualmente, estamos nos estágios iniciais do que é computacionalmente prático para verificar usando provas de conhecimento zero on-chain. No entanto, os avanços em algoritmos estão ampliando o escopo do que pode ser alcançado com casos de uso sendo explorados, como Model Integrity, em que as provas ZK podem ser usadas para provar que o mesmo algoritmo de ML está sendo executado em dados de usuários diferentes da mesma maneira para evitar vieses. Da mesma forma, com o surgimento de retratos e deepfakes gerados algoritmicamente, as provas ZK podem ser aplicadas em Proof of Personhood para verificar uma pessoa única sem comprometer as informações privadas de um indivíduo.

Concluindo, a integração da infraestrutura Web3 e IA representa uma fronteira emocionante de inovação tecnológica, ao mesmo tempo em que impulsiona a contribuição por meio de incentivos tokenizados. Embora a Web2 tenha testemunhado avanços significativos em IA, a intersecção da Web3 e IA ainda é um assunto de exploração.

À medida que avançamos, a sinergia entre Web3 e IA tem grande potencial, prometendo remodelar o cenário da tecnologia e a maneira como abordamos a infraestrutura de IA. Fique ligado na próxima parte da série AI X Web3, onde mergulhamos em casos de uso de IA em jogos Web3.

Aviso Legal: O conteúdo deste artigo foi preparado apenas para fins informativos e não deve ser a base para a tomada de decisões de investimento nem ser interpretado como uma recomendação para a realização de transações de investimento ou como sugestão de uma estratégia de investimento em relação a quaisquer instrumentos financeiros ou seus emissores.