Punti principali:

• Il crescente fascino per l'intelligenza artificiale (IA) e l'entusiasmo per la sua potenziale sinergia con Web3 sono difficili da ignorare. Tuttavia, l'attuale realtà di questa nascente integrazione rivela una disconnessione tra le esigenze infrastrutturali dell'IA e gli attuali framework blockchain.

• In questa serie esploreremo la relazione tra AI e Web3, le sfide, le opportunità e le applicazioni verticali in Web3.

• Questa prima parte della serie approfondisce gli sviluppi dell'infrastruttura Web3 per l'intelligenza artificiale, le attuali sfide dei requisiti computazionali e le aree di opportunità.

L'intelligenza artificiale (IA) e la tecnologia blockchain sono due delle tecnologie più innovative che hanno catturato l'immaginario pubblico nell'ultimo decennio. Gli sviluppi dell'IA in Web2 sono stati indiscutibili, come si è visto con il numero crescente di investimenti effettuati quest'anno dai VC. Dal round di finanziamento da 1,3 miliardi di dollari di Inflection AI a giugno 2023 con investimenti da Microsoft e Nvidia, al concorrente di OpenAI, Anthropic, che ha raccolto 1,25 miliardi di dollari da Amazon a settembre 2023.

Tuttavia, il caso d'uso e l'intersezione di Web3 sono ancora scettici. Web3 gioca un ruolo nello sviluppo dell'IA? Se sì, come e perché abbiamo bisogno della blockchain nell'IA? Una narrazione che stiamo vedendo è che Web3 ha il potenziale per rivoluzionare le relazioni produttive, mentre l'IA ha il potere di trasformare la produttività stessa. Tuttavia, riunire queste tecnologie si sta rivelando complesso, rivelando sfide e opportunità per i requisiti infrastrutturali.

Infrastruttura AI e GPU Crunch

Il principale collo di bottiglia che vediamo attualmente nell'AI è il crunch della GPU. I Large Language Model (LLM) come GPT-3.5 di OpenAI hanno sbloccato la prima killer app che vediamo oggi, ChatGPT. È l'applicazione più veloce a raggiungere 100 milioni di MAU in 6 settimane rispetto a YouTube e Facebook che hanno impiegato 4 anni. Ciò ha aperto le porte a nuove applicazioni che sfruttano i modelli LLM, alcuni esempi sono Midjourney basato su StableLM di Stable Diffusion e PaLM2 che alimenta Bard, API, MakerSuite e Workspace di Google.

Il deep learning è un processo lungo e computazionalmente intensivo su larga scala: più parametri hanno gli LLM, più memoria GPU è necessaria per funzionare. Ogni parametro nel modello è archiviato nella memoria GPU e il modello deve caricare questi parametri nella memoria durante l'inferenza. Se la dimensione del modello supera la memoria GPU disponibile, è il punto in cui la dimensione del modello supera la memoria GPU disponibile e il modello ML smette di funzionare. Anche i principali attori come OpenAI stanno riscontrando carenze di GPU, con conseguenti difficoltà nell'implementazione dei suoi modelli multimodali con modelli di lunghezza di sequenza più lunga (8k VS 32k). Con significative carenze di chip di fornitura, le applicazioni su larga scala hanno raggiunto la soglia di ciò che è possibile con gli LLM, lasciando le startup di intelligenza artificiale a competere per la potenza GPU per ottenere il vantaggio del primo arrivato.

Soluzioni GPU: approcci centralizzati e decentralizzati

Nel breve termine, si prevede che soluzioni centralizzate come il rilascio di tensorRT-LLM di Nvidia nell'agosto 2023, che offre inferenza ottimizzata e prestazioni migliorate, e l'anticipazione del lancio di Nvidia H200 nel secondo trimestre del 2024, risolveranno i vincoli della GPU. Inoltre, le tradizionali società di mining come CoreWeave e Lambda Labs si stanno orientando verso la fornitura di cloud computing incentrato sulla GPU basato su tariffe di noleggio comprese tra $ 2 e $ 2,25/ora per Nvidia H100. Le società di mining utilizzano ASIC (Application-Specific Integrated Circuit) in quanto forniscono vantaggi significativi rispetto ai computer o alle GPU per uso generale per l'efficienza del mining attraverso una progettazione specifica dell'algoritmo e architetture hardware specializzate per una maggiore potenza di hash.

Sul lato Web3, l'idea di un mercato di tipo Airbnb per le GPU è stata un concetto popolare e ci sono un paio di progetti che tentano di farlo. Gli incentivi nella blockchain sono ideali per il bootstrapping delle reti ed è un meccanismo efficace per attrarre partecipanti o entità con GPU inattive in modo decentralizzato. In genere, ottenere l'accesso alle GPU comporta la firma di contratti a lungo termine con i provider cloud e le applicazioni potrebbero non utilizzare necessariamente le GPU per tutto il periodo contrattuale.

Un altro approccio chiamato Petals prevede la suddivisione di un modello LLM in diversi livelli ospitati su server diversi, in modo simile al concetto di sharding. È stato sviluppato come parte della collaborazione BigScience da ingegneri e ricercatori di Hugging Face, University of Washington e Yandex, per citarne alcuni. Qualsiasi utente può connettersi alla rete in modo decentralizzato come client e applicare il modello ai propri dati.

Opportunità per applicazioni AI X Web3 Infrastructure

Sebbene vi siano ancora alcuni svantaggi, l'infrastruttura Web3 ha il potenziale per affrontare le sfide poste dall'integrazione dell'intelligenza artificiale e presenta opportunità per soluzioni innovative, come analizzeremo di seguito.

Reti di calcolo AI decentralizzate

Le reti di elaborazione decentralizzate collegano gli individui che necessitano di risorse di elaborazione con sistemi che possiedono capacità di elaborazione inutilizzate. Questo modello, in cui individui e organizzazioni possono contribuire con le loro risorse inutilizzate alla rete senza sostenere spese aggiuntive, consente alla rete di fornire prezzi più convenienti rispetto ai provider centralizzati.

Esistono possibilità nel rendering GPU decentralizzato facilitato da reti peer-to-peer basate su blockchain per scalare la creazione di contenuti 3D basati su AI nei giochi Web3. Tuttavia, uno svantaggio significativo per le reti di elaborazione decentralizzate risiede nel potenziale rallentamento durante l'addestramento di apprendimento automatico dovuto al sovraccarico di comunicazione tra diversi dispositivi di elaborazione.

Dati AI decentralizzati

I dati di training servono come dataset iniziale utilizzato per insegnare alle applicazioni di machine learning a riconoscere pattern o soddisfare criteri specifici. D'altro canto, i dati di testing o convalida vengono impiegati per valutare l'accuratezza del modello e un dataset separato è necessario per la convalida poiché il modello ha già familiarità con i dati di training.

Sono in corso sforzi per creare mercati per fonti di dati AI ed etichettatura dei dati AI in cui la blockchain funge da livello di incentivo per grandi aziende e istituzioni per migliorare l'efficienza. Tuttavia, nella sua attuale fase iniziale di sviluppo, queste verticali affrontano ostacoli come la necessità di revisione umana e preoccupazioni relative ai dati abilitati dalla blockchain.

Ad esempio, ci sono reti di calcolo SP progettate specificamente per l'addestramento del modello ML. Le reti di calcolo SP sono personalizzate per casi d'uso specifici, in genere adottando un'architettura che consolida le risorse di calcolo in un pool unificato, simile a un supercomputer. Le reti di calcolo SP determinano il costo tramite un meccanismo a gas o un parametro controllato dalla comunità.

Prompt decentralizzati

Sebbene la completa decentralizzazione degli LLM presenti delle sfide, i progetti stanno esplorando modi per decentralizzare i prompt incoraggiando i contributi di tecniche auto-addestrate. Questo approccio incentiva i creatori a generare contenuti, fornendo strutture di incentivi economici per più partecipanti nel panorama.

I primi esempi includono piattaforme di chatbot basate sull'intelligenza artificiale che hanno incentivi tokenizzati per i creatori di contenuti e i creatori di modelli di intelligenza artificiale per addestrare i chatbot, che possono successivamente diventare NFT negoziabili, garantendo l'accesso ai dati autorizzati dall'utente per l'addestramento e la messa a punto del modello. D'altro canto, i marketplace di prompt decentralizzati mirano a incentivare i creatori di prompt consentendo la proprietà dei loro dati e dei prompt da scambiare sul marketplace.

Apprendimento automatico a conoscenza zero (ZKML)

Il 2023 è stato davvero l'anno in cui gli LLM hanno dimostrato la loro potenza. Affinché i progetti blockchain realizzino il pieno potenziale dell'IA, è essenziale che questi modelli vengano eseguiti on-chain. Tuttavia, le sfide dei limiti del gas e dei costi computazionali presentano ancora complessità per l'integrazione dell'IA.

Cosa succederebbe se gli LLM potessero essere eseguiti off-chain e i loro risultati di output utilizzati per guidare decisioni e attività on-chain, il tutto generando la prova che queste decisioni sono prese dal modello AI ML e non da output casuali? Questo è essenzialmente ciò che è ZKML. Con l'imminente lancio di GPT-5 di OpenAI e Llama3 di Meta, gli LLM stanno diventando più grandi con capacità migliorate. L'obiettivo principale di ZKML è ridurre al minimo le dimensioni delle prove, il che lo rende una scelta naturale per combinare le prove ZK con la tecnologia AI. Ad esempio, le prove ZK potrebbero essere applicate per comprimere modelli in inferenza ML decentralizzata o formazione tramite cui gli utenti contribuiscono alla formazione inviando dati a un modello pubblico su una rete on-chain.

Siamo attualmente nelle fasi iniziali di ciò che è computazionalmente pratico verificare utilizzando prove a conoscenza zero on-chain. Tuttavia, i progressi negli algoritmi stanno ampliando la portata di ciò che può essere ottenuto con casi d'uso esplorati come Model Integrity, per cui le prove ZK potrebbero essere utilizzate per dimostrare che lo stesso algoritmo ML viene eseguito sui dati di utenti diversi allo stesso modo per evitare pregiudizi. Allo stesso modo, con l'aumento dei ritratti generati algoritmicamente e dei deepfake, le prove ZK potrebbero essere applicate nella Proof of Personhood per verificare una persona unica senza compromettere le informazioni private di un individuo.

In conclusione, l'integrazione dell'infrastruttura Web3 e dell'intelligenza artificiale rappresenta un'entusiasmante frontiera dell'innovazione tecnologica, aumentando al contempo il contributo attraverso incentivi tokenizzati. Mentre Web2 ha assistito a significativi progressi nell'intelligenza artificiale, l'intersezione tra Web3 e intelligenza artificiale è ancora oggetto di esplorazione.

Mentre andiamo avanti, la sinergia tra Web3 e AI ha un grande potenziale, promettendo di rimodellare il panorama della tecnologia e il modo in cui ci avviciniamo all'infrastruttura AI. Restate sintonizzati per la prossima parte della serie AI X Web3 in cui ci immergiamo nei casi d'uso AI nel gaming Web3.

Disclaimer: Il contenuto di questo articolo è stato preparato esclusivamente a scopo informativo e non deve costituire la base per prendere decisioni di investimento, né essere interpretato come una raccomandazione a intraprendere transazioni di investimento, né suggerire una strategia di investimento in relazione a strumenti finanziari o ai relativi emittenti.