Principaux points à retenir :

• Il est difficile d’ignorer la fascination croissante pour l’intelligence artificielle (IA) et l’enthousiasme suscité par sa synergie potentielle avec le Web3. Néanmoins, la réalité actuelle de cette intégration naissante révèle un décalage entre les besoins en infrastructure de l’IA et les cadres blockchain existants.

• Dans cette série, nous explorerons la relation entre l'IA et le Web3, les défis, les opportunités et les applications verticales du Web3.

• Cette première partie de la série plonge dans les développements de l'infrastructure Web3 pour l'IA, les défis actuels en matière d'exigences informatiques et les domaines d'opportunités.

L’intelligence artificielle (IA) et la technologie blockchain sont deux des technologies les plus innovantes qui ont captivé l’imagination du public au cours de la dernière décennie. Les développements de l’IA dans le Web2 sont incontestables, comme en témoigne le nombre croissant d’investissements réalisés cette année par les capital-risqueurs. D’Inflection AI, qui a levé 1,3 milliard de dollars en juin 2023 avec des investissements de Microsoft et Nvidia, au concurrent d’OpenAI, Anthropic, qui a levé 1,25 milliard de dollars auprès d’Amazon en septembre 2023.

Cependant, le cas d’usage et l’intersection du Web3 restent sceptiques. Le Web3 joue-t-il un rôle dans le développement de l’IA ? Si oui, comment et pourquoi avons-nous besoin de la blockchain dans l’IA ? L’un des discours que nous entendons est que le Web3 a le potentiel de révolutionner les relations productives, tandis que l’IA a le pouvoir de transformer la productivité elle-même. Cependant, réunir ces technologies s’avère complexe, révélant des défis et des opportunités en termes d’exigences en matière d’infrastructure.

Infrastructures d'IA et crise du GPU

Le principal obstacle que nous observons actuellement dans l’IA est le manque de ressources GPU. Les modèles de langage volumineux (LLM) tels que GPT-3.5 d’OpenAI ont permis de débloquer la première application phare que nous voyons aujourd’hui, ChatGPT. C’est l’application la plus rapide à atteindre 100 millions d’utilisateurs actifs mensuels en 6 semaines, comparée à YouTube et Facebook qui ont mis 4 ans. Cela a ouvert les vannes de nouvelles applications exploitant les modèles LLM, quelques exemples étant Midjourney construit sur StableLM de Stable Diffusion, et PaLM2 alimentant Bard, API, MakerSuite et Workspaces de Google.

L'apprentissage profond est un processus long et gourmand en calculs à grande échelle : plus les LLM ont de paramètres, plus il faut de mémoire GPU pour fonctionner. Chaque paramètre du modèle est stocké dans la mémoire GPU et le modèle doit charger ces paramètres en mémoire pendant l'inférence. Si la taille du modèle dépasse la mémoire GPU disponible, c'est le moment où la taille du modèle dépasse la mémoire GPU disponible et le modèle ML cesse de fonctionner. Les principaux acteurs comme OpenAI connaissent également des pénuries de GPU, ce qui entraîne des difficultés pour déployer ses modèles multimodaux avec des modèles de longueur de séquence plus longue (8 k contre 32 k). Avec d'importantes pénuries de puces d'approvisionnement, les applications à grande échelle ont atteint le seuil de ce qui est possible avec les LLM, laissant les startups d'IA en compétition pour la puissance du GPU afin d'obtenir l'avantage du premier entrant.

Solutions GPU : approches centralisées et décentralisées

À court terme, des solutions centralisées comme la sortie en août 2023 de tensorRT-LLM par Nvidia, offrant une inférence optimisée et des performances accrues, et l'anticipation du lancement des Nvidia H200 au deuxième trimestre 2024 devraient résoudre les contraintes liées aux GPU. En outre, les sociétés minières traditionnelles comme CoreWeave et Lambda Labs s'orientent vers la fourniture de cloud computing axé sur les GPU sur la base de frais de location allant de 2 à 2,25 dollars/heure pour les Nvidia H100. Les sociétés minières utilisent les ASIC (Application-Specific Integrated Circuit) car ils offrent des avantages significatifs par rapport aux ordinateurs à usage général ou aux GPU pour l'efficacité de l'exploitation minière grâce à une conception spécifique aux algorithmes et à des architectures matérielles spécialisées pour une puissance de hachage accrue.

Du côté du Web3, l'idée d'un marché de type Airbnb pour les GPU a été un concept populaire et plusieurs projets tentent de le faire. Les incitations dans la blockchain sont idéales pour amorcer les réseaux et constituent un mécanisme efficace pour attirer des participants ou des entités disposant de GPU inactifs de manière décentralisée. En règle générale, l'accès aux GPU implique la signature de contrats à long terme avec des fournisseurs de cloud et les applications n'utilisent pas nécessairement les GPU pendant toute la durée du contrat.

Une autre approche, appelée Petals, consiste à diviser un modèle LLM en plusieurs couches hébergées sur différents serveurs, à l’image du concept de sharding. Elle a été développée dans le cadre de la collaboration BigScience par des ingénieurs et des chercheurs de Hugging Face, de l’Université de Washington et de Yandex, pour n’en citer que quelques-uns. Tout utilisateur peut se connecter au réseau de manière décentralisée en tant que client et appliquer le modèle à ses données.

Opportunités pour les applications d'infrastructure AI X Web3

Bien qu’il existe encore quelques inconvénients, l’infrastructure Web3 a le potentiel de relever les défis posés par l’intégration de l’IA et présente des opportunités de solutions innovantes, comme nous l’explorerons ci-dessous.

Réseaux informatiques d'IA décentralisés

Les réseaux informatiques décentralisés relient les individus ayant besoin de ressources informatiques à des systèmes possédant des capacités de calcul inutilisées. Ce modèle, dans lequel les individus et les organisations peuvent apporter leurs ressources inutilisées au réseau sans encourir de dépenses supplémentaires, permet au réseau de proposer des tarifs plus rentables par rapport aux fournisseurs centralisés.

Le rendu décentralisé des GPU, facilité par les réseaux peer-to-peer basés sur la blockchain, offre des possibilités pour faire évoluer la création de contenu 3D basée sur l'IA dans les jeux Web3. Cependant, un inconvénient majeur des réseaux informatiques décentralisés réside dans le ralentissement potentiel lors de la formation à l'apprentissage automatique en raison de la surcharge de communication entre les différents appareils informatiques.

Données d'IA décentralisées

Les données d'entraînement servent d'ensemble de données initial utilisé pour apprendre aux applications d'apprentissage automatique à reconnaître des modèles ou à répondre à des critères spécifiques. D'autre part, les données de test ou de validation sont utilisées pour évaluer la précision du modèle, et un ensemble de données distinct est nécessaire pour la validation car le modèle est déjà familiarisé avec les données d'entraînement.

Des efforts sont actuellement déployés pour créer des marchés pour les sources de données d'IA et l'étiquetage des données d'IA, où la blockchain sert de couche d'incitation pour les grandes entreprises et les institutions afin d'améliorer leur efficacité. Cependant, à leur stade de développement initial actuel, ces secteurs verticaux sont confrontés à des obstacles tels que la nécessité d'un examen humain et les préoccupations concernant les données activées par la blockchain.

Par exemple, il existe des réseaux de calcul SP spécialement conçus pour la formation de modèles ML. Les réseaux de calcul SP sont adaptés à des cas d'utilisation spécifiques, adoptant généralement une architecture qui consolide les ressources de calcul dans un pool unifié, ressemblant à un supercalculateur. Les réseaux de calcul SP déterminent le coût via un mécanisme de gaz ou un paramètre contrôlé par la communauté.

Invites décentralisées

Bien que la décentralisation totale des LLM présente des défis, des projets explorent des moyens de décentraliser les messages en encourageant les contributions de techniques autodidactes. Cette approche incite les créateurs à générer du contenu, en fournissant des structures d'incitation économique à davantage de participants dans le paysage.

Parmi les premiers exemples, on peut citer les plateformes de chatbots alimentées par l'IA qui ont tokenisé les incitations pour les créateurs de contenu et les créateurs de modèles d'IA à former des chatbots, qui peuvent ensuite devenir des NFT négociables, accordant l'accès aux données autorisées par l'utilisateur pour la formation et le réglage fin du modèle. D'autre part, les marchés d'invites décentralisés visent à inciter les créateurs d'invites en permettant la propriété de leurs données et de leurs invites à être échangées sur le marché.

Apprentissage automatique à connaissance nulle (ZKML)

2023 a véritablement été l'année au cours de laquelle les LLM ont démontré leur puissance. Pour que les projets blockchain exploitent pleinement le potentiel de l'IA, il est essentiel que ces modèles soient exécutés sur la chaîne. Cependant, les défis liés aux limites de gaz et aux coûts de calcul présentent toujours des complexités pour l'intégration de l'IA.

Et si les LLM pouvaient être exécutés hors chaîne et que leurs résultats de sortie pouvaient être utilisés pour orienter les décisions et les activités sur la chaîne, tout en générant la preuve que ces décisions sont prises par le modèle d'IA ML et non par des sorties aléatoires ? C'est essentiellement ce qu'est ZKML. Avec le lancement prochain de GPT-5 d'OpenAI et de Llama3 de Meta, les LLM deviennent plus grands et dotés de capacités améliorées. L'objectif principal de ZKML est de minimiser la taille des preuves, ce qui en fait un choix naturel pour combiner les preuves ZK avec la technologie de l'IA. Par exemple, les preuves ZK pourraient être appliquées pour compresser des modèles dans une inférence ou une formation ML décentralisée par laquelle les utilisateurs contribuent à la formation en soumettant des données à un modèle public sur un réseau en chaîne.

Nous en sommes actuellement aux prémices de ce qui est pratique sur le plan informatique pour vérifier à l'aide de preuves à connaissance nulle sur la chaîne. Cependant, les progrès des algorithmes élargissent le champ de ce qui peut être réalisé avec des cas d'utilisation explorés tels que l'intégrité des modèles, dans lesquels les preuves ZK pourraient être utilisées pour prouver que le même algorithme ML est exécuté sur les données de différents utilisateurs de la même manière afin d'éviter les biais. De même, avec l'essor des portraits générés par algorithme et des deepfakes, les preuves ZK pourraient être appliquées à la preuve de personnalité pour vérifier une personne unique sans compromettre les informations privées d'un individu.

En conclusion, l’intégration de l’infrastructure Web3 et de l’IA représente une frontière passionnante de l’innovation technologique, tout en stimulant la contribution grâce à des incitations tokenisées. Alors que le Web2 a connu des avancées significatives dans l’IA, l’intersection du Web3 et de l’IA est toujours un sujet d’exploration.

À mesure que nous progressons, la synergie entre le Web3 et l’IA recèle un grand potentiel, promettant de remodeler le paysage technologique et la manière dont nous abordons l’infrastructure de l’IA. Restez à l’écoute pour la prochaine partie de la série AI X Web3 où nous nous plongerons dans les cas d’utilisation de l’IA dans les jeux Web3.

Avis de non-responsabilité : Le contenu de cet article a été préparé uniquement à des fins d'information et ne doit pas servir de base à une prise de décision d'investissement ni être interprété comme une recommandation de s'engager dans des transactions d'investissement ou être considéré comme suggérant une stratégie d'investissement concernant tout instrument financier ou ses émetteurs.