Auteur : Golden Finance cryptonaitive

Le 12 juin 2023, Gensyn, le protocole de marché de puissance de calcul AGI basé sur la blockchain, a annoncé la finalisation d'un financement de série A de 43 millions de dollars américains, dirigé par a16z, avec la participation d'Eden Block, CoinFund, Galaxy, Protocol Labs, etc.

Quel genre de projet est Gensyn ? Pourquoi pouvez-vous obtenir d’énormes investissements de la part des meilleurs sociétés de capital-risque ? Golden Finance vous aidera à le comprendre dans un article.

a16z : Pourquoi vous avez dirigé le financement de série A de 43 millions de dollars de Gensyn

a16z a publié un article expliquant pourquoi il a dirigé le financement de série A de 43 millions de dollars de Gensyn. a16z a déclaré que les progrès récents de l'intelligence artificielle sont incroyables et ont le pouvoir de sauver le monde (voir le rapport précédent de Golden Finance « Article de 10 000 mots du fondateur d'a16z : Pourquoi l'IA va sauver le monde »). Mais la création de systèmes d’IA nécessite de déployer une plus grande puissance de calcul pour former et déduire les modèles les plus grands et les plus puissants d’aujourd’hui. Cela signifie que les grandes entreprises technologiques ont un avantage sur les startups dans la course à la valorisation de l’intelligence artificielle, grâce à un accès privilégié à la puissance de calcul et aux économies d’échelle des grands centres de données. Pour rivaliser sur un pied d’égalité, les startups doivent pouvoir utiliser à moindre coût leur propre puissance de calcul à grande échelle.

La blockchain est unique en tant que nouveau type d'ordinateur dans la mesure où les développeurs peuvent écrire du code avec des engagements fermes sur la manière dont le code se comportera à l'avenir. Ce composant sans autorisation de la blockchain pourrait créer un marché pour les acheteurs et les vendeurs de puissance de calcul – ou de tout autre type de ressource numérique comme les données ou les algorithmes – qui pourraient être échangés à l’échelle mondiale sans intermédiaires.

Gensyn est un protocole de marché de puissance de calcul AGI basé sur la blockchain qui connecte les développeurs (toute personne capable de former des modèles d'apprentissage automatique) avec des solveurs (toute personne souhaitant former des modèles d'apprentissage automatique avec leurs propres machines). Gensyn peut multiplier par 10 à 100 la puissance de calcul disponible pour l'apprentissage automatique en exploitant des appareils informatiques inactifs et à longue traîne compatibles avec l'apprentissage automatique dans le monde entier, tels que les petits centres de données, les PC de jeu personnels, les Mac M1 et M2 et même les smartphones. 

Problèmes auxquels est confrontée l’AGI (intelligence générale artificielle) : degré élevé de centralisation

Après près de six mois de développement, le marché reconnaît généralement qu'AGI est l'avenir. Cependant, l’industrie AGI semble actuellement fortement monopolisée. Les pays sont engagés dans une guerre commerciale et de talents entre la Chine et les États-Unis, et les entreprises se livrent à des jeux entre grandes entreprises technologiques (Microsoft, Google, Meta). Car les trois ressources clés de l’AGI (puissance de calcul, connaissances et données) sont actuellement très centralisées.

Puissance de calcul : des modèles de plus en plus volumineux et complexes nécessitent l'utilisation de processeurs haute puissance pour la formation. Entre pays : Dans la guerre des puces entre la Chine et les États-Unis, les États-Unis ont activement empêché la Chine d'obtenir des puces de haute technologie. Entre entreprises : Capacité de production insuffisante, les dernières puces IA de Nvidia sont toutes achetées par certains gros clients, et d'autres entreprises ne peuvent pas les acheter du tout. Sur la pile technologique : Certaines entreprises ont même créé leur propre matériel dédié au deep learning, comme le cluster TPU de Google. Ceux-ci fonctionnent mieux que les GPU standards pour le deep learning et ne sont pas à vendre, mais uniquement à louer.

Connaissance : De nombreuses percées publiques résultent de nouvelles architectures de grands modèles développées par les chercheurs, mais il existe une bataille autour de la propriété intellectuelle et des talents sous-jacents. Par exemple, les États-Unis ont attiré plus de 50 % des talents chinois en IA, et les grandes entreprises qui utilisent ces talents pour développer de grands modèles réduisent de plus en plus l'accessibilité de cette technologie ; les GPT-3.5 ou 4 d'OpenAI peuvent théoriquement être utilisés publiquement, mais il se trouve derrière une API et seul Microsoft a accès à son code source.

Données : les modèles d'apprentissage profond AGI nécessitent de grandes quantités de données, étiquetées et non étiquetées, et s'améliorent généralement à mesure que la quantité de données augmente. GPT-3 a été formé sur 300 milliards de mots. Les données étiquetées sont particulièrement importantes et les ensembles de données nécessaires à la formation de l'AGI sont concentrés entre les mains de certaines grandes entreprises. Voici un fait amusant : chaque fois que vous résolvez reCaptcha pour visiter un site Web, vous étiquetez les données d'entraînement pour améliorer Google Maps.

Difficultés du calcul AGI décentralisé

L’informatique décentralisée pourrait créer une base moins coûteuse et plus libre pour la recherche et le développement de l’intelligence artificielle. Mais l'AGI décentralisé a des problèmes de vérification du travail. Comment savez-vous qu'un tiers a effectué le calcul que vous avez demandé ?

Le problème de la preuve de travail comporte deux facteurs : la dépendance à l'égard de l'état et des dépenses de calcul élevées.

Dépendance à l'état : chaque couche d'un réseau neuronal est connectée à tous les nœuds de la couche qui la précède. Cela signifie qu’il nécessite l’état de la couche précédente. Pour aggraver les choses, tous les poids de chaque couche sont déterminés par le pas de temps précédent. Donc, si vous voulez vérifier que quelqu'un a entraîné un modèle - par exemple, en choisissant un point aléatoire dans le réseau et en voyant si vous obtenez le même état - vous devez entraîner le modèle jusqu'à ce point, ce qui est très informatique. cher.

Dépense de calcul élevée : le coût d'une seule session de formation au GPT-3 en 2020 était d'environ 12 millions de dollars, soit plus de 270 fois plus élevé que le coût estimé de la formation au GPT-2 en 2019, d'environ 43 000 $. De manière générale, la complexité (taille) du modèle des meilleurs réseaux de neurones double actuellement tous les trois mois. Si le réseau neuronal est moins cher et/ou si la formation représente moins un processus de développement de modèle, alors la surcharge de validation pouvant provenir des dépendances d'état est acceptable.

Si vous souhaitez réduire le prix de la formation en deep learning et décentraliser le contrôle, vous avez besoin d'un système qui gère en toute confiance la vérification liée à l'état tout en étant peu coûteux en termes de frais généraux et en récompensant ceux qui contribuent au calcul.

Comment Gensyn décentralise l'informatique AGI

Le protocole Gensyn rassemble l'ensemble de l'informatique mondiale dans un supercluster mondial d'apprentissage automatique qui peut être utilisé par n'importe qui à tout moment. Il permet une formation sans confiance des réseaux de neurones à très grande échelle et à faible coût en combinant deux éléments :

1. Système de vérification innovant

Un système de vérification qui résout efficacement le problème de dépendance d'état dans la formation des réseaux neuronaux à toute échelle. Le système combine des points de contrôle de formation de modèles avec des contrôles probabilistes qui se terminent en chaîne. Il fait tout cela de manière sans confiance, avec des frais généraux qui évoluent linéairement avec la taille du modèle (en maintenant le coût de vérification constant).

Selon Gensyn Litepaper, Gensyn résout principalement le problème de vérification à travers trois concepts : preuve d'apprentissage probabiliste (en utilisant les métadonnées du processus d'optimisation basé sur le gradient pour créer des certificats du travail effectué et en le vérifiant rapidement par réplication à certaines étapes), Graph -protocole de repérage basé sur des graphiques (utilisant des protocoles de repérage multi-granularités basés sur des graphiques et des évaluateurs croisés pour une exécution cohérente afin de permettre aux tâches de vérification d'être réexécutées et comparées pour plus de cohérence, et finalement confirmées par la chaîne elle-même), jeux d'incitation de type Truebit (en utilisant le jalonnement et le slashing construire un jeu d'incitation qui garantit que chaque participant financièrement rationnel agit honnêtement et accomplit les tâches qui lui sont assignées)

Le système se compose principalement de quatre participants principaux : le demandeur, le solveur, le vérificateur et le lanceur d'alerte. Soumissionnaire : l'utilisateur final du système, qui fournit les tâches à calculer et paie pour l'unité de travail terminée ; Solveur : la partie active principale du système, qui effectue la formation du modèle et génère des preuves pour vérification par le vérificateur ; Le processus de formation non déterministe Liens avec le calcul linéaire déterministe, copiant une partie de la preuve du solveur et comparant les distances aux seuils attendus. Lanceur d'alerte : la dernière ligne de défense, vérifiant le travail du vérificateur et le contestant dans l'espoir de remporter le jackpot.

2. Nouvelle alimentation de calcul

Tirer parti des ressources des appareils informatiques sous-utilisées et sous-utilisées/non optimisées. Ces appareils vont des GPU de jeu actuellement inutilisés aux plates-formes minières GPU de la précédente ère Ethereum PoW. Et la décentralisation du protocole signifie qu’il sera finalement gouverné par une majorité de la communauté et ne pourra pas être « arrêté » sans le consentement de la communauté ; contrairement à son homologue web2, cela le rend résistant à la censure.

Grande échelle + faible coût : le protocole Gensyn offre des coûts similaires à ceux des GPU appartenant aux centres de données et peut évoluer au-delà d'AWS