Source de la réimpression de l'article : La tendance de l'IA
Cet article a été publié pour la première fois sur Titanium Media App, auteur : Lin Zhijia
Selon des informations du 6 octobre, OpenAI, la société américaine d'IA à l'origine de ChatGPT, envisage de développer ses propres puces d'IA. Elle mène des discussions internes depuis l'année dernière et a même commencé à évaluer des cibles potentielles d'acquisition d'entreprises de puces d'IA pour résoudre la pénurie. des puces d’IA sur lesquelles il s’appuie et des coûts élevés.
Selon les rapports, l'équipe OpenAI estime qu'il existe trois options d'approvisionnement pour la puissance de calcul des grands modèles d'IA, notamment la construction de ses propres puces d'IA, une collaboration plus étroite avec des sociétés de puces telles que NVIDIA et la planification de la diversification de l'approvisionnement en puces en dehors de NVIDIA - l'ultime l'objectif est de dépasser Beyond Nvidia.
Dès 2022, le PDG d'OpenAI, Sam Altman, s'est plaint publiquement de la rareté des puces GPU Nvidia, affirmant que l'entreprise était sévèrement limitée par les GPU.
Étant donné que NVIDIA domine 95 % du marché mondial de la formation en IA, que les cartes graphiques NVIDIA GPU (unité de traitement graphique) se raréfient et que les coûts de la puissance de calcul de l'IA continuent d'augmenter, même les plus puissantes OpenAI recherchent de nouvelles solutions pour éviter d'être « bloquées » pour longtemps.
Sam Altman, PDG d'OpenAI
Les coûts de puissance de calcul montent en flèche, OpenAI cherche à personnaliser les puces IA
De 2023 à aujourd’hui, « l’engouement » pour les grands modèles d’IA représentés par ChatGPT a balayé le monde, et les grands modèles favorisent le développement de l’IA dans une direction plus générale. La rareté et le coût de la puissance de calcul sont devenus des facteurs essentiels limitant le développement de l’IA.
Actuellement, NVIDIA occupe 82 % du marché mondial de l'accélération de l'IA dans les centres de données et monopolise le marché mondial de la formation à l'IA avec 95 % de part de marché, devenant ainsi le plus grand gagnant de cette ronde de mêlée à l'IA. En tant que fondateur et PDG de l'entreprise, Huang Renxun a gagné beaucoup d'argent. La valeur marchande de l'entreprise dépasse 1 000 milliards de dollars et sa valeur nette atteint 39,9 milliards de dollars.
Dans le même temps, l’augmentation de la demande en puissance de calcul a également rendu difficile la recherche de cartes GPU NVIDIA. Le nombre de cartes graphiques NVIDIA A100 est devenu une norme pour mesurer la puissance de calcul d'une entreprise.
Selon les statistiques, OpenAI utilise 10 000 à 30 000 GPU NVIDIA pour entraîner le modèle GPT-3.5. Un rapport TrendForce montre que si le calcul est basé sur la puissance de traitement des cartes graphiques NVIDIA A100, l'exécution de ChatGPT peut nécessiter l'utilisation de 30 000 cartes graphiques NVIDIA GPU.
En termes de prix, le prix du H800 actuellement disponible en Chine a atteint 200 000/pièce, tandis que le prix du A100/A800 a atteint environ 150 000 et 100 000/pièce. En prenant comme exemple la puissance de calcul requise de 2 000P, le GPU H800 a une puissance de calcul de 2P sur une seule carte et nécessite 1 000 cartes. Le coût estimé de la carte est de 200 millions de yuans. La carte unique A800 a une puissance de calcul d'environ 0,625P et nécessite 3 200 cartes. cartes.Le coût estimé de la carte est jusqu'à 320 millions de yuans.
En plus d'acheter une carte graphique GPU, le serveur doit également prendre en compte la configuration et le calcul de l'ensemble de la machine, y compris le processeur, le stockage, les connexions de communication NV-Link, etc., ainsi que des facteurs tels que la consommation électrique, la location du site, et les coûts d'exploitation et de maintenance. Le coût total dépasse 600 millions de yuans, et le supercalculateur très coûteux d'OpenAI Microsoft, qui coûte des centaines de millions de dollars et utilise des dizaines de milliers de puces NVIDIA, est utilisé pour la formation en puissance de calcul.
Cependant, depuis qu'OpenAI a annoncé son activité de cloud d'entreprise GPT, la relation entre Microsoft et OpenAI s'est détériorée. L'actualité montre que Microsoft développe également des puces d'IA personnalisées.
En fait, il ne s’agit pas seulement d’OpenAI : face à cette vague de demande de puissance de calcul, de grands géants de la technologie tels que Google, Amazon, Microsoft et Meta ont conçu des puces d’IA pour leur entreprise. Par exemple, les derniers téléphones mobiles de la série Pixel 8 de Google utilisent la puce Google Tensor G3 et le coprocesseur Titan M2, qui sont tous deux des produits développés par Google ; et la dernière puce CPU de serveur ARM auto-développée par Amazon, Graviton 3E, est également utilisée dans son Entreprise cloud AWS parmi.
Cependant, OpenAI n'a aucune expérience dans le développement de puces IA. Il faut au moins deux ans pour qu'une puce passe de la création d'un projet à la production de masse. Il n'est pas clair si OpenAI continuera à faire progresser le plan de puce personnalisé, et l'efficacité de la puce demeure. à tester dans le temps.
Reuters a cité des initiés de l'industrie qui ont déclaré qu'il s'agissait d'un investissement énorme et que les coûts annuels de recherche et de développement pourraient atteindre des centaines de millions de dollars. Dans le même temps, OpenAI envisage d’acquérir certaines sociétés de puces IA pour accélérer le processus de développement de puces auto-développées.
Mais la personnalisation des puces IA peut prendre des années, ce qui signifie qu’OpenAI s’appuiera encore pendant longtemps sur des fournisseurs de puces tels que Nvidia et AMD.
Fait intéressant, The Information a rapporté le 4 octobre que Meta avait renoncé à personnaliser les puces VR/AR et que l'équipe avait été dissoute, utilisant à la place des puces de processeur fournies par Qualcomm.
Par conséquent, il faut encore du temps pour tester si la puce IA personnalisée d’OpenAI sera enfin disponible.
D'autres nouvelles montrent que SoftBank prévoit d'investir 1 milliard de dollars pour créer une nouvelle société de matériel d'IA avec Ultraman, et le concepteur Apple Jony Ive discute également avec Ultraman pour créer un nouveau produit matériel d'IA.
La concurrence sur le marché des grands modèles s'intensifie, alors que Google et Amazon se tournent vers les concurrents d'OpenAI.
Quelques jours seulement après qu'Amazon a annoncé son investissement, il a été signalé que le concurrent d'OpenAI, la société licorne d'intelligence artificielle (IA) Anthropic, était en train de se refinancer.
Selon un rapport de The Information du 4 octobre, Anthropic, fondée il y a seulement deux ans, négocie avec Google et d'autres investisseurs et prévoit de conclure une nouvelle ronde de financement d'au moins 2 milliards de dollars (environ 14,394 milliards de RMB). La valorisation post-monnaie Elle pourrait atteindre entre 20 et 30 milliards de dollars, soit plus de cinq fois la valorisation de l'entreprise de 4 milliards de dollars en mars de cette année.
Par la suite, la concurrence sur le marché des grands modèles d'IA s'est intensifiée, et Google et Amazon ont également commencé à prêter attention et à mettre en page les concurrents d'OpenAI.
Il est rapporté que la société Anthropic AI a été créée en 2021 par Dario Amodei, ancien vice-président de la recherche chez OpenAI, Tom Brown, premier auteur de l'article GPT-3, et d'autres. À l'époque, les chercheurs dirigés par Amodei avaient quitté OpenAI après des désaccords sur l'orientation de l'entreprise, craignant que l'investissement de Microsoft dans OpenAI ne l'entraîne sur une voie plus commerciale, s'éloignant des idées originales de l'entreprise.
En décembre 2022, l'équipe Anthropic a publié un article intitulé « Constitutional AI : Harmlessness from AI Feedback » sur arxiv, décrivant un modèle AnthropicLM v4-s3 basé sur un entraînement non supervisé avec 52 milliards de paramètres, comparant directement le modèle OpenAI GPT-3.
En janvier de cette année, Anthropic a lancé Claude, un nouveau modèle de chatbot IA basé sur AnthropicLM v4-s3, considéré comme un concurrent sérieux de ChatGPT.
Le 4 février de cette année, Google Cloud, la division cloud computing de Google, a annoncé un nouveau partenariat avec Anthropic. Il a également été rapporté que Google avait investi près de 400 millions de dollars américains (environ 2,03 milliards de RMB) dans Anthropic. investir dans La valorisation a augmenté à près de 5 milliards de dollars.
Avant l’investissement de Google, Anthropic avait levé plus de 700 millions de dollars de financement, auprès d’investisseurs dont Alameda Research, un fonds spéculatif de crypto-monnaie créé par le fondateur de FTX, SBF. L’une des raisons pour lesquelles Google a investi dans Anthropic est que le PDG de l’entreprise a exprimé à plusieurs reprises la menace et l’impact de ChatGPT sur ses activités de recherche, de publicité et autres.
Selon The Information, Anthropic a déclaré aux investisseurs que le chiffre d'affaires annuel de l'entreprise était auparavant d'environ 100 millions de dollars, mais qu'en raison de sa coopération approfondie avec Amazon, ses revenus devraient augmenter considérablement en 2023, pour atteindre 200 millions de dollars, avec un chiffre d'affaires mensuel. approchant les 17 millions de dollars américains ; D’ici la fin de 2024, Anthropic espère avoir un chiffre d’affaires annuel de 500 millions de dollars, soit 1/200 fois la valorisation d’Anthropic et bien supérieur au multiple de valorisation d’OpenAI.