Des chercheurs en IA de Stanford et de l'Université de Washington auraient réalisé ce que personne ne pensait possible : ils ont construit un modèle d'IA appelé s1 pour moins de 50 $ en crédits de cloud computing, selon un rapport de recherche publié lundi.
Le modèle s1 fournirait des performances comparables aux meilleurs modèles de raisonnement, y compris le o1 d'OpenAI et le R1 de DeepSeek, selon des références sur des tests de mathématiques et de codage. Encore mieux, l'ensemble du projet est disponible sur GitHub—code, données, et tout.
L'équipe a commencé par prendre un modèle prêt à l'emploi au lieu de construire quelque chose de nouveau. À partir de là, ils l'ont affiné par un processus appelé distillation. Selon leur recherche, ils ont distillé la puissance de raisonnement du modèle expérimental Flash Thinking Gemini 2.0 de Google.
Ils ont formé s1 à imiter les techniques de résolution de problèmes de Gemini en apprenant de ses réponses. « Nous visons la simplicité », a déclaré Niklas Muennighoff, l'un des chercheurs de Stanford impliqués.
Petit ensemble de données, grands résultats.
La distillation devient rapidement une arme de choix pour les équipes d'IA cherchant à réduire les coûts. Un modèle d'IA similaire développé le mois dernier par des chercheurs de Berkeley a coûté 450 $ à former—ce qui reste bon marché selon les normes de l'industrie. Mais Stanford et UW ont franchi une étape supplémentaire, réduisant les coûts à environ 50 $ en distillant leur modèle avec un ensemble de données plus petit et des techniques rationalisées.
Les chercheurs ont soigneusement sélectionné juste 1 000 questions, chacune accompagnée de réponses détaillées et de raisonnements étape par étape provenant de Gemini 2.0 de Google. Cet ensemble de données a fourni toute la connaissance dont s1 avait besoin pour performer à un niveau élevé. Selon l'article de l'équipe, le modèle a appris à réfléchir sur les problèmes.
L'affinage supervisé, ou SFT, a été essentiel pour faire fonctionner cela. Au lieu d'utiliser l'apprentissage par renforcement, qui nécessite d'énormes ensembles de données et beaucoup de puissance de calcul, les chercheurs ont opté pour le SFT, une méthode où l'IA est directement formée pour imiter les comportements trouvés dans l'ensemble de données. C'est moins cher et plus rapide, et dans ce cas, cela a fonctionné.
Le modèle de base provenait de Qwen, le laboratoire d'IA détenu par Alibaba. Leur modèle prêt à l'emploi était gratuit à télécharger, rendant le projet encore plus économique. En moins de 30 minutes et en utilisant seulement 16 GPU Nvidia H100, l'équipe a terminé la formation de s1. « Nous pourrions louer le calcul nécessaire pour environ 20 $ aujourd'hui », a déclaré Muennighoff.
La commande « Attendre » a amélioré la précision de s1.
Les chercheurs auraient inclus un truc astucieux pour améliorer le raisonnement de s1 : ils ont ajouté le mot « attendre » lors de la résolution de problèmes. En disant au modèle de faire une pause et de vérifier son travail, ils ont augmenté la précision. L'article de recherche détaille comment ce réglage a donné à s1 suffisamment de temps pour envisager de meilleures réponses avant de les soumettre.
OpenAI surveille de près. Ils ont déjà accusé DeepSeek d'avoir illégalement récolté des données de leur API pour construire des concurrents d'IA. Avec s1 montrant à quel point la reproduction peut être bon marché, des acteurs majeurs comme OpenAI ne sont pas ravis. La marchandisation des modèles d'IA pourrait nuire à leur résultat net.
Mais la société technologique a d'autres problèmes. Mardi, l'équipe juridique d'Elon Musk s'est opposée à OpenAI dans un tribunal fédéral d'Oakland. Elon, qui était un investisseur précoce dans OpenAI, affirme que l'entreprise a abandonné sa mission à but non lucratif et a trahi ses objectifs originaux.
Il poursuit pour bloquer leur transition vers une entreprise entièrement à but lucratif. L'avocat d'Elon, Marc Toberoff, a déclaré au tribunal vendredi qu'Elon avait investi 45 millions de dollars dans OpenAI entre sa création et 2018 car il croyait que l'entreprise donnerait toujours la priorité au bénéfice public plutôt qu'aux profits, comme elle l'avait dit au début.
La juge Yvonne Gonzalez Rogers a qualifié cela de « tirage » et a remis en question pourquoi Elon investirait autant d'argent sans contrat écrit. « C'est juste beaucoup d'argent sur une poignée de main », a-t-elle moqué. L'avocat Toberoff a ensuite expliqué qu'Elon et le PDG d'OpenAI, Sam Altman, avaient une relation étroite à l'époque, et que tout était basé sur la confiance.
Mais l'affaire n'est pas encore morte. Le juge s'inquiète de la relation étroite d'OpenAI avec Microsoft. Deux acteurs clés—le co-fondateur de LinkedIn Reid Hoffman et l'exécutif de Microsoft Deanna Templeton—ont été impliqués dans le conseil d'administration d'OpenAI. Templeton a été ajoutée en tant que membre non votant après le bref renvoi d'Altman en 2023, mais a ensuite été retirée en raison de préoccupations antitrust.
Elon veut arrêter leurs plans et potentiellement gagner plus de contrôle sur l'entreprise par le biais de sa propre aventure en IA, xAI, qu'il a ajoutée comme plaignant dans l'affaire. OpenAI soutient que la demande d'Elon nuirait à son activité et est basée sur des allégations « farfelues ».
Académie Cryptopolitan : Comment rédiger un CV Web3 qui décroche des entretiens - FICHE PRATIQUE GRATUITE