Actualités de ME AI : Open Athena a organisé son premier rassemblement communautaire chez Fulcrum Science, à New York, où Will Held a présenté les avancées du préentraînement de Marin. L’équipe a officiellement achevé la phase de préentraînement initiale de Marin 535B-A23B, un modèle nommé Mochi et fondé sur une architecture à experts mixtes. Selon l’article, la valeur essentielle de Marin réside dans le retour aux méthodes scientifiques traditionnelles : ne pas se contenter de publier les poids, mais fournir également des données reproductibles, des expériences préenregistrées et des processus décisionnels transparents. L’équipe a diffusé en direct le préentraînement à très grande échelle, en montrant la courbe de perte en temps réel et en distinguant la ligne de prédiction de celle des corrections apportées lors du réglage. L’optimisation a principalement porté sur la vitesse des noyaux, avec un ajustement fin de la dynamique de l’optimiseur ; aucun pic de perte n’a été observé tout au long du processus. L’équipe entend ainsi développer de manière transparente les méthodes les plus fondamentales, afin de créer pour le monde universitaire des questions et des ressources susceptibles d’être étudiées. La prochaine étape sera le post-entraînement, et une rencontre en présentiel est prévue à San Francisco. (Source : ME)