Selon des informations de CoinWorld, d'après la surveillance de 1M AI News, le laboratoire d'IA PrismML cofondé par le mathématicien de Caltech Babak Hassibi a mis fin à sa période de confidentialité et a ouvert source sa série de modèles de langage 1-bit Bonsai. Le modèle phare 1-bit Bonsai 8B possède 8,2 milliards de paramètres, avec une utilisation de mémoire de seulement 1,15 Go, soit environ 14 fois moins que les modèles 16-bit de niveau similaire (environ 16 Go). Les poids sont disponibles en téléchargement ouvert sur HuggingFace sous la licence Apache 2.0, avec également la publication de deux modèles plus petits : 4B (0,5 Go) et 1,7B (0,24 Go). Bonsai 8B est un véritable modèle 1-bit de bout en bout : la couche d'embedding, la couche d'attention, la couche MLP et la tête de sortie n'utilisent que +1 ou -1 pour représenter les poids, sans aucun patch de haute précision. PrismML affirme que sa capacité d'inférence et de compréhension du langage sur des benchmarks standard est comparable à celle des modèles 16-bit à pleine précision. Les mathématiques centrales de compression ont été développées par l'équipe de Caltech pendant plusieurs années, la propriété intellectuelle appartient à Caltech, et PrismML est le seul titulaire de la licence exclusive. Le modèle a été entraîné sur des TPU v4 de Google. Vitesse mesurée : 136 tok/s sur Mac M4 Pro, 440 tok/s sur RTX 4090, environ 44 tok/s sur iPhone 17 Pro Max, tandis que le modèle 16-bit 8B standard ne peut pas être chargé sur aucun iPhone. La consommation d'énergie est réduite d'environ 4 à 5 fois par rapport aux modèles 16-bit. PrismML souligne que le matériel existant n'est pas conçu pour l'inférence 1-bit, les avantages en termes de vitesse et de consommation d'énergie proviennent principalement de la réduction de l'utilisation de la mémoire ; si des matériels spécifiquement conçus pour le 1-bit apparaissent à l'avenir (n'ayant besoin que d'additions et de soustractions, sans multiplications), l'efficacité pourrait encore être améliorée d'un ordre de grandeur. PrismML a complété un financement SAFE de 16,25 millions de dollars et un tour de financement de semences, avec des investisseurs tels que Khosla Ventures, Cerberus Capital et Caltech. Vinod Khosla, fondateur de Khosla Ventures, a déclaré que ce « n'est pas une petite itération, c'est une percée technologique majeure, c'est une percée mathématique, ce n'est pas juste un autre petit modèle ».