消息 de Coin界网, según 1M AI News, los matemáticos del Instituto de Tecnología de California, Babak Hassibi, cofundaron el laboratorio de IA PrismML, que ha salido de su período de sigilo y ha lanzado el modelo de lenguaje de código abierto 1-bit Bonsai. El modelo insignia 1-bit Bonsai 8B tiene 8.2 mil millones de parámetros y ocupa solo 1.15 GB de memoria, lo que representa una compresión de aproximadamente 14 veces en comparación con los modelos de 16 bits del mismo nivel (alrededor de 16 GB). Los pesos están disponibles para descarga abierta bajo la licencia Apache 2.0 en HuggingFace, y también se lanzaron dos modelos más pequeños, 4B (0.5 GB) y 1.7B (0.24 GB). Bonsai 8B es un modelo verdadero de 1-bit de extremo a extremo: la capa de incrustación, la capa de atención, la capa MLP y la cabeza de salida solo representan los pesos con +1 o -1, sin parches de alta precisión. PrismML afirma que su capacidad de razonamiento y comprensión del lenguaje en pruebas de referencia estándar es comparable a la de modelos de 16 bits de precisión completa. Las matemáticas de compresión del núcleo fueron desarrolladas por el equipo en el Instituto de Tecnología de California durante varios años, y la propiedad intelectual pertenece al Instituto de Tecnología de California, siendo PrismML el único licenciatario exclusivo. El modelo se entrena con TPU v4 de Google. Velocidades de prueba: 136 tok/s en M4 Pro Mac, 440 tok/s en RTX 4090, aproximadamente 44 tok/s en iPhone 17 Pro Max, mientras que el modelo estándar de 16 bits 8B no se puede cargar en ningún iPhone. El consumo de energía se reduce aproximadamente 4-5 veces en comparación con los modelos de 16 bits. PrismML señala que el hardware existente no está diseñado para razonamiento de 1-bit, y las ventajas en velocidad y consumo de energía provienen principalmente de la reducción del uso de memoria; si en el futuro aparece hardware diseñado específicamente para 1-bit (solo suma y resta, sin multiplicación), la eficiencia podría mejorar en un orden de magnitud. PrismML completó una financiación de 16.25 millones de dólares a través de SAFE y ronda de semillas, con inversores como Khosla Ventures, Cerberus Capital y el Instituto de Tecnología de California. Vinod Khosla, fundador de Khosla Ventures, dijo que esto 'no es una pequeña iteración, es un gran avance tecnológico, es un avance matemático, no solo otro pequeño modelo'.