Notícias do Banjie, de acordo com a monitorização da 1M AI News, o laboratório de IA PrismML, co-fundado pelo matemático do Instituto de Tecnologia da Califórnia Babak Hassibi, saiu do período de sigilo e lançou o modelo de linguagem de código aberto 1-bit Bonsai. O modelo principal, 1-bit Bonsai 8B, possui 8,2 bilhões de parâmetros e consome apenas 1,15 GB de memória, cerca de 14 vezes menos do que o modelo de 16 bits equivalente (cerca de 16 GB). Os pesos estão disponíveis para download aberto sob a licença Apache 2.0 no HuggingFace, juntamente com o lançamento de dois modelos menores: 4B (0,5 GB) e 1,7B (0,24 GB). O Bonsai 8B é um modelo verdadeiro de 1-bit de ponta a ponta: todas as camadas de embedding, atenção, MLP e cabeçalho de saída usam apenas +1 ou -1 para representar os pesos, sem nenhum patch de alta precisão. O PrismML afirma que sua capacidade de inferência e compreensão de linguagem em benchmarks padrão é comparável a modelos de 16 bits de precisão total. A matemática de compressão central foi desenvolvida pela equipe ao longo de vários anos no Instituto de Tecnologia da Califórnia, com propriedade intelectual pertencente ao Instituto de Tecnologia da Califórnia, e o PrismML é o único licenciante exclusivo. O modelo foi treinado usando o TPU v4 do Google. Velocidade medida: 136 tok/s no M4 Pro Mac, 440 tok/s no RTX 4090, cerca de 44 tok/s no iPhone 17 Pro Max, enquanto o modelo padrão de 8B de 16 bits não pode ser executado em nenhum iPhone. O consumo de energia é cerca de 4-5 vezes menor do que o modelo de 16 bits. O PrismML aponta que o hardware existente não é projetado para inferência de 1-bit, e a vantagem em velocidade e consumo de energia vem principalmente da redução do uso de memória; se no futuro houver hardware projetado especificamente para 1-bit (que só precisa de adição e subtração, sem multiplicação), a eficiência poderá ser aumentada em mais uma ordem de magnitude. O PrismML completou um financiamento SAFE de 16,25 milhões de dólares e uma rodada de sementes, com investidores como Khosla Ventures, Cerberus Capital e o Instituto de Tecnologia da Califórnia. O fundador da Khosla Ventures, Vinod Khosla, afirmou que isso "não é uma pequena iteração, é um grande avanço tecnológico, é uma quebra matemática, não apenas mais um pequeno modelo."