O Bonsai 27B da PrismML cabe como um LLM de 27B em telefones — uma virada para carteiras cripto no dispositivo | Ethereum AI Generated News no Binance Square

Ethereum AI Generated News · 2026-07-16T10:00:30.000Z

A PrismML acabou de realizar um feito técnico que pode mudar a forma como dispositivos móveis — e, por extensão, ferramentas de cripto e dApps executados no próprio aparelho — interagem com modelos de linguagem de grande porte. O que aconteceu — A PrismML lançou o Bonsai 27B, um modelo com 27 bilhões de parâmetros comprimido o suficiente para rodar em um smartphone. Um modelo 27B em precisão total normalmente precisa de cerca de 54 GB de memória; a versão binária da PrismML tem 3,9 GB e a versão ternária tem 5,9 GB. - A variante binária roda a cerca de 11 tokens/seg no iPhone 17 Pro Max; a versão ternária atinge ~26 tokens/seg em um laptop M5 Pro. Ambas estão disponíveis gratuitamente sob a licença Apache 2.0. Como eles reduziram - A compressão se baseia em IP da Caltech e colapsa cada peso de ponto flutuante de 16 bits para um único sinal na versão binária (+1 ou −1), ou para três valores (−1, 0, +1) na versão ternária. - Grupos de 128 pesos compartilham um fator de escala de 16 bits. Isso resulta em uma média de 1,125 bits por peso no modelo binário (cerca de 14× menor do que o original em precisão total) e 1,71 bits por peso na versão ternária. - Diferente de muitas quantizações de baixo bits, a PrismML comprime tudo ponta a ponta — embeddings, atenção e o head do LM — em vez de deixar camadas “sensíveis” em precisão mais alta. Por que isso importa - Não é apenas um modelo menor; é um comportamento em larga escala (27B) espremido em uma pegada que pode ficar em hardware do consumidor. É nesse nível que começam a aparecer de forma confiável raciocínio longo de chain-of-thought, uso consistente de ferramentas e comportamento de agentes em múltiplos passos — capacidades que modelos menores frequentemente não atingem. - O modelo usa uma espinha dorsal híbrida de atenção com ~75% de camadas lineares em vez de atenção quadrática completa, tornando prático um contexto de 262k tokens no dispositivo — algo que uma pilha de atenção convencional tornaria proibitivamente caro em um telefone. Snapshot de desempenho - A PrismML já havia enviado o Bonsai 8B (1,15 GB) em março, provando a arquitetura de 1 bit em escala menor. O salto para 27B é o teste mais relevante. - Em 15 benchmarks de “modo de pensamento” rodados em NVIDIA H100s (cobrindo conhecimento, matemática, programação e uso de ferramentas), o Bonsai 27B ternário teve média 80,49 — cerca de 94,6% do modelo em precisão total. A variante de 1 bit (binária) obteve 76,11. - Contra alguns modelos maiores, o Bonsai se sai bem para seu tamanho: em testes de matemática estilo AIME, o modelo ternário atinge 93,7% vs 95,3% para o Qwen 3,6B; pontuações de código são 86 vs 88; conhecimento geral 77% vs 83%. O time afirma que, no geral, os resultados dos benchmarks se comparam favoravelmente a Gemma 4 e Qwen 3,6 em termos de capacidade versus tamanho. Uso no mundo real e ferramentas para desenvolvedores - A PrismML inclui o DSpark, uma camada de decoding especulativo que rascunha blocos de tokens candidatos e os verifica em uma única passada forward. Em GPUs H100, o DSpark gerou um ganho de throughput de 1,37× sem perda de qualidade; o suporte da Apple Silicon está chegando, mas ainda não é padrão. - A PrismML afirma que o modelo é prático para tarefas como programação iterativa e escrita criativa no próprio dispositivo. Testes independentes feitos pelos autores do artigo produziram resultados úteis: um jogo de navegador voltado a multiplayer, “Zombie Type”, foi construído com duas rodadas de prompts (colisão, pontuação, gráficos), e a escrita criativa mostrou lógica interna e ritmo consistentes — não necessariamente algo revolucionário, mas sólido para um modelo totalmente local. Ângulos comerciais e do ecossistema - O CEO da PrismML, Babak Hassibi, disse à CNBC que a empresa está em conversas iniciais com a Apple sobre a tecnologia de compressão; um modelo comprimido da Gemma seria o próximo, seguido por builds maiores na fronteira. - Disponibilidade: o Bonsai 27B de 1 bit é gratuito para baixar agora sob a Apache 2.0. A PrismML também publicou versões anteriores do Bonsai e ferramentas para desenvolvedores; instruções e um guia introdutório para rodar localmente estão disponíveis em guias da comunidade. Por que pessoas do cripto devem se importar - LLMs em dispositivo nesse nível abrem possibilidades claras para cripto e web3: - Assistentes privados e offline para gerenciamento de carteiras, orientação de assinatura local ou explicação de transações sem enviar dados sensíveis para APIs na nuvem. - Melhorias de UX para dApps e carteiras móveis com interfaces de linguagem natural locais e de baixa latência. - Novos fluxos de trabalho para aplicações descentralizadas que querem evitar dependências de APIs centrais e reduzir custos operacionais. - Eles não são produtos cripto prontos para uso, mas a direção técnica — modelos poderosos que rodam localmente com pegadas mínimas de memória — remove um grande ponto de atrito para ferramentas privadas, de auto-custódia, e inteligência nativa de edge. Conclusão O Bonsai 27B não é apenas mais um modelo quantizado: é uma demonstração de que LLMs com mais parâmetros podem ser comprimidos ponta a ponta para caber no hardware do consumidor sem perda catastrófica de qualidade. Para desenvolvedores e projetos cripto focados em privacidade, auto-custódia e inteligência no dispositivo, isso é um avanço significativo — e está sendo lançado sob uma licença permissiva, então a experimentação pode começar hoje. Leia mais notícias geradas por IA em: undefined/news

PrismML just pulled off a technical stunt that could change how mobile devices — and by extension, on-device crypto tools and dApps — interact with large language models. What happened - PrismML released Bonsai 27B, a 27-billion-parameter model compressed small enough to run on a smartphone. A full-precision 27B model normally needs roughly 54 GB of memory; PrismML’s binary build is 3.9 GB and its ternary build is 5.9 GB. - The binary variant runs at about 11 tokens/sec on an iPhone 17 Pro Max; the ternary build hits ~26 tokens/sec on an M5 Pro laptop. Both are available free under the Apache 2.0 license. How they shrank it - The compression is based on Caltech IP and collapses each weight from 16-bit floating point down to a single sign in the binary build (+1 or −1), or to three values (−1, 0, +1) in the ternary build. - Groups of 128 weights share a 16-bit scaling factor. That yields an average of 1.125 bits per weight for the binary model (about 14× smaller than the full-precision original) and 1.71 bits per weight for the ternary version. - Unlike many low-bit quantizations, PrismML compresses everything end-to-end — embeddings, attention, and the LM head — rather than leaving “sensitive” layers in higher precision. Why this matters - This isn’t just a smaller model; it’s large-scale behavior (27B) squeezed into a footprint that can live on consumer hardware. That scale is where long chain-of-thought reasoning, consistent tool use, and multi-step agentic behavior start to show up reliably — capabilities smaller models often miss. - The model uses a hybrid attention backbone with ~75% linear layers instead of full quadratic attention, making a 262k-token context window practical on-device — something a conventional attention stack would make prohibitively expensive on a phone. Performance snapshot - PrismML previously shipped Bonsai 8B (1.15 GB) in March, proving the 1-bit architecture at smaller scale. The 27B jump is the more significant test. - On 15 “thinking mode” benchmarks run on NVIDIA H100s (covering knowledge, math, coding, tool use), Ternary Bonsai 27B averaged 80.49 — about 94.6% of the full-precision model. The 1-bit (binary) variant scored 76.11. - Against some bigger models, Bonsai holds its own for its size: on AIME-style math tests the ternary model hits 93.7% vs 95.3% for Qwen 3.6B; coding scores are 86 vs 88; general knowledge 77% vs 83. The team says overall bench results compare favorably to Gemma 4 and Qwen 3.6 on a capacity-for-size basis. Real-world use and developer tools - PrismML bundles DSpark, a speculative decoding layer that drafts candidate token blocks and verifies them in a single forward pass. On H100 GPUs DSpark gave a 1.37× throughput boost with no quality loss; Apple Silicon support is coming but not yet default. - PrismML claims the model is practical for tasks like iterative coding and creative writing on-device. Independent testing by the article’s authors produced useful results: a multiplayer-leaning browser game “Zombie Type” was built with two rounds of prompts (collision, scoring, graphics), and creative writing showed consistent internal logic and pacing — not necessarily groundbreaking, but solid for a fully local model. Commercial and ecosystem angles - PrismML CEO Babak Hassibi told CNBC the company is in early conversations with Apple about the compression tech; a compressed Gemma model is reportedly next, followed by larger frontier builds. - Availability: 1-bit Bonsai 27B is free to download now under Apache 2.0. PrismML also published prior Bonsai builds and developer tooling; instructions and a local-run primer are available from community guides. Why crypto folks should care - On-device LLMs at this scale open clear possibilities for crypto and web3: - Private, offline assistants for wallet management, local signing guidance, or transaction explanation without sending sensitive data to cloud APIs. - Improved UX for mobile dApps and wallets with local, low-latency natural language interfaces. - New workflows for decentralized applications that want to avoid central API dependencies and reduce operating costs. - These are not out-of-the-box crypto products, but the technical direction — powerful models that run locally with tiny memory footprints — removes a major friction point for private, self-custodial tooling and edge-native intelligence. Bottom line Bonsai 27B isn’t just another quantized model: it’s a demonstration that higher-parameter LLMs can be compressed end-to-end to fit consumer hardware without catastrophic quality loss. For developers and crypto projects focused on privacy, self-custody, and on-device intelligence, this is a meaningful advance — and it’s being released under a permissive license, so experimentation can start today. Read more AI-generated news on: undefined/news