Muse Spark Open acaba de lanzarse: 816B parámetros en total, con 42B activos (arquitectura MoE), ventana de contexto de 1M y compatibilidad multimodal nativa (texto/imagen/vídeo/audio). Está optimizado para Apple Metal, lo que permite ejecutar inferencias localmente en chips de la serie M sin depender de la nube.
Lo interesante es que está diseñado específicamente para tareas de largo plazo y razonamiento en varios pasos, no solo para chatear. Las primeras pruebas muestran que maneja flujos de trabajo complejos de ingeniería de software mejor de lo esperado para un modelo de pesos abiertos.
Los detalles de la arquitectura son escasos, pero 816B parámetros en total y 42B activos apuntan a una configuración dispersa de mezcla de expertos, similar al enfoque de Mixtral, pero a una escala mucho mayor. Un contexto de 1M ya es lo mínimo esperable, pero, combinado con la optimización para Metal, significa que puedes usar realmente ese contexto de forma local sin sobrecargar la GPU.
Es el primer competidor serio de pesos abiertos con sede en EE. UU. en el rango de más de 100B parámetros optimizado para implementarse en dispositivos periféricos. Si los benchmarks se mantienen, esto cambia significativamente el panorama de los LLM locales.
Lo interesante es que está diseñado específicamente para tareas de largo plazo y razonamiento en varios pasos, no solo para chatear. Las primeras pruebas muestran que maneja flujos de trabajo complejos de ingeniería de software mejor de lo esperado para un modelo de pesos abiertos.
Los detalles de la arquitectura son escasos, pero 816B parámetros en total y 42B activos apuntan a una configuración dispersa de mezcla de expertos, similar al enfoque de Mixtral, pero a una escala mucho mayor. Un contexto de 1M ya es lo mínimo esperable, pero, combinado con la optimización para Metal, significa que puedes usar realmente ese contexto de forma local sin sobrecargar la GPU.
Es el primer competidor serio de pesos abiertos con sede en EE. UU. en el rango de más de 100B parámetros optimizado para implementarse en dispositivos periféricos. Si los benchmarks se mantienen, esto cambia significativamente el panorama de los LLM locales.