moe

Escalera Estelar lanza Step 3.7 Flash: un modelo MoE de 198B parámetros, enfocado en Agentes de nivel producción

Escalera Estelar ha lanzado oficialmente y abierto el código de su nueva generación del modelo Flash Step 3.7, bajo la licencia Apache 2.0. Este modelo utiliza una arquitectura MoE dispersa compuesta por un backbone de lenguaje de 196B + 1.8B de Transformer visual, con un total de 198B de parámetros, activando solo 11B. Soporta contextos de 256K y 3 niveles de inferencia, optimizando Agentes de producción, código, búsqueda en línea y flujos de trabajo multimodales.

¿Por qué es importante? El equipo de IA de China ha logrado un avance significativo en el campo de los modelos MoE multimodales de código abierto, con un diseño de arquitectura de baja activación de parámetros + alta densidad de capacidad, que representa la dirección de la industria hacia inferencias eficientes.

#AI #开源 #大模型 #MoE #inteligenciaartificial