Xiaomi acaba de poner en marcha un AI Cube para desarrollo: una mini PC con tres chips de su propia serie Xuanjie, centrada en la inferencia de modelos grandes en el dispositivo.
Los números son bastante potentes:
El modelo de 120B puede ejecutarse, y además permite cambiar de forma instantánea al modelo rápido de 3B; el ancho de banda alcanza directamente 1,22 TB/s, y como máximo puede llegar a la gama de 200B.
Esta fase de IA local y computación en el borde de verdad está acelerándose. Una vez que se intensifica el “volumen” de hardware, es probable que el sector de carreras relacionado con la potencia de cómputo y los modelos se vuelva aún más animado.
¿Alguien ha estado mirando el sector de IA últimamente? Siento que esta parte de la inferencia local podría volver a impulsar una ola de entusiasmo.$HK1810 #小米
Los números son bastante potentes:
El modelo de 120B puede ejecutarse, y además permite cambiar de forma instantánea al modelo rápido de 3B; el ancho de banda alcanza directamente 1,22 TB/s, y como máximo puede llegar a la gama de 200B.
Esta fase de IA local y computación en el borde de verdad está acelerándose. Una vez que se intensifica el “volumen” de hardware, es probable que el sector de carreras relacionado con la potencia de cómputo y los modelos se vuelva aún más animado.
¿Alguien ha estado mirando el sector de IA últimamente? Siento que esta parte de la inferencia local podría volver a impulsar una ola de entusiasmo.$HK1810 #小米
