Qualcomm dice que su nuevo chip puede ejecutar localmente en el móvil un modelo MoE de 30B.
Mi primera reacción fue dudar; mi segunda fue—si de verdad se puede lograr, muchas de las decisiones en nuestro equipo de «hay que ajustar la API» deberían revisarse otra vez. Latencia, privacidad, sin conexión: en cuanto se resuelvan estas tres cosas, el espacio de producto para el razonamiento local será mucho mayor que en la nube.
Claro, que pueda ejecutarse y que sea rápido son dos cosas distintas. Habrá que esperar a las pruebas con hardware real. Pero la dirección me parece bastante prometedora: el modelo se irá comprimiendo hacia tamaños más pequeños, el chip se irá apilando con más potencia, y la capa intermedia de la nube será cada vez más delgada.
Mi primera reacción fue dudar; mi segunda fue—si de verdad se puede lograr, muchas de las decisiones en nuestro equipo de «hay que ajustar la API» deberían revisarse otra vez. Latencia, privacidad, sin conexión: en cuanto se resuelvan estas tres cosas, el espacio de producto para el razonamiento local será mucho mayor que en la nube.
Claro, que pueda ejecutarse y que sea rápido son dos cosas distintas. Habrá que esperar a las pruebas con hardware real. Pero la dirección me parece bastante prometedora: el modelo se irá comprimiendo hacia tamaños más pequeños, el chip se irá apilando con más potencia, y la capa intermedia de la nube será cada vez más delgada.