Estos últimos días he estado probando un marco de inferencia de código abierto. Al ejecutar el mismo modelo en tarjetas gráficas de consumo y cuantizarlo a 4 bits, la velocidad se triplicó y la calidad cayó menos de lo que esperaba. Esto significa algo muy práctico: muchas tareas que antes tenían que ejecutarse en la nube ahora pueden resolverse con una sola máquina. Cuando cambia la estructura de costos, también cambia la forma del producto.