Me topé con la declaración @OpenLedger sobre OpenLoRA y me detuve en un número. El proyecto habla de miles de modelos fine-tuned en una sola GPU y un ahorro de hasta el 90% en costos de despliegue.
La idea aquí parece lógica. LoRA se ha utilizado durante mucho tiempo para el fine-tuning de modelos sin cambiar toda la estructura de pesos. En lugar de modelos pesados individuales, se crean adaptadores ligeros que se pueden conectar encima del modelo base. Por lo tanto, mantener muchos de estos adaptadores en una sola GPU es un escenario totalmente realista.
Pero aquí es importante separar dos cosas.
Primero, la mecánica en sí. Es comprensible y técnicamente parece estar bien.
Segundo, el número específico “hasta un 90% de ahorro”. Y aquí es donde me surgió una pregunta. No encontré pruebas independientes ni benchmarks abiertos que confirmaran exactamente este resultado.
Porque entre “puede ahorrar hasta un 90%” y “ahorra 90% de manera constante” hay una gran diferencia.
Y me gustaría escuchar a aquellos que realmente han trabajado con LLM-inferencia: cuando ven números como estos, ¿los toman como un argumento o esperan una verificación independiente?
@OpenLedger #OpenLedger $OPEN