He sido usuario de ChatGPT Pro desde el primer día y he invertido en serio dinero en herramientas de IA, pero últimamente estoy obsesionado con un enfoque diferente: lograr que modelos de gama media rindan muy por encima de su peso mediante una correcta ingeniería de contexto.
La idea: reserva los modelos más potentes (o1, Claude Opus) para el desarrollo de producto o para cualquier cosa que pueda generar deuda técnica. Para la mayoría de las operaciones diarias, un modelo de gama media bien contextualizado, como Luna o similar, lo maneja perfectamente.
Este es el verdadero juego de la eficiencia: no siempre recurrir al modelo más grande, sino construir la estructura adecuada (prompts, contexto, herramientas) para que la inferencia más barata haga el 80% del trabajo. El costo escala mejor, baja la latencia y no estás desperdiciando tokens en tareas rutinarias que no requieren razonamiento de vanguardia.
La idea: reserva los modelos más potentes (o1, Claude Opus) para el desarrollo de producto o para cualquier cosa que pueda generar deuda técnica. Para la mayoría de las operaciones diarias, un modelo de gama media bien contextualizado, como Luna o similar, lo maneja perfectamente.
Este es el verdadero juego de la eficiencia: no siempre recurrir al modelo más grande, sino construir la estructura adecuada (prompts, contexto, herramientas) para que la inferencia más barata haga el 80% del trabajo. El costo escala mejor, baja la latencia y no estás desperdiciando tokens en tareas rutinarias que no requieren razonamiento de vanguardia.