Je suis tombé sur l'annonce @OpenLedger concernant OpenLoRA et j'ai été accroché par un chiffre. Le projet parle de milliers de modèles fine-tunés sur un seul GPU et d'économies allant jusqu'à 90% sur les coûts de déploiement.
L'idée elle-même semble logique. LoRA est utilisé depuis longtemps pour le fine-tuning des modèles sans changer l'ensemble de la structure de poids. Au lieu de lourds modèles distincts, on crée des adaptateurs légers qui peuvent être branchés au-dessus du modèle de base. Donc, avoir beaucoup de ces adaptateurs sur un seul GPU est un scénario tout à fait réaliste.
Mais il est important de séparer deux choses.
Premièrement — la mécanique elle-même. Elle est claire et semble techniquement correcte.
Deuxièmement — le chiffre spécifique “jusqu'à 90% d'économies”. Et c'est ici que j'ai eu un doute. Je n'ai trouvé aucun test indépendant ou benchmark ouvert qui confirme ce résultat précis.
Parce qu'il y a une énorme différence entre “peut économiser jusqu'à 90%” et “économise de manière stable 90%”.
Et j'aimerais entendre ceux qui ont réellement travaillé avec l'inférence LLM : quand vous voyez de tels chiffres, vous les considérez comme un argument ou attendez-vous une vérification indépendante ?
@OpenLedger #OpenLedger $OPEN