Натрапив на заяву @OpenLedger про OpenLoRA і зачепився за одну цифру. Проект говорить про тисячі fine-tuned моделей на одному GPU та економію до 90% витрат на розгортання.
Сама ідея тут виглядає логічною. LoRA давно використовується для донавчання моделей без зміни всієї вагової структури. Замість окремих важких моделей створюються легкі адаптери, які можна підключати поверх базової моделі. Тому тримати багато таких адаптерів на одному GPU — цілком реальний сценарій.
Але тут важливо розділити дві речі.
Перше — сама механіка. Вона зрозуміла й технічно виглядає нормально.
Друге — конкретна цифра “до 90% економії”. І ось тут у мене виникло питання. Я не знайшов незалежних тестів чи відкритих бенчмарків, які б підтверджували саме цей результат.
Бо між “може заощадити до 90%” і “стабільно економить 90%” різниця величезна.
І цікаво почути тих, хто реально працював із LLM-інференсом: коли бачите подібні цифри, сприймаєте як аргумент чи чекаєте незалежної перевірки?
@OpenLedger #OpenLedger $OPEN