MoI-Bench разбивает оценку генерации и редактирования изображений на мобильных устройствах на 16 типов операций и 8 категорий визуальных целей. Их сочетание образует 64 подзадачи и включает 1150 примеров. Например, «удаление макияжа с лица» — это операция удаления, применённая к портрету. Такой подход точнее показывает, в чём именно модель испытывает трудности, чем обобщённая оценка «способности к редактированию».
Авторы также предложили MoI-Eval: отдельные оценки выставляются за следование инструкциям, визуальное качество и сохранение деталей, после чего строится профиль возможностей по трём направлениям — операция, цель и стандарт. Выводы в аннотации довольно конкретны: современные модели на устройствах уже способны эффективно генерировать и редактировать изображения; приоритетнее расширять охват задач, чем продолжать оптимизировать эффективность развёртывания. Основные слабые места — сохранение идентичности и рендеринг текста. Кроме того, на двумерном графике «качество — возможность развёртывания» можно оценить, подходит ли модель для запуска непосредственно на смартфоне.
Препринт на arXiv, рецензирования не проходил.
$BTC
Авторы также предложили MoI-Eval: отдельные оценки выставляются за следование инструкциям, визуальное качество и сохранение деталей, после чего строится профиль возможностей по трём направлениям — операция, цель и стандарт. Выводы в аннотации довольно конкретны: современные модели на устройствах уже способны эффективно генерировать и редактировать изображения; приоритетнее расширять охват задач, чем продолжать оптимизировать эффективность развёртывания. Основные слабые места — сохранение идентичности и рендеринг текста. Кроме того, на двумерном графике «качество — возможность развёртывания» можно оценить, подходит ли модель для запуска непосредственно на смартфоне.
Препринт на arXiv, рецензирования не проходил.
$BTC
