Meta представила модели искусственного интеллекта для обработки фото и видео
Корпорация Meta анонсировала Emu Video и Emu Edit, генеративные инструменты искусственного интеллекта для редактирования и создания контента.
Обе нейронные сети, основанные на модели языка Emu, пока находятся на стадии тестирования. Согласно заявлению, продукты уже демонстрируют потенциальные преимущества для художников, аниматоров и других творческих специалистов.
Emu Video способна генерировать видеоклипы на основе введенного текста и прикрепленных изображений в формате 512x512 со скоростью 16 кадров в секунду.
Нейронная сеть обучалась с использованием «факторизованного» подхода, разделив процесс на два этапа, что позволило инструменту реагировать на различные входные данные.
«Сначала [Emu Video] создает изображения на основе текстовой подсказки, а затем генерирует видео на основе этого и текста. Этот «факторизованный» или разделенный подход генерации позволяет нам эффективно обучать модели для видео», — объяснил Мета.
Emu Edit позволяет удалять или добавлять фон к фотографии, выполнять преобразования цвета и геометрии, а также поддерживает локальное и глобальное редактирование.
ИИ обучается на наборе данных из 10 миллионов выборок, каждая из которых имеет входное изображение и описание задачи, а также целевой результат.
«Хотя Emu Video, Emu Edit и подобные новые технологии, конечно, не могут заменить профессиональных художников, они помогут людям выразить себя по-новому: от арт-директора, придумывающего новую концепцию, до видеоредактора, воплощающего в жизнь их последнее видео, до их лучший друг, который делится уникальным поздравлением с днем рождения», — подчеркнули в компании.
Ранее Meta представила набор инструментов искусственного интеллекта в виде голосового помощника, нейросети с разными личностями, умных очков и генератора стикеров.
Напомним, в августе корпорация анонсировала нейросеть AudioCraft, создающую звуки и музыку на основе текстовых описаний.
