
Трансформация письменных подсказок в убедительные визуальные повествования была определена как важнейшая задача в области генерации текста в видео, где появляются многочисленные модели. Эта задача, которая отличается от традиционного кинопроизводства, требует другого набора способностей, похожего на режиссуру, и овладение генерацией видеообъектов (VOG) может быть довольно сложной задачей. Кроме того, острое наблюдение является формой искусства само по себе.
Чтобы решить эту проблему, VideoDirectorGPT предлагает инновационный подход к созданию точных и последовательных многосценных видео, оптимизируя процесс. По своей сути, VideoDirectorGPT использует двухэтапную методологию, которая объединяет мастерство Больших языковых моделей (LLM) с искусством планирования видео.

Планирование под руководством LLMНа первом этапе VideoDirectorGPT использует LLM в качестве видеопланировщика. LLM выступает в роли мастера повествования, создавая всеобъемлющее повествование для многосценного видео. Это повествование состоит из текстовых описаний на уровне сцен, подробных списков объектов и фонов в каждой сцене, точных покадровых макетов объектов с ограничивающими рамками и интеллектуальных группировок согласованности для объектов и фонов.
Генерация видео Layout2VidПосле того, как LLM тщательно прорабатывает видеоплан, наступает время его реализовать. Вот тут-то и вступает в игру Layout2Vid, модуль генерации видео. Расширяя план, созданный на начальном этапе, Layout2Vid использует идентичные вставки изображений и текста для изображения объектов и фонов в видеоплане. Но примечательная часть — он обеспечивает пространственный контроль над макетами объектов с помощью сложного механизма 2D-внимания, интегрированного в пространственный блок внимания.
Модель VideoDirectorGPT способна создать подробный видеоплан с точными положениями ограничивающих рамок объектов (с наложением), последовательным человеком на протяжении сцен и правильно развернутой оригинальной текстовой подсказкой для демонстрации процесса. Пирог с тмином и персиковый мельба — единственные продукты, которые генерирует ModelScopeT2V, и они меняются от сцены к сцене.
Результатом является бесшовно организованное видео, которое придерживается исходных текстовых описаний, переводя их в динамические визуальные последовательности. Это союз повествовательного построения, управляемого ИИ, и тщательного рендеринга видео, гарантирующий, что сгенерированный контент точно соответствует видению создателя.
В августе Яндекс представил новую функцию под названием Masterpiece, которая позволяет пользователям создавать короткие видеоролики длительностью до 4 секунд с частотой 24 кадра в секунду. Технология использует метод каскадной диффузии для создания последующих видеокадров, генерируя изображения, которые соответствуют описанию пользователя. Masterpiece предлагает доступность и простоту, что делает его привлекательным вариантом для новичков и пользователей всех уровней подготовки. Более широкие последствия технологии выходят за рамки творческого самовыражения и могут переосмыслить создание и потребление цифрового контента.
Также в начале этого года Runway выпустила Gen-2, модель преобразования текста в видео, которая может генерировать новые видео с нуля с помощью текстовой подсказки, что является значительным улучшением по сравнению с предыдущей версией. Эта функция экономит время и усилия, создавая видео, не требующие продвинутых навыков редактирования. Кроме того, Gen-2 может преобразовывать загруженное изображение в короткий видеоклип более высокого качества, чем у конкурентов. Ожидается, что эта технология улучшит создание и распространение контента на платформах социальных сетей, потенциально принося пользу таким платформам, как Facebook и TikTok.
Читайте больше связанных тем:
50 лучших подсказок ИИ для преобразования текста в видео: простая анимация изображений
10+ лучших генераторов искусственного интеллекта для преобразования текста в видео: мощные и бесплатные
Публикация VideoDirectorGPT: режиссер на базе искусственного интеллекта, преобразующий процесс преобразования текста в видео, впервые появилась на Metaverse Post.
