Стэнфордский университет анонсировал мощный искусственный интеллект для создания музыки и танца, который генерирует танец на основе аудиовхода, под названием EDGE. EDGE — это мощный метод создания настраиваемых танцев, позволяющий создавать физически правдоподобные и реалистичные танцы под любую поставляемую музыку. С помощью Jukebox, мощного средства извлечения музыкальных функций, и модели диффузии на основе трансформатора, EDGE предлагает мощные возможности редактирования, которые идеально подходят для танца, такие как тренировка суставов, промежуточные движения и продолжение танца. Выяснилось, что оценщики-люди предпочитают танцы, созданные с помощью EDGE, по сравнению с недавними подходами, такими как Bailando и FACT.
От музыки к хореографии: как EDGE создает танцы
Даже для музыкальных образцов, найденных в природе, EDGE может создавать высококачественные танцы, используя встраивание музыки из надежной модели Jukebox. Замороженная модель музыкального автомата используется EDGE для включения входной музыки. Серия пятисекундных танцевальных клипов используется для обучения модели условной диффузии тому, как отображать музыку, встроенную в клипы. Прежде чем объединить пакеты нескольких клипов для создания полного видео произвольной длины, применяются временные ограничения для обеспечения временной согласованности.
EDGE обучается на 5-секундных танцевальных клипах, но, налагая временные ограничения на группы последовательностей, он способен создавать танцы любой длины. На иллюстрации EDGE заставляет первую половину каждой последовательности соответствовать второй половине предыдущей. Свежесозданные материалы для танцевальной музыки
EDGE поддерживает произвольные временные и пространственные ограничения. Существует множество приложений для конечных пользователей, которые могут поддерживаться этим, в том числе:
Требуя временной непрерывности между партиями многочисленных последовательностей, можно создавать танцы произвольной длины.
Танцы, которые включают в себя ограничения суставов, например, движение нижней части тела, вызывающее развитие верхней части тела, или наоборот.
Танцы с заранее заданными начальными и конечными движениями.
Танцы, которые начинаются с заранее определенного движения, известны как танцевальные продолжения.
В танце преобладает сложный, преднамеренный, скользящий контакт ног с землей. Новая функция «Потеря постоянства контакта», которая значительно повышает физический реализм при сохранении скольжения, позволяет EDGE определять, когда ноги должны, а когда не должны скользить.
Исследователи обнаружили, что люди-наблюдатели в подавляющем большинстве предпочитают танцы, созданные алгоритмом EDGE, танцам, созданным другими алгоритмами. Авторы исследования говорят, что алгоритм EDGE представляет собой крупный прогресс в области компьютерного танца. Они считают, что алгоритм можно использовать для создания танцев для реальных и виртуальных мероприятий, таких как социальные тренды и тренды TikTok, свадьбы, вечеринки или корпоративные мероприятия.
Подробнее об ИИ:
Google AI анонсировал первый в мире генератор текста в музыку AudioLM
StabilityAI анонсировала AI Music Generator Harmonai на основе модели Dance Diffusion
Stable Diffusion AI создает миры мечты для VR и Metaverse
Пост «Музыка для танца: EDGE AI генерирует бесконечное количество танцевальных идей для TikTok на основе аудиовхода» впервые появился на Metaverse Post.