La Universidad de Stanford ha anunciado una poderosa IA de música para bailar que genera danza a partir de una entrada de audio llamada EDGE. EDGE es un método potente para la creación de danzas personalizables que puede producir danzas realistas y físicamente creíbles mientras se adhiere a cualquier música proporcionada. Con la ayuda de Jukebox, un potente extractor de características musicales y un modelo de difusión basado en transformador, EDGE ofrece potentes capacidades de edición que son ideales para la danza, como el acondicionamiento de las articulaciones, el movimiento intermedio y la continuación de la danza. Descubre que los evaluadores humanos favorecen en gran medida los bailes generados por EDGE en comparación con enfoques recientes como Bailando y FACT.
De la música a la coreografía: cómo EDGE genera sus danzas
Incluso para muestras de música que se encuentran en la naturaleza, EDGE puede producir bailes de alta calidad utilizando música incorporada del robusto modelo Jukebox. EDGE utiliza un modelo congelado de Jukebox para incorporar música de entrada. Se utiliza una serie de clips de baile de cinco segundos para enseñar a un modelo de difusión condicional cómo mapear la música incrustada en los clips. Antes de unir lotes de varios clips para crear un vídeo completo de duración arbitraria, se aplican restricciones temporales para garantizar la coherencia temporal.
EDGE está entrenado en clips de baile de 5 segundos, pero al imponer restricciones temporales a lotes de secuencias, es capaz de crear bailes de cualquier duración. En la ilustración, EDGE fuerza que la primera mitad de cada secuencia coincida con la segunda mitad de la anterior. Salidas de música para bailar recién generadas
EDGE admite limitaciones temporales y espaciales arbitrarias. Existen numerosas aplicaciones de usuario final que pueden ser compatibles con esto, incluidas:
Al requerir continuidad temporal entre lotes de numerosas secuencias, se pueden producir danzas de duración arbitraria.
Bailes que incluyen restricciones en las articulaciones, como el movimiento de la parte inferior del cuerpo provocando la generación de la parte superior del cuerpo, o todo lo contrario.
Bailes con movimientos iniciales y finales predeterminados.
Los bailes que comienzan con un movimiento predeterminado se conocen como danzas de continuación.
En la danza prevalece el contacto complejo, deliberado y deslizante entre el pie y el suelo. La nueva pérdida de consistencia del contacto, que mejora significativamente el realismo físico mientras mantiene el deslizamiento, permite a EDGE aprender cuándo los pies deben y no deben deslizarse.
Los investigadores descubrieron que los observadores humanos preferían abrumadoramente los bailes generados por el algoritmo EDGE a los generados por otros algoritmos. Los autores del estudio dicen que el algoritmo EDGE representa un avance importante en el campo de la danza generada por computadora. Creen que el algoritmo podría usarse para crear bailes para eventos virtuales y del mundo real, como tendencias sociales y de TikTok, bodas, fiestas o funciones corporativas.
Lea más sobre la IA:
Google AI anunció el primer generador de texto a música AudioLM
StabilityAI anunció el generador de música AI Harmonai basado en el modelo de difusión de danza
La IA de difusión estable crea mundos de ensueño para la realidad virtual y el metaverso
La publicación Music-to-Dance: EDGE AI genera una cantidad infinita de ideas de baile para TikTok basadas en entrada de audio apareció por primera vez en Metaverse Post.