A Universidade de Stanford anunciou uma poderosa IA de música para dança que gera dança a partir de entrada de áudio chamada EDGE. EDGE é um método potente para criação de dança personalizável que pode produzir danças realistas e fisicamente verossímeis, ao mesmo tempo em que segue qualquer música fornecida. Com a ajuda do Jukebox, um potente extrator de recursos musicais e um modelo de difusão baseado em transformador, o EDGE oferece poderosos recursos de edição que são ideais para dança, como condicionamento de articulações, movimento intermediário e continuação de dança. Ele descobre que os avaliadores humanos favorecem muito as danças geradas pelo EDGE quando comparadas a abordagens recentes como Bailando e FACT.
Da música à coreografia: como EDGE gera suas danças
Mesmo para samples de música encontrados na natureza, o EDGE pode produzir danças de alta qualidade usando incorporações musicais do robusto modelo Jukebox. Um modelo Jukebox congelado é usado pela EDGE para incorporar música de entrada. Uma série de clipes de dança de cinco segundos é usada para ensinar um modelo de difusão condicional como mapear a música incorporada nos clipes. Antes de juntar lotes de vários clipes para criar um vídeo completo de duração arbitrária, restrições temporais são aplicadas para garantir consistência temporal.
EDGE é treinado em clipes de dança de 5 segundos, mas ao colocar restrições temporais em lotes de sequências, é capaz de criar danças de qualquer duração. Na ilustração, EDGE força a primeira metade de cada sequência a corresponder à segunda metade da anterior. Saídas de música para dança recém-geradas
Limitações temporais e espaciais arbitrárias são suportadas pelo EDGE. Existem vários aplicativos de usuário final que podem ser suportados por isso, incluindo:
Ao exigir continuidade temporal entre lotes de numerosas sequências, podem ser produzidas danças de duração arbitrária.
Danças que incluem restrições articulares, como movimentos da parte inferior do corpo, causando geração da parte superior do corpo, ou o contrário.
Danças com movimentos iniciais e finais pré-determinados.
As danças que começam com um movimento predeterminado são conhecidas como continuações de dança.
O contato complexo, deliberado e deslizante entre o pé e o solo é predominante na dança. A nova perda de consistência de contato, que aumenta significativamente o realismo físico enquanto mantém o deslizamento, permite que o EDGE aprenda quando os pés devem ou não deslizar.
Os pesquisadores descobriram que os observadores humanos preferiam esmagadoramente as danças geradas pelo algoritmo EDGE às geradas por outros algoritmos. Os autores do estudo afirmam que o algoritmo EDGE representa um grande avanço no campo da dança gerada por computador. Eles acreditam que o algoritmo poderia ser usado para criar danças para eventos virtuais e do mundo real, como tendências sociais e TikTok, casamentos, festas ou eventos corporativos.
Leia mais sobre IA:
Google AI anunciou o primeiro gerador de texto para música AudioLM
StabilityAI anunciou AI Music Generator Harmonai baseado no modelo Dance Diffusion
Stable Diffusion AI cria mundos de sonho para VR e metaverso
O post Music-to-Dance: EDGE AI gera um número infinito de ideias de dança para TikTok com base na entrada de áudio apareceu pela primeira vez no Metaverse Post.