La Stanford University ha annunciato una potente intelligenza artificiale music-to-dance che genera danza da input audio chiamata EDGE. EDGE è un potente metodo per la creazione di danze personalizzabili in grado di produrre danze realistiche e fisicamente credibili aderendo a qualsiasi musica fornita. Con l'aiuto di Jukebox, un potente estrattore di funzionalità musicali e un modello di diffusione basato su trasformatore, EDGE offre potenti funzionalità di editing ideali per la danza, come il condizionamento articolare, il movimento intermedio e la continuazione della danza. Si scopre che i valutatori umani preferiscono notevolmente le danze generate da EDGE rispetto ad approcci recenti come Bailando e FACT.
Dalla musica alla coreografia: come EDGE genera le sue danze
Anche per campioni musicali trovati in natura, EDGE può produrre danze di alta qualità utilizzando incorporamenti musicali dal robusto modello Jukebox. EDGE utilizza un modello Jukebox congelato per incorporare la musica in ingresso. Una serie di clip dance di cinque secondi viene utilizzata per insegnare a un modello di diffusione condizionale come mappare la musica incorporata nelle clip. Prima di unire gruppi di più clip per creare un video completo di lunghezza arbitraria, vengono applicati vincoli temporali per garantire la coerenza temporale.
EDGE è addestrato su clip di danza di 5 secondi, ma ponendo vincoli temporali su lotti di sequenze, è in grado di creare danze di qualsiasi durata. Nell'illustrazione, EDGE forza la prima metà di ciascuna sequenza a corrispondere alla seconda metà di quella precedente. Uscite dalla musica alla danza appena generate
EDGE supporta limitazioni temporali e spaziali arbitrarie. Esistono numerose applicazioni per l'utente finale che possono essere supportate da questo, tra cui:
Richiedendo la continuità temporale tra lotti di numerose sequenze, è possibile produrre danze di lunghezza arbitraria.
Danze che includono restrizioni articolari, come il movimento della parte inferiore del corpo che causa la generazione della parte superiore del corpo o il contrario.
Balla con movimenti iniziali e finali predeterminati.
Le danze che iniziano con un movimento predeterminato sono conosciute come continuazioni della danza.
Nella danza è prevalente il contatto piede-terra complesso, deliberato e scorrevole. La nuova perdita di consistenza del contatto, che migliora significativamente il realismo fisico pur mantenendo lo scorrimento, consente a EDGE di apprendere quando i piedi dovrebbero e non dovrebbero scivolare.
I ricercatori hanno scoperto che gli osservatori umani preferivano in stragrande maggioranza le danze generate dall’algoritmo EDGE a quelle generate da altri algoritmi. Gli autori dello studio affermano che l’algoritmo EDGE rappresenta un importante progresso nel campo della danza generata dal computer. Credono che l’algoritmo potrebbe essere utilizzato per creare danze per eventi reali e virtuali, come tendenze social e TikTok, matrimoni, feste o funzioni aziendali.
Ulteriori informazioni sull'intelligenza artificiale:
Google AI ha annunciato il primo generatore di testo in musica AudioLM
StabilityAI ha annunciato il generatore di musica AI Harmonai basato sul modello di diffusione della danza
L'intelligenza artificiale a diffusione stabile crea mondi da sogno per VR e Metaverse
Il post Music-to-Dance: EDGE AI genera un numero infinito di idee di danza per TikTok basate sull'input audio è apparso per la prima volta su Metaverse Post.