Universitatea Stanford a anunțat o IA puternică pentru muzica-to-dance, care generează dans din intrarea audio numită EDGE. EDGE este o metodă puternică pentru crearea de dans personalizabilă, care poate produce dansuri realiste credibile din punct de vedere fizic, respectând în același timp orice muzică furnizată. Cu ajutorul Jukebox, un extractor de caracteristici muzicale puternice și un model de difuzie bazat pe transformator, EDGE oferă capabilități de editare puternice care sunt ideale pentru dans, cum ar fi condiționarea articulațiilor, mișcarea intermediară și continuarea dansului. Descoperă că evaluatorii umani preferă mult dansurile generate de EDGE în comparație cu abordările recente precum Bailando și FACT.
De la muzică la coregrafie: cum EDGE își generează dansurile
Chiar și pentru mostrele de muzică găsite în sălbăticie, EDGE poate produce dansuri de înaltă calitate folosind încorporarea muzicii de la modelul robust Jukebox. Un model de Jukebox înghețat este folosit de EDGE pentru a încorpora muzica de intrare. O serie de clipuri de dans de cinci secunde sunt folosite pentru a învăța un model de difuzie condiționată cum să mapați muzica încorporată în clipuri. Înainte de a uni loturi de mai multe clipuri împreună pentru a crea un videoclip complet de lungime arbitrară, se aplică constrângeri temporale pentru a asigura consistența temporală.
EDGE este antrenat pe clipuri de dans de 5 secunde, dar prin plasarea de constrângeri temporale pe loturi de secvențe, este capabil să creeze dansuri de orice lungime. În ilustrație, EDGE forțează prima jumătate a fiecărei secvențe să se potrivească cu a doua jumătate a celei dinaintea acesteia. Ieșiri de muzică pentru dans proaspăt generate
Limitările temporale și spațiale arbitrare sunt susținute de EDGE. Există numeroase aplicații pentru utilizatorii finali care pot fi susținute prin aceasta, inclusiv:
Cerând continuitate temporală în loturi de numeroase secvențe, pot fi produse dansuri de lungime arbitrară.
Dansuri care includ restricții articulare, cum ar fi mișcarea inferioară a corpului care provoacă generarea superioară a corpului sau invers.
Dansuri cu mișcări de început și de sfârșit care sunt prestabilite.
Dansurile care încep cu o mișcare predeterminată sunt cunoscute sub denumirea de continuare a dansului.
Contactul complex, deliberat, alunecat picior-sol este predominant în dans. Noua pierdere a consistenței contactului, care îmbunătățește semnificativ realismul fizic, menținând alunecarea, îi permite EDGE să învețe când picioarele ar trebui și nu ar trebui să alunece.
Cercetătorii au descoperit că observatorii umani au preferat în mod covârșitor dansurile generate de algoritmul EDGE celor generate de alți algoritmi. Autorii studiului spun că algoritmul EDGE reprezintă un progres major în domeniul dansului generat de computer. Ei cred că algoritmul ar putea fi folosit pentru a crea dansuri pentru evenimente din lumea reală și virtuale, cum ar fi tendințele sociale și TikTok, nunți, petreceri sau funcții corporative.
Citiți mai multe despre AI:
Google AI a anunțat primul generator de text în muzică AudioLM
StabilityAI a anunțat AI Music Generator Harmonai bazat pe Dance Diffusion Model
Stable Diffusion AI creează lumi de vis pentru VR și Metaverse
Postarea Music-to-Dance: EDGE AI generează un număr infinit de idei de dans pentru TikTok pe baza intrării audio a apărut mai întâi pe Metaverse Post.