Stenfordas universitāte ir paziņojusi par jaudīgu mūzikas pārvēršanas AI, kas ģenerē deju no audio ieejas, ko sauc par EDGE. EDGE ir spēcīga metode pielāgojamu deju radīšanai, kas var radīt fiziski ticamas, reālistiskas dejas, vienlaikus ievērojot jebkuru piedāvāto mūziku. Izmantojot Jukebox, spēcīgu mūzikas funkciju nosūcēju un uz transformatoru balstītu difūzijas modeli, EDGE piedāvā jaudīgas rediģēšanas iespējas, kas ir ideāli piemērotas dejām, piemēram, locītavu regulēšanu, kustību starplaikā un dejas turpinājumu. Tas atklāj, ka cilvēku vērtētāji ļoti atbalsta EDGE radītās dejas, salīdzinot ar jaunākajām pieejām, piemēram, Bailando un FACT.
No mūzikas līdz horeogrāfijai: kā EDGE ģenerē savas dejas
Pat savvaļā atrodamiem mūzikas paraugiem EDGE var radīt augstas kvalitātes dejas, izmantojot mūzikas iegulšanu no spēcīgā Jukebox modeļa. EDGE izmanto iesaldētu Jukebox modeli, lai iekļautu mūzikas ievadi. Piecu sekunžu deju klipu sērija tiek izmantota, lai mācītu nosacītās difūzijas modeli, kā kartēt klipos iegulto mūziku. Pirms vairāku klipu pakešu apvienošanas, lai izveidotu patvaļīga garuma pilnu videoklipu, tiek piemēroti laika ierobežojumi, lai nodrošinātu laika konsekvenci.
EDGE ir apmācīts uz 5 sekunžu deju klipiem, taču, uzliekot laika ierobežojumus sekvenču partijām, tas spēj radīt jebkura garuma dejas. Ilustrācijā EDGE piespiež katras secības pirmo pusi, lai tā atbilstu iepriekšējās secības otrajai pusei. Svaigi ģenerēti mūzikas-deju izvadi
EDGE atbalsta patvaļīgus laika un telpiskos ierobežojumus. Tas var atbalstīt daudzas galalietotāju lietojumprogrammas, tostarp:
Pieprasot laika nepārtrauktību daudzu secību partijās, var radīt patvaļīgas garuma dejas.
Dejas, kas ietver locītavu ierobežojumus, piemēram, ķermeņa lejasdaļas kustības, kas izraisa ķermeņa augšdaļas ģenerēšanu, vai pretēji.
Dejas ar sākuma un beigu kustībām, kas ir iepriekš noteiktas.
Dejas, kas sākas ar iepriekš noteiktu kustību, sauc par deju turpinājumiem.
Sarežģīts, apzināts, slīdošs pēdas-zemes kontakts ir izplatīts dejā. Jaunais kontaktu konsekvences zudums, kas ievērojami uzlabo fizisko reālismu, vienlaikus saglabājot slīdēšanu, ļauj EDGE uzzināt, kad kājām vajadzētu slīdēt un kad nevajadzētu.
Pētnieki atklāja, ka cilvēku novērotāji pārsvarā deva priekšroku dejām, kuras ģenerē EDGE algoritms, nevis citu algoritmu radītajām dejām. Pētījuma autori saka, ka EDGE algoritms ir liels sasniegums datorizētās dejas jomā. Viņi uzskata, ka algoritmu varētu izmantot, lai izveidotu dejas reāliem un virtuāliem pasākumiem, piemēram, sociālajiem un TikTok tendencēm, kāzām, ballītēm vai korporatīvajām funkcijām.
Lasiet vairāk par AI:
Google AI paziņoja par pirmo teksta-mūzikas ģeneratoru AudioLM
StabilityAI paziņoja par mākslīgā intelekta mūzikas ģeneratoru Harmonai, kura pamatā ir deju difūzijas modelis
Stabilas difūzijas AI rada sapņu pasaules VR un Metaverse
Ziņa Music-to-Dance: EDGE AI ģenerē bezgalīgi daudz deju ideju priekš TikTok, pamatojoties uz audio ievadi, vispirms parādījās Metaverse Post.