Universitas Stanford telah mengumumkan AI musik-untuk-menari yang menghasilkan tarian dari input audio yang disebut EDGE. EDGE adalah metode ampuh untuk kreasi tarian yang dapat disesuaikan yang dapat menghasilkan tarian realistis dan dapat dipercaya secara fisik sambil mengikuti musik apa pun yang disediakan. Dengan bantuan Jukebox, ekstraktor fitur musik yang ampuh, dan model difusi berbasis transformator, EDGE menawarkan kemampuan pengeditan hebat yang ideal untuk tarian, seperti pengondisian sendi, gerakan di antara keduanya, dan kelanjutan tarian. Ditemukan bahwa penilai manusia sangat menyukai tarian yang dihasilkan oleh EDGE jika dibandingkan dengan pendekatan terbaru seperti Bailando dan FACT.
Dari Musik hingga Koreografi: Bagaimana EDGE Menghasilkan Tariannya
Bahkan untuk sampel musik yang ditemukan di alam liar, EDGE dapat menghasilkan tarian berkualitas tinggi menggunakan musik yang disematkan dari model Jukebox yang tangguh. Model Jukebox beku digunakan oleh EDGE untuk memasukkan musik input. Serangkaian klip dansa berdurasi lima detik digunakan untuk mengajarkan model difusi bersyarat cara memetakan musik yang disematkan ke dalam klip. Sebelum menggabungkan kumpulan beberapa klip untuk membuat video penuh dengan durasi sewenang-wenang, batasan waktu diterapkan untuk memastikan konsistensi waktu.
EDGE dilatih pada klip dansa berdurasi 5 detik, tetapi dengan menempatkan batasan waktu pada kumpulan urutan, EDGE mampu menciptakan tarian dengan durasi berapa pun. Dalam ilustrasi tersebut, EDGE memaksa babak pertama setiap urutan untuk mencocokkan paruh kedua dari babak sebelumnya. Keluaran musik-ke-tari yang baru dihasilkan
Keterbatasan temporal dan spasial yang sewenang-wenang didukung oleh EDGE. Ada banyak aplikasi pengguna akhir yang dapat didukung dengan ini, termasuk:
Dengan memerlukan kesinambungan temporal di seluruh rangkaian rangkaian yang berbeda-beda, tarian dengan durasi yang dapat diubah-ubah dapat dihasilkan.
Tarian yang mencakup pembatasan persendian, misalnya gerak tubuh bagian bawah sehingga menimbulkan generasi tubuh bagian atas, atau sebaliknya.
Tarian dengan gerak awal dan akhir yang telah ditentukan.
Tarian yang diawali dengan gerak yang telah ditentukan dikenal dengan sebutan tari lanjutan.
Kontak kaki-tanah yang rumit, disengaja, dan menggeser lazim terjadi dalam tarian. Hilangnya Konsistensi Kontak Baru, yang secara signifikan meningkatkan realisme fisik sambil tetap meluncur, memungkinkan EDGE mempelajari kapan kaki harus dan tidak boleh meluncur.
Para peneliti menemukan bahwa pengamat manusia lebih menyukai tarian yang dihasilkan oleh algoritma EDGE dibandingkan yang dihasilkan oleh algoritma lain. Penulis penelitian mengatakan bahwa algoritma EDGE mewakili kemajuan besar dalam bidang tari yang dihasilkan komputer. Mereka percaya bahwa algoritme tersebut dapat digunakan untuk menciptakan tarian untuk acara dunia nyata dan virtual, seperti tren sosial dan TikTok, pernikahan, pesta, atau acara perusahaan.
Baca lebih lanjut tentang AI:
Google AI Mengumumkan AudioLM Generator Teks-ke-Musik yang Pertama
StabilityAI mengumumkan AI Music Generator Harmonai berdasarkan Dance Diffusion Model
AI Difusi Stabil Menciptakan Dunia Impian untuk VR dan Metaverse
Pos Music-to-Dance: EDGE AI menghasilkan ide tarian dalam jumlah tak terbatas untuk TikTok berdasarkan input audio muncul pertama kali di Metaverse Post.