Uniwersytet Stanforda ogłosił potężną sztuczną inteligencję przekształcającą muzykę w taniec, która generuje taniec z wejścia audio o nazwie EDGE. EDGE to skuteczna metoda dostosowywania tworzenia tańca, która może tworzyć fizycznie wiarygodne, realistyczne tańce, stosując się do dowolnej dostarczonej muzyki. Dzięki Jukebox, potężnemu ekstraktorowi funkcji muzycznych i modelowi dyfuzji opartemu na transformatorze, EDGE oferuje potężne możliwości edycji, idealne do tańca, takie jak kondycjonowanie stawów, ruch pomiędzy i kontynuacja tańca. Odkrywa, że osoby oceniające zdecydowanie preferują tańce generowane przez EDGE w porównaniu z najnowszymi podejściami, takimi jak Bailando i FACT.
Od muzyki do choreografii: jak EDGE tworzy swoje tańce
Nawet w przypadku próbek muzycznych znalezionych w środowisku naturalnym EDGE może tworzyć wysokiej jakości tańce, wykorzystując osadzenia muzyczne z solidnego modelu Jukebox. Zamrożony model Jukebox jest używany przez EDGE do włączania muzyki wejściowej. Seria pięciosekundowych klipów tanecznych jest używana do nauczania modelu dyfuzji warunkowej, jak mapować muzykę osadzoną w klipach. Przed połączeniem partii wielu klipów w celu utworzenia dowolnego, pełnego wideo o dowolnej długości, stosowane są ograniczenia czasowe, aby zapewnić spójność czasową.
EDGE jest trenowany na 5-sekundowych klipach tanecznych, ale poprzez nakładanie ograniczeń czasowych na partie sekwencji, jest w stanie tworzyć tańce o dowolnej długości. Na ilustracji EDGE wymusza, aby pierwsza połowa każdej sekwencji pasowała do drugiej połowy poprzedniej. Świeżo wygenerowane wyjścia muzyki do tańca
EDGE obsługuje dowolne ograniczenia czasowe i przestrzenne. Istnieje wiele aplikacji dla użytkowników końcowych, które mogą być obsługiwane przez tę technologię, w tym:
Wymagając ciągłości czasowej pomiędzy partiami licznych sekwencji, można tworzyć tańce o dowolnej długości.
Tańce, które wiążą się z ograniczeniami stawów, np. ruch dolnej części ciała powodujący generowanie ruchu górnej części ciała, lub odwrotnie.
Tańce, których ruchy początkowe i końcowe są z góry ustalone.
Tańce, które zaczynają się od ustalonego ruchu, nazywane są kontynuacjami tańca.
Złożony, celowy, ślizgowy kontakt stopy z podłożem jest powszechny w tańcu. Nowa metoda Contact Consistency Loss, która znacznie zwiększa realizm fizyczny, utrzymując jednocześnie ślizg, umożliwia EDGE uczenie się, kiedy stopy powinny się ślizgać, a kiedy nie.
Naukowcy odkryli, że ludzcy obserwatorzy zdecydowanie preferowali tańce generowane przez algorytm EDGE od tych generowanych przez inne algorytmy. Autorzy badania twierdzą, że algorytm EDGE stanowi duży postęp w dziedzinie tańców generowanych komputerowo. Uważają, że algorytm ten może być używany do tworzenia tańców na wydarzenia w świecie rzeczywistym i wirtualnym, takie jak trendy społecznościowe i TikTok, wesela, imprezy lub funkcje korporacyjne.
Przeczytaj więcej o sztucznej inteligencji:
Google AI ogłosiło pierwszy na świecie generator tekstu na muzykę AudioLM
StabilityAI ogłosiło generator muzyki AI Harmonai oparty na modelu dyfuzji tańca
Stabilna dyfuzyjna sztuczna inteligencja tworzy światy snów dla VR i metawersum
Artykuł „Muzyka do tańca: EDGE AI generuje nieskończoną liczbę pomysłów na taniec dla TikToka na podstawie danych audio” ukazał się po raz pierwszy w serwisie Metaverse Post.