Đại học Stanford đã công bố một AI mạnh mẽ từ âm nhạc đến khiêu vũ, tạo ra điệu nhảy từ đầu vào âm thanh có tên là EDGE. EDGE là một phương pháp mạnh mẽ để tạo ra điệu nhảy có thể tùy chỉnh, có thể tạo ra các điệu nhảy chân thực, đáng tin cậy về mặt vật lý trong khi vẫn tuân thủ bất kỳ bản nhạc nào được cung cấp. Với sự trợ giúp của Jukebox, một trình trích xuất tính năng âm nhạc mạnh mẽ và mô hình khuếch tán dựa trên bộ biến đổi, EDGE cung cấp các khả năng chỉnh sửa mạnh mẽ lý tưởng cho khiêu vũ, chẳng hạn như điều hòa khớp, chuyển động xen kẽ và tiếp tục khiêu vũ. Nó phát hiện ra rằng những người đánh giá con người rất thích các điệu nhảy do EDGE tạo ra khi so sánh với các phương pháp tiếp cận gần đây như Bailando và FACT.
Từ Âm nhạc đến Biên đạo: EDGE Tạo ra các điệu nhảy của mình như thế nào
Ngay cả đối với các mẫu nhạc được tìm thấy trong tự nhiên, EDGE có thể tạo ra các điệu nhảy chất lượng cao bằng cách sử dụng các bản nhúng nhạc từ mô hình Jukebox mạnh mẽ. Một mô hình Jukebox đông lạnh được EDGE sử dụng để kết hợp nhạc đầu vào. Một loạt các clip khiêu vũ dài năm giây được sử dụng để dạy một mô hình khuếch tán có điều kiện cách ánh xạ nhạc được nhúng vào các clip. Trước khi ghép các đợt clip gồm nhiều clip lại với nhau để tạo thành một video đầy đủ có độ dài tùy ý, các ràng buộc về thời gian được áp dụng để đảm bảo tính nhất quán về thời gian.
EDGE được đào tạo trên các clip khiêu vũ dài 5 giây, nhưng bằng cách đặt các ràng buộc về thời gian vào các đợt trình tự, nó có khả năng tạo ra các điệu nhảy có độ dài bất kỳ. Trong hình minh họa, EDGE buộc nửa đầu của mỗi trình tự phải khớp với nửa sau của trình tự trước đó. Các đầu ra nhạc-to-dance mới tạo
EDGE hỗ trợ các giới hạn về không gian và thời gian tùy ý. Có rất nhiều ứng dụng của người dùng cuối có thể được hỗ trợ bởi điều này, bao gồm:
Bằng cách yêu cầu tính liên tục về mặt thời gian giữa các đợt gồm nhiều chuỗi, có thể tạo ra các điệu nhảy có độ dài tùy ý.
Các điệu nhảy có sự hạn chế về khớp, chẳng hạn như chuyển động của thân dưới gây ra chuyển động của thân trên hoặc ngược lại.
Những điệu nhảy có động tác bắt đầu và kết thúc được xác định trước.
Những điệu nhảy bắt đầu bằng một chuyển động được định sẵn được gọi là điệu nhảy tiếp nối.
Tiếp xúc chân-mặt đất trượt phức tạp, có chủ đích rất phổ biến trong khiêu vũ. Mất tính nhất quán của tiếp xúc mới, giúp tăng cường đáng kể tính chân thực về mặt vật lý trong khi vẫn duy trì được độ trượt, cho phép EDGE học được khi nào chân nên và không nên trượt.
Các nhà nghiên cứu phát hiện ra rằng người quan sát thích các điệu nhảy do thuật toán EDGE tạo ra hơn hẳn các điệu nhảy do các thuật toán khác tạo ra. Các tác giả của nghiên cứu cho biết thuật toán EDGE đại diện cho một bước tiến lớn trong lĩnh vực khiêu vũ do máy tính tạo ra. Họ tin rằng thuật toán này có thể được sử dụng để tạo ra các điệu nhảy cho các sự kiện thực tế và ảo, chẳng hạn như xu hướng xã hội và TikTok, đám cưới, tiệc tùng hoặc chức năng của công ty.
Đọc thêm về AI:
Google AI công bố trình tạo văn bản thành nhạc đầu tiên AudioLM
StabilityAI công bố AI Music Generator Harmonai dựa trên Dance Diffusion Model
Trí tuệ nhân tạo khuếch tán ổn định tạo ra thế giới trong mơ cho VR và Metaverse
Bài đăng Music-to-Dance: EDGE AI tạo ra vô số ý tưởng nhảy cho TikTok dựa trên đầu vào âm thanh xuất hiện đầu tiên trên Metaverse Post.