Zespół naukowców z Uniwersytetu Technologicznego Nanyang w Singapurze zaprezentował niedawno nową metodę śledzenia ruchu człowieka w metaświecie.

Jedną z kluczowych cech metaświata jest możliwość reprezentowania obiektów i ludzi ze świata rzeczywistego w świecie cyfrowym w czasie rzeczywistym. Na przykład w rzeczywistości wirtualnej użytkownicy mogą odwrócić głowę, aby zmienić swój punkt widzenia lub manipulować fizycznymi kontrolerami w świecie rzeczywistym, aby wpłynąć na środowisko cyfrowe.

Status quo w zakresie rejestrowania ludzkiej aktywności w metaświecie wykorzystuje czujniki i kamery oparte na urządzeniach lub ich kombinację. Jednakże, jak piszą naukowcy w swoim artykule badawczym przed drukiem, obie te modalności mają bezpośrednie ograniczenia.

Powiązane: Elon Musk pozywa Sama Altmana, OpenAI w związku z naruszeniem umowy

System wykrywania oparty na urządzeniu, taki jak ręczny kontroler z czujnikiem ruchu, „przechwytuje informacje tylko w jednym punkcie ludzkiego ciała i dlatego nie może modelować bardzo złożonej aktywności” – piszą badacze. Tymczasem systemy śledzenia oparte na kamerach radzą sobie ze słabym oświetleniem i fizycznymi przeszkodami.

Wprowadź wykrywanie Wi-Fi

Naukowcy od lat wykorzystują czujniki Wi-Fi do śledzenia ruchu człowieka. Podobnie jak RADAR, sygnały radiowe używane do wysyłania i odbierania danych Wi-Fi mogą być wykorzystywane do wykrywania obiektów w przestrzeni.

Czujniki Wi-Fi można dostosować tak, aby rejestrowały bicie serca, śledziły wzorce oddychania i snu, a nawet wyczuwały ludzi przez ściany.

W przeszłości badacze Metaverse eksperymentowali z łączeniem tradycyjnych metod śledzenia z wykrywaniem Wi-Fi, z różnym skutkiem.

Wejdź do sztucznej inteligencji

Śledzenie Wi-Fi wymaga wykorzystania modeli sztucznej inteligencji. Niestety szkolenie tych modeli okazało się dla badaczy dużym wyzwaniem.

Według artykułu singapurskiego zespołu:

„Istniejące rozwiązania wykorzystujące Wi-Fi i moduły wizyjne opierają się na ogromnych, oznakowanych danych, których gromadzenie jest bardzo kłopotliwe. … Proponujemy nowatorskie, multimodalne rozwiązanie HAR bez nadzoru, MaskFi, które wykorzystuje wyłącznie nieoznakowane dane o aktywności wideo i Wi-Fi do szkolenia modeli”.

Aby wytrenować niezbędne modele wymagane do eksperymentowania z wykrywaniem Wi-Fi na potrzeby rozpoznawania aktywności człowieka (HAR), naukowcy muszą zbudować bibliotekę danych szkoleniowych. Zbiory danych wykorzystywane do uczenia sztucznej inteligencji mogą zawierać tysiące, a nawet miliony punktów danych, w zależności od celów konkretnego modelu.

Często etykietowanie tych zbiorów danych może być najbardziej czasochłonną częścią przeprowadzania tych eksperymentów.

Wejdź do Mask-Fi

Aby sprostać temu wyzwaniu, zespół z Uniwersytetu Technologicznego w Nanyang zbudował „MaskFi”. Wykorzystuje modele sztucznej inteligencji zbudowane przy użyciu metody zwanej „uczeniem bez nadzoru”.

W paradygmacie uczenia się bez nadzoru model sztucznej inteligencji jest wstępnie szkolony na znacznie mniejszym zbiorze danych, a następnie poddawany iteracjom, aż będzie w stanie przewidzieć stany wyjściowe z zadowalającym poziomem dokładności. Dzięki temu badacze mogą skupić swoją energię na samych modelach, zamiast na żmudnym wysiłku związanym z tworzeniem solidnych zbiorów danych szkoleniowych.

Źródło: Yang i in. al., 2024

Według naukowców system MaskFi osiągnął około 97% dokładności w dwóch powiązanych testach porównawczych. Oznacza to, że system ten może, w drodze przyszłego rozwoju, służyć jako katalizator dla zupełnie nowej modalności metaświata: metaświata, który może zapewnić reprezentację świata rzeczywistego w skali 1:1 w czasie rzeczywistym.