Tým výzkumníků z technologické univerzity Nanyang v Singapuru nedávno představil novou metodu sledování lidského pohybu pro metavesmír. 

Jedním z klíčových rysů metaverze je schopnost reprezentovat objekty a lidi reálného světa v digitálním světě v reálném čase. Například ve virtuální realitě mohou uživatelé otáčet hlavu, aby změnili své názory nebo manipulovali s fyzickými ovladači v reálném světě, aby ovlivnili digitální prostředí.

Status quo pro zachycení lidské činnosti v metaverse využívá senzory založené na zařízení, kamery nebo kombinaci obou. Jak však vědci píší ve svém předtiskovém výzkumu, oba tyto způsoby mají okamžitá omezení.

Související: Elon Musk žaluje Sama Altmana, OpenAI kvůli porušení smlouvy

Snímací systém založený na zařízení, jako je ruční ovladač se snímačem pohybu, „zachycuje informace pouze v jednom bodě lidského těla, a proto nemůže modelovat velmi složitou aktivitu“, píší výzkumníci. Mezitím kamerové sledovací systémy bojují s prostředím se slabým osvětlením a fyzickými překážkami.

Zadejte detekci WiFi

Vědci používají Wi-Fi senzory ke sledování lidského pohybu po celá léta. Podobně jako RADAR lze rádiové signály používané k odesílání a přijímání dat Wi-Fi použít ke snímání objektů ve vesmíru.

Senzory Wi-Fi lze vyladit tak, aby snímaly srdeční tep, sledovaly dechové a spací vzorce a dokonce snímaly lidi přes zdi.

Výzkumníci společnosti Metaverse v minulosti s různým stupněm úspěchu experimentovali s kombinací tradičních metod sledování se snímáním Wi-Fi.

Vstupte do umělé inteligence

Sledování Wi-Fi vyžaduje použití modelů umělé inteligence. Bohužel se ukázalo, že výcvik těchto modelů je pro výzkumníky velmi obtížný.

Podle papíru singapurského týmu:

„Stávající řešení využívající Wi-Fi a modality vidění spoléhají na masivní, označená data, jejichž sběr je velmi těžkopádný. … Navrhujeme nové multimodální HAR řešení bez dozoru, MaskFi, které využívá pouze neoznačené video a údaje o aktivitě Wi-Fi pro trénink modelu.“

Aby vědci mohli trénovat potřebné modely potřebné k experimentování s Wi-Fi snímáním pro rozpoznávání lidské činnosti (HAR), musí vybudovat knihovnu školicích dat. Datové sady používané k trénování umělé inteligence mohou obsahovat tisíce nebo dokonce miliony datových bodů v závislosti na cílech konkrétního modelu.

Označování těchto souborů dat může být často časově nejnáročnější částí provádění těchto experimentů.

Zadejte Mask-Fi

Tým z technologické univerzity Nanyang vytvořil „MaskFi“, aby tuto výzvu překonal. Využívá modely umělé inteligence vytvořené pomocí metody zvané „učení bez dozoru“.

V paradigmatu učení bez dozoru je model umělé inteligence předtrénován na výrazně menším souboru dat a poté prochází iteracemi, dokud není schopen předpovídat výstupní stavy s uspokojivou úrovní přesnosti. To umožňuje výzkumníkům soustředit svou energii na samotné modely namísto usilovného úsilí, které je zapotřebí k vytvoření robustních tréninkových datových sad.

Zdroj: Yang, et. al., 2024

Podle výzkumníků dosáhl systém MaskFi přibližně 97% přesnosti ve dvou souvisejících benchmarcích. To naznačuje, že tento systém by mohl prostřednictvím budoucího vývoje sloužit jako katalyzátor pro zcela novou modalitu metaverze: metaverze, která může poskytnout zobrazení reálného světa 1:1 v reálném čase.