Ein Forscherteam der Nanyang Technological University in Singapur hat kürzlich eine neue Methode zur Verfolgung menschlicher Bewegungen für das Metaversum vorgestellt.

Eines der Hauptmerkmale des Metaversums ist die Fähigkeit, reale Objekte und Personen in Echtzeit in der digitalen Welt darzustellen. In der virtuellen Realität können Benutzer beispielsweise ihren Kopf drehen, um ihren Blickwinkel zu ändern, oder physische Controller in der realen Welt manipulieren, um die digitale Umgebung zu beeinflussen.

Der Status quo zur Erfassung menschlicher Aktivitäten im Metaversum verwendet gerätebasierte Sensoren, Kameras oder eine Kombination aus beidem. Wie die Forscher in ihrem Vorabdruck-Forschungspapier schreiben, haben beide Modalitäten jedoch unmittelbare Einschränkungen.

Verwandt: Elon Musk verklagt Sam Altman und OpenAI wegen Vertragsbruch

Ein gerätebasiertes Sensorsystem, wie etwa ein Handcontroller mit Bewegungssensor, „erfasst die Informationen nur an einem Punkt des menschlichen Körpers und kann daher sehr komplexe Aktivitäten nicht modellieren“, schreiben die Forscher. Kamerabasierte Trackingsysteme haben dagegen Probleme mit schlechten Lichtverhältnissen und physischen Hindernissen.

Geben Sie WiFi-Erkennung ein

Wissenschaftler nutzen Wi-Fi-Sensoren schon seit Jahren, um menschliche Bewegungen zu verfolgen. Ähnlich wie Radar können die Funksignale, die zum Senden und Empfangen von Wi-Fi-Daten verwendet werden, dazu verwendet werden, Objekte im Weltraum zu erfassen.

WLAN-Sensoren können feinabgestimmt werden, um Herzschläge zu erfassen, Atem- und Schlafmuster zu verfolgen und sogar Personen durch Wände hindurch zu erkennen.

Metaverse-Forscher haben in der Vergangenheit mit der Kombination herkömmlicher Tracking-Methoden mit Wi-Fi-Sensoren experimentiert und dabei unterschiedlichen Erfolg gehabt.

Künstliche Intelligenz kommt ins Spiel

Für die WLAN-Verfolgung sind künstliche Intelligenzmodelle erforderlich. Leider hat sich gezeigt, dass das Training dieser Modelle für Forscher sehr schwierig ist.

Laut dem Papier des singapurischen Teams:

„Bestehende Lösungen, die Wi-Fi und visuelle Modalitäten verwenden, basieren auf massiven, gekennzeichneten Daten, deren Erfassung sehr mühsam ist. … Wir schlagen eine neuartige unbeaufsichtigte multimodale HAR-Lösung vor, MaskFi, die für das Modelltraining nur unbeschriftete Video- und Wi-Fi-Aktivitätsdaten nutzt.“

Um die notwendigen Modelle zu trainieren, die für Experimente mit Wi-Fi-Sensoren zur Erkennung menschlicher Aktivitäten (HAR) erforderlich sind, müssen Wissenschaftler eine Bibliothek mit Trainingsdaten aufbauen. Die zum Trainieren der KI verwendeten Datensätze können je nach Zielsetzung des jeweiligen Modells Tausende oder sogar Millionen von Datenpunkten enthalten.

Das Beschriften dieser Datensätze kann oft der zeitaufwändigste Teil der Durchführung dieser Experimente sein.

Geben Sie Mask-Fi ein

Um diese Herausforderung zu meistern, hat das Team der Nanyang Technological University „MaskFi“ entwickelt. Dabei kommen KI-Modelle zum Einsatz, die mit einer Methode namens „unüberwachtes Lernen“ erstellt wurden.

Beim unüberwachten Lernen wird ein KI-Modell anhand eines deutlich kleineren Datensatzes vortrainiert und dann so lange iteriert, bis es Ausgabezustände mit zufriedenstellender Genauigkeit vorhersagen kann. So können Forscher ihre Energie auf die Modelle selbst konzentrieren und müssen sich nicht mit der mühsamen Arbeit beschäftigen, die es braucht, um robuste Trainingsdatensätze aufzubauen.

Quelle: Yang et al. al., 2024

Laut den Forschern erreichte das MaskFi-System bei zwei verwandten Benchmarks eine Genauigkeit von etwa 97 %. Dies deutet darauf hin, dass dieses System durch zukünftige Entwicklungen als Katalysator für eine völlig neue Metaverse-Modalität dienen könnte: ein Metaverse, das eine 1:1-Darstellung der realen Welt in Echtzeit bieten kann.