Quelle des Nachdrucks des Artikels: Silicon Star People

Bildquelle: Erstellt von Unbounded AI

Seit das Konzept des Metaversums 2021 von Zuckerberg populär gemacht wurde, fühlte es sich für die Menschen immer wie ein „vertrautester Fremder“ an, immer distanziert, manchmal weit und manchmal nah. Um es ganz klar auszudrücken: Jeder hat das Gefühl, dass seine Präsenz nicht stark genug und nicht so mächtig ist, wie man es sich vorgestellt hat.

Denn wenn man das Yuan-Universum erwähnt, entsteht in den Köpfen der Internetnutzer immer noch folgender Eindruck:

Zuckerberg machte ein Selfie mit dem berühmten Horizon Worlds-Avatar, der von der Menge „lächerlich gemacht“ wurde. Das Bild stammt von Facebook

Doch in nur einem Jahr kam aus dem Nichts ein einstündiges Ferngespräch, das in der Metaverse-Welt stattfand und die sozialen Netzwerke in die Luft jagte. Diesmal waren die Internetnutzer an der Reihe, verblüfft zu sein und auszurufen: Wie konnte sich das im Stillen so entwickeln, ohne aufzupassen? !

Kürzlich führte der MIT-Wissenschaftler Lex Fridman, der auch ein Guru für künstliche Intelligenz und bekannter Podcast-Moderator ist, ein ausführliches Interview mit Meta-CEO Mark Zuckerberg über Augmented Reality, KI und große Sprachmodelle.

Der Unterschied zur Vergangenheit besteht darin, dass sich die beiden dieses Mal nicht in der physischen Welt trafen, sondern das Gespräch im Metaversum unter Verwendung eines superrealistischen virtuellen 3D-Bildes beendeten, getrennt durch mehr als die Hälfte der Vereinigten Staaten. Zum Zeitpunkt der Drucklegung von Silicon Star hatte das Interview mit dem Titel „First Interview in Metaverse“ fast 13 Millionen Aufrufe auf X (ehemals Twitter) gesammelt.

Bild vom YouTube-Kanal von Lex Fridman

Zu Beginn des Videos erschien Lex Fridmans hochauflösender digitaler Ganzkörper-Avatar in einem weißen futuristischen Raum. Er sagte: „Obwohl Mark und ich in der realen Welt Hunderte von Meilen voneinander entfernt sind, sind unsere Bilder alle 3D-Modelle.“ Wenn wir uns mit räumlichem Ton gegenseitig modellieren und präsentieren, ist es so, als ob wir im selben Raum miteinander kommunizieren würden und sinnvoller Weise im Internet unterwegs sein.

Beide Männer trugen während des Interviews Meta Quest Pro VR-Headsets. Vielleicht lag es daran, dass der Effekt im Sichtfeld eine Zeit lang zu real war. Abgesehen davon, dass er grinste, seufzte er immer wieder: „Wo bin ich? Bist du wirklich Mark? Das ist großartig! Du nicht.“ „Es macht mir nichts aus. „Zu nah bei dir?“

Natürlich kann die Sichtweite angepasst werden. Darüber hinaus können Sie die Position der Lichtquelle anpassen, indem Sie den Griff steuern, um den Beleuchtungswinkel zu finden, der die Vorzüge Ihres Gesichts am besten hervorhebt.

Zuckerberg sagte, dass die Erstellung dieser neuen Meta-Codec-Avatare, die echte Menschen simulieren, im Gegensatz zu den Cartoon-Versionen oder Videoübertragungen ein umfassendes Scannen der verschiedenen Gesichtsausdrücke und Bewegungsdetails des Benutzers sowie die anschließende Modellierung und Komprimierung in eine codierte Version erfordert.

Die Echtzeit-Augen- und Gesichtsverfolgungsfunktionen des Headsets erfassen dann die Gesichtsausdrücke des Benutzers, bilden sie auf einem 3D-Avatar ab und „senden eine kodierte Version dessen, wie Sie aussehen sollten“ an die virtuelle Welt oder die Person am anderen Ende einer Konferenz Rufen Sie an. Präsentieren Sie ihnen eine Person, die wie Ihr wahres Ich aussieht.

Da die Bilddaten im Metaversum in verschlüsselter Form übertragen werden, sind sie nicht nur lebensecht, sondern auch bandbreiteneffizienter als das Senden eines vollständig immersiven Videos.

Dem Interviewvideo nach zu urteilen, ist die Fähigkeit des Avatars, die Details realer Menschen wiederherzustellen, in der Tat zu stark. In Lex‘ Worten: „Er erfasst alles, einschließlich der Fehler im menschlichen Gesicht. Für mich sind diese Fehler die Feinheiten von Menschen.“ Die kleinen Sommersprossen, die Fältchen, die asymmetrischen Wangen, der Ausdruck in den Augenwinkeln, wenn ich lächle … sie lassen mich mehr Freude daran haben und erkennen, dass Perfektion nicht der Schlüssel zum Eintauchen ist.“

„Augen sind in der Tat wichtig“, sagte Zuckerberg. „Viele Studien haben gezeigt, dass die menschliche Kommunikation hauptsächlich durch Mimik und Körperbewegungen und nicht durch Sprache erfolgt. Meta hat hart daran gearbeitet, diese Mimik mit seinem eigenen klassischen virtuellen System durch Fotos einzufangen.“ Es bietet ein reales Erlebnis und vermittelt ein besonderes Gefühl der Präsenz.“ Er glaubt, dass dies auch den visuellen Kern von Virtual Reality und Augmented Reality berührt, der darin besteht, den Menschen das Gefühl zu geben, zusammen zu sein, egal wo auf der Welt sie sich befinden.

Stellen Sie sich vor, dass einige Menschen in Zukunft tatsächlich anwesend sind, während andere in dieser realistischen virtuellen Form erscheinen, die durch die Kombination von Mixed-Reality-Technologie in die physische Umgebung eingeblendet wird: Sie denken, sie sitzen am Tisch und sprechen mit Ihnen über Projekte, aber Tatsächlich sind sie Tausende von Kilometern entfernt; wenn Sie mitten in der Nacht allein in einem fremden Land sind und Ihr Zuhause vermissen, können Sie ein Headset tragen, um Ihre Lieben in der Nähe zu sehen. Das Stirnrunzeln und Lächeln des Gegenübers sowie jeder subtile Gesichtsausdruck können nahezu verzögerungs- und verlustfrei dreidimensional realistisch wiedergegeben werden.

Während des Erlebnisses konnte Lex nicht anders, als auszurufen, dass es so wunderbar war: „Mein Herz schlägt im Moment sehr schnell und die Intimität des Gesprächs kann auf diese Weise aus der Ferne wahrgenommen werden. Ich spüre die Emotionen, und ich fühle auch.“ dass du und ich wirklich da sind. Das ist das Schwierigste in meinem Leben. „Eine der unglaublichsten Erfahrungen, wirklich augenöffnend!“

Allerdings ist zu beachten, dass es für den Normalbürger noch nicht einfach ist, Dialogeffekte in Videos zu erzielen. Vor Beginn des Interviews flogen beide vorab nach Pittsburgh und führten im Meta-Codec-Projektteam mehrere Stunden lang einen detaillierten Scan durch, der die höchste Technologie aktueller Soft- und Hardware integriert.

Auf der Connect-Konferenz, die gerade vor ein paar Tagen zu Ende ging, sagte Zuckerberg, dass seine größte Vision darin bestehe, diese High-End-Technologien den Menschen zugänglich zu machen und das Leben der meisten Menschen zu verändern. Was hat er sich dieses Mal für die Zukunft vor?

Xiao Zha sagte, wir hätten gerade erst begonnen. Indem wir zunächst eine kleine Anzahl von Personen scannen und genügend Gesichtsausdrucksdaten sammeln, können wir herausfinden, wie stark der gesamte Prozess vereinfacht werden kann, und ihn dann reibungsloser gestalten, wenn er auf eine große Anzahl von Personen angewendet wird. Obwohl diese Technologie noch nicht vollständig marktreif ist, wird sie in den nächsten Jahren weiter angepasst und optimiert, um schnellstmöglich auf Arbeitsszenarien angewendet zu werden und Produktivitätsprobleme zu lösen.

Was Meta hart daran arbeitet, ist, dass Sie ein Mobiltelefon nur verwenden müssen, um einen sehr schnellen Gesichtsscan durchzuführen, indem Sie beispielsweise das Mobiltelefon in die Hand nehmen und es vor Ihrem Gesicht schütteln, ein paar Wörter sagen und einige Gesichtsausdrücke machen Der gesamte Vorgang dauert möglicherweise nur zwei oder drei Minuten, um die gleiche Gesprächsqualität zu erzielen. Eine der nächsten Herausforderungen ist es, effizienter zu sein und gleichzeitig das Erlebnis zu gewährleisten.

Lex glaubt, dass die neuen Meta-Codec-Avatare eindeutig das „Tal des Terrors“ der Vergangenheit hinter sich haben. Xiao Zha sieht in der Kamera genauso aus wie er. Dann lächelte er zögernd und fragte: „Wir brauchen also keine Arme und Beine mehr.“ ,Rechts?"

„Nein, nein, wir werden diese Probleme trotzdem lösen“, erklärte Zuckerberg hastig. „Eigentlich gibt es ein Problem. Hochpräzises Ganzkörperscannen erfordert leistungsstarke Rechenleistung, sowohl für den Sensor des Head-Mounted Displays als auch für die Rendering-Fähigkeiten.“ Wir könnten also darüber nachdenken, den Körper mit geringerer Genauigkeit wiederherzustellen, beispielsweise die großen Bewegungen beizubehalten, aber das Gesicht ist das, was am meisten analysiert werden muss. Schließlich kann eine Bewegung der Augenbrauen um einen Millimeter ganz andere Emotionen vermitteln. Es spielt keine Rolle, ob sich Ihr Arm auch nur einen Zentimeter bewegt.“

Die Avatare in Horizon Worlds wurden aufgrund ihres blassen Gesichtsausdrucks und des Fehlens eines Unterkörpers als „Uncanny-Valley-Effekt“ beschrieben. Bild von Meta

Später sprachen die beiden über das neu erschienene Quest 3, Augmented Reality, künstliche Intelligenz im Metaverse und die Zukunft der Menschheit. Lex verspottete dieses Interview mit Zuckerberg als „das Treffen zweier Menschen mit den steifsten Ausdrücken im Internet im Metaversum.“ Er hatte das Gefühl, dass seine Ausdruckskraft in diesem virtuellen Raum einfacher einzufangen und die Emotionen perfekter zu vermitteln sei: „ Ich hoffe wirklich, dass mehr Menschen kommen und es selbst erleben können! Der 2D-Bildschirm wird bald ein echtes Schockgefühl hervorrufen.

Den Kommentaren der Internetnutzer nach zu urteilen, ist es offensichtlich, dass sie es nicht nur gespürt, sondern auch schockiert waren.

Auch wenn die letzten Monate von mehreren Runden stürmischer Updates von Google, Microsoft und insbesondere von OpenAIs ChatGPT geprägt waren, kann man davon ausgehen, dass dieses Interview im Metaversum immer noch außerhalb des Wahrnehmungsbereichs der Menschen liegt. MrBeast, der weltbeste Youtuber, hinterließ unter dem Video einen Kommentar mit den Worten: „Wie sind wir von Pixel-Avataren hierher gekommen? Was habe ich verpasst?“ Andere kommentierten ebenfalls: „Das ist das Unglaublichste, was ich je gesehen habe. Einer von.“ die Sachen."

Manche Leute sagen, dass Meta immer einen Platz unter den starken Marktführern im Bereich der technologischen Innovation einnehmen wird. Nachdem das Metaverse so lange in Frage gestellt, gehänselt und sogar kritisiert wurde, hat es sich immer noch zu einer so mächtigen 3.0-Form entwickelt.

Lex sagte: „Ich habe die Zukunft gesehen.“

„Ich glaube, das nächste Jahr wird ziemlich verrückt“, sagte Zuckerberg.

Unabhängig davon, wie sich Meta entwickeln oder in Zukunft entwickeln wird, ist dieses erste Luft-Luft-Gespräch zwischen einer „echten Person“, das sich über hundert Meilen im Metaversum erstreckt, ein Meilenstein. Wir haben das Glück, in dieser Zeit geboren zu sein und mitzuerleben, wie das Unmögliche möglich wird.