Das Metaversum wird alle fünf Sinne ansprechen

Sep 05, 2023

DR. Jeroen Van Ham | 07. April 2023

Während die Elektronikindustrie die virtuelle Realität (VR) und die erweiterte Realität (AR) ständig verbessert, entsteht ein noch umfassenderes Konzept: das Metaversum. Während AR und VR im Wesentlichen visueller Natur sind, erwarten wir, dass das Metaversum alle unsere Sinne anspricht, um reale und digitale Welten zu einem noch reichhaltigeren Erlebnis zu verschmelzen.

VR und AR mögen zwar visuell sein, aber um dieses visuelle Erlebnis zu ermöglichen, sind eine Reihe von Sensoren und Aktoren erforderlich, die nichts mit der Erkennung oder Emission von Licht zu tun haben. Sensoren für Positionierung, Stabilität und Bewegung sind von grundlegender Bedeutung. Die Daten dieser verschiedenen Sensoren müssen verarbeitet werden, und die Software, die diese Daten integrieren kann, um immer reichhaltigere und angenehmere Erfahrungen zu ermöglichen, muss kontinuierlich weiterentwickelt werden. Die Entwicklung von VR/AR war keine kleine Herausforderung.

Das Metaversum-Erlebnis erfordert mehr Sensoren, mehr verschiedene Sensortypen, eine weitaus größere Rechenleistung und immer ausgefeiltere Software. All dies zu koordinieren wird eine umso gewaltigere Aufgabe sein – durchaus erreichbar, aber der Prozess wird uns sicherlich alle beschäftigen.

Um besser zu verstehen, was das Metaversum sein könnte, ist ein kurzer Blick darauf hilfreich, wo wir uns heute befinden.

VR könnte digitale Darstellungen realer Orte in unserer physischen Welt, virtuelle Darstellungen von Umgebungen umfassen, die sonst nicht existieren, oder jede denkbare Mischung aus scheinbar Realem und Fantastischem, sofern alles computergeneriert ist.

AR und Mixed Reality (MR) beginnen beide mit der realen, physischen Welt und fügen dann etwas Virtuelles hinzu. Das virtuelle Element kann alles sein, von einfachen alphanumerischen Daten bis hin zu animierten Objekten, Charakteren oder Szenen. Was AR von MR unterscheidet, ist immer noch Ansichtssache. Wenn Unterscheidungen getroffen werden, geht es in der Regel um Fragen des Grades – um das Gleichgewicht zwischen real und virtuell.

Um die Sache noch unklarer zu machen, gibt es auch XR. Für einige ist das X in XR nur ein Ersatz für V, A und M in VR, AR bzw. MR. Andere sagen, das X in XR bedeute „erweitert“, und natürlich besteht auch keine Einigkeit darüber, was das bedeutet. Erweiterte Realität könnte ein Synonym für das Metaversum sein – oder auch nicht. Oder es könnte am Ende nur ein Sammelbegriff sein, der es den Leuten erspart, jedes Mal, wenn das Thema auftaucht, „VR, AR, MR und das Metaversum“ aufzuzählen.

Während die Begriffe unklar bleiben, können die beteiligten Technologien zumindest vorerst als einigermaßen endgültig angesehen werden. Zunächst einmal wird VR durch die Verwendung von Brillen definiert und wird es wahrscheinlich immer sein.

Heutzutage stützen sich sowohl AR als auch MR auf ein transparentes Medium (Brille oder Schutzbrille) oder etwas mit einer Kamera-Bildschirm-Kombination, die sich so verhalten kann, als wäre sie transparent (ein Smartphone oder wiederum eine Schutzbrille). durch einen Mechanismus, der es Benutzern ermöglicht, digitale Daten und Bilder wahrzunehmen. Derzeit sind die Technologien für AR und MR sehr ähnlich, und wenn XR überhaupt etwas ist, ist es nicht ausreichend definiert, daher werden wir für den Rest dieses Aufsatzes die Dinge einfach halten und uns nur auf VR, AR und das Metaversum beziehen.

Es besteht auch keine Einigkeit über die Definition des Metaversums – aber wir haben unsere Meinung bereits früher geäußert. Wir glauben, dass es keinen Sinn macht, auf ein Metaversum hinzuarbeiten, wenn es nicht über VR und AR hinausgeht und Sehen, Hören, Berühren, Riechen und Schmecken umfasst.

Daher glauben wir, dass das Metaversum durch eine Technologie definiert wird, die Schutzbrillen und Brillen ergänzt und vielleicht sogar ersetzt. Dazu werden mit ziemlicher Sicherheit auch Wearables gehören. Wearables könnten fast jede Form annehmen, von Schmuck (z. B. Smartwatches) über intelligente Kleidung bis hin zu Prothesen – und eines Tages in ferner Zukunft vielleicht sogar medizinische Implantate.

Menschen sind visuelle Wesen, und das wird sich nicht ändern, daher werden VR und AR natürlich grundlegende Elemente des Metaversums sein. Displays sind sowohl für VR als auch für AR von grundlegender Bedeutung.

VR-Systeme basieren fast ausschließlich auf digitalen Bildschirmen, die in Brillen eingebaut sind. Verschiedene AR-Systeme verfolgen unterschiedliche Ansätze, aber im Allgemeinen laufen sie darauf hinaus, entweder irgendwo im Sichtfeld des Benutzers ein winziges digitales Display anzubringen oder digitale Inhalte auf die Brillengläser zu projizieren.

TDK hat kürzlich eine neue Projektionsoption eingeführt. Wir haben ein kleines, leichtes Lasermodul entwickelt, das vollfarbige digitale Bilder projiziert. Ein in die Brillengläser integrierter Reflektor lenkt die Projektion direkt auf die Netzhaut des Benutzers. Ein aufregender Nebenvorteil dieser Technik besteht darin, dass sie selbst für Menschen mit eingeschränktem Sehvermögen gestochen scharfe, klare Bilder liefert.

Dieser Ansatz ermöglicht es, Headsets zu bauen, die kleiner und deutlich leichter sind als Headsets mit anderen Anzeigetechniken. Das Gewicht ist bei VR-Brillen vielleicht kein großes Problem, aber leichtere Headsets werden zweifellos geschätzt. Allerdings sind Größe und Gewicht bei AR-Headsets ein Problem. Die bisherige Gleichgültigkeit des Massenmarktes gegenüber AR ist zumindest teilweise darauf zurückzuführen, dass die Hardware aufdringlich, schwer und unattraktiv ist.

Wir glauben, dass der Bau von AR-Headsets mit winzigen Lasermodulen dazu beitragen könnte, den Verkauf von AR-Headsets und die Entwicklung von AR-Anwendungen zu beschleunigen.

Buchstäblich jede mögliche menschliche Bewegung könnte in eine VR- oder AR-Anwendung integriert werden, und daher ist es notwendig, schwenkende Köpfe, zeigende Finger und geduckte Körper zu erkennen – alles mit sechs Freiheitsgraden (6DoF) – oder neun (9DoF). . Diese Sensoren müssen äußerst genau sein; Eine ungenaue Bewegungserkennung kann bei manchen Benutzern zu mehr oder weniger starker Orientierungslosigkeit führen.

Bewegung ist eine Sache; Position ist eine andere. Ein VR-Benutzer kann sich im Raum vorwärts, rückwärts oder seitlich bewegen, aber im Allgemeinen zwingen VR-Anwendungen Benutzer nicht dazu. Allerdings wird es immer eine Frage der Benutzersicherheit sein, dass das VR-Rig erkennen und verfolgen kann, wo sich Benutzer im realen Raum befinden, um beispielsweise Kollisionen mit Wänden zu vermeiden. Darüber hinaus ist es nützlich, alles andere in dieser Umgebung zu erkennen: Möbel, andere Personen, Haustiere usw.

Die meisten AR-Systeme müssen mittlerweile die volle Mobilität im realen, physischen Raum ermöglichen und daher über eine genaue Positionserkennung verfügen. Das Konzept von AR birgt die Gefahr der Ablenkung; Während ein Benutzer ein AR-Rig trägt, kann er jederzeit lesen, ein Video ansehen oder auf ein virtuelles Objekt reagieren. Für das AR-System ist es unerlässlich, die Ablenkung des Benutzers zu kompensieren, indem es im Namen des Benutzers die Umgebung wahrnimmt.

Zu den verfügbaren Sensoren zur Umgebungs- und Fixierpositionserfassung gehören:

Dreiachsige Beschleunigungsmesser und dreiachsige Gyroskope werden kombiniert, um Bewegungen mit 6DoF zu erkennen. Die Integration eines 3-Achsen-Magnetometers führt zu einer 9DoF-Erfassung. Diese Sensoren können in nahezu jeder Kombination verwendet werden, abhängig von den Anforderungen einer bestimmten VR- oder AR-Anwendung oder einer Reihe von Anwendungen.

Benötigen Einzelbenutzer-VR-Apps beispielsweise eine ToF-Erkennung? Vielleicht nicht. Aber andererseits vielleicht. Ein Grund für die Hinzufügung von ToF-Sensoren wäre, eine genaue Bestimmung darüber zu erhalten, wo sich die Hände von VR-Benutzern im realen Raum befinden, sodass genaue digitale Darstellungen ihrer Hände in die virtuelle Welt integriert werden können. Mit einem gewissen Mindestmaß an Genauigkeit wäre es möglich, auf die zusätzlichen Handgeräte zu verzichten, die manche VR-Rigs für die Handverfolgung verwenden.

Oder denken Sie über ein Mehrbenutzer-VR-Spiel nach. Möglicherweise möchten Sie ToF-Sensoren verwenden, um die relative Position der Spieler zueinander in der realen Welt zu bestimmen, und diese Informationen auf zwei Arten nutzen: in der realen Welt zur Kollisionsvermeidung und in der virtuellen Welt, um zu verhindern, dass die Avatare der Spieler stören gegenseitig.

Es gibt eine Denkrichtung, die besagt, dass AR-Rigs möglicherweise nicht die ausgefeilteste Suite von Sensoren zur Bewegungserkennung, Positionierung und Objekterkennung benötigen. Der Vorschlag besteht darin, dass die Umgebung mit Sensoren ausgestattet wird und die relevanten Daten gesammelt und über ein drahtloses Netzwerk an alle AR-Benutzer (und schließlich Metaverse-Benutzer) weitergegeben werden.

Das könnte am Ende durchaus passieren, aber es wäre optimistisch zu glauben, dass die Welt in absehbarer Zeit so reich an Sensoren sein wird oder dass es eine ausreichende drahtlose Infrastruktur mit flächendeckender Abdeckung geben wird. Unserer Einschätzung nach kann die Welt viel früher nützliches AR (und das Metaversum) erhalten, wenn AR-Rigs die meisten oder alle ihrer eigenen Wahrnehmungen durchführen. Es erfordert möglicherweise mehr lokale Verarbeitung, aber das Risiko von Verzögerungen ist geringer und es sollte auf diese Weise auch einfacher sein, Benutzerdaten zu schützen.

Es könnte einige Gründe dafür geben, dass VR-Rigs ein Mikrofon verwenden, um Sound aus der realen Umgebung zu integrieren. Andererseits gibt es zahlreiche Gründe dafür, dass AR-Rigs Umgebungsgeräusche überwachen.

Allein die Spracherkennung könnte auf unzählige Arten nützlich sein. Alle per Spracheingabe übermittelten Informationen könnten direkt genutzt werden. Eine Straßenadresse oder Wegbeschreibungen zu einem Standort könnten automatisch in eine Karten-App eingegeben werden. Sprachübersetzungs-Apps könnten automatisch ausgelöst werden. Es gibt zahlreiche Gründe, Umgebungsgeräusche allein oder in Verbindung mit Video aufzunehmen.

Wir möchten Kameras für die gleichen Zwecke in AR-Rigs einbetten, wie wir sie in unseren Smartphones haben möchten. Tatsächlich gehen einige davon aus, dass AR-Rigs einige Smartphones ersetzen könnten – vielleicht sogar alle. Und wer weiß, welche Anwendungen AR-Entwickler möglicherweise entwickeln können, die Audio und Video verwenden?

Wenn das Metaversum am Ende alle unsere Sinne anspricht, werden Metaversum-Rigs mit Sicherheit auch Bewegungssensoren, Positionssensoren, Kameras und Mikrofone enthalten.

Aber was ist mit Berührung? Die Daten vieler derselben Sensoren, die zur Bewegungserkennung, Positionierung und Objekterkennung verwendet werden, können in haptische Geräte eingespeist werden. Das kann alles sein, von Armbändern über Handschuhe bis hin zu Teil- und Ganzkörperanzügen.

Heutzutage befinden sich haptische Technologien in der Entwicklung, die nicht nur eine physische Rückmeldung geben können, dass etwas berührt wird, sondern auch die Beschaffenheit dieses Objekts vermitteln können.

Bei VR und AR sind „Rigs“ im Wesentlichen Schutzbrillen, Brillen – Headsets der einen oder anderen Art. Das Metaversum ist jedoch wahrscheinlich modular aufgebaut und umfasst viele verschiedene Wearables, die in beliebiger Kombination verwendet werden können, je nachdem, welche Metaversum-Apps jede Person nutzt und wie immersiv sie ihre Metaversum-Erlebnisse haben möchte.

Abgerundet werden die Sinne durch Geschmack und Geruch. CO2-Detektoren sind beispielsweise allgemein erhältlich und könnten vor potenziell gefährlichen Umweltbedingungen warnen, die die meisten Menschen alleine nicht erkennen könnten.

Die Erkennung von Gerüchen und Aromen erfolgt bereits heute mit einer Vielzahl unterschiedlicher Detektoren und Sensoren, die das Vorhandensein – und manchmal sogar die Anteile – verschiedener chemischer Verbindungen ermitteln können.

Geschmack und Geruch für den Benutzer nachzubilden, liegt immer noch im Bereich der Science-Fiction. Tatsächlich werden uns Metaverse-Rigs wahrscheinlich nie vermitteln können, wie ein Rezept schmecken könnte oder wie eine theoretische Auswahl verschiedener Düfte riechen würde, wenn sie zu einem Parfüm kombiniert würden. Allerdings können Ihnen verschiedene Gas- und Chemikaliendetektoren möglicherweise sagen, ob ein Lebensmittel nicht zum Verzehr geeignet ist oder welche bestimmte Spirituosenmarke in dem Cocktail verwendet wurde, den Sie gerade bestellt haben.

Weitere Informationen zu Textformaten