Das vorgestellte Mixed-Reality-Verfahren hat zwei Technologien zur Grundlage: In der echten Welt erfassen acht Kameras, jeweils vier Paare, die Szene von allen Seiten und erzeugen mit bis zu 30 Hertz Tiefenkarten davon. Zudem werden Gesten und dynamische Bewegungen erkannt. Diese Daten werden dann durch Algorithmen zusammengefasst, codiert und in Echtzeit mit den dazugehörigen 3D-Texturen an die VR-Station übertragen.

Im virtuellen Szenario hingegen nimmt eine weitere 3D-Kamera den VR-Nutzer auf. Dank der Fraunhofer-HHI-Algorithmen zur 3D-Körpererfassung und Gesteninterpretation kann dieser ohne störende Controller oder Marker natürlich in der VR-Szene interagieren. Er wird dort sozusagen als beweglicher Ganzkörper-Avatar repräsentiert und sieht seinen eigenen Körper und seine Gestik im virtuellen Raum. „Erst die Kombination der beiden Technologien ermöglicht eine einzigartige Lösung für neue Mixed Reality Interaktions- und Kollaborationsszenarien“, so  Paul Chojecki, Projektleiter am Fraunhofer Heinrich-Hertz-Institut (HHI).

Das Feedback aus der virtuellen Welt wird in der realen Szene mittels einer Projektion dargestellt. Für diese projizierte Augmentierung kommen spezielle Bildverarbeitungsalgorithmen ebenfalls aus der Fraunhofer-HHI-Schmiede zum Einsatz. Diese sorgen dafür, dass die Hinweise und Bedienelemente optisch korrekt dargestellt sind, auch wenn die Flächen, auf die projiziert wird, sich bewegen oder geneigt werden. Die Anwendungsfelder der X-Reality-Lösung sind vielseitig: Neben Remote Assistance lässt sich das Verfahren im Rapid Prototyping, bei der Mensch-Roboter-Interaktion und der Telekommunikation einsetzen oder in Telepresence- sowie Gaming-Sessions. So können zwei räumlich getrennte Personen etwa ein Brettspiel miteinander spielen.

Am Fraunhofer-Stand auf der Cebit konnten Besucher sich an einem 3D-Puzzle probieren und sich Hilfe aus der virtuellen Welt holen. In der Demo wurde dem VR-Nutzer das reale Objekt live in die VR-Umgebung projiziert und erläutert. Er kann dann virtuell darauf reagieren und diese Reaktionen in die reale Situation zurückspiegeln.