Das Thema Augmented Reality (AR) erfährt momentan große Aufmerksamkeit im industriellen Sektor. Hierfür gibt es zwei Gründe: Zum einen kommen aktuell zahlreiche Hardware-Produkte auf den Markt. Dabei handelt es sich größtenteils um Datenbrillen wie etwa die Hololens von Microsoft. Zum anderen ist die Industrie prädestiniert für den Einsatz von AR, da es eine Vielzahl potenzieller Einsatzszenarien gibt.

Doch was ist AR und was macht das Thema so interessant? Es handelt sich dabei um die computergestützte Erwei­terung der Realitätswahrnehmung. Theoretisch können alle Sinnesorgane des Menschen angesprochen werden. In der Praxis beschränkt sich der virtuelle Einfluss jedoch auf das Sehen und Hören. 

In vielen Fällen werden virtuelle Objekte nicht einfach nur im Sichtfeld des Anwenders eingeblendet, sondern sie integrieren sich auch in seiner Realität. Dies bedeutet, sie verhalten sich wie ein tatsächlich existierendes Objekt in Bezug auf Position, Distanz und Ausrichtung. Für diese Form der Integration in die Realität hat Microsoft den Begriff der Mixed Reality (MR) geprägt. MR ist somit eine Unterform von AR. Folgende Kriterien müssen erfüllt sein, um von Mixed Reality sprechen zu können:

• Position: Das Objekt hat eine definierte Position in der realen Welt, die nicht in Abhängigkeit zum Anwender steht (das Objekt bewegt sich nicht mit dem Anwender mit).
• Distanz: Das Objekt hat eine definierte Position, weshalb die Distanz zum Anwender variabel ist und sich ändert, sobald sich dieser entfernt oder nähert.
• Ausrichtung: Die Ausrichtung des Objektes ist fix. Das bedeutet, wenn sich der Anwender um das Objekt herumbewegt, dreht es sich nicht mit. 
• Interaktion: Das virtuelle Objekt kann mit der Realität interagieren und um­gekehrt. Es kann beispielsweise bewegt werden oder unterliegt der Schwerkraft.

Neben der Definition von AR und MR sorgt die Abgrenzung zu Virtual Reality (VR) für ein besseres Verständnis der Thematik. AR und VR haben viele Gemeinsamkeiten – es gibt jedoch einige entscheidende Unterschiede. Der wichtigste Unterschied ist der Bezug zur Realität. Während dieser bei AR bestehen bleibt und die Realität lediglich durch virtuelle Objekte erweitert wird, ist der Anwender in einer VR-Anwendung von der Realität abgeschnitten und befindet sich völlig in der virtuellen Welt. Aufgrund dieses Unterschieds differieren auch die Anwendungsgebiete für die beiden Technologien. 

Die Funktionen und Abläufe

Bild 1: Von der Bild-Erfassung bis zur Ausgabe: Die Schritte für den Aufbau einer ­Hololens-Anwendung.

© M&M Software

AR-Anwendung werden dort eingesetzt, wo auf den Kontakt zur Realität nicht verzichtet werden kann, wie etwa bei der Navigation. VR kommt da zum Einsatz, wo dieser Bezug nicht benötigt wird, zum Beispiel bei Videospielen.

Doch welche Funktionen und Abläufen bietet einen AR-basierte Anwendung? Der Ablauf basiert auf fünf sich wiederholenden Schritten – wie nachfolgend am Beispiel der Microsoft Hololens erläutert und in Bild 1 dargestellt. 

Alles beginnt mit der Bild-Erfassung (1). Zu diesem Zweck ist die Hololens mit sechs Kameras ausgestattet. Basierend auf dem Input, den diese Kameras liefern, erfolgt die Bildanalyse (2). Sie dient dazu, die Umgebung zu kartographieren. Es wird sozusagen eine Karte des Raums, indem sich der Anwender befindet, gezeichnet. Bei der Hololens wird dieser Prozess auch ‚Spacial Mapping‘ genannt. Ändert sich die bestehende Umgebung oder bewegt sich der Anwender in eine neue Umgebung, wird die Karte aktualisiert. Auf Basis des Spacial Mapping erfolgt dann das Tracking (3) der virtuellen Objekte. Tracking bezeichnet die Lokalisierung der virtuellen Objekte. Sind diese im realen Raum platziert, kann der Anwender mit ihnen interagieren (4). In der Regel wird die Interaktion zu einer Veränderung beziehungsweise einer Reaktion des virtuellen Objekts führen. Diese Reaktion wird als Ausgabe (5) bezeichnet. Mit der Ausgabe ist ein Zyklus abgeschlossen und es kann ein neuer beginnen.

Der Entwicklungsprozess

Um ein tiefergehendes Verständnis für AR-basierte Anwendungen zu entwickeln, lohnt es sich auch, einen Blick auf den Entwicklungsprozess zu werfen. Hier beginnt alles mit der Erstellung oder Beschaffung der virtuellen Objekte, die verwendet werden sollen. Diese können je nach Anforderung sehr einfach oder hoch komplex sein. Es gibt Bibliotheken mit virtuellen Objekten, weshalb es sich lohnt zu prüfen, ob bereits bestehende Objekte verwendet werden können. Ist dies nicht der Fall, muss das benötigte Objekt selbst erstellt werden. Dies ist ein nicht zu unterschätzender Punkt, da hierfür meist spezielle Experten nötig sind. Die Erstellung komplexer 3D-Modelle mit Tools wie Blender oder Maya ist ein eigenes Berufsfeld. Aus diesem Grund sollte ein Experte auf diesem Gebiet in einem Entwicklungsteam für eine AR-Anwendung vorhanden sein.

Ab diesem Punkt wird der Entwicklungs-Workflow Plattform-spezifisch. Bei einer Anwendung für die Hololens bedeutet dies, dass die ‚3D-Engine Unity‘ eingesetzt wird. Auch wenn es keine technischen Limitierungen gibt, die den Einsatz anderer 3D-Engines verhindern würden, ist Unity dennoch der De-facto-Standard bei der Hololens-Entwicklung. Die Engine ermöglicht es, sogenannte ‚Szenen‘ zu erstellen. Dabei werden verschiedene Objekte in einem 3D-Raum organisiert und konfiguriert. Die Arten der Objekte reichen von 3D-Modellen über Animationen bis hin zu Sounds. In einem Projekt können mehrere dieser Szenen enthalten sein. 

Ist der Entwickler mit den erstellten Szenen zufrieden, kann das Projekt als Universal-Windows-Platform-Anwendung (UWP) gebaut werden. Anschließend wird das UWP-Projekt mit Visual Studio weiterbearbeitet. Visual Studio ist eine Entwicklungsumgebung von Microsoft zur Erstellung verschiedenster Software wie Websites, Apps, Webservices und Desktop-Programme. Auch der Aufbau der Anwendung erfolgt mit Visual Studio. 

Hierfür muss nicht zwangsläufig eine Hololens vorhanden sein. Die Entwicklungsumgebung verfügt über einen Emulator, der zum Ausführen der Anwendung verwendet werden kann. Da es sich bei der Anwendung um eine UWP-App handelt, kann diese unter anderem auf Mobiles, PCs und der Xbox ausgeführt werden. UWP-Apps können außerdem in verschiedenen Programmiersprachen entwickelt werden (zum Beispiel in C++, C#, Visual Basic und JavaScript). 

Viele Anwendungen möglich

Gerade im industriellen Sektor bieten sich viele Anwendungsfälle für die Hololens. Dies liegt daran, dass AR – und die Hololens im Speziellen – bei der visuellen und akustischen Unterstützung von Arbeitsabläufen ihre Stärken besonders gut ausspielen kann. Auch das Freibleiben der Hände während des Einsatzes ist ein weiterer wichtiger Faktor für die industrielle Verwendung. Besonders folgende Einsatzgebiete bieten sich an:

• Montage: Schritt-für-Schritt-Anleitung durch den Workflow
• Kommissionierung: Vorgabe von Teilen und Stückzahl 
• Qualitätsprüfung: Vorgabe und Protokollierung der Prüfschritte
• Training: Prozessbegleitende Ausbildung mit virtuellen Informationen
• Maintenance: Anleitung bei Service- und Wartungseinsätzen

Um die Vorteile von AR-basierten Anwendungen nutzen zu können, gilt es jedoch einige Klippen zu umschiffen. Eine dieser Klippen ist die Akzeptanz der Mitarbeiter. Ohne diese wird selbst die beste Anwendung scheitern. Es gibt keine Garantien dafür, dennoch kann man durch konsequentes Einbinden der Anwender in der Konzeptionsphase dafür sorgen, dass sich die Akzeptanz durch die Mitarbeiter deutlich steigert. Eine Anwendung, in deren Entstehungsprozess der Mitarbeiter bereits selbst involviert war, wird eher als etwas ‚Eigenes‘ wahrgenommen. 

Kognitive Belastung vermeiden

Ein häufig auftretendes Problem bei Hololens-Anwendungen ist die hohe kognitive Belastung. Denn viele dynamische virtuelle Objekten können sehr schnell zu anstrengend für den Anwender werden. Doch es gibt Möglichkeiten, dieses Problem zu vermeiden. Hier ist speziell die Gestaltung der Anwendung ausschlaggebend, wofür es die nachfolgenden Richtlinien zu beachten gilt, um dem Anwender das Erlebnis so komfortabel wie möglich zu gestalten: 

Bild 2. Ein wichtiges Kriterium beim Aufbau von Anwendungen ist der Blickwinkel: Sind die virtuellen Objekte in seinem Sichtfeld zu weit oben oder unten, führt dies zu höherer Belastung der Augen und des Nackens.

© Microsoft

Zu beachten ist der Blickwinkel des Anwenders (Bild 2). Sind die virtuellen Objekte in seinem Sichtfeld zu weit oben oder unten führt dies zu höherer Belastung der Augen und des Nackens. Der Nutzer wird sich deshalb schneller unwohl fühlen, was in letzter Konsequenz zur Ablehnung der Anwendung führen kann. Ideal ist es deshalb, die Objekte in einem Winkel von 0 bis 35 Grad unter dem Horizont zu platzieren. Auch in horizontaler Richtung sollten Bewegungen des Kopfes um mehr als 45 Grad vermieden werden.

Ein weiterer Stolperstein auf dem Weg zu einer benutzerfreundlichen AR-Anwendung sind sogenannte Head-Up-Displays (HUD). Hierbei handelt es sich um statische Displays mit Informationen innerhalb des Blickfelds des Anwenders. HUDs werden häufig in First-Person-Videospielen eingesetzt. In einer AR-Anwendung können sie bei falscher Verwendung zu Unannehmlichkeiten führen. Dies ist vor allem der Fall, wenn das HUD an die Bewegung des Kopfes gekoppelt ist, wodurch sich das HUD ständig neu ausrichtet. Stattdessen empfiehlt es sich, die Bewegung des Körpers für die Ausrichtung des HUDs zu verwenden. Um das HUD bei einer Bewegung des Kopfes wieder korrekt auszurichten, kann ein Schwellenwert für die Drehung des Kopfes definiert werden, ab der eine Neupositionierung vorgenommen wird.

Bei der Konzeption einer AR-Anwendung sollte der Gestensteuerung eine besondere Bedeutung beigemessen werden, da sie sich ebenfalls negativ auf das Anwender-Erlebnis auswirken kann. Damit die Arme des Anwenders nicht müde werden, muss darauf geachtet werden, dass die Anwendung es nicht erfordert, diese über längere Zeit ausgestreckt zu lassen. Generell empfiehlt es sich, häufig wiederholende Gesteneingaben zu vermeiden. Die körperliche Anstrengung für den Anwender sollte so gering wie möglich gehalten werden.

Für die User Experience ist die Auswahl der Rendering-Rate (Wiedergabe-Rate) ein weiterer wichtiger Punkt. Dieser Aspekt ist eher technischer Natur, da die Rendering-Rate Einfluss darauf hat, ob ein Hologramm stabil aussieht und deutlich animiert werden kann. Hierfür ist eine minimale Rate von 60 Frames pro Sekunde notwendig. Wird sie geringer gewählt, kann es zu Verzögerungen bei der Darstellung sowie zu zitternden Hologrammen kommen. Wenn das verwendet AR-Gerät eine höhere Framerate als 60 Frames pro Sekunde zulässt, sollte die höhere Rate gewählt werden.

Für Anwender, die auf Augmented Reality setzen wollen, stellen sich oft Fragen wie: Wie wird sich das Thema in Zukunft entwickeln? Wird die Technologie langfristig Erfolg haben oder handelt es sich um einen kurzfristigen Hype der schnell abflacht? 

Wie geht es weiter?

Diese Fragen abschließend zu beantworten, ist nicht möglich; dennoch lassen sich einige Tendenzen erkennen. Im Zuge des technischen Fortschritts kann davon ausgegangen werden, dass sich die Hardware der Hololens und von Datenbrillen im Allgemeinen weiterentwickeln wird – vor allem in Bezug auf Größe und Performance. Auch werden aktuell einige sehr interessante neue Ansätze verfolgt. Hierzu zählt etwa die Entwicklung einer AR-Kontaktlinse. Auch wenn dies sicher kein Produkt für jedermann ist, zeigt es doch, dass die Ideen und Möglichkeiten noch lange nicht ausgeschöpft sind und es auch in Zukunft Innovationen geben wird, die darauf hinweisen, dass der Hype nicht abflacht.

Autor:
Stefan Höfler ist Software Developer bei M&M Software.