TMD Friction entwickelt seit 140 Jahren die Bremsbelag-Technologie. Dabei ist das Unternehmen immer bestrebt, nicht nur die Produkte, sondern auch die Produktionsprozesse zu modernisieren und zu optimieren. Deshalb beauftragte TMD das IT-Beratungsunternehmen Acando und dessen Tochter Brickmakers mit einem Proof of Concept in Sachen Augmented Reality.  

Gegenstand dieser Machbarkeitsstudie war die sichere Digitalisierung des Misch- und Wiegeprozesses der Bremsbelag-Bestandteile. Unter Einsatz der Microsoft Hololens und moderner Augmented-Reality-Visualisierung soll dieser Vorgang vereinfacht und präzisiert werden – ohne dass dabei gravierende Sicherheitslücken entstehen. TMD stellt aus 200 verschiedenen Rohstoffen und 250 unterschiedlichen Komponenten Bremsbeläge für Pkw, Lkw und Rennwagen her. Daher existiert eine beinahe unüberschaubare Menge an Belag-Rezepturen und Mischvarianten, deren richtige Anwendung durch die von Acando und Brickmakers entwickelte Anwendung schneller, exakter und pragmatischer gelöst werden soll.  

Die Management- und IT-Beratung Acando verfügte bereits im Vorfeld über Erfahrungen im Umgang mit der Hololens-Brille von Microsoft und ihren Anwendungen im AR-Bereich. Zunächst nahm das IT-Team um Jörg Neumann an einem Workshop im TMD-Werk teil und wurde in die komplexen Produktionsprozesse eingewiesen. Dabei wurden bisher Wiege- und Mischvorgänge in drei getrennten Schritten realisiert. Der Industrie-PC in der Mischerei startet einen oder mehrere Aufträge, deren Materialien anschließend aus dem Lager geholt werden. Dort befindet sich ein zweiter PC, der ebenfalls die Aufträge anzeigt, sowie ein Handscanner, um die Prüfung und Eingabe der Rohstoffe durchzuführen.

An dieser Stelle sahen Acando und die App-Entwickler von Brickmakers den Einsatz der Hololens vor. Diese Mixed-Reality-Brille, die ohne Smartphone oder Computer eingesetzt wird, ermöglicht die Darstellung von 3D-Projektionen in der direkten Umgebung ihres Users. 

Spiele-Engine für Visualisierung

Mit Hilfe der Spiele-Engine Unity, ursprünglich zur gesteigerten Immersion im Gameplay eingesetzt, wurden die Bedieneroberflächen sowie die Wiege- und Mischvorgänge digitalisiert. Gewählt wurde Unity aus zwei Gründen: Erstens bot es sich an, die 3D-Grafiken und -Animationen in einem passenden Programm zu schreiben, welches 3D-Entwicklung in besonderem Maße unterstützt, und zweitens konnte der Arbeitsaufwand durch die Nutzung des Unity-Editors deutlich verringert werden. Dabei erarbeitete Acando das Storyboard und übernahm die Organisation mit TDM, während Brickmakers vor allem für die technischen Umsetzung sorgte.

Zunächst erstellte das Team eine UWP-App und startete zwei getrennte Projekte (User Interface und Business Logic). Mit der Universellen Windows-Plattform (UWP) können Apps für verschiedene Windows-Geräte, in diesem Fall für die Hololens, entwickelt werden. Die Entwickler implementierten diese Anwendungen sowie die Microsoft Dynamic Link Library (DLL) über ein Plug-in in Unity und arbeitete sich in die vielfältigen Möglichkeiten der Datenbrille ein. 

Von der Programmierung zur holographischen Visualisierung

Als größte Herausforderung stellte sich die Interaktion mit der DLL dar. Die Hololens läuft als UWP unter einer Microsoft-.NET-Anwendung, die gegenwärtig noch nicht von Unity unterstützt wird. Die dafür nötige Übertragung der verschiedenen Programmbibliotheken (DLLs) stellte die Entwickler vor ein Problem: Um die Interaktion der DLL-Dateien zu ermöglichen, musste er einen ‚Wrapper‘ – also eine Art ‚Hülle‘ –  programmieren, der als Schnittstelle zwischen beiden Programmen agierte und die Datenübertragung der Anwendungen ermöglichte.

Emil Wasilewski, Software Developer bei Brickmakers: "Zur Steuerung der Hololens muss lediglich das Toolkit in Unity eingebunden werden. Dieses ermöglicht dann das automatische Tracking".

© Acando

Gerade bei Anwendungen mit verschiedenen Programmiersprachen bietet es sich an, mit Wrappern zu arbeiten, um Konflikte zwischen ihnen zu vermeiden. Per Wrapper, der als Schnittstelle ‚Fake-Daten‘ erzeugte, konnten die Entwickler die Skripte in 40Unity für die Hololens schreiben, obwohl beide unterschiedliche DLLs verwenden.  

Die in Unity erstellten Bilder konnten mittels einer Visual-Studio-Solution in einem zweiten Schritt in die Visualisierungssoftware der Datenbrille übertragen werden. Da diese Visual-Studio-Solutions wiederum mit den DLLs aus der UWP kompatibel sind, musste nicht auf die Arbeit mit den ‚Fake-Daten‘ zurückgegriffen werden. Nachdem eine Cloud-Schnittstelle über Microsoft Azure eingerichtet wurde, konnte nun die konkrete Steuerung der AR-Brille und der virtuelle Wiegevorgang aus dem TMD-Werk zusammengeführt und nachgestellt werden. Die Gesten- und Sprachsteuerung machte keine zusätzliche technische Kalibrierung erforderlich.

Nachdem die Teams von Acando und Brickmakers die technische Freigabe erteilten, musste die Hololens mit der programmierten AR-Visualisierung natürlich in der Realität getestet werden. Funktionieren Sprach- und Gestensteuerung auch mit Dialekt oder Arbeitshandschuhen?  

Virtuell getestet, in der Realität bewährt

Der sächsische Dialekt – zunächst eine kleine Hürde – kann durch die integrierte Sprach-Lernsoftware Cortana einfach überwunden werden. Wie auch bei anderen Spracherkennungsassistenten lernt Cortana bei bestehender Internetverbindung die sprachlichen Eigenheiten der Benutzer bei regelmäßiger Verwendung. Der Ablauf des Misch- und Wiegevorgangs mit Hilfe der Augmented-Reality-Visualisierung ist zwar noch mehrschrittig, jedoch durch die Datenbrille stark vereinfacht.  

Zunächst erhält der Mitarbeiter über die Brille einen Auftrag, der ihm dann virtuell die Materialien in der jeweiligen Abwiegung zeigt. Mit diesem Bild vor Augen betritt er anschließend das Lager, wählt die Rohstoffe aus und beendet per Sprachfunktion (Befehl: ‚Picking Done‘) die Auswahl. Danach geht der Mitarbeiter zurück in die Mischhalle zur Waage, legt den Mischbehälter darauf und tariert sie. Als nächstes scannt er das Label der Materialien mit der Datenbrille, die ihm im Abgleich mit dem Rezept die Richtigkeit bestätigt. Auch beim Befüllen des Behälters prüft die Hololens das Gewicht und die Reihenfolge der Rohstoffe und erstellt eine Schlussbilanz bezüglich der Vorgaben. Der Wiegevorgang wird wiederum per Sprachsteuerung (Befehl: ‚Finish‘) beendet.

Die Vor- und Nachteile

Die Vorteile dieser Methode lassen sich buchstäblich vor Augen führen: Der Mitarbeiter muss sich keine Materialcodes mehr merken und hat während des gesamten Prozesses die Hände frei. Die Arbeit kann schneller und sicherer durchgeführt werden, Materialverwechslungen sind nahezu ausgeschlossen und der Umgang mit der Hololens ist rasch erlernbar.  

Einige Nachteile entstehen allerdings bis jetzt noch durch die Brille selbst: Mit mehr als einem halben Kilo (579 g) und nur zwei bis drei Stunden Akkulaufzeit kann die Hololens in ihrer aktuellen Ausführung (Development Edition) noch nicht im achtstündigen Arbeitsalltag eingesetzt werden. Jedoch sind sich die Entwickler sicher, dass in Augmented Reality und Datenbrillen viel Potenzial steckt.  

Wie das Proof of Concept zeigte, ist mit der zukunftsweisenden Technologie der Hololens mehr als nur immersives Gameplay möglich – die Visualisierungen können den Arbeitsalltag in der Industrie und Produktion vereinfachen, optimieren und sicherer gestalten.

Autorin: 
Anja Günther ist Client Relationship Manager bei Acando.