Live-Daten zu jeder Produktionsmaschine, Remote Helpdesk oder virtuelle Hallenplanung: Was bislang nur vom Rechner im Büro aus möglich war, bietet Augmented Reality (AR) nun auch direkt vor Ort in der Fertigung. Eine Datenbrille oder ein mobiles Endgerät erkennt über die integrierte Kamera alle wichtigen Elemente in der Umgebung und blendet dem Benutzer kontextbezogene Informationen ein. Das Abbild des realen Umfelds wird überlagert mit virtuellen Infor­mationen und erfährt durch die com­putergestützt erweiterte Realitätswahrnehmung einen Mehrwert im Sinne einer durchgängigen Vernetzung und einer gesteigerten Effektivität von Arbeitsabläufen.

Aktuell dominieren jedoch AR-Anwendungen jedoch aus dem Konsumenten­sektor den Markt, da die Zielgruppe bereits über die nötigen mobilen End­geräte verfügt. Seit kurzem kommen zusätzliche AR-Anwendungen aus dem Unterhaltungssektor hinzu. Insbeson­dere Computerspiele setzen hier vermehrt auf die erweiterten Möglichkeiten durch Augmented und Virtual Reality (VR). Aus diesen bereits ­erfolgreichen Anwendungsbereichen lassen sich zahlreiche Einsatzmög­lichkeiten für das industrielle Umfeld ableiten:

• Produktionsinformationen per Tablet direkt an der Maschine: Die Überwachung von Key Performance Indicators (KPI) und Produktionsdaten erfolgt per Cloud-Zugriff direkt an der Anlage.
• Interaktion: Über virtuelle Objekte können Benutzer Einfluss auf die reale Umwelt nehmen. Das reicht vom Einschalten des Lichts über virtuelle Lichtschalter bis hin zu Eingriffen in die Produktions- oder Anlagensteuerung.
• Schulungsanweisungen direkt an der Maschine: Gedruckte oder online verfügbare Handbücher lassen sich durch praktische Schulungen direkt an der Maschine ersetzen. Eine App auf einem Tablet oder einer Datenbrille erkennt einzelne Bauteile der Anlage, erklärt die Handhabung und unterstützt mit Grafiken eine sofortige, praktische Anwendung der Theorie.
• Remote Helpdesk für schnelle Hilfe im Fehlerfall: Bislang musste beim Ausfall einer Maschine oft ein Servicetechniker anreisen und den Fehler beheben, was zu teuren Stillständen in der Produktion führte. Der Remote Helpdesk sendet ein Livebild der Anlage per Online-Video-Stream an den Experten, der nun von seinem Büro aus sowohl verbale als auch grafische Anweisungen an die Verantwortlichen vor Ort geben kann. Mehr dazu im Folgenden.

Die Grundlagen von ­Augmented Reality

Die ‚Umwelt‘ umfasst genau das, was der Nutzer von Augmented-Reality-Anwendungen von der Realität sieht – also quasi die Umgebung seines Standorts. In den meisten Fällen wird sie von einem Kamerasystem erfasst und auf einem mobilen Endgerät unverändert abgebildet. In diese virtuell angezeigte reale Umwelt lassen sich virtuelle Objekte einblenden. Dabei kann es sich wiederum um das Abbild eines realen Objekts handeln, aber auch um eine Simulation oder einfache Informationen. Die Verbindung zwischen Umwelt und Objekt stellt der Ankerpunkt dar. Er definiert exakt die Stelle, an dem das Objekt in die Umwelt integriert ist. Neben den visuellen Grundlagen spielt zusätzlich die Interaktion eine wichtige Rolle. Benutzer können über ein virtuelles Objekt Einfluss auf die reale Umwelt nehmen, indem sie Steuerungsbefehle ausführen. So lassen sich vom Anwender beispielsweise reale Lampen über einen virtuellen Lichtschalter betätigen.

Die häufigsten mobilen Endgeräte für die Nutzung von Augmented Reality sind Tablets, Smartphones und Datenbrillen wie das Head-Mounted Display von Fujitsu oder die HoloLens von Microsoft. Datenbrillen tragen Anwender – ähnlich einer herkömmlichen Brille – auf dem Kopf und haben so beide Hände frei. Die Steuerung erfolgt über Sprachbefehle. Vor allem im industriellen Umfeld sind Datenbrillen den Tablets deutlich überlegen, wenn beide Hände für auszuführende Tätigkeiten gebraucht werden. Tablets haben dagegen den Vorteil, dass sie vielerorts bereits vorhanden und in den Arbeitsalltag integriert sind und dass viele Benutzer dementsprechend mit ihrer Handhabung vertraut sind. Neben den mobilen Endgeräten gibt es weitere Möglichkeiten für Augmented-Reality-Anwendungen. Etabliert sind hier vor allem Beamer-Lösungen, die virtuelle Objekte beispielsweise auf eine Scheibe projizieren, hinter der sich die reale Umwelt befindet.

Bestimmung des Ankerpunkts

Damit die reale und die virtuelle Welt verschmelzen können, muss das mobile Endgerät erkennen, wo es sich befindet. Der Ankerpunkt definiert je nach Anwendungsfall zwei essenzielle Merkmale:

• Erkennen der Umwelt (zum Beispiel: Um welche Anlage oder um welchen Schalter handelt es sich) und Zuordnung der verknüpften Objekte.
• Erkennen der Position, wo das Objekt innerhalb der dynamischen Umwelt platziert wird.

AR im Consumer-Markt: Möbelhersteller bieten Apps an, mit deren Hilfe Kunden die Möbel bereits vor dem Kauf an ihrem späteren Standort beurteilen können (li). Head-up Displays versorgen Autofahrer in Oberklassefahrzeugen mit Zusatzinformationen (re).

© Bild: Vadim Andrushchenko/Fotolia; Bildbearbeitung: Infoteam Software

Bislang finden vor allem Ortsinformationen für die Bestimmung von Ankerpunkten Verwendung. Bei statischen Punkten im Freien bietet sich als einfachste Lösung die Nutzung von GPS-Informationen an. Die Positionskoordinaten definieren sowohl den Ankerpunkt als auch die Umgebung, sprich welches Objekt bei dieser Position eingeblendet werden muss. Das stark gehypte AR-Spiel Pokémon GO aus dem Sommer 2016 verwendet diese Technik. In geschlossenen Räumen lässt sich auf Techniken wie WLAN-Verortung oder Beacons zurückgreifen. Letztere sind kleine, kompakte Bluetooth-Sender, die entweder batteriebetrieben oder mit permanentem Stromanschluss in Räumen oder an Objekten installiert sind. Beacons senden eine eindeutige Kennung, die Unique ID (UID), bis zur Lage und Position im Raum. Neben der Möglichkeit, Objekte, Geräte und Räume elektronisch zu kennzeichnen, lässt sich mit der Technologie auch Indoor-Navigation realisieren. Um dynamische Elemente innerhalb der Umwelt zu identifizieren (zum Beispiel Bauteile innerhalb des Fertigungsprozesses), stehen RFID-Tags oder DataMatrix-Codes (DMC) zur Verfügung. Sie liefern die nötigen Informationen für den Ankerpunkt und das verknüpfte Objekt.

Eine universell einsetzbare Technologie für die Bestimmung des Ankerpunkts ist die Mustererkennung. Bildverarbeitungsalgorithmen erstellen  dabei aus dem Kamerabild der Umwelt ein Kantenmuster und vergleichen dieses mit angelernten Mustern. Dazu sollten die Vorlagemuster detail- und kontrastreich sein und, wenn möglich, sehr unterschiedlich. Die so gefundenen Muster definieren den Ankerpunkt und das verknüpfte Objekt. Mit Hilfe dieser Technik können digitale Reiseführer Sehenswürdigkeiten auch ohne GPS-Ortung erkennen und die entsprechenden Informationen einblenden. In Fertigungsbetrieben lassen sich Teileprüfungen durchführen, um sicherzustellen, dass Mitarbeiter die richtigen Teile verbauen.

AR für die durchgängige Fertigungsplanung

Ein Experte im Büro kann per Videostream die Umwelt des Technikers vor Ort sehen und dem Mitarbeiter verbale und virtuelle Anweisungen geben.

© Bild: jcg_oida/Fotolia.com; luckybusiness/Fotolia.com; Bildbearbeitung: Infoteam Software

Neben den bereits kurz aufgezeigten Anwendungsmöglichkeiten für Augmented-Reality-Anwendungen im industriellen Umfeld sollen nachfolgendend zwei Konzepte noch detaillierter dargestellt werden. Um die Vorteile durchgängiger vernetzter Fertigungen auch direkt innerhalb der Fertigung per AR nutzbar zu machen, sieht ein Lösungsweg vor, jede einzelne Anlage über einen Bluetooth Beacon auszustatten. Die AR-App kann so ihren Standort und jede Anlage in Kombination mit dem Kamerabild eindeutig identifizieren. Über durchgängige Kommunikationsstrukturen im Sinne von Industrie 4.0 kann die AR-App per Cloud-Abfrage anlagenspezifische Informationen abfragen und Zusatzinformationen des Manufacturing Execution Systems (MES) integrieren. Diese Informationen lassen sich direkt bei einem Rundgang durch die Fertigung per Tablet anzeigen. Bei Verwendung einer Datenbrille stehen dem Anwender sogar beide Hände für Interaktionen zur Verfügung. Die Datenbrille gibt, wie auch das Tablet, die Umweltdaten live wieder. Sobald eine Anlage erkannt ist, können dem Anwender Zusatzinformationen eingeblendet werden.

Handelt es sich um eine dezentrale Fertigungsteuerung, die mit Hilfe digitaler Schatten und Multiagentensysteme für flexible Fertigungen bis zur Losgröße 1 ausgelegt ist, lassen sich über eine AR-App jederzeit auch Informationen zu allen an der Fertigung beteiligten Komponenten aufrufen und beeinflussen. Zudem können Analyse-Ergebnisse aus Data-Mining-Anwendungen – wozu auch Predictive Maintenance gehört –, direkt interpretiert und in konkrete Maßnahmen umgesetzt werden. So bekommt der Träger einer Datenbrille bei einem Rundgang durch die Fertigung direkt Informationen zu bevorstehenden Wartungen angezeigt und kann darauf reagieren.

AR für Remote Helpdesk

Viele produzierende Unternehmen stehen vor der Herausforderung, dass bei dem Ausfall einer Maschine nicht weiterproduziert werden kann. In den meisten Fällen können nur Servicemitarbeiter der Herstellerfirma die Maschine reparieren und wieder in Betrieb nehmen, wofür sie aber extra anreisen müssen.

Das Remote-Helpdesk-Konzept nutzt die Tatsache, dass das mit der Kamera erfasste Abbild der Umwelt nicht nur auf einem Tablet oder via Datenbrille wiedergegeben, sondern auch online per Video-Stream weltweit mit weiteren Nutzern geteilt werden kann. Diese Technologie kommt bereits in der operativen Medizin zum Einsatz. So können beispielsweise Fachmediziner bei komplizierten Operationen zugeschaltet werden und die Operation per hochauflösendem Videobild verfolgen, teilweise sogar von ihrem Standort aus den OP-Roboter an einem anderen Standort bedienen.

Der Remote Helpdesk stellt einem Servicetechniker der Herstellerfirma das Abbild der Umwelt aus der Produktionshalle per Live-Video-Stream zur Verfügung. Dieses Abbild erzeugt etwa die Datenbrille eines Verantwortlichen in der Produktionshalle und übermittelt diese, so dass sowohl der Servicetechniker als auch der Verantwortliche in der Produktionshalle dasselbe Bild vor Augen haben. Der Techniker kann nun den Verantwortlichen, der dank Datenbrille mit beiden Händen frei agieren kann, über auszuführende Reparaturmaßnahmen instruieren. Für komplexe Anweisungen kann er zudem per AR manuell ein überlagerndes Objekt in die Umwelt integrieren und so beispielsweise eine Schraube markieren, die gelöst werden muss. Außerdem bietet sich das Verfahren als Schulungsmöglichkeit an.

Autoren:
Michael Lierheimer ist Chief Engineer & Consultant Industry bei Infoteam Software;
Patrick Kraus ist Public Relations Manager bei Infoteam Software.