Forscher des Fraunhofer Instituts für Produktionstechnik und Automatisierung (IPA) sowie der Universität Karlsruhe sind zusammen mit Partnern aus der Industrie im Rahmen eines vom Bundesministerium für Wirtschaft und Technologie geförderten Projektes mit Namen ImRoNet derzeit damit befasst, neue Verfahren und Komponenten zur Gestaltung der intuitiven Bedienung von Robotern in typischen Einsatzumgebungen zu konzipieren und experimentell zu validieren. Damit die Teleoperation möglichst effektiv durchführbar ist, gilt es die Daten unterschiedlichster Sensorsysteme des Roboters multimedial so aufzubereiten, dass der Bediener sie intuitiv interpretieren und darauf reagieren kann.

Typische Anwendungen für solche teleoperativen Systeme sind die Überwachung und Steuerung von technischen Anlagen, Bauwerken, Gebäuden und Umgebungen. Neben der Teleoperation besteht ein weiteres Projektziel in der multimedialen Unterstützung eines lokalen Benutzers vor Ort durch einen mobilen Roboter. Falls erforderlich, kann dabei ein entfernter Experte, der über den Roboter Arbeitsanweisungen visualisiert und demonstriert, zusätzlich Unterstützung leisten. Auf diese Weise soll künftig selbst weniger qualifiziertes Personal in die Lage versetzt werden, Wartungsaufgaben durchzuführen. Zudem lassen sich über ein solches Konzept die Reparaturzeiten beziehungsweise die damit verbundenen Stillstände in der Produktion minimieren.

Die Basiskomponenten

Als Basiskomponenten mobiler, manipulierender Roboter sind primär die Ansteuerung der mobilen Plattform und des Roboterarms sowie die sensorische Erfassung der Umgebung zu betrachten. Letztere kann beispielsweise für den Kollisionsschutz bei der Teleoperation als Grundlage für teilautonome Roboterfunktionen sowie zur visuellen Unterstützung des Teleoperators zum Einsatz kommen.

Plattformsteuerung

Die Plattformsteuerung des Fraunhofer IPA für mobile Roboter beinhaltet Komponenten zur Kartierung und Lokalisierung der Einsatzumgebung, zur Bahnplanung und kollisionsfreien Bewegungsführung auch in dynamischen Umgebungen sowie zur Regelung unterschiedlicher Fahrzeug- Kinematiken.

Für das zeitnahe Auslesen von Aktoren und Sensoren ist eine effiziente Anbindung der Roboterhardware an den entsprechenden Steuerrechner notwendig. ImRoNet nutzt hierzu das ADS-Protokoll der Firma Beckhoff mit entsprechend angepassterPlattformsteuerung. Bei ADS (Automation Device Specification) handelt es sich um ein industriell erprobtes Protokoll mit einer dokumentierten und offen gelegten Schnittstellenbeschreibung, das auf Durchsatz und Determinismus optimiert ist und somit minimale Zyklusund Reaktionszeiten des Roboters ermöglicht.

Der ADS-Router transportiert per ADS Nachrichten zwischen Geräten wie zum Beispiel der SPS, dem Motion-Controller und dem HMI. ADS bietet nicht nur einen performanten Datenaustausch auf einem lokalen PC, sondern ermöglicht auch deterministischen Datenaustausch im Netzwerk. Damit ist zusätzlich eine Steuerung der Plattform mit Hilfe von standardisierten Bedienoberflächen aus der industriellen Automatisierungstechnik – wie etwa OPC/UA – möglich.

Kollisionsfreie Manipulation

Über die im Rahmen von ImRoNet standardisierte Benutzerschnittstelle lässt sich die Steuerung eines mobilen Roboters über OPC/UA realisieren.

Insbesondere solche Serviceroboter, die in öffentlichen und unstrukturierten Umgebungen zum Einsatz kommen sollen, müssen in der Lage sein, Handhabungsaufgaben kollisionsfrei durchzuführen. Neben einer exakten Kinematik und Gelenkwinkelregelung sind eine dynamische Kollisionsvermeidung und eine damit verbundene Echtzeit-Überwachung des Arbeitsraumes erforderlich.

Zu diesem Zweck wurde am Fraunhofer IPA eine modulare Armsteuerung entwickelt, die diese Funktionen bereitstellt. Der realisierte Algorithmus zur Kollisionsüberwachung schließt sowohl Eigenkollisionen des Roboters als auch Kollisionen mit der Umgebung aus. Zudem ist er mit einem Bahnplanungsverfahren gekoppelt, das ausgehend von der aktuellen Roboterkonfiguration einen kollisionsfreien Pfad zur Zielkonfiguration errechnet und verfolgt. Die Armsteuerung wurde bereits auf diversen Robotern und in verschiedenen Anwendungs-Szenarien erfolgreich erprobt.

Modellierung der Umgebung

Sollen mobile Roboter Manipulationsaufgaben übernehmen, ist eine exakte Kenntnis der jeweiligen Umgebung Voraussetzung. Nur so sind potenzielle Kollisionen des Roboters mit Objekten oder Personen frühzeitig erkenn- und vermeidbar. Im Fall von ImRoNet lösen Mitarbeiter des Fraunhofer IPA diese Aufgabe durch die automatische Generierung von Umgebungskarten auf Basis von 3D-Sensorik wie beispielsweise Time-of-Flight-Kameras; diese liefern anstelle eines Standardfarbbildes das Entfernungsbild einer Szene. Die Messung der räumlichen Tiefe geschieht dabei durch das Aussenden von Infrarotlicht und der Messung der Zeit zwischen dem Senden des Lichts und dem Wiederauftreffen auf den Sensor der Kamera.

Im Vordergrund bei der Umgebungserfassung steht nicht das Erlernen großflächiger Gebiete, welches komplexe Algorithmen benötigt und immense Anforderungen an die Rechenleistung der verwendeten Roboter stellt, sondern vielmehr die Erstellung dynamischer Modelle der näheren Umgebung. In einem ersten Ansatz wurde aus den Daten einer Timeof- Flight-Kamera ein Umgebungsmodell unter Verwendung eines Raumgitters (Voxelmodell) erzeugt. Durch die Erkennung von zusammenhängenden Voxeln (einzelne Elemente dieses Raumgitters) ist damit die Segmentierung einzelner Objekte realisierbar. Neben einem allgemeinen Hindernismodell, das für den Kollisionsschutz und die Visualisierung der Umgebung nutzbar ist, spielt für die Unterstützung teleoperierter Manipulation von Objekten deren Erkennung und Lokalisierung im Raum eine wichtige Rolle.

Als typische Aufgabe aus der industriellen Praxis ist in diesem Zusammenhang das teilautonome Ablesen von Anzeigen sowie das Auf- oder Zudrehen von Ventilen zu nennen. Dadurch, dass die Anzeigen von Messgeräten oder die zu handhabenden Ventile oft eine ähnliche, meist runde Form haben, ist eine automatische Erkennung durch die Sensorik des mobilen Roboters möglich. Was die daran anschließende Aktion des Roboters betrifft, lassen sich per teilautonomer Führung des Roboterarms mögliche Beschädigungen an der Anlage vermeiden – zum Beispiel für den Fall, dass der Endeffektor des Roboters bei Auf- oder Zudrehen eines Stellrads nicht entlang der korrekten Bahn fährt.

Die Umsetzung

Als Beispiele für Komponenten einer intuitiven Benutzerschnittstelle, die auf der Grundlage von ImRoNet entwickelt wurden, sind die eingesetzte Augmented- Reality-Software sowie die erarbeiteten Konzepte für die Teleoperation mit Hilfe eines haptischen Eingabegeräts zu nennen. Letzteres zielt auf die direkte Mensch-Roboter-Interaktion mittels Inertialsensorik sowie auf die projektorbasierte Steuerung des Roboters. Ein weiteres Augenmerk gilt dem erarbeiteten Ansatz zur Steuerung des Roboters über standardisierte industrielle Visualisierungstools.

Beispiel für ein mögliches Anwendungs-Szenario: Über das Kamerabild erhält der Servicetechniker im Rahmen der roboterbasierten Unterstützung von Wartungsaufgaben Arbeitsanweisungen beispielsweise für den Ausbau.

Interaktion per Inertialsensorik

Eine weitere Option für die direkte Interaktion des Menschen mit dem Roboter besteht darin, Handbewegungen des Bedieners zu verfolgen und auszuwerten, um daraus Kommandos für den Roboter zu erzeugen. Im einfachsten Fall werden beispielsweise Bewegungen direkt auf den Endeffektor des Roboters übertragen. Akustische, mechanische und optische Tracking-Systeme benötigen externe Komponenten; aus diesem Grund eignen sich diese Systeme nur bedingt für mobile Anwendungen, da eine vollständige Abdeckung des Arbeitsraumes durch die Sensorik nicht immer sicherzustellen ist.

Bei Verwendung von magnetischen oder inertialen Sensoren - hierbei werden nur interne Messgrößen zur Berechnung herangezogen - ist das nicht der Fall. Dadurch können diese Tracking-Systeme auch autonom und mobil fungieren. Nachteil ist die fehlende absolute Genauigkeit, was sich jedoch durch das Einbeziehen des Menschen in die Regelschleife ausgleichen lässt. Konkret wurde im Rahmen von ImRoNet am IPR der Universität Karlsruhe ein Eingabegerät auf Basis einer 6D-Sensoreinheit entwickelt, welche drei Gyroskope (Kreiselkompasse) sowie drei Beschleunigungssensoren in einem Gehäuse enthält.

Durch die hohe Integrationsdichte des Sensors ist das Gesamtmodul mit einer Größe von 38 mm × 32 mm × 30 mm äußerst kompakt und leicht in bestehende Eingabegeräte wie etwa in ein mobiles Steuergerät integrierbar. Durch die Korrektur der gemessenen Daten anhand eines Fehlermodells und nachfolgender Filterung ist die aktuelle Orientierung und Position des Gerätes berechenbar.

Interaktion mit einem Kamera- Projektor-System

Eine weitere Neuerung für die Mensch-Roboter-Interaktion ist das projektorbasierte Interaktionssystem, dessen Entwicklung ebenfalls durch das IPR der Universität Karlsruhe erfolgte. Mit Hilfe eines am Roboter oder an der Teleoperationsschnittstelle angebrachten Projektors werden Bilder auf Objekte und Wände in unmittelbarer Umgebung des Nutzers projiziert.

CORBA-basierte Steuerungsarchitektur für die AR-unterstützte Wartung vor Ort. Durch die modulare Struktur und den Einsatz standardisierter Schnittstellen zwischen den einzelnen Architekturebenen können diese sowohl auf demselben als auch auf unterschiedlichen Rechnern laufen. So lassen sich vorhandene Komponenten einfach anderen Einsatz-Szenarien anpassen.

Mit diesen Bildern kann der Nutzer schließlich auf verschiedene Arten interagieren: durch Gestik oder zusätzliche Eingabegeräte wie Laserpointer und 6D-Spacemouse oder über Eingabestifte, die von einem mit dem Projektor gekoppelten Kamerasystem getrackt werden. Damit das projizierte Bild auch auf nicht ebenen Objekten verzerrungsfrei darstellbar ist, muss die Oberfläche durch den Roboter erfassbar sein. Basis hierfür kann das aus den Sensordaten errechnete Umgebungsmodell sein.

Eine weitere Möglichkeit besteht darin, die Oberflächenstruktur über das Kamera-Projektor- System mit Hilfe einer Streifenprojektion zu erfassen. Dabei beleuchtet der Projektor das Objekt sequenziell mit Streifenmustern und erfasst die so entstandenen Bilder mit einer Kamera. Auf diese Weise lässt sich jedem Pixel im Bild der Kamera ein korrespondierender Punkt in der Umgebung zuordnen.

Einsatz standardisierter Visualisierungstools

Mit OPC/UA existiert ein herstellerunabhängiger Standard zum Austausch von Daten zwischen unterschiedlichen Softwarekomponenten. OPC/UA bietet eine Basis für eine effiziente und sichere Übertragung von Daten über das Internet. Insbesondere werden Mechanismen für den sicheren Datenaustausch über das Internet bereitgestellt: Neben Zertifikaten zur Authentifizierung und der Option zur SSLVerschlüsselung der TCP-Nachrichten steht beiden Kommunikationspartnern ein Heartbeat-Signal zur Überwachung der Kommunikationsstrecke zur Verfügung.

Zur Teleoperation eines mobilen Roboters mit Hilfe von standardisierten Visualisierungstools wurde auf einem mit einem Beckhoff-Rechner ausgestatteten Roboter eine Soft-SPS (Twincat) mit integrierter OPC/UA-Schnittstelle angelegt. Über die bereits erwähnte ADS-Schnittstelle greift die Soft-SPS auf die Plattformsteuerung zu. Als Gegenstelle kommt eine Visualisierung der Firma Inosoft zum Einsatz, welche die Werte über den OPC/UA-Client einliest und anzeigt.

Erste Anwendung im Bereich Wartung

Auf Basis der beschriebenen Basis- und Interaktionskomponenten haben die Projektpartner ein erstes Szenario zur AR-unterstützten Wartung umgesetzt. Dabei hat der Benutzer vor Ort dieMöglichkeit, über eine 6D-Maus ein am Roboterarm angebrachtes Bedienpanel zu steuern, indem er sowohl Arm- als auch Plattformbewegungen vorgibt. Durch die Sensorik des Roboters sowie anhand des Umgebungsmodells wird sichergestellt, dass keine Kollisionen auftreten.

Das Bedienpanel ist mit einer Kamera ausgestattet, deren Bild auf den Bildschirm übertragen wird. Mittels Augmented Reality lassen sich in dieses Bild weitere Informationen wie etwa Arbeitsanweisungen integrieren. Das AR-System kommt dabei ohne externe Marker zur Referenzierung aus, da die Position des Displays im Raum direkt aus der Roboterposition errechnet werden kann.

Aktuelle Arbeiten beschäftigen sich mit der Übertragung von Umgebungsinformationen an einen entfernten Benutzer und einer entsprechenden Augmentierung der Bedienoberfläche. Über diese Teloperationsschnittstelle sind beispielsweise Wartungs- und Inspektionsaufgaben in Einsatzumgebungen wie prozesstechnischen Anlagen, in denen Explosionsgefahr besteht oder toxische Gase auftreten können, ohne Gefahr für den Menschen durchführbar. Mit Hilfe von haptischem Feedback soll dabei die Steuerung des Roboters unterstützt werden.

Autoren:

Dr. Birgit Graf ist Gruppenleiterin im Bereich Servicerobotik am Fraunhofer-Institut für Produktionstechnik und Automatisierung (IPA).

Matthias Greiner arbeitet im Vertrieb & Marketing bei der Firma Metaio mit Sitz in München.

Stefan Hoppe ist Produktmanager bei der Firma Beckhoff Automation in Verl.

Michael Mende ist wissenschaftliche Mitarbeiter am Institut für Prozessrechentechnik, Automation und Robotik (IPR) der Universität Karlsruhe.