Nach wie vor sind in heutigen Produktionsstätten die Arbeitsräume von Menschen und Robotern in aller Regel durch Zäune, Lichtschranken oder ähnliche Sicherheitstechniken voneinander abgeschottet. Sobald diese strikte Trennung aufgehoben wird und Menschen sich den Arbeitsraum mit ortsfesten Manipulatoren oder mobilen Robotern teilen, kommt es zwangsläufig zu Interaktionen. Dabei kann es sich sowohl um unbeabsichtigte Interaktionen handeln – etwa wenn sich die Wege von Menschen und mobilen Robotern zufällig kreuzen – als auch um gewollte physische Interaktionen wie die Übergabe von Teilen oder Werkzeugen. Was letzteres betrifft, geht es angesichts der immer höheren Produktvariabilität und kürzeren Produktlebenszyklen künftig primär darum, Routine-Aufgaben, die Roboter effizient bewältigen können, mit anspruchsvollen beziehungsweise spezifischen Aufgaben zu verzahnen, für deren Bearbeitung der Mensch besser geeignet ist.

Entscheidend für den Erfolg derartiger Konzepte ist, dass sich der Roboter im gemeinsamen Arbeitsraum stets sicher verhält. Am Fraunhofer-Institut für Op­tronik, Systemtechnik und Bildauswertung IOSB wurde hierfür ein entsprechendes Verfahren basierend auf einer Umgebungserfassung entwickelt. Personen und Objekte im Arbeitsraum werden dabei von Sensoren wahrgenommen, so dass sich ein dreidimensionales Modell der Roboterumgebung erstellen lässt. Damit ist der Abstand des Roboters zum nächsten Hindernis berechenbar, und der Roboter kann rechtzeitig verlangsamen und anhalten, bevor es zu einer Kollision mit Personen oder anderen Hindernissen im Arbeitsraum kommt.

Zur Gewinnung der 3D-Information sind verschiedene Sensorprinzipien einsetzbar: Lichtlaufzeitprinzip (Laserscanner/LIDAR, PMD-Kameras), Triangulationsprinzip (Musterprojektion, ‚Kinect‘-Sensor) oder Kameras nach dem Stereoprinzip. Die Sensoren können fest im Arbeitsraum installiert oder am Roboter montiert sein. Die zweite Variante ist insbesondere für mobile Plattformen und mobile Manipulatoren sinnvoll, weil sich dadurch ihr potenziell sehr großer Arbeitsraum mit einer vertretbaren Anzahl von Sensoren abdecken lässt.

Aufgrund begrenzter Sensorgesichtsfelder und möglicher Verdeckungen sind üblicherweise mehrere Sensoren erforderlich, um den Arbeitsraum ausreichend überwachen zu können. Dies führte letztlich zur Entwicklung eines Verfahrens, mit dem sich 3D-Informa­tion aus unterschiedlichen Sensoren fusionieren lässt. Mit anderen Worten: Es vereint die Daten der einzelnen Sensoren zu einem 3D-Modell der lokalen Roboterumgebung (Bild 1). Zusätzlich werden dabei verdeckte Bereiche, die von den Sensoren nicht eingesehen werden können, weil sie hinter einem Objekt liegen (Bild 2 oben), explizit betrachtet und bei der Berechnung des aktuellen Abstands zwischen Roboter und Hindernissen berücksichtigt. Verdeckungen sind insbesondere dann kritisch, wenn sich das Hindernis zwischen Sensor und Roboter befindet, denn in diesem Fall wird nur die dem Sensor zugewandte Objektoberfläche erfasst, während die näher beim Roboter befindlichen Objektteile vom Sensor nicht wahrgenommen werden. Ohne Berücksichtigung von Verdeckungen würde es also zu einer Unterschätzung des Hindernis-Abstandes kommen, was es aus Sicherheitsgründen zu verhindern gilt. Durch die Fusion von Sensoren mit überlappenden Gesichtsfeldern lässt sich das Ausmaß der Verdeckungen reduzieren (Bild 2 unten).

Bild 2: Durch die Fusion von Sensoren lässt sich die Abdeckung des Arbeitsraums vergrößern. Zudem reduziert sich bei überlappenden Gesichtsfeldern das Ausmaß der Verdeckungen.

© Manfred Zentsch / Fraunhofer IOSB

Eine weitere Herausforderung ergibt sich, wenn neben den Hindernissen der Roboter selbst in den Sensordaten zu sehen ist. Vor der Abstandsberechnung ist dann zunächst zwischen Roboter- und Hindernispunkten zu unterscheiden. Dies erfolgt, indem ein 3D-Modell des Roboters in seinem aktuellen Zustand berechnet und der entsprechende Bereich aus den Sensordaten herausgefiltert wird, so dass nur noch die tatsächlichen Hindernispunkte übrigbleiben. Neben den aktuellen Gelenkwinkeln des Roboterarms sind dabei die Gegenstände zu berücksichtigen, mit denen der Roboter interagieren soll. Beispielsweise werden vom Roboter gegriffene Objekte dem Modell hinzugefügt, so dass sie während des Transports nicht als Hindernisse gelten.

Zusätzlich zur 3D-Erfassung der unmittelbaren Roboterumgebung wird im gesamten Arbeitsraum eine Erkennung und Prädiktion von bewegten Hindernissen durchgeführt. Die aktuelle Geschwindigkeit und Bewegungsrichtung von Personen, Fahrzeugen oder anderen Objekten werden aus dem Zeitverlauf ihrer Bewegung geschätzt. Daraus lassen sich Vorhersagen über die Objektpositionen in der nahen Zukunft ableiten. Die wahrscheinlich von Hindernissen belegten Bereiche werden mit der geplanten Bahn des Roboters verglichen. Falls eine Kollisionsgefahr besteht, kann der Roboter frühzeitig verlangsamen oder anhalten. Sobald das Hindernis die Bahn wieder verlassen hat, setzt der Roboter seine Fahrt fort.

Intuitiv kooperieren

Die Gewährleistung einer für Mensch und Umwelt sicheren Bahnplanung des Roboters erlaubt autonomes Agieren im unmittelbaren Arbeitsraum des Menschen. Für eine Mensch-Roboter-Kooperation muss hierzu ergänzend eine Detektion des kooperierenden Mitarbeiters, eine Situationsanalyse hinsichtlich seiner Tätigkeit und eine Interpretation und Ausführung erkannter Interaktionskommandos erfolgen.

Um dem Menschen darüber hinaus eine intuitive Interaktion mit dem Roboter zu ermöglichen, sollten Methoden unterstützt werden, die der Mensch ohne bewusstes Nachdenken und ohne bewusstes Verschieben seiner Aufmerksamkeit nutzen kann. Naheliegende Methoden sind insbesondere jene, die der Mensch im alltäglichen Dialog mit anderen Personen einsetzt – also etwa Sprache, Gestik, Mimik, Blick oder auch die Körperhaltung.

Die Forscher des Fraunhofer IOSB entwickeln und implementieren vor diesem Hintergrund Verfahren zur kamera- und videobasierten Mensch-Roboter-Interaktion, die diese Kommunika­tionsmethoden unterstützen, darüber hinaus den Roboter dazu befähigen, seinen kooperierenden Mitarbeiter, dessen Absicht sowie den Handlungskontext wahrzunehmen und zu verstehen. Grundlage hierfür sind die gleichen fusionierten 3D-Tiefendaten, die – wie auch zur Arbeitsraum-Überwachung – aus der Umwelterfassung zum Beispiel mittels Kinect-Sensoren in der Umgebung oder auf der mobilen Plattform selbst gewonnen werden. Mit speziellen Verfahren zur Personendetektion und Erfassung von Körperposen werden also Menschen in der Umgebung des Roboters lokalisiert und ihre Körperhaltung in Form eines vereinfachten Skelettmodells erfasst.

Bild 3: Schematische Darstellung des erfassten Skeletts (grün) bei einer Zeigegeste.

© Manfred Zentsch / Fraunhofer IOSB

Bild 3 zeigt eine schematische Darstellung eines solchen Skelettmodells. Anhand des Skelettmodells lassen sich die für die Interaktion wichtigen Merkmale, wie die Orientierung des Gesichts, Zeigegesten in Form ausgestreckter Arme oder dedizierte Handposen näher untersuchen: Relevante Körperpartien werden hierzu aus den Tiefendaten jeweils mit ergänzenden Klassifikatoren analysiert und in einen zeitlichen Kontext gestellt. Bei der Identifikation umstehender Personen ist auf diese Weise die korrekte Zuordnung eines Interaktionskommandos zu der Person gewährleistet, die es originär getätigt hat.

Das Nachvollziehen individueller Armbewegungen erlaubt darüber hi­naus die Detektion von beabsichtigten Gesten zur Interaktion – zum Beispiel auf bestimmte Objekte oder Werkzeuge zeigen – gegenüber einer generellen Armbewegung. Und die ­Zuordnung von Kopforientierungen zu den umstehenden Personen ermöglicht es, beabsichtigte Interaktionen antizipieren zu können, sobald die Auf­merksamkeit nachvollziehbar auf den Roboter gerichtet wird. Die Menge einzusetzender und in Echtzeit aus­zuwertender Erfassungskomponenten hängt dabei unmittelbar von der Komplexität der zugrundeliegenden Anwendungsfälle oder Interaktions-Szenarien ab: Im Fall einer dedizierten Mensch-Roboter-Interaktion, bei der nur eine einzelne Person anwesend ist, werden Verfahren zur Personenunterscheidung obsolet. Ebenso kann bei Szenarien, bei denen Gestik und Sprache explizite Interaktionsabsichten verdeutlichen, die zeitliche Kontexterfassung minimiert werden. Dies deshalb, da eine Interaktion von einer Person immer durch die gegebene Kombination der beiden Modalitäten als gegeben angenommen werden kann und nicht erst detektiert werden muss. Diese notwendige Modularität wird am Fraunhofer IOSB bereits im grundlegenden Design der Verfahren berücksichtigt, um flexibel auf verschiedene Einsatzfelder und Anwendungsfälle reagieren zu können.

Einsatz auch in dynamischen Umgebungen

Sobald der Roboter ein Kommando ­erhält, plant er auf der Grundlage des beschriebenen Verfahrens eine kolli­sionsfreie Bahn zu seinem Ziel unter Berücksichtigung eines 3D-Modells der statischen Hindernisse sowie der aktuell von den Sensoren detektierten Hindernisse. Somit ist der Einsatz des Roboters auch in dynamischen Umgebungen möglich, in denen die Position von Objekten wie Stühlen oder abgestellten Fahrzeugen nicht vorab bekannt ist. Die Übergabe von Gegenständen wird gesteuert, indem der Roboter die vom Menschen beim Greifen des Objekts ausgeübte Kraft erkennt und das Objekt daraufhin loslässt. Ein solches intuitives Verhalten erlaubt selbst Ungeübten die problemlose Übernahme von Objekten.

Auf den Punkt gebracht: Während ­einige alternative Verfahren erst reagieren können, sobald eine Kollision bereits stattgefunden hat, versucht der Ansatz des Fraunhofer IOSB Kollisionen des Roboters mit Hindernissen auf der Grundlage von 3D-Umgebungserfassung von vornherein zu vermeiden. Außerdem sind die Sensoren an Bord von mobilen Robotern montierbar, so dass deren ­Einsatz nicht auf speziell ausgestattete Arbeitsbereiche beschränkt werden muss.

Das beschriebene Verfahren kann allerdings nicht als Sicherheitskonzept für die Zulassung von Robotern gewertet werden, weil die verwendeten 3D-Sensoren die Anforderungen (Sicherheits-Integritätslevel/SIL) aus den entsprechenden Normen hinsichtlich Zuverlässigkeit, Robustheit, Ansprechzeit, 2-kanalige Auswertung etc. nicht erfüllen. Für die Zulassung ist daher anders zu argumentieren: beim beschriebenen Demonstrator beispielsweise über die Sicherheits-Laserscanner der Plattform und das nachgewiesene geringe Ver­letzungsrisiko bei Kollisionen mit dem Leichtbauarm. Die 3D-Arbeitsraum-Überwachung ist vor diesem Hintergrund als ‚Komfortsystem‘ zu sehen, welches auch leichte Kolli­sionen verhindert, den Stillstand des Roboters auf ein Minimum reduziert und somit die Nutzbarkeit und Ak­zeptanz der Mensch-Roboter-Inter­aktion steigert.

Die Umsetzung am Beispiel der Montage

Die überlappenden Erfassungsbereiche der 2D-Laserscanner (blau/violett) und der 3D-Tiefensensoren (gelb/grün) ermöglichen die Erkennung von Hinternissen (rot) rund um den Roboter (weiß/orange).

© Manfred Zentsch / Fraunhofer IOSB

Zur Entwicklung und Demonstration der beschriebenen Methoden ist am Fraunhofer IOSB ein mobiler Manipulator vom Typ Kuka Omnirob vorhanden. Dabei handelt es sich um eine omnidirektionale mobile Plattform mit einem 7-achsigen Leichtbauarm. Die Plattform verfügt über zwei Laserscanner, die Hindernisse in einer Ebene über dem Boden detektieren. Zusätzlich wurden zwei Triangulationssensoren (Kinects) montiert, die den Arbeitsbereich des Leichtbauarms dreidimensional erfassen. Somit lassen sich Kollisionen des Arms mit Hindernissen vermeiden, ohne dass das Greifen auf einen Tisch oder in ein Regal eingeschränkt wird. Die beschriebene Arbeitsraum-Über­wachung fusioniert die Daten der vier genannten Sensoren.

Als Demonstrations-Szenario dient die Unterstützung bei der Montage: Der Roboter holt Werkzeuge oder Teile, die beispielsweise per Gestensteuerung ausgewählt werden können, und übergibt sie dem Arbeiter oder legt sie am Arbeitsplatz ab. Die Sicherheit von Personen, die mit dem Roboter interagieren oder unbeabsichtigt seinen Arbeitsraum betreten, ist durch die Umgebungserfassung jederzeit gewährleistet.

Im Rahmen des EU-Projekts SAPHARI (Safe and Autonomous Physical Human-Aware Robot Interaction) wurde das Konzept zur 3D-Arbeitsraum-Überwachung außerdem auf einem weiteren Roboter integriert und im Anwendungs-Szenario der Schraubenlogistik für die Roboterproduk­tion bei Kuka Roboter erfolgreich demonstriert. Ein Omnirob nimmt dabei Kleinladungsträger mit Bauteilen aus einem Regal, zeigt sie einem Mitarbeiter zwecks Qualitätskontrolle und legt sie an einem vorgegebenen Zielpunkt ab (je nachdem, ob die Qualitätskontrolle bestanden wurde oder nicht).