Prototyp der kamerabasierten Gelenksensorik auf der Hannover Messe 2018. Die Messung der Gelenkwinkel und die Steuerung des Roboterarmes (Mitte) erfolgen einzig durch Bildverarbeitung der aufgenommenen Kamerabilder (rechts oben).

© RoVi RobotVision

Sensortechnologien zur Umgebungswahrnehmung und zur physischen Interaktion eines Roboters sind für solche Robotersysteme Schlüsseltechnologien. Sensoren zur Messung der Gelenkwinkel, Kraft-Momenten-Sensoren und taktile Sensoren, die heute allesamt als dezidierte Elektronikmodule realisiert werden, sind dabei entscheidend. Kameras werden darüber hinaus üblicherweise zur Objekterkennung und -lokalisierung sowie zur Prozesskontrolle verwendet.

Die Technologie von RoVi ersetzt komplexe hardwarebasierte Sensorsysteme durch ihre Sensor-Software und ermög-licht Robotern so das ‚Fühlen durch Sehen‘. Technisch umfasst dies die robuste Messung von Gelenkstellungen, Positionen, Greifkräften, Kontaktprofilen und anderen taktilen/haptischen Kontaktinformationen mit Hilfe von Bildverarbeitung und extern – das heißt neben oder über dem Arm beziehungsweise am Greifer – angebrachten Kameras.

Mit einer Analogie zum Menschen lässt sich dieses Sensorkonzept anschaulich erklären: Mit geschlossenen Augen kann ein Mensch seinen Arm nur ungenau po-sitionieren, da seine Wahrnehmung der Position der Gliedmaßen und deren Gelenkstellungen wenig präzise ist. Klassische Industrieroboter arbeiten in der Regel zwar ‚blind‘, nutzen im Gegensatz zum Menschen jedoch eine hochgenaue Sensorik zusammen mit einer steifen Konstruktion, um dennoch eine hochgenaue Positionierung des Endeffektors zu erreichen.

Rendering eines komplett integrierten Greifsystems, das neben einem industriellen Greifmodul und zwei Kameras mit der kamerabasierten taktilen Sensorik ausgestattet ist.

© RoVi RobotVision

Der Mensch hingegen verwendet zusätzlich die visuelle Wahrnehmung und somit eine multimodale Informationsverarbeitung, um die präzise Manipulation von Objekten zu ermöglichen. Auf ähnliche Weise werden mit der softwarebasierten Sensorik von RoVi Gelenkstellungen eines Roboterarms, Positionen und Greifkräfte unter Verwendung von Kameras erfasst und dadurch eine präzise und autonome Interaktion des Roboters mit Objekten ermöglicht.

Die Software berechnet die Gelenkstellungen eines Roboterarms im dreidimen-sionalen Raum mit Hilfe von Bildanalyse-Algorithmen. Kraft-Momenten- und taktile Sensoren werden durch einfache passive flexible Elemente – zum Beispiel kostengünstigen Schaumstoff – ersetzt. Kontaktkräfte führen zu charakteristischen Verformungen dieser Elemente. Die Software misst diese Verformung ebenfalls mit Hilfe von Bildanalyse-Verfahren und berechnet anhand eines Materialmodells die anliegenden Kräfte und Momente. Die Sensor-Software ist anwendbar auf komplette Robotersysteme, Roboterarme, Greifer oder mobile Roboterplattformen und ermöglicht die intelligente Steuerung dieser Systeme.

Industrielle Roboterarme mit herkömmlichen Hardware-Sensoren weisen sehr hohe absolute Genauigkeiten (<0,1 mm) und Gelenkgeschwindigkeiten auf, da sie speziell dafür konstruiert sind. Hardware-Sensoren können Abtastraten von >1 kHz liefern. Ziel der RoVi-Technologie ist nicht, mit diesen Werten zu konkurrieren, sondern vielmehr auf Basis der relativen Genauigkeit zwischen dem Roboter und dem Zielobjekt relevante neue Anwendungsgebiete zu erschließen. Wie jeder Industriearm (falls er mit einer Kamera ergänzt wird) ist die Technologie durch die kamerabasierte Lageschätzung des Zielobjekts begrenzt. In typischen Set-ups mit einfachen Kameras (weniger als Full-HD-Auflösung) kann eine Posi-tioniergenauigkeit von circa 1 mm, mit UltraHD-Kameras bis zu <0,3 mm erreicht werden. Die Genauigkeit der taktilen und Kraft-Momenten-Sensoren hängt stark von der Kamera-Einstellung hinsichtlich Abstand und Auflösung ab. In typischen Fällen lässt sich eine Genauigkeit von unter 5 % erreichen, die mit der Genauigkeit von Hardware-Sensoren im mittleren Preis-segment vergleichbar ist.
 

Erschwingliche Automatisierung

Durch die Sensor-Software sollen neuartige Roboterarme und -greifer ermöglicht werden, die sensitiv und autonom agieren, dabei aber technisch stark vereinfacht und deshalb kostengünstig herstellbar sind. In immer mehr Robotik-Anwendungen werden Kameras zum Standard, da sie zur Erkennung der Umgebung oder von Objekten eingesetzt werden. Darüber hinaus werden Kameramodule durch ihre Verbreitung – beispielsweise in Smartphones – zunehmend leistungsstärker und preiswerter. Die Sensor-Software von RoVi nutzt diese Kameras und ersetzt damit eine Vielzahl von Sensorkomponenten in Robotersystemen. 

Illustration der Einsatzmöglichkeiten der verschiedenen kamerabasierten Sensoren. Sie ersetzen die gesamte elektronische Sensorik an derzeitigen Roboterarmen und reduzieren so beispielsweise den Verkabelungsaufwand.

© RoVi RobotVision

Da über externe Kameras und Software stets die aktuelle Roboterkonfiguration gemessen wird, müssen Verbindungselemente nicht zwangsweise möglichst steif konstruiert und hochpräzise gefertigt werden. Stattdessen lassen sich nachgiebige Elemente und Materialien sowie einfachere Fertigungsverfahren mit geringerer Präzision einsetzen. 

Besonders kleine und mittelständische Unternehmen, bei denen heute oft noch wenige Roboter eingesetzt werden, profitieren von den geringeren Kosten für die Automatisierung. Mit ihrer Technologie zielen die Gründer von RoVi primär auf den Wachstumsmarkt Servicerobotik ab.

Durch die grundlegenden Änderungen in der Konstruktionsweise der Roboterarme werden auch Anwendungen bei­spielweise im privaten Bereich möglich. Eine Anwendung wären zum Beispiel Roboterstaubsauger, die mit kleinen Armen ausgestattet Hindernisse wie Spielzeug aus dem Weg räumen oder auch auf den Sockelleisten saugen könnten. Allerdings müssen für den breiten Einsatz im Haushalt noch einige Hürden in der Forschung im Bereich Robotik im Allgemeinen genommen werden.

Autor: Stefan Lochbrunner ist Mitgründer und Chefentwickler bei RoVi in München.

Von der Idee zum Start-up

Die Idee für die kamerabasierte Sensorik für intelligente Roboter entstand aus der Doktorarbeit von Mitgründer Nicolas Alt, dessen Dissertationsthema die ‚visuo-haptische‘ Wahrnehmung von Robotern war. Inspiriert von der Beobachtung, wie Roboterstaubsauger absichtlich und wiederholt auf Hindernisse für die taktile Kartierung stoßen, entwickelte er – damals noch in einem Forschungsprojekt – einen taktilen Sensor für mobile Roboterplattformen. Dieser bestand aus einem einfachen Schaumstoffbalken, der von einer bereits vorhandenen Kamera am Roboter beobachtet wurde und gleichzeitig als weicher Stoßfänger diente. Das gleiche Konzept gilt auch für die taktilen Sensoren, die von RoVi an den Fingern von Greifern angebracht werden.
Später wurde das Konzept der Verwendung einer externen Kamera in Kombination mit passiven Elementen erweitert, um Kraft-Momenten-Sensoren und Gelenkwinkelsensoren für Roboter zu entwickeln. 

2016 entstand aus dem Forschungsprojekt ein Spin-off-Projekt mit der Absicht, die Technologie weiterzuentwickeln und zu kommerzialisieren. Finanziert wird das Start-up aktuell von Exist Forschungstransfer, einem Förderprogramm des Bundesministeriums für Wirtschaft und Energie speziell für High-Tech-Gründung aus der Forschung.