Das Zusammenspiel zwischen Robotern und Bildverarbeitungssoftware hat in den letzten Jahren einen großen Sprung nach vorn gemacht. Ein Beispiel für die wachsenden Einsatzmöglichkeiten von Robotern und industrieller Bildverarbeitungssoftware liefert das Irish Manufacturing Research (IMR). Das IMR ist eine Forschungs- und Technologie-Einrichtung mit einem breiten Portfolio an Forschungs-, Schulungs- und Beratungsdienstleistungen zum Themenkomplex Industrie 4.0. Gemeinsam mit Multipix Imaging und MVTec wurde unlängst eine vollautomatische Roboteranwendung mit Machine Vision entwickelt, die Komponenten für Knie-Implantate bearbeiten kann.

Von manueller zu automatisierter Entnahme

Die Reihenfolge der einzelnen Prozessschritte, wie sie nacheinander durchgeführt werden.

© IMR

Die vom IMR entwickelte 3D-Bildverarbeitungsapplikation ermöglicht es, vollautomatisiert willkürlich ausgerichtete, komplex geformte Teile zu identifizieren und zu lokalisieren. Der Roboter kann diese präzise und wiederholbar greifen und auch wieder sicher ablegen. Bislang wurde die An- wendung manuell durchgeführt. Doch aus Gründen der Effizienzsteigerung sowie aus Kostengründen sollte die Anwendung künftig roboterbasiert erfolgen. Aufgrund der hochglanzpolierten, spiegelnden Oberfläche und der komplexen Form lassen sich entsprechende Anwendungen jedoch nur schwer realisieren.

Als Projektpartner wählte das IMR die Unternehmen Multipix Imaging aus dem englischen Petersfield, einen Distributor von Bildverarbeitungskomponenten mit Schwerpunkt auf der Förderung von Bildverarbeitung in Automatisierungs- und Fertigungsprozessen, und MVTec mit Sitz in München als Software-Hersteller für die industrielle Bildverarbeitung.

Die Bildverarbeitungssoftware war eine entscheidende Komponente bei der Umsetzung der Applikation, da die Beschaffenheit der Implantats-Oberflächen sehr herausfordernd ist – die Schwierigkeit liegt in der starken Varianz der Oberflächen von matt bis hochreflektierend sowie in den komplexen Formen. Hinzu kommen Herausforderungen, die sich aus der Prozessumgebung ergeben: Teile werden durch Behälterwände verdeckt, sind zufällig angeordnet und müssen aus unterschiedlich großen Behältern gegriffen und abgelegt werden.

Gleichzeitig waren auch die Anforderungen an die Applikation als Ganzes hoch: Die komplex geformten, stark reflektierenden Teile müssen in den sechs Freiheitsgraden (6DoF) mit einer Genauigkeit von +/-3 mm bearbeitet werden. Zudem sollten die Zykluszeiten weniger als 15 s betragen. Der Kunde benötigt ein singuläres System, das über alle Polierstufen hinweg einsetzbar ist. Und last but not least sollten der Betrieb und die Zusammenarbeit mit einem Robotersystem mit Bauteilen in einer halbstrukturierten Konfiguration möglich sein.

Zusammenspiel zwischen Hard- und Software

Im Zentrum der umgesetzten Applikation befindet sich ein 6-achsiger UR3-Roboter, ausgestattet mit einem End-of- Arm-Tool (Greifer). Zur Optimierung der Leistung und zur gleichmäßigen Umgebungsbeleuchtung wurde in der Roboterzelle ein Ringlicht installiert. Zum Bildeinzug dient eine 2D-Industriekamera. Die Anwendung wird von einem Laptop mit installierter ‚Halcon‘-Software gesteuert, die mit Hilfe einer 2D-Bildkamera eine Lokalisierung des Objekts ermöglicht. Daraufhin werden die Koordinaten der lokalisierten Teile über TCP/IP an die Robotersteuerung gesendet.

Im Einsatz funktioniert die Applikation folgendermaßen: Der Behälter mit den Bauteilen wird in den Arbeitsbereich des Roboters eingeschleust. Anschließend greift er eigenständig sämtliche Werkstücke, ohne dabei andere Implantate zu berühren, und sortiert sie entsprechend ihrer Zugehörigkeit. Dazu muss der Roboter wissen, welches Bauteil er gerade greift und wohin er es ablegen muss.

Damit der Roboter die Komponenten ‚sehen‘ kann, nutzt er die Bildverarbeitungssoftware ‚Halcon‘ von MVTec: Die relevante Technologie für die Applikation war das Shape-Based 3D Matching. Diese formbasierte Matching-Technologie findet Objekte präzise und robust – auch, wenn die Teile rotiert, skaliert, perspektivisch verzerrt, lokal deformiert, teilweise überdeckt beziehungsweise außerhalb des Bildes sind oder nicht-linearen Beleuchtungsschwankungen unterliegen.In der Praxis läuft der Bilderkennungsprozess so ab, dass zunächst die 3D-CAD-Modelle der zu erfassenden Objekte in die Software geladen werden, um die Funktion der 3D-Form-Objektmodelle zu erstellen. Die Bildverarbeitungssoftware erstellt zunächst das 3D-Objektmodell, das für den anschließenden Abgleich verwendet wird. Dabei ist das Tool in der Lage, anhand der vom Anwender vorgegebenen Flächenblickrichtungen der Teile die verschiedenen Ansichten des 3D-CAD-Modells zu berechnen. Die Ansichten werden automatisch erzeugt, indem virtuelle Kameras um das 3D-CAD-Modell herum platziert werden und das Modell in die Bildebene jeder virtuellen Kameraposition projiziert wird. Für jede auf diese Weise gewonnene Ansicht berechnet die Software eine 2D-Objektdarstellung. Es werden also keine realen Bilder des Objekts verwendet, um das 3D-Objektmodell zu erzeugen, sondern nur das 3D-CAD-Modell. Die Objektdarstellungen aller Ansichten werden im 3D-Objektformmodell gespeichert, das vom Operator zurückgegeben und in einer Datei für den späteren Abgleich gespeichert wird.

Der Autor: Kevin Dooley ist Projekt Manager bei IMR.

© IMR

Bei der Entnahme des Bauteils liefert ein 2D-Kamerabild das Profil dieses Teils, das mit den in Halcon gespeicherten 3D-CAD-Profilen verglichen wird. Auf der Grundlage des Vergleichs zwischen den gespeicherten Profilen und dem 2D-Kamerabild wird eine Punktzahl zwischen 0 und 1 generiert, um das optimale Teileprofil zu bestimmen. Anschließend werden die 3D-Koordinaten des Teils erzeugt und an den Roboter gesendet.

Ein erstes Unternehmen hat bereits eine eigene Lösung auf Basis der Forschungsapplikation von IMR entwickelt. Daher entwickelt IMR bereits weitere Projekte mit Robotern und der Bildverarbeitungssoftware Halcon, zum Beispiel zur Detektion von flüssigen Reagenzien in einer biomedizinischen Anwendung.