MVTec Software

Der sichere Griff in die Kiste

25. Januar 2023, 10:16 Uhr | Luzia Beisiegel
Der sichere Griff in die Kiste
Die Greifflächen auf saugfähigen Objekten verschiedenster unbekannter Geometrien werden gefunden.
© MVTec

Bin Picking ist ein zentrales Verfahren für die Roboter-gestützte Automation von Handling-Prozessen im industriellen Umfeld. MVTec bietet nun eine neue Technologie für den sicheren Griff von Objekten, deren Erscheinungsform im Vorfeld nicht bekannt ist.

Beim Bin Picking greift ein Roboter gezielt bestimmte Teile aus einem Behälter, um sie zur Bearbeitung oder für weitere Prozessschritte bereitzustellen. Dabei werden die meist ungeordnet in der Kiste liegenden Gegenstände in korrekter Ausrichtung am neuen Ablageort platziert. In erster Linie wird Bin Picking im Fertigungs-Workflow eingesetzt, wie etwa bei der Montage von Einzelteilen, der Vereinzelung oder der Verpackung fertiger Produkte.

Ein weiteres Einsatzgebiet: die Intralogistik. Dort werden beispielsweise in durchgängig automatisierten Hochregallagern unterschiedlichste Objekte in Kisten (Bins) aufbewahrt. Um die Teile zu kommissionieren, steuern autonome Flurförderfahrzeuge die Regale an, laden bestimmte Bins auf und transportieren sie zur Kommissionierstelle. Dort nehmen fest installierte Roboter die entsprechenden Gegenstände aus dem Bin heraus und stellen sie für die weitere Prozesskette bereit. Um die Objekte zielsicher zu erkennen und zu greifen, sind die Roboter mit 3D-Kameras und einer Bildverarbeitungssoftware verbunden.

Verschiedenste Objekt-Geometrien 

Die zu greifenden Objekte können eine Vielzahl verschiedener Geometrien und Formen aufweisen. Um hierfür gute Erkennungsraten zu gewährleisten, bräuchte das Machine-Vision-System von jedem einzelnen Objekt ein detailliertes CAD-Modell. In vielen Anwendungsszenarien stehen aber CAD-Modelle nicht zur Verfügung. 

CAD-Modell-freie Ansätze 

Der sichere Griff in die Kiste
Die Greifflächen auf saugfähigen Objekten verschiedenster unbekannter Geometrien werden gefunden.
© MVTec

Deshalb bedarf es eines Bin-Picking-Ansatzes, der keinerlei CAD-Modelle erfordert. Hierbei müssen einige zentrale Herausforderungen adressiert werden: So ist aufgrund des fehlenden Modells im Vorfeld kein oder nur geringes Wissen über die zu greifenden Objekte vorhanden. Zudem können sich in einem Bin auch mehrere Objekte mit verschiedenen Geometrien befinden, die alle sicher gegriffen werden müssen. Darüber hinaus kann der Greifprozess aufgrund von deformierbaren Objekten zusätzlich erschwert werden. Eine weitere Herausforderung besteht in den stark variierenden Oberflächeneigenschaften der Objekte. Diese können beispielsweise texturarm, teildurchsichtig oder auch glänzend sein, was Reflexionen begünstigt. Derlei Eigenschaften führen im Rahmen der Bildverarbeitung immer zu massiven Informationslücken – und zwar insbesondere in der 3D-Punktwolke.

Dazu kommt: Aufgrund der großen Objektvarianz in Lagerhäusern muss die Bin-Picking-Lösung mit einer Vielzahl von Geometrien, verschiedenen Objektgrößen sowie Bilddaten aus unterschiedlichen Sensortypen zurechtkommen. Und nicht zuletzt ist es wichtig, die Kosten der intralogistischen Handling-Prozesse im Griff zu behalten. Erreicht wird dies zum einen durch beschleunigte Durchlaufzeiten der Bin-Picking-Anwendung. Auf der anderen Seite lassen sich Kosten auch durch den Einsatz von Hardware mit geringerer Performance reduzieren.

Greifpunkte sicher identifizieren

Der sichere Griff in die Kiste
Die Identifikation der Anfahrposen im 3D Raum für den Roboter mit Sauggreifer.
© MVTec

MVTec bietet für diese Bin-Picking-Applikationen das neue Feature „3D Gripping Point Detection“an, das auf einem vortrainierten Deep-Learning-Netz basiert. Der besondere Nutzen der Technologie besteht in den erweiterten Anwendungsmöglichkeiten von Bin-Picking-Prozessen: So lassen sich damit auch Objekte greifen, deren Erscheinungsform im Vorfeld nicht bekannt ist. Das Verfahren ist in der Lage, mögliche Greifflächen auf saugfähigen Objekten robust zu identifizieren, sodass der Vakuumsauger das Objekt sicher aufnehmen kann. Dabei ist für den Greifprozess kein CAD-Modell oder sonstiges Wissen über die Erscheinungsform des Objekts erforderlich. Dadurch lassen sich die Bin-Picking-Anwendungen auf zahlreiche Objektkategorien mit verschiedenen Geometrien ausweiten. Zudem kann der Roboter auch flexible, deformierbare Objekte robust greifen, die nicht durch eine starre Form beschrieben werden.

„3D Gripping Point Detection“ ist in die aktuelle Version 22.11 der Machine-Vision-Standardsoftware Halcon integriert und damit Bestandteil der Halcon Toolbox. Diese umfasst den Bildeinzug, die Entwicklungsumgebung HDevelop, verschiedenste Sprachschnittstellen und als Herzstück eine Bildverarbeitungsbibliothek. Zudem bietet die Software die Möglichkeit, Anwendungen auf verschiedensten Embedded-Plattformen zu betreiben. Die Bildverarbeitungsbibliothek enthält einen Blumenstrauß an verschiedenen Methoden – von der Kamerakalibrierung über Code-Lesen, 2D- und 3D-Messen, Filter und Blob-Analyse bis hin zu verschiedensten Deep-Learning-Verfahren wie Klassifikation und Global Context Anomaly Detection. Die einzelnen Tools aus der Bibliothek lassen sich flexibel und effizient kombinieren, um auf die spezifischen Anforderungen einer Bildverarbeitungsanwendung reagieren zu können.

Der komplette Machine-Vision-Workflow 

Halcon deckt den kompletten Workflow einer jeden Bildverarbeitungsanwendung ab. Dieser umfasst den Bildeinzug, die Vorverarbeitung, das Processing, Postprocessing sowie die Ergebnisausgabe. Dadurch lässt sich das gesamte Bin-Picking-Verfahren auf ein hohes Niveau heben. Beispielsweise können durch entsprechende Tools im Rahmen der Vorverarbeitung die 2D- und 3D-Bilddaten so aufbereitet werden, dass die Prozesse im Hauptteil robuster ablaufen. Dabei zählen zu den klassischen Schritten in der Vorverarbeitung die Verminderung von Rauschen sowie eine geeignete Hintergrundbehandlung, um die Bilddomäne beispielsweise auf die Objekte in dem Bin zu reduzieren. Darüber hinaus ist eine geeignete Vorverarbeitung in der Lage, die Geschwindigkeit und Robustheit des Verfahrens zu erhöhen. Hierbei kann die Bilddomäne zum Beispiel entsprechend eingeschränkt oder ausgeschnitten werden. Zudem unterstützt die Software über das AI Accelerator Interface auch dedizierte KI-Hardware-Beschleuniger - via TensorRT oder OpenVINO -, was die Inferenz der 3D Gripping Point Detection um ein Vielfaches schneller macht.

Der sichere Griff in die Kiste
Die Autorin: Luzia Beisiegel ist Product Owner Holcon Library bei MVTec Software.
© MVTec

Weiter ist geplant, die Technologie in einer der kommenden Versionen um ein Nachtraining zu erweitern, um das Bin-Picking-Verfahren hinsichtlich bestimmter Hardware-Gegebenheiten oder Umgebungssituationen dann zusätzlich optimieren zu können. 


Das könnte Sie auch interessieren

Verwandte Artikel

MVTec Software GmbH

Robotik