Formbasierte Verfahren sparen gegenüber dem grauwertbasierten Matching Rechenaufwand. Eine Sonderform dieses Verfahrens erkennt selbst deformierte Oberflächen, wie Blisterverpackungen.

© MVTec

Aus den Bibliotheken kann der Anwender verschiedene 2D- und 3D-Methoden zur Objekt-Erkennung wählen. Doch wann ist welches Verfahren sinnvoll einsetzbar? - Eine Übersicht am Beispiel des Softwarepakets Halcon (siehe Seite 4) zeigt die Eigenschaften der verschiedenen Methoden auf.

Eine seit langem erfolgreich eingesetzte 2D-Methode ist das grauwertbasierte Matching. Dabei schiebt die Software ein gespeichertes Bild des gesuchten Objekts über das zu prüfende Grauwertbild. Bei hinreichender Übereinstimmung erkennt das Verfahren rasch das gesuchte Objekt.

Diese Methode ist robust gegenüber Unschärfe, Kantendeformation oder Texturen. Keine Rolle spielen dabei die Rotation und Orientierung der Objekte. Grauwertbasiertes Matching eignet sich vor allem für Objekte mit schwach ausgeprägten Konturen. Der Nachteil ist, dass es durch den direkten Vergleich der Grauwerte relativ rechenintensiv ist.

Die neuen 2D-Verfahren

In der Perspektive verzerrte und verdrehte Objekte findet das deskriptorbasierte 2D-Matching. Es spürt Markante Punkte auf, die sich stark von ihrer Umgebung abheben.

© MVTec

Im Vergleich zum grauwertbasierten Verfahren spart das formbasierte Matching Rechenaufwand. Dieses Verfahren eignet sich insbesondere dann, wenn die Kanten des zweidimensionalen Objektes gut abgrenzbar sind. Dabei vergleicht die Software die Kantenmerkmale eines Objekts, ohne einen flächendeckenden Grauwertvergleich durchzuführen.

Die Methode findet Objekte in Echtzeit, selbst wenn sie verdreht, skaliert, perspektivisch verzerrt, teilweise deformiert oder gar überdeckt sind. Auch gegen Beleuchtungsschwankungen zeigt sich dieses Verfahren sehr robust. Die Objekte lassen sich anhand von Bildvorlagen oder CAD-Daten trainieren.

Perspektivisch verzerrte Objekte erkennt das deskriptorbasierte Matching. Dieses Verfahren bestimmt markante Punkte, deren Grauwerte sich deutlich von ihrer benachbarten Umgebung durch Helligkeit, Krümmung, Ecken oder Flecken unterscheiden. Planare Objekte mit Textur - wie Verpackungen - können mit diesem Matching-Verfahren extrem schnell in beliebiger Rotation und Kippung gefunden werden.

Objekte, die aus mehreren gegeneinander beweglichen Teilen bestehen, erkennt das komponentenbasierte Matching. Diese Methode eignet sich für Zangen, Scheren oder Schalter, wobei die Lage der einzelnen Komponenten zueinander keine Rolle spielt.

3D mit einer Kamera

Das oberflächenbasierte 3D-Matching nutzt 3D-Punktwolken und Distanzbilder um Objekte zu erkennen, die keine klaren Kanten aufweisen, wie Rohre.

© MVTec

3D-Bildverarbeitung benötigt nicht zwangsläufig Stereosysteme mit zwei Kameras. Das formbasierte 3D-Matching bestimmt die Lage (Position und Orientierung) von beliebig angeordneten Objekten mit nur einer Kamera und Perspektive. Bereits im Vorfeld berechnet die Software aus dem CAD-Modell 2D-Bilder aus unterschiedlichen Blickrichtungen und speichert sie ab. Zur Objekt-Erkennung vergleicht das Bildverarbeitungsprogramm diese 2D-Daten mit dem aufgenommenen Bild. Zwar ist der Speicherplatzbedarf für die vielen perspektivischen Bilder relativ hoch, dem steht jedoch eine sehr schnelle Erkennung gegenüber.

Durch den Einsatz mehrerer Kameras lässt sich die formbasierte 3D-Erkennung auch in einem Stereoverfahren umsetzen. Dabei erlaubt ein neues Mehrbildstereo-Verfahren nicht nur zwei, sondern eine unbegrenzte Anzahl von Kameras. Mit den Bildern aus unterschiedlichen Blickrichtungen kompensiert die Software Verdeckungen, wodurch die 3D-Rekonstruktion genauer und robuster wird. Stereoverfahren finden vor allem beim „Bin Picking" - sprich bei der roboterbasierten Vereinzelung von Schüttgut - immer öfter Anwendung.

Genauso wie sein 2D-Pendant stößt das formbasierte 3D-Matching an seine Grenzen, wenn ein Objekt keine klaren Kanten und Konturen aufweist, sprich, die Form sich nur schwer erfassen lässt. In diesem Fall ist das oberflächenbasierte 3D-Matching eine Alternative. Dieses neue Verfahren findet gerundete, kantenlose Objekte wie Rohre und andere zylindrische Bauteile. Dazu nutzt die Software 3D-Punktwolken oder Distanzbilder. Distanzbilder entstehen durch flächige Abstandsmessungen wie sie Time-of-Flight- Sensoren (Lichtlaufzeitmessung), Lichtschnittverfahren oder kamerabasierte Verfahren wie „Depth from Focus" liefern.

Autor: Dr. Lutz Kreutzer, ist Leiter Marketing bei der Firma MVTec

Halcon in Version 10

Halcon ist eine umfangreiche Bildverarbeitungs- Bibliothek vom Hersteller MVTec mit einer integrierten Entwicklungsumgebung. Bei der Anwendungs-Entwicklung können die Programmierer auf mehr als 1600 Operatoren aus den Bereichen Morphologie, Matching, Vermessung und Identifikation zurückgreifen. Die Bibliothek unterstützt eine Vielzahl von Betriebssystemen und verfügt über Schnittstellen zu hunderten Industrie-Kameras und Framegrabbern.

Die am 10. Oktober vorgestellte Version 10 bietet in vielen Bereichen Weiterentwicklungen. In der 3D-Objekt-Erkennung beispielsweise kommt mit dem oberflächenbasierten 3D-Matching eine robuste Methode zum Auffinden von gerundeten, kantenlosen Objekten hinzu. Außerdem haben die MVTec-Entwickler das Stereoverfahren ausgebaut: Statt der bisher üblichen zwei Kameras wird nun beim Mehrbildstereo eine unbegrenzte Anzahl von Kameras unterstützt. Bei den 2D-Methoden kommt ein formbasiertes Verfahren, das „lokal deformierbare Matching" hinzu, um Objekte mit verformten Oberflächen zu erkennen.

Halcon legt auch bei der Gesamt-Performance nach: Die Version 10 lagert Berechnungen auf die Grafikprozessoren (GPUs) im Computersystem aus. Mehr als 50 Operatoren sind für die Ausführung auf der GPU optimiert. Ihre Auslagerung plant eine Automatik, die prüft, ob sich die Aufgabenübertragung auf den Grafikprozessor lohnt.

Neues gibt es darüber hinaus bei der Multicore- Unterstützung: Sie wurde weiterentwickelt und steht nun als Default-Einstellung zur Verfügung. Die Software erkennt automatisch, über wie viele Prozessoren und Prozessorkerne (Cores) das Bildverarbeitungssystem verfügt und teilt die Berechnungen selbstständig auf. Die Geschwindigkeit steigt nahezu proportional zur Anzahl der verfügbaren Cores.