Die Einführung der Bildverarbeitung hat die Produktivität von Robotern erheblich gesteigert. Vision-Systeme ahmen mit Kameras, Sensoren und Algorithmen das menschliche Sehvermögen nach, so dass Roboter ihre Umgebung wahrnehmen und auf dieser Grundlage präzise handeln können. So ermöglichen Vision-Systeme heute bereits das Prüfen, Identifizieren, Zählen und das Messen sowie das Lesen von Barcodes und das Steuern von Robotern.

Potenziale und Grenzen bildbasierter Steuerungssysteme

Bildbasierte Steuerungssysteme bilden eine Form der Vision-Technologie, die zur Steuerung von Robotern in dynamischen Umgebungen eingesetzt werden. Ein typischer Aufbau für diese Art von Technologie ist ein Roboterarm, der mit einer oder mehreren Kameras ausgestattet ist. Diese dienen als Sensoren, die ein sekundäres Feedback-Signal an die native Robotersteuerung liefern. Auf diese Weise kann der Roboter eine variable Zielposition präziser anfahren, Objekte präziser lokalisieren und manipulieren. Dies ist entscheidend für Anwendungen wie das Platzieren oder Fügen von kleinen Komponenten beispielsweise in der Elektronikmontage.

Herkömmliche Vision-Systeme zur Steuerung, die auf 2D- oder 3D-Kameras basieren, haben die Einsatzmöglichkeiten in der Robotik deutlich erweitert. Dennoch stoßen auch diese Systeme an ihre Grenzen. Um diese Herausforderungen vollständig zu verstehen, ist es hilfreich, zu betrachten, wie herkömmliche Vision-Systeme funktionieren.
Ein grundlegender 2D-Ansatz ist der naive Musterabgleich, bei dem jedes Bildpixel mit einem vordefinierten Muster verglichen wird. Fortgeschrittenere Methoden nutzen Filter, um Bildmerkmale hervorzuheben, wodurch die Positionsbestimmung rotations- und maßstabsunabhängig wird. 3D-Probleme verwenden Punktwolken, die von Stereosystemen oder Time-of-Flight-Kameras erzeugt werden, die Infrarotlicht aussenden und dessen Reflexionszeit messen.

Sogar die einfacheren 2D-Technologien nutzen dabei strukturiertes Licht, was sie anfällig für Helligkeits- und Farbveränderungen macht. Komplexitätsreduktion erfolgt oft durch das Ignorieren von Farben oder Verwenden eines stabilen Reflexionspunktes. Herausforderungen wie Sonnenlicht, Kontrastwechsel, extreme Blickwinkel oder unerwartete Objekte im Bild erschweren die Zielidentifizierung. Gezieltes Verdecken von Informationen ist nötig, um die Systeme vor Ablenkungen zu schützen, was umfangreiches Ingenieurswissen und Modifikationen des Arbeitsbereichs erfordert. Dies macht die Automatisierung in dynamischen Fabrikumgebungen oft schwierig und teuer, weshalb komplexe Aufgaben häufig von Menschen übernommen werden.

Ein sinnvollerer Ansatz wäre es, Systeme mit Algorithmen einzusetzen, die auf ähnliche Weise wie Menschen analysieren. Menschen berücksichtigen intuitiv alle auffälligen Informationen – wie Farben, Formen, Helligkeit und Reflexionen – und wissen, welche Informationen ignoriert werden können, wenn sie für das angestrebte Ziel irrelevant sind. An dieser Stelle kommt KI ins Spiel.

KI-gestützte Vision-Systeme für die Steuerung

Im Gegensatz zu herkömmlichen Vision Systemen gelingt KI-basierten Lösungen der robuste Umgang mit Transparenz, Reflexionen und Glanzlichtern.

© Micropsi Industries

Die Integration von künstlicher Intelligenz, insbesondere des Deep Learning, in Vision-Systeme, verbessert deren Fähigkeiten deutlich. Die Stärke des Deep Learning liegt in der Nutzung künstlicher neuronaler Netze. Diese Netze sind Algorithmen, die der biologischen Struktur des menschlichen Gehirns nachempfunden sind und Mustererkennung, Gruppierung sowie Klassifizierung von Objekten in Bildern ermöglichen.

KI-gesteuerte Vision-Systeme analysieren visuelle Daten und nutzen diese neuronalen Netze, um über die Eingabedaten hinaus zu extrapolieren. Das bedeutet, sie können visuelle Eingabedaten als Input verwenden, um Verallgemeinerungen und Gemeinsamkeiten zu identifizieren. Dadurch sind sie in der Lage, nach nur wenigen Beispielen angemessene Reaktionen auf neue Szenarien abzuleiten. Anstatt sich auf vordefinierte visuelle Merkmale oder die exakte Nachbildung von Szenarien zu verlassen, ermöglicht KI-gesteuertes Sehen anpassungsfähige Roboter, die auch in dynamischen Umgebungen mit wechselnden Lichtverhältnissen arbeiten können. Zu den weiteren Vorteilen dieser Systeme gehören:

• Bewegungen in Echtzeit: KI-basierte Vision Systeme verfügen über die nötige Rechenleistung, um Daten schnell zu verarbeiten und zu analysieren. Dies ermöglicht es ihnen, Entscheidungen in Echtzeit zu treffen und kontinuierliche Bewegungskorrekturen des Roboters vorzunehmen.
• Vereinfachte Inbetriebnahme: User können die Systeme durch einfache Handbewegungen trainieren, was einen hohen Entwicklungsaufwand und die Notwendigkeit, den Arbeitsbereich zu modifizieren, eliminiert.
• Kosteneffizienz: Flexibilität, geringere Arbeitskosten, gesteigerte Sicherheit im Produktionsprozess und höhere Qualität durch den Einsatz KI-basierter Visionssysteme führen langfristig zu einer Kostenreduktion.

Im Gegensatz zu herkömmlichen Vision Systemen gelingt KI-basierten Lösungen der robuste Umgang mit Transparenz, Reflexionen und Glanzlichtern.

Wie ein KI-basiertes Vision System in Betrieb genommen wird

KI-basierte Vision-Systeme wie ‚Mirai‘ von Micropsi Industries lernen durch Training. In der Trainingsphase macht der User das System mit der gewünschten Bewegung und den Varianzen, die währenddessen auftreten können, vertraut. Kameras am Roboterarm nehmen die Szene auf und die aufgezeichneten Bilder werden in Daten umgewandelt und an eine Computing Cloud übertragen. Dort trainiert ein Lernalgorithmus ein mathematisches Modell zur Anleitung des Roboters.

Anders als herkömmliche Systeme benötigen Vision-Systeme wie ‚Mirai‘ keine CAD-Daten oder 3D-Kameras. Sie lernen während des Trainings, wie sie in bestimmten Situationen reagieren sollen. Die KI identifiziert relevante visuelle Merkmale und entwickelt auf den Trainingsdaten basierende Lösungen. Während der Ausführung einer Aufgabe vergleicht das System das Live-Szenario nicht mit einer starren 2D- oder 3D-Vorlage. Es sucht selbst die definierten Merkmale und erkennt das Ziel, zum Beispiel ein Werkteil, auch aus neuen Blickwinkeln, solange es ähnlich genug zu den Trainingsdaten aussieht.

KI-basierte Vision-Systeme ergänzen die bestehende Steuerung eines Roboters. Bei der Ausführung einer Anwendung übernimmt die native Steuerung des Roboters die programmierbaren Bewegungen, während die KI-Steuerung bei den Abschnitten mit unvorhersehbaren Varianzen übernimmt.

Einsatzbereiche KI-basierter Vision-Systeme

Dank KI-basierter Vision Systeme können User dem Roboter Varianz ganz einfach zeigen – beispielsweise unterschiedlich aussehende Rohre in der Leckageprüfung.

© Micropsi Industries

Roboter, die von KI-basierten Vision-Systemen gesteuert werden, sind für komplexe Aufgaben wie zum Beispiel Kabelstecken, Leckageprüfung, Gestellbestückung und Verschrauben einsetzbar. Diese Einsatzbereiche sind durch eine Vielzahl von unvorhersehbaren Varianzen gekennzeichnet.

Bei der Leckageprüfung werden beispielsweise die Rohre auf der Hinterseite eines Kühlschranks, durch die Kühlgas fließt, auf ihre Dichtheit überprüft. Das Besondere sind die zahlreichen Varianzquellen, die in diesem Prozess auftreten: Die Materialzusammensetzung der Rohre kann variieren und ihnen ein abweichendes Aussehen verleihen. Rohre können verlötet sein, wodurch glänzende ‚Tropfen‘ entstehen. Einige Rohre wurden möglicherweise manuell geklemmt, wobei sich die zugepressten Rohre in verschiedene Richtungen biegen.

Dank KI-basierter Vision-Systeme können User dem Roboter Varianz aber ganz einfach zeigen – beispielsweise unterschiedlich aussehende Rohre in der Leckageprüfung. Um mit der Leckageprüfung zu beginnen, muss ein Roboter eine Prüfsonde in der Nähe einer Lötstelle oder der Stelle, an der das Rohr verschlossen wurde, positionieren. Weder die genaue Position des Rohres noch die Position der Lötstellen ist im Voraus bekannt. Dazu unterscheidet sich der Hintergrund zwischen den Prüf-Episoden oft. Auch die Lichtbedingungen können sich unterscheiden und Reflexionen und Spiegelungen aufweisen - für ein herkömmliches System insgesamt eine nicht lösbare Aufgabe.

KI erweitert die Fähigkeiten des Roboters nicht nur um die Wahrnehmung seiner Umgebung, sondern ermöglicht ihm auch, sie zu verstehen und sich an verändernde Bedingungen anzupassen. So kann er mit Varianzen in Position, Form, Farbe, Beleuchtung und Hintergrund umgehen.

Der Autor: Maximilian Mutschler ist Vice President Sales von Micropsi Industries.