Die industrielle Bildverarbeitung wird häufig als das Auge der Produktion beschrieben. Denn die Technologie automatisiert beispielsweise manuelle Tätigkeiten, bringt Robotern das Sehen bei und übernimmt mit einer einzigartigen Genauigkeit Qualitäts- und Inspektionsaufgaben. Die Künstliche Intelligenz und insbesondere Deep-Learning-Methoden verleihen der Technologie zusätzlichen Schwung. Immer mehr Anwendungen profitieren von Machine Vision, die bislang nicht entsprechend automatisiert werden konnten. Darüber hinaus kann die Leistung bestehender Applikationen erheblich verbessert werden. So gut wie alle Industriebranchen, Elektronik- und Halbleiterfertigung, sogar die Landwirtschaft profitieren von den Vorteilen.

Auch das Unternehmen Bosch setzt auf die Vorteile von Machine Vision in Verbindung mit Deep Learning. Im konkreten Fall nutzt die Mobilitätssparte des Technologie- und Dienstleistungsunternehmens Machine Vision, um die Qualität von elektrischen Verbindungen zwischen Platinen und Sensoren zu prüfen. Das weltweit aufgestellte Unternehmen unterhält auch Standorte in Portugal. Dort werden unter anderem Systeme und Funktionen in den Bereichen Fahrzeugsicherheit und -dynamik, Fahrerassistenz, automatisiertes Fahren und Car Multimedia entwickelt und hergestellt. Bei der Fertigung seiner Elektronikkomponenten für verschiedene Kunden aus der Automobilbranche wurde nun die Qualitätsinspektion umgestellt. „Wir hatten bereits zuvor einen automatisierten Prüfprozess. Um diesen weiter zu optimieren, haben wir uns für eine Machine-Vision-Software mit Deep-Learning-Methoden entschieden. Dadurch wollen wir sowohl unsere Produktivität steigern als auch die Arbeiten an der Bildverarbeitungsapplikation verringern“, erklärt João Paulo Silva, Prüfexperte aus der Abteilung ‚Center of Competence Optics and Mechanics‘ bei Bosch Automotive Electronics in Portugal.

Mit wenig Aufwand unterschiedliche Defekte robust erkennen

Einmal trainiert, erkennt das System Fehler wie fehlende Labels oder falschplatzierte beziehungsweise fehlende Komponenten.

© MVTec

Bei der Anwendung geht es darum, Metallfedern auf Defekte zu prüfen. Diese Metallfedern bilden die elektronische Verbindung zwischen der Hauptplatine und einer Kupferdurchführung auf der Abdeckung eines Sensors. Da die Bearbeitung manuell durchgeführt wird, können bei der Produktion unterschiedliche Defekte an der Metallfeder auftreten. Diese müssen zuverlässig erkannt werden, um den hohen Qualitätsstandard eines Automobilsensors zu erreichen. Bislang wurde der Inspektionsprozess unter Verwendung regelbasierter Methoden der industriellen Bildverarbeitung durchgeführt. João Paulo Silva und sein Team entschieden sich, den Prozess mit neuen Methoden und Komponenten zu optimieren und dabei auf moderne Deep-Learning-Technologien zu setzen. „Mit der Umrüstung verfolgten wir drei Ziele: Erstens soll die Qualität der Inspektion insgesamt verbessert werden. Zweitens soll die neue Lösung auch kostengünstiger sein und drittens die Wartungsarbeiten für die Anwendung reduzieren.“

Bei der Suche nach einer neuen Software wurde Bosch bei der Machine-Vision-Software ‚Merlic‘ von MVTec Software fündig. Das Unternehmen MVTec ist ein führender internationaler Software-Hersteller für die industrielle Bildverarbeitung. „Wir arbeiten bereits seit langem mit MVTec zusammen. Merlic hat den Vorteil, dass es besonders nutzerfreundlich ist, über eine hohe Flexibilität und gleichzeitig über die modernsten Funktionalitäten verfügt. Außerdem können wir uns in die MerlicC-Roadmap einbringen. Dadurch wird unser Input für die Weiterentwicklung der Software, etwa zu Funktionalitäten, die wir benötigen, berücksichtigt“, erklärt Silva.
Die Technologie von Merlic, die Bosch für die neugestaltete Machine-Vision-Applikation benötigte, heißt Global Context Anomaly Detection. Die Deep-Learning-basierte Technologie ist eine Weiterentwicklung der klassischen Anomaly Detection. Der Vorteil von Global Context Anomaly Detection: Sie ist in der Lage, komplett neue Varianten von Anomalien wie beispielsweise fehlende oder falsch angeordnete Bauteile zu erkennen. Damit ist die Fehlererkennung nicht mehr auf lokale Defekte beschränkt, sondern ermöglicht gleichsam die kontextabhängige und logische Inspektion. Dies eröffnet ganz neue Anwendungsmöglichkeiten. So können fehlende oder falsch installierte Bauteile oder fehlende Beschriftungen identifiziert oder Vollständigkeitsprüfungen durchgeführt werden.

Neuronale Netze prüfen auf lokale und logische Defekte

Der Aufbau des Inspektionssystems

© MVTec

In dieser Applikation sieht die Bildverarbeitung wie folgt aus: Eine Fünf-Megapixel-Kamera nimmt für jedes Bauteil ein Bild von oben auf. Als Lichtquelle kommt eine polarisierte Flachkuppelbeleuchtung zum Einsatz. Auf den aufgenommen Bildern mit den Metallfedern erfolgt mit Global Context Anomaly Detection die Inspektion. Die Deep-Learning-Technologie verfügt über zwei neuronale Netze. Das ‚lokale‘ Netz prüft, ob kleinflächige Defekte wie Kratzer, Risse oder Verschmutzungen vorliegen. Das ‚globale‘ Netz geht einen Schritt weiter und prüft, ob logische Fehler vorliegen. Beispielsweise ob die Metallfedern verbogen sind, sie komplett fehlen oder andere Komponenten rund um die Metallfedern fehlen. Aus der Interferenz der beiden Netze ermittelt Global Context Anomaly Detection einen Anomaly Score. Dieser Wert wird anschließend mit dem im Vorfeld festgelegten Anomaly-Schwellenwert verglichen. Liegt der Anomaly Score darüber, handelt es sich per Definition um ein fehlerhaftes Bauteil, das dann als Nicht-OK (NOK) ausgesondert wird. Der Anomaly-Schwellenwert ist innerhalb der Merlic Software manuell einstellbar. Das heißt, der Bildverarbeitungsspezialist kann individuell bestimmen, wie stark die Anomalien sein dürfen, bevor ein Bauteil als NOK eingestuft wird. Das ist etwa für die Bearbeitung von unterschiedlichen Materialien nützlich.

Zurück zur Anlage bei Bosch. Im Frontend von Merlic kann nach der Inspektion jede Aufnahme nochmal angesehen werden. Besonders hilfreich: Anhand einer Heatmap kann transparent nachvollzogen werden, welche Stellen des Bildes ursächlich für die Anomaly-Bestimmung sind. Die Bilder können auch einfach aus MerlicC herausgespeichert werden.

Ein wichtiger Punkt bei Deep Learning ist das Training der neuronalen Netze. Bosch profitiert von der Technologie auch dadurch, dass für das Training der Deep-Learning-Anwendung nur ‚Gut-Bilder‘ benötigt werden. Diese sind in der Praxis leicht zu beschaffen. Natürlich profitiert das Global-Context-Anomaly-Detection-Modell auch von schlechten Bildern, wenn diese vorhanden sind. Bei klassischen Methoden hingegen müssen alle möglichen Arten von Defekten anhand von ‚Schlecht-Bildern‘ einzeln extrahiert werden. Dadurch ist die Anwendung weniger flexibel, der Wartungsaufwand deutlich höher und unbekannte Defekte werden nicht erkannt. Das Training der neuronalen Netze geschieht mit dem Deep Learning Tool von MVTec. Mit dem Tool können Daten einfach trainiert werden, auch ohne Programmierkenntnisse. Nach dem Training werden die Netze einfach in Merlic geladen und der Betrieb kann beginnen.

Einbinden von Machine-Vision-Software in Maschinensteuerungssystem

Wie aber ist die Einbindung einer Machine-Vision-Software in einen bereits bestehenden Produktionsprozess möglich? Diese Frage war bei Bosch besonders spannend, da der Produktionsprozess und die darin integrierte Qualitätsinspektion nicht geändert werden sollten. Die Metallfedern werden nach wie vor von einer oberen und einer unteren Abdeckung in einer Maschine eingehaust. Die untere Baugruppe wird händisch in die Maschine eingelegt. Auch wenn die Gefahr gering ist, können hierbei Schäden an den Metallfedern entstehen. Daher muss genau an dieser Stelle die Inspektion erfolgen, nämlich bevor das obere Bauteil montiert wird. Der Bildeinzug, also die Aufnahme der Bilder, erfolgt weiterhin von oben.

Da der Produktionsprozess unverändert blieb, lag das Hauptaugenmerk bei der Integration der Bildverarbeitungssoftware in die Maschinensteuerung. Die Anbindung der Software musste direkt an die Maschinen erfolgen, da die Anlage über keine Speicherprogrammierbare Steuerung (SPS) verfügt. Für die so notwendige Machine-to-Machine-Kommunikation sorgt das in Merlic integrierte Protokoll MQTT. Damit lässt sich die Bildverarbeitungssoftware über Standard-IoT-Kommunikationsprotokolle einfach in den Prozess integrieren. Die Entwicklung des Kalibrierungsprogramms des Bildverarbeitungssystems kann über die easy-to-use Software beschleunigt werden.

Weitere Projekte mit industrieller Bildverarbeitung geplant

„Wir haben den Proof-of-Concept Ende 2022 erfolgreich abgeschlossen. Dabei wurden alle unsere Ziele hinsichtlich Erkennungsraten, Wartungsaufwand der Anlage sowie der Kosten erreicht. Daher erfolgt Mitte des Jahres 2023 die Inbetriebnahme einer neuen Produktionslinie. Anschließen ist der Rollout auf andere bestehende Linien geplant“, erklärt Joao Paulo Silva. Aufgrund des Potenzials plant Bosch für die Zukunft weitere Automotive Electronics Werke mit Hilfe von Deep Learning zu automatisieren.

Interview: 3 Fragen an…

Christian Eckstein, Product Manager & Business Developer bei MVTec in München

© MVTec

Deep Learning erlebt seit einiger Zeit einen Hype. Welche Vorteile bietet denn Deep Learning im produzierenden Gewerbe?

Künstliche Intelligenz (KI) erlebt in der Tat derzeit einen wahren Boom und bekommt sehr viel Aufmerksamkeit in Wirtschaft und Gesellschaft. Auch für die verarbeitende Industrie bietet KI und insbesondere Deep Learning bei Machine-Vision-basierten Applikationen große Potenziale.

Der große Vorteil: Während bei traditionellen Ansätzen explizit Eigenschaften eines Bildes beschrieben und verarbeitet werden, steht bei Deep Learning – wie der Name schon sagt – ein Lernprozess im Mittelpunkt. So werden mithilfe von Bilddatensätzen neuronale Netze umfassend trainiert. Auf dieser Basis lassen sich dann die relevanten Bildeigenschaften gezielt identifizieren und auswerten. Diese Methodik ermöglicht herausragende Identifikationsraten und ebnet den Weg für ganz neue Inspektionsanwendungen, die sich mit Machine Vision bisher so nicht realisieren ließen.

Welche Deep-Learning-Technologien eignen sich besonders für Inspektionsanwendungen?

Für die Qualitätskontrolle gibt es grundsätzlich verschiedene Deep-Learning-Methoden wie etwa Classification, Segmentation, Object Detection. Fehler oder Defekte können zuverlässig mit der Methode ‚Anomaly Detection‘ gefunden werden. Für die Praxistauglichkeit besonders relevant: Zum Trainieren des Modells werden nur Bilder von Werkstücken ohne Defekte benötigt – und diese sind deutlich leichter zu beschaffen als Bilder, die sämtliche mögliche Fehler aufweisen müssen. Wir bei MVTec haben im Jahr 2022 das Feature ‚Global Context Anomaly Detection‘ auf den Markt gebracht. Das hebt die Deep-Learning-basierte Anomalieerkennung auf eine neue Stufe: Bisher ließen sich lokal begrenzte, strukturelle Anomalien erkennen. Die erweiterte Technologie ist nun in der Lage, komplett neue Varianten von Fehlern wie beispielsweise fehlende, verformte oder falsch angeordnete Bauteile zielsicher zu erkennen. Somit ist die Fehlerinspektion nicht mehr auf die bloße Identifikation lokaler Anomalien beschränkt, sondern nun können auch logische Inhalte des gesamten Bildes umfassend ‚verstanden‘ werden.

Welche Anwendungen werden damit zusätzlich umsetzbar?

Ich möchte ein Beispiel aus der Elektronikbranche geben: Die neue Technologie ‚Global Context Anomaly Detection‘ kann fehlende oder falsch positionierte Bauteile auf Leiterplatten sowie fehlende Beschriftungen verlässlich identifizieren und die Produkte auf Vollständigkeit überprüfen. Dabei lernt das Feature anhand von Trainingsdaten eigenständig die korrekte Menge beispielsweise von Schrauben und Muttern in einer Packung – und schlägt bei einer falschen Stückzahl sofort Alarm. Derartige Anwendungen waren bisher zwar möglich, erforderten aber einen hohen Programmieraufwand.