Durch mit großen Datenmengen trainierte, künstliche neuronale Netze können intelligente Kameras immer anspruchsvollere Anwendungen im industriellen Umfeld lösen. Die Integration von Deep-Learning-Algorithmen in Software zur Bildanalyse und -verarbeitung ermöglicht es, trainierte Objekte oder Merkmale automatisch zu erkennen, zu prüfen oder zu klassifizieren. Infolgedessen gelingt es dank intelligenter funktionaler Spezialisierung von Sensoren unter anderem in der Lebensmittel- oder der Holzverarbeitung, die Materialausnutzung zu erhöhen, der Ressourcenverschwendung Einhalt zu gebieten und die Qualität von Produkten und Prozessen zu verbessern. In der Logistikautomation können Deep-Learning-Kameras unter Auswertung der eingelernten Bildbasis Sorterschalen auf das Vorhandensein flacher Versandtaschen und ihre tatsächliche Belegung prüfen oder auf einem Band neben- oder übereinanderliegende Objekte als einzelne Einheiten erkennen. Dank Deep Learning erbringen Sensoren dabei Intelligenzleistungen, die bislang dem Menschen vorbehalten waren – beispielsweise die Erkennung und Evaluierung von Strukturen oder Merkmalen, die vom Sensor im laufenden Betrieb in dieser Form zum ersten Mal erfasst werden. Damit avanciert Deep Learning als Teilbereich des maschinellen Lernens (Machine Learning) zur wohl bedeutendsten Zukunftstechnologie innerhalb des Themenfeldes der Künstlichen Intelligenz und zugleich auch langfristig zum Treiber von Industrie 4.0.

Strukturierter Deep-Learning-Workflow

In der Logistikautomation können Deep-Learning-Kameras unter Auswertung der eingelernten Bildbasis beispielsweise auf einem Band neben- oder übereinanderliegende ­Objekte als einzelne Einheiten erkennen.

© Sick

Die meisten Deep-Learning-Projekte, mit denen sich Sick derzeit beschäftigt, kommen aus Fertigungsanwendungen oder der optischen Qualitätsinspektion. Um die verschiedenen Anwendungen effizient beurteilen zu können, hat das Unternehmen im Rahmen einer internen Deep-Learning-Initiative einen mehrstufigen Ablaufstandard entwickelt, in den sowohl die Deep-Learning-Experten von Sick als auch die Prozess- und Qualitätsexperten des Kunden involviert sind.

Auch wenn moderne 2D- und 3D-Kameras immer schneller und leistungsfähiger werden, bestimmen doch klassische Bildverarbeitungsalgorithmen ihre derzeitigen Grenzen. Aus Sicht des maschinellen Lernens stellt sich daher nur die Frage der Eindeutigkeit von Kriterien: Können diese über eine große Anzahl von Bildern, Gut- sowie Schlechtbeispielen ausreichend eindeutig erkannt und interpretiert werden? Was ist aus Sicht der Kundenexperten gut oder schlecht, mit ja oder nein zu beurteilen, tolerabel oder nicht oder hinsichtlich bestimmter Kriterien in Ordnung oder nicht in Ordnung? Kann die erfahrungs- oder wissensbasierte Beurteilungsfähigkeit eines Menschen überhaupt als Intelligenzleistung durch den Sensor erbracht werden? Werden diese Fragen durch den jeweiligen Anwendungstechniker grundsätzlich positiv beurteilt, schafft die Erfassung und Annotation von vielen Bildern durch eine erfahrene Person die Trainingsdatenbasis für die späteren Deep-Learning-Algorithmen in den Sensoren. 

Neuronale Netze bestehen aus Schichten. Dabei nimmt der Abstraktionsgrad von konkreten Bilddetails bis zu gröberen Konzepten in der Schichtabfolge zu. Dadurch wird erreicht, dass das Netzwerk bisher nie gesehene Daten mit hoher Wahrscheinlichkeit richtig verarbeiten kann. Ein neuronales Netzwerk lernt mit geeigneten Trainingsdaten eine vorgegebene Aufgabe zu lösen. 

Generell stehen für die Deep-Learning-Entwicklung offene Frameworks zur Verfügung, um neuronale Netze zu definieren und zu trainieren. Diese Frameworks wurden allerdings ohne konkreten Bezug auf Sensorik oder Bildverarbeitung entwickelt. Genau an dieser Stelle beginnt Sick, die Grenzen der Sensorik mit Deep Learning neu auszuloten.

Deep-Learning-Funktionalitäten im Sensor

Im Gegensatz zum Prozess der klassischen Algorithmen-Entwicklung, der hauptsächlich durch das händische Designen einer geeigneten Feature-Repräsentation geprägt ist, lernt ein neuronales Netz von allein optimale Features für seine Aufgabe. Es kann mit geeigneten Daten immer wieder nachtrainiert werden, um sich an neue Gegebenheiten anzupassen. Sowohl für den Aufbau des Trainingsdatensatzes durch das Erfassen von Tausenden von Bildern und Beispielen als auch für das Training der neuronalen Netzwerke nutzt Sick als ausführende Einheit eine unabhängige Rechner- und IT-Basis. Das umfangreiche Rechnen der komplexen Operationen der Deep-Learning-Lösung für das Training erfolgt auf speziell dafür ausgestatteten, hausinternen Rechnern mit hoher GPU-Performance (Graphics Processing Unit). Die daraus generierten neuen Deep-Learning-Algorithmen werden lokal auf dem Sensor bereitgestellt und sind so unmittelbar und ausfallsicher beispielsweise auf einer intelligenten Kamera verfügbar. 

Beispielhaft umgesetzt wurde eine Deep-Learning-Anwendung zuletzt in der Holzverarbeitung. Hierbei wurde anhand einer großen Anzahl Bilder von roh geschnittenen Brettern mit Baumkanten die Lage der Jahresringe trainiert. Ziel war es, über den Verlauf der Jahresringe durch eine programmierbare Kamera der Produktfamilie ‚Inspector P65x‘ die Drehlage zu erkennen. Aus diesem Training heraus kann die Kamera neue, ihr nicht bekannte Bilder bewerten und einem Ergebnis zuordnen. Mittels Deep Learning wurde der Kamera beigebracht, wie das Holz am besten genutzt werden kann – eine Aufgabe, die bislang erfahrene Menschen übernehmen. Im Ergebnis wird das Holz dank der Kamera nun so in der Maschine positioniert, dass eine optimale Bearbeitung und Materialausnutzung erreicht wird.

Ausbau des Sensor­portfolios

Mit der Umsetzung von Deep Learning in ausgewählten Sensoren und Sensor­systemen startet Sick ein Sensor-Software-Konzept, das anpassungsfähige und zukunftssichere Lösungen für Automatisierungsanwendungen schafft. Zu den kommenden Deep-Learning-Produkten gehören weitere bildverarbeitende Sensoren und Kameras. Prinzipiell lässt sich das Konzept des spezialisierten Sensors mit künstlicher Intelligenz auch auf einfache Sensoren wie induktive Näherungsschalter, Reflexions-Lichtschranken, Ultraschallsensoren und andere anwenden. Darüber hinaus bieten Systemlösungen wie etwa die Fahrzeugklassifizierung an Mautstationen Potenzial für eine Deep-Learning-gestützte Klassifikation und Einteilung von Fahrzeugen in Mautklassen.

Autoren:
Andreas Behrens leitet das Produktmanagement Barcode-RFID-Vision bei Sick in Reute,
Klemens Wehrle ist Leiter Track and Trace Systems, Research & Development bei Sick in Waldkirch.