IoT-Anwendungen erzeugen mehr Daten als je zuvor. Bei vielen industriellen Anwendungen, insbesondere bei hochgradig verteilten Systemen in abgelegenen Regionen, ist es unter Umständen nicht möglich, ständig große Mengen von Rohdaten an einen zentralen Server zu senden. Um Latenzzeiten zu verkürzen, die Kosten für die Datenkommunikation und -speicherung zu senken und die Netzwerkverfügbarkeit zu erhöhen, gehen die Unternehmen dazu über, für die Entscheidungsfindung und die Durchführung von Aktionen vor Ort in Echtzeit künstliche Intelligenz (KI) und maschinelles Lernen einzusetzen.

Diese hochmodernen Anwendungen, bei denen KI-Fähigkeiten in IoT-Infrastrukturen eingesetzt werden, werden als „AIoT“-Anwendungen (Artificial Intelligence of Things, AIoT) bezeichnet. Zwar müssen KI-Modelle nach wie vor in der Cloud trainiert werden, aber das Erfassen von Daten und das Ableiten von Rückschlüssen (Inferencing) kann vor Ort erfolgen, indem trainierte KI-Modelle auf Edge-Computern eingesetzt werden. In diesem Beitrag wird beschrieben, wie Sie den richtigen Edge-Computer für Ihre industrielle AIoT-Anwendung auswählen.

KI-Einbindung in das IIoT

Die Zahl industrieller Geräte, die mit dem Internet verbunden sind, nimmt Jahr für Jahr weiter zu und wird im Jahr 2025 voraussichtlich 41,6 Milliarden Endpunkte erreichen. Eine manuelle Analyse der Informationen, die z.B. von allen Sensoren an einem Montageband erzeugt werden, ist nahezu unmöglich. Es ist kaum verwunderlich, dass „weniger als die Hälfte der strukturierten Daten eines Unternehmens aktiv für die Entscheidungsfindung verwendet wird – und weniger als 1 % ihrer unstrukturierten Daten werden analysiert oder überhaupt verwendet“ [1]. Künstliche Intelligenz und maschinelles Lernen helfen, dieses ungenutzte Potenzial zu heben.

In der vorstehend beschriebenen Industrieanwendung bietet das AIoT die Möglichkeit, Arbeitskosten zu senken, menschliche Fehler beispielsweise bei einer manuellen Qualitätsprüfung zu reduzieren und die vorbeugende Wartung zu optimieren. Die ‚Künstliche Intelligenz der Dinge‘ (AIoT) bezeichnet den Einsatz von KI-Technologien in Anwendungen des ‚Internet der Dinge‘ (Internet of Things, IoT) zur Verbesserung der betrieblichen Effizienz, der Mensch-Maschine-Interaktionen sowie der Datenanalyse und -verwaltung [2]. Aber was genau ist unter KI zu verstehen, und wie passt sie in das industrielle Internet der Dinge (IIoT)?

‚Künstliche Intelligenz‘ als allgemeines Wissenschaftsgebiet beschäftigt sich mit der Konstruktion von intelligenten Programmen und Maschinen, um Probleme zu lösen, die traditionell durch menschliche Intelligenz bewältigt werden. Zur künstlichen Intelligenz zählen u.a. das „maschinelle Lernen“ (ML). Diese spezielle Untergruppe versetzt Systeme in die Lage, durch Erfahrung zu lernen und z.B. Prozesse dadurch automatisch und ohne Programmierung anzupassen, z.B. durch spezielle Algorithmen wie etwa neuronale Netze. Ein verwandter Begriff ist ‚Deep Learning‘ (DL), eine Teilmenge des maschinellen Lernens, bei dem mehrschichtige neuronale Netze aus riesigen Datenmengen lernen.

Fokus auf KI-basierte Videoanalyse

Da KI eine so breit gefächerte Disziplin ist, wird im Folgenden vor allem darauf eingegangen, wie Computer-Vision oder KI-basierte Videoanalyse[HB1]  für Klassifizierungs- und Erkennungsaufgaben in Industrieanwendungen genutzt werden. Vom Auslesen von Daten aus der Fernüberwachung und vorbeugenden Wartung über die Identifizierung von Fahrzeugen über landwirtschaftliche Drohnen und Outdoor-Patrouillenroboter bis hin zur automatischen optischen Inspektion (AOI) kleinster Defekte an Golfbällen [3] und anderen Produkten – Computer-Vision und Videoanalyse ermöglichen eine höhere Produktivität und Effizienz für industrielle Anwendungen.

Verlagerung von KI in den Edge-Bereich des IIoT

Wie bereits erwähnt, entstehen durch die Verbreitung der IIoT-Systeme riesige Datenmengen. Beispielsweise erzeugen die vielen Sensoren und Geräte in einer großen Ölraffinerie bis zu 1 TB Rohdaten pro Tag [4]. Eine sofortige Rücksendung all dieser Rohdaten zur Speicherung oder Verarbeitung an eine öffentliche Cloud oder einen privaten Server würde beträchtliche Ressourcen an Bandbreite, Verfügbarkeit und Stromverbrauch erfordern. Bei vielen industriellen Anwendungen, insbesondere bei hochgradig verteilten Systemen in abgelegenen Regionen, ist es nicht möglich, ständig große Datenmengen an einen zentralen Server zu senden.

Mit aus diesen Gründen werden bei IIoT-Anwendungen KI- und ML-Fähigkeiten daher auf die Edge-Ebene des Netzwerks verlagert, was eine größere Vorverarbeitungsleistung direkt vor Ort ermöglicht. Genauer gesagt, haben die Fortschritte bei der Verarbeitungsleistung von Edge-Computern dazu geführt, dass IIoT-Anwendungen die Möglichkeiten der KI-gestützten Entscheidungsfindung heute auch an entfernten Standorten nutzen können. Werden die Feldgeräte an lokale Edge-Computer mit leistungsstarken Prozessoren und KI angeschlossen, brauchen nicht mehr alle Daten zur Analyse in die Cloud geschickt zu werden. Tatsächlich dürfte der Anteil der Daten, die an den entfernten und nahen Edge-Standorten erstellt und verarbeitet werden, bis 2025 von 10 % auf 75 % steigen [5], und für den gesamten KI-Hardwaremarkt auf Edge-Niveau wird von 2019 bis 2024 eine jährliche Wachstumsrate von 20,64 % erwartet [6].

Die Wahl des richtigen Edge-Computers

Soll künstliche Intelligenz in Ihre industriellen IoT-Anwendungen Einzug halten, sollten Sie einige Aspekte berücksichtigen. Auch wenn die meiste Arbeit, die mit dem Training Ihrer KI-Modelle verbunden ist, nach wie vor in der Cloud stattfindet, müssen die trainierten Inferencing-Modelle letztlich im Feld eingesetzt werden. AIoT-Edge-Computing ermöglicht es im Wesentlichen, das Inferencing über die KI vor Ort durchzuführen, anstatt Rohdaten zur Verarbeitung und Analyse an die Cloud zu senden. Für eine effektive Ausführung von KI-Modellen und -Algorithmen sind industrielle AIoT-Anwendungen auf eine zuverlässige Hardwareplattform für die entsprechende Umgebung angewiesen. Bei der Auswahl der richtigen Hardwareplattform für Ihre AIoT-Anwendung sollten die folgenden Faktoren berücksichtigt werden:

1. Verarbeitungsanforderungen für verschiedene Phasen der KI-Implementierung,

2. Edge-Computing-Ebenen,

3. Entwicklungstools,

4. physische Umgebungsbedingungen.

Verarbeitungsanforderungen für verschiedene Phasen der KI-Implementierung

Die drei Phasen beim Aufbau von AIoT-Anwendungen.

© Moxa

Allgemein gilt, dass die Verarbeitungsanforderungen für AIoT-Computing davon abhängen, wie viel Rechenleistung erforderlich ist und ob [HB1] ein Beschleuniger zusätzlich zur CPU benötigt wird. Da jede der drei nachfolgenden Phasen des Aufbaus einer KI-Edge-Computing-Anwendung unterschiedliche Algorithmen zur Ausführung verschiedener Aufgaben verwendet, gelten in jeder Phase eigene Verarbeitungsanforderungen (Bild 1).

Datenerfassung: In dieser Phase werden große Mengen an Informationen gesammelt, um das KI-Modell zu trainieren. Unverarbeitete Rohdaten allein aber können Dubletten, Fehler und Ausreißer enthalten. Die Vorverarbeitung der erfassten Daten in der Anfangsphase zur Identifizierung von Mustern, Ausreißern und fehlenden Informationen ermöglicht daher das Korrigieren von Fehlern und systematischen Verzerrungen. Die bei der Datenerfassung typischerweise verwendeten Computer-Plattformen basieren meist auf Prozessoren der Serien Arm Cortex oder Intel Atom/Core. Im Allgemeinen sind die E/A- und CPU-Spezifikationen (und nicht die der GPU) wichtiger für die Datenerfassungsaufgaben.

Training: KI-Modelle müssen auf modernen neuronalen Netzen und ressourcenintensiven Machine-Learning- oder Deep-Learning-Algorithmen trainiert werden. Diese erfordern leistungsfähigere Verarbeitungsmöglichkeiten, z.B. leistungsstarke GPUs, erfordern, um die Parallelverarbeitung zu unterstützen, damit große Mengen von erfassten und vorverarbeiteten Trainingsdaten analysiert werden können. Das Training eines KI-Modells beinhaltet die Auswahl eines Machine-Learning-Modells und dessen Training anhand der erfassten und vorverarbeiteten Daten. Während dieses Prozesses müssen auch die Parameter bewertet und entsprechend angepasst werden, damit die Richtigkeit gewährleistet ist. Es stehen zahlreiche Trainingsmodelle und Tools zur Auswahl, darunter auch Deep-Learning-Entwicklungs-Frameworks nach Industriestandard wie PyTorch, TensorFlow und Caffe. Das Training wird üblicherweise auf dafür vorgesehenen AI-Trainingsmaschinen oder Cloud-Computing-Diensten wie den AWS Deep Learning AMIs, Amazon SageMaker Autopilot, Google Cloud AI oder Azure Machine Learning statt vor Ort durchgeführt.

Inferencing: In der letzten Phase wird das trainierte KI-Modell auf dem Edge-Computer implementiert, damit es schnell und effizient Schlussfolgerungen und Vorhersagen auf der Grundlage neu erfasster und vorverarbeiteter Daten treffen kann. Da die Inferencing-Phase im Allgemeinen weniger Datenverarbeitungsressourcen verbraucht als das Training, kann eine CPU oder ein leichter Beschleuniger für die betreffende AIoT-Anwendung ausreichend sein. Dennoch wird ein Konvertierungstool benötigt, um das trainierte Modell so umzuwandeln, dass es auf speziellen Edge-Prozessoren/Beschleunigern ausgeführt werden kann, so z.B. Intel OpenVINO oder NVIDIA CUDA. Das Inferencing umfasst auch mehrere verschiedene Edge-Computing-Ebenen und -Anforderungen, auf die im folgenden Abschnitt eingegangen wird.

Die Edge-Computing-Ebenen

Obwohl das KI-Training immer noch hauptsächlich in der Cloud oder auf lokalen Servern durchgeführt wird, finden die Datenerfassung und das Inferencing notwendigerweise am Netzwerk-Rand, sprich: der Edge, statt. Da das Inferencing die Phase ist, in der das trainierte KI-Modell die meiste Arbeit leistet, um die Anwendungsziele zu erreichen – das heißt Entscheidungen zu treffen oder Aktionen auf der Grundlage neu erfasster Felddaten durchzuführen – muss zur Auswahl des passenden Prozessors außerdem festgelegt werden, welche der folgenden Edge-Computing-Ebenen benötigt werden.

Untere Edge-Computing-Ebene

Das Übertragen von Daten zwischen Edge und Cloud ist nicht nur teuer, sondern auch zeitraubend und führt zu Latenzzeiten. Beim Low-Level-Edge-Computing wird nur eine kleine Menge an Nutzdaten an die Cloud gesendet, was die Verzögerungszeit, die Bandbreite, die Datenübertragungsgebühren, den Energiebedarf sowie die Hardwarekosten reduziert. Eine Arm-basierte Plattform ohne Beschleuniger kann auf IIoT-Geräten verwendet werden, um Daten zu erfassen und zu analysieren, um so schnelle Schlussfolgerungen ziehen oder Entscheidungen treffen zu können.

Mittlere Edge-Computing-Ebene

Diese Inferencing-Ebene kann verschiedene IP-Kamerastreams für die computergestützte Bildverarbeitung oder Videoanalyse mit ausreichenden Verarbeitungsbildraten abwickeln. Das Mid-Level-Edge-Computing umfasst ein breites Spektrum an Datenkomplexität auf der Grundlage des KI-Modells und der Leistungsanforderungen des Anwendungsfalls, z.B. der Gesichtserkennung für ein Büro-Eingangssystem im Vergleich zu einem großen öffentlichen Überwachungsnetz. Bei den meisten industriellen Edge-Computing-Anwendungen müssen außerdem Aspekte wie ein begrenztes Energiebudget oder ein lüfterloses Design zur Wärmeableitung berücksichtigt werden. So können auf dieser Ebene möglicherweise eine stärkere CPU, eine GPU der Einstiegsklasse oder eine VPU verwendet werden. Beispielsweise stellen die CPUs der Serie Intel Core i7 eine effiziente Computer-Vision-Lösung mit dem OpenVINO-Toolkit und softwarebasierten KI-/ML-Beschleunigern dar, die das Inferencing auf Edge-Ebene durchführen können.

Obere Edge-Computing-Ebene

Beim High-Level-Edge-Computing werden größere Datenmengen für KI-Expertensysteme verarbeitet, die mit einer komplexeren Mustererkennung arbeiten, zum Beispiel für die Verhaltensanalyse bei der automatischen Videoüberwachung in öffentlichen Sicherheitssystemen, mit der Sicherheitsvorfälle oder potenziell bedrohliche Ereignisse erkannt werden können. Beim Inferencing auf der oberen Edge-Computing-Ebene werden im Allgemeinen Beschleuniger verwendet, darunter High-End-GPUs, VPUs, TPUs oder FPGAs, die Leistungen von 200 W oder höher benötigen und daher Wärme erzeugen. Da die erforderliche Energieaufnahme und die erzeugte Wärme die Grenzwerte am entfernten Rand des Netzwerks, z.B. an Bord eines fahrenden Zuges, überschreiten können, werden High-Edge-Computersysteme häufig an randnahen Standorten, z.B. in einem Bahnhof, eingesetzt.

Die Entwicklungstools

Für verschiedene Hardware-Plattformen stehen mehrere Tools zur Verfügung, die den Prozess der Anwendungsentwicklung beschleunigen oder die Gesamtleistung für KI-Algorithmen und maschinelles Lernen verbessern.

Deep-Learning-Frameworks

In Betracht kommt die Verwendung eines Deep-Learning-Frameworks, d.h. einer Oberfläche, einer Bibliothek oder eines Tools, mit dem sich Deep-Learning-Modelle einfacher und schneller erstellen lassen, ohne dass man sich mit den Details der ihnen zugrunde liegenden Algorithmen auseinandersetzen muss. Deep-Learning-Frameworks bieten eine klar umrissene Möglichkeit zur Definition von Modellen unter Verwendung einer Sammlung von vorgefertigten und optimierten Komponenten. Die drei beliebtesten sind:

•  PyTorch wurde in erster Linie vom KI-Forschungslabor von Facebook entwickelt und ist eine Open-Source-Bibliothek für maschinelles Lernen, die auf der Torch-Bibliothek basiert. PyTorch ist eine freie und quelloffene Software, die unter der modifizierten BSD-Lizenz veröffentlicht und für Anwendungen wie Computer-Vision und die Verarbeitung von natürlicher Sprache eingesetzt wird.

•  TensorFlow ermöglicht schnelles Prototyping, Forschung und Produktion mit den benutzerfreundlichen Keras-basierten APIs von TensorFlow, die zum Definieren und Trainieren neuronaler Netzwerke verwendet werden.

•  Caffe zeichnet sich durch eine ausdrucksstarke Architektur aus, mit der sich Modelle und Optimierungen ohne harte Codierung definieren und konfigurieren lassen. In Caffe kann ein einzelnes Flag gesetzt werden, um das Modell auf einer GPU-Maschine zu trainieren und es dann auf Warenclustern oder mobilen Geräten zu implementieren.

Hardwarebasierte Beschleuniger-Toolkits

KI-Beschleuniger-Toolkits werden von Hardware-Herstellern angeboten und sind speziell für die Beschleunigung von KI-Anwendungen wie maschinellem Lernen und Computer-Vision auf ihren Plattformen konzipiert.

•  Das Toolkit Intel OpenVINO (Open Visual Inference and Neural Network Optimization) von Intel wurde dafür konzipiert, Entwicklern beim Erstellen robuster Anwendungen für Computer-Vision auf Intel-Plattformen zu helfen. OpenVINO ermöglicht außerdem ein schnelleres Inferencing für Deep-Learning-Modelle. 

•  Das Toolkit NVIDIA CUDA ermöglicht leistungsstarkes Parallel-Computing für GPU-beschleunigte Anwendungen auf eingebetteten Systemen, Rechenzentren, Cloud-Plattformen und Supercomputern, die auf der Compute Unified Device Architecture (CUDA) von NVIDIA basieren.

Umgebungsbedingungen

Zu guter Letzt gilt es auch den physischen Ort zu berücksichtigen, an dem die Anwendung implementiert werden soll. Industrielle Anwendungen sollten einen weiten Betriebstemperaturbereich aufweisen und über geeignete Mechanismen zur Wärmeableitung verfügen. Bestimmte Anwendungen erfordern zudem branchenspezifische Zertifizierungen oder Zulassungen. Viele Anwendungen unterliegen Größenbeschränkungen, daher werden Edge-Computer mit kleinem Formfaktor bevorzugt.

Überdies können hochgradig dezentral organisierte Industrieanwendungen an entlegenen Standorten eine Kommunikation über Mobilfunk- oder WLAN-Verbindung erfordern. So macht ein industrietauglicher Edge-Computer mit integrierter LTE-Mobilfunkkonnektivität ein zusätzliches Mobilfunk-Gateway überflüssig und spart wertvollen Platz im Schaltschrank und Kosten für die Bereitstellung. Zudem kann eine redundante Mobilfunkverbindung mit Dual-SIM-Unterstützung erforderlich sein, um eine Datenübertragung auch bei schwachem Signal sicherzustellen.

Edge-Computing für industrielle AIoT-Anwendungen – Beispiel Maschinenbau

Um zu sehen, wie reale industrielle Anwendungen AIoT-Edge-Computing ermöglichen und davon profitieren können, soll folgende Beispiel betrachtet werden.

Intelligente Produktionslinien – die vernetzte intelligente Fertigung

Vernetzte, intelligente Produktionslinie

© Moxa

Im Wesentlichen geht es um einen digitalisierten Prozess, der von intelligent integrierten Anpassungsaufträgen aus dem ERP ausgeht, die automatisch in einen intelligenten Einkaufs- und Produktionsplan umgewandelt und über ein MES/SCADA-System an die intelligenten Maschinen der Massen- und kundenspezifischen Produktionslinien verteilt werden. Das muss reibungs- und nahtlos passieren: MES-, WMS- und AGV-Verteilungssysteme orchestrieren die interne Logistik, um Teile, Werkzeuge und Produkte reibungslos zwischen den Produktionslinien und dem Lager zu bewegen. Schließlich lässt sich durch die Verbindung externer Lieferketten mit interner Logistik eine End-to-End-Produktion erzielen.

Maschinensteuerung und Datenintegration

Die Intelligenz wandert an die Edge: Moxa unterstützt Unternehmen bei der Vernetzung von Produktionslinien.

© Moxa

Die größten Herausforderungen im Maschinenbau liegen in den Bereichen Maschinensteuerung und Datenaggregation. Edge-Computer müssen hierfür aufgrund begrenzter Platzverhältnisse möglichst kompakt sein und sich auf der Hutschiene montieren lassen. Sie benötigen darüber hinaus eine schnelle x86-CPU, verschiedene E/A-Schnittstellen, drahtlose Unterstützung (WiFi/3G/LTE) sowie zusätzlichen Speicher mit mSATA- oder SSD-Unterstützung.

Moxas Edge-Computing-Lösung MC-1220 ist ein sehr kleines Gerät, das über eine energie- und leistungseffiziente Core i7-CPU der 7. Generation verfügt. Mittels einer eingebauten Systemdiagnose-Engine mit Fernüberwachung über SNMP lassen sich die Produktionsprozesse von überall aus steuern und überwachen, und eine große Auswahl an Schnittstellen verbindet sämtliche Peripheriegeräte. Der Computer unterstützt einen breiten Betriebstemperaturbereich von -40 bis 70°C für heiße und kalte Umgebungen und ist dank DIN-Hutschienenmontage von vorne zugänglich.

Geht es um die Qualitätskontrolle der produzierten Teile, sind schnelle Prozessoren und Grafikverarbeitungseinheiten erforderlich. Die eingesetzte Plattform muss außerdem für künstliche Intelligenz geeignet sein. Auch hier sind wieder verschiedene E/A-Schnittstellen notwendig sowie die drahtlose Unterstützung (über WiFi/ 3G/ LTE) und zusätzlicher Speicher mit mSATA- oder SSD-Unterstützung. MC-1220 sorgt mit seiner schnellen CPU und GPU für die schnelle und gründliche Analyse von defekten Komponenten und löst einen Alarm aus, um defekte Teile aus der Produktlinie herausnehmen zu können. Die entsprechenden Daten lassen sich schnell verarbeiten, speichern oder in Echtzeit über WiFi bzw. LTE übertragen.

Literatur

[1] DalleMule, L. & Davenport, T.H. (2017). „What’s Your Data Strategy?“ Harvard Business Review, Mai–Juni 2017, 112-121.

[2] TechTarget (2019). „Artificial Intelligence of Things (AIoT)“

[3] Wu, H.H., Su, J.W., & Chen, C.L. (28. September 2016) „Automatic optical inspection system design for golf ball.“ Proc. SPIE 9971, Applications of Digital Image Processing XXXIX, 99712S.

[4] Bechtold, B. (2018) Cisco. Beyond the Barrel: How Data and Analytics will become the new currency in Oil and Gas

[5] Van der Meulen, R. (2018) Gartner. What Edge Computing Means for Infrastructure and Operations Leaders

[6] Markets and Markets (2019). „Edge AI Hardware Market by Device (Smartphones, Cameras, Robots, Automobile, Smart Speakers, Wearables, and Smart Mirror), Processor (CPU, GPU, ASIC and Others), Power Consumption, Process, End User Industry, and Region - Global Forecast to 2024“

Die Autoren

Ethan Chen ist Produktmanager bei Moxa.

Alicia Wang ist Produktmanagerin bei Moxa.

Angie Lee ist Produktmarketing-Managerin bei Moxa.