Einen batteriebetriebenen Industriesensor zu entwickeln, der nachträglich an einer Maschine befestigt wird, um beispielsweise mit Hilfe einer KI-Anwendung den Wartungsbedarf automatisch zu erkennen und ungeplante Maschinenstillstandzeiten zu vermeiden, ist insgesamt eine komplexe multidisziplinäre Aufgabe. Dabei sind zum Teil völlig unterschiedliche Hardware- und Software-Themen, aber auch Aufgaben im Data-Science- sowie Projektmanagement-Bereich zu bearbeiten.

Für den Sensor als funktionalen Kommunikationsendpunkt werden ein Single-Chip-Mikrocontroller mit relativ geringen Speicherressourcen sowie eine Embedded-Firmware mit Messdatenerfassung, Wireless-Kommunikationsfunktionen und ein leistungsfähiges Power Management benötigt. Sowohl in der Cloud als weiterer Endpunkt als auch direkt vor Ort – also an der Edge – sind spezielle Softwarebausteine erforderlich, die aus den Sensordaten werthaltige Informationen gewinnen und automatische Entscheidungen treffen, zum Beispiel um den Maschinenbetrieb an den jeweiligen Zustand anzupassen, die notwendigen Ersatzteile zu bestellen und einen Wartungstermin für Betreiber und Serviceverantwortliche festzulegen.

Da ressourcenbeschränkte Funksensoren für den Batteriebetrieb aus unterschiedlichen Gründen (beispielsweise Energiebedarf, Cybersecurity, komplexe Kommunikationsprotokolle et cetera) nur in Ausnahmefällen eine direkte Verbindung zur Cloud besitzen sollten, sind daneben externe Gateway-Funktionen als Bindeglied notwendig. Sie ermöglichen Protokoll- und Datenkonvertierungen sowie Management-Aufgaben wie Over-The-Air-Software-Updates (OTA) und eine Sensordaten-Vorverarbeitung bis hin zu KI-basierten Edge-Datenanalysen. Zwischen den beiden Endpunkten, also dem Wireless Sensing Endpoint und dem Cloud Endpoint ist mit Hilfe eines digitalen Signaturverfahrens auf Basis eines asymmetrischen Kryptosystems eine hochsichere und vertrauenswürdige Ende-zu-Ende-Kommunikationsverbindung realisierbar. Sie gewährleistet die Rechtssicherheit in Bezug auf automatisch getroffene Entscheidungen und dadurch entstandene Kosten.

Intelligentes menschliches Verhalten setzt voraus, eine bestimmte Situation richtig zu erkennen, um kontextbezogen und zielgerichtet zu handeln. Automatisiert man diese Vorgehensweise mit Hilfe von Sensoren und KI-Algorithmen für das Condition Monitoring, sind deutliche Effizienzverbesserungen für Maschinen und Anlagen möglich.

Datenanalysen und Entscheidungsfindung

Die Realisierung einer Condition-Monitoring-Anwendung mit Funksensoren und künstlicher Intelligenz (KI) erfordert aufeinander abgestimmte Softwarebausteine für drei unterschiedliche Plattformen: den Wireless Sensing Endpoint, ein Edge Gateway und die Cloud. Die Software für den Funksensor plus verschiedene Edge-Gateway-Komponenten sind in der Regel an eine bestimmte Hardware gebunden. Aufgrund der Komplexität empfiehlt sich der Einsatz eines vorentwickelten Technologie-Stacks, beispielsweise des ‚WSEI/154A‘ von SSV.

© SSV Software Systems

Ein geeigneter KI-Baustein für die Datenanalyse und Entscheidungsfindung in industriellen Sensorik-Anwendungen ist ‚TensorFlow.‘ Dieses ursprünglich von 
Google entwickelte Open-Source-Framework zur datenstromorientierten Programmierung ermöglicht hochkomplexe Anwendungen im Bereich des maschinellen Lernens, die auf künstlichen neuronalen Netzwerken basieren (es handelt sich dabei um sogen. Deep-Learning-Anwendungen). TensorFlow eignet sich in einer Zustandsberwachungsanwendung mit Funksensoren, Gateway und Cloud für zwei Aufgaben:

1. Modellbildung im Cloud Endpoint: In einer Lernphase wird zunächst ein Machine-Learning-Modell erzeugt. Dafür wird ein Klassifizierungs- oder Regressionsalgorithmus in Form eines neuronalen Netzwerks konfiguriert und mit zuvor aufbereiteten Trainingsdaten in einer iterativen Lernphase mit den entsprechenden Modellparametern, den sogenannten Trainable Parameters, ausgestattet. Diese Lernphase zur Deep-Learning-Modellerzeugung steuert ein Back-Propagation-Algorithmus.

2. Inferenz (Modellnutzung) innerhalb der Gateway Functions: Der fortlaufende Inferenzbetrieb dient der Informationsgewinnung aus den Daten eines Sensing Endpoints. Dafür werden periodisch Sensordaten an ein Gateway geschickt und über eine TensorFlow-Inferenz-Laufzeitumgebung mit Hilfe des Modells analysiert. Das Ergebnis dieser Machine-Learning-Inferenz eignet sich zur automatisierten Entscheidungsfindung, aber auch zur Protokollierung von Maschinen- und Anlagenzuständen in einer Datenbank.

In der Regel erfordert die Deep-Learning-Modellbildung mit TensorFlow eine sehr leistungsfähige Rechnerplattform, die in der Cloud in den meisten Fällen vorhanden ist. Der Inferenzbetrieb einer Condition-Monitoring-Anwendung hingegen ist mit einer relativ geringen Rechenleistung durchführbar. Ein Embedded-System – etwa ein ARM-Cortex A5-basiertes Embedded-Linux-Modul mit Low-Power-Merkmalen – reicht für die Machine-Learning-Inferenz mit Wireless-Sensing-Daten bereits aus. Auf einer solchen Gateway-Plattform ist auch keine vollständige TensorFlow-Installation erforderlich, sondern lediglich eine ‚TensorFlow Lite‘-Laufzeitumgebung.

‚TensorFlow Lite‘ verwendet für die Inferenz einen portierbaren Interpreter, um mit Hilfe des Machine-Learning-Modells eine Klassifikations- oder Regressionsberechnung der zuletzt erhaltenen Sensordaten durchzuführen. Damit der TensorFlow-Lite-Interpreter das in der Cloud erzeugte Modell für die Inferenz auf einer ressourcenbeschränkten Hardware nutzen kann, wird es zuvor in ein spezielles Format konvertiert; der dafür erforderliche Workflow wird auch als ‚TinyML‘ bezeichnet.

Vielfältiges Kommunikationsszenario

Das typische Datenübertragungsszenario einer Condition-Monitoring-Anwendung mit drahtlosen Sensoren und Edge-Datenanalysen per ‚TensorFlow‘ erfüllt verschiedene Kommunikationsaufgaben. Insgesamt existieren vier Datenübertragungspfade: Jeweils zwei zwischen dem Wireless Sensing Endpoint und dem Gateway sowie zwischen dem Gateway und einem Cloud Endpoint. Neben Software-Updates bis in den Sensor werden bei Bedarf neue Machine-Learning-Modelle aus der Cloud in das Edge-Gateway übertragen.

© SSV Software Systems

In einer Condition-Monitoring-Anwendung mit drahtlosen Sensoren und Edge-Datenanalysen per TensorFlow fallen verschiedene Kommunikationsaufgaben an. Insgesamt existieren vier Datenübertragungspfade: Jeweils zwei zwischen dem Wireless Sensing Endpoint und dem Gateway sowie dem Gateway und einem Cloud Endpoint:

1. Sensordaten vom Sensing Endpoint zum Gateway: Dies ist zunächst einmal die klassische Schnittstelle zur Weitergabe der digitalen Sensormesswerte an andere Systeme – in diesem Fall ein Wireless Sensor Gateway. Das Verhalten dieser Schnittstelle ist durch Updates, die in Gegenrichtung übertragen werden, mit verschiedenen Parametern beeinflussbar. Damit muss eine Umschaltung des Sensors zwischen mindestens zwei Systembetriebszuständen möglich sein: zum einen Sensordaten zur Datenerfassung für die TensorFlow-Modellbildung in der Cloud (Trainingsdaten-Erfassung) und zum zweiten Sensordaten für das periodische Erzeugen von Merkmalsvektoren, die für den Inferenzbetrieb des Gateways (Machine-Learning-Inferenz) geeignet sind.

2. Software-Updates vom Gateway zum Sensor: Neben einem vollständigen oder differentiellen Sensor-Software-Update ermöglicht diese Kommunikationsbeziehung auch die Übertragung neuer Konfigurationsdaten, zum Beispiel um die Parameterwerte einzelner Sensorbetriebsarten zu verändern (neue Intervallzeiten für Sensordaten, die zur Machine-Learning-Inferenz benötigt werden) oder um die Umschaltung zwischen den zuvor beschriebenen Betriebszuständen Modellbildung und Inferenz auszulösen.

3. Sensordaten und Inferenzergebnisse vom Gateway zum Cloud Endpoint: Die vom Sensing Endpoint erhaltenen Daten lassen sich unverändert oder vorverarbeitet an den Cloud Endpoint weiterleiten. Beim Einsatz von TensorFlow und TensorFlow Lite zur Datenanalyse werden alternativ lediglich die Ergebnisse der TensorFlow-Lite-Inferenzphase in die Cloud geschickt. Dafür wird vom Gateway jeweils periodisch eine Inferenz mit dem in der Cloud erzeugten Machine-Learning-Modell ausgeführt und die Ausgabedaten der Modellnutzung weitergeleitet.

4. Software-Updates vom Cloud Endpoint zum Gateway: Alle Dateien für Gateway- und Sensing-Endpoint-Updates werden in der Cloud auf einem Update-Server hinterlegt und von dort zum Gateway heruntergeladen. Die Dateien auf diesem Server enthalten Konfigurationsdaten, Software-Updates sowie neue Machine-Learning-Modelle, die zuvor durch eine weitere Lernphase erzeugt wurden. Da solche Over-The-Air-Updates sicherheitstechnisch als hochriskant einzustufen sind, sind eine dem jeweiligen Stand der Technik entsprechende Ende-zu-Ende-IT-Security mit einer Public-Key-Infrastruktur (PKI) und die entsprechenden Experten für den operativen Betrieb (also ein DevSecOp-Team) unerlässlich.

Komplex, aber wertvoll

Auf den ersten Blick erscheint eine solche Condition-Monitoring-Lösung relativ aufwendig. Es könnte die Frage aufkommen, ob man nicht einfach weiterhin Sensordaten an eine Cloud streamen könne, um sie dort in einem Dashboard zu visualisieren?

Der Unterschied liegt definitiv in der Qualität der Ergebnisse: Bei der Datenanalyse zur Mustererkennung sind KI-Algorithmen inzwischen besser als die meisten Menschen. Letztendlich ist es wie mit dem autonomen Fahren: Die dafür erforderliche Technik wirkt auf den ersten Blick aufgrund der Komplexität auch etwas abschreckend, der mögliche Anwendernutzen ist allerdings faszinierend.

Wireless Sensor Edge Intelligence

Klaus-Dieter Walter ist CEO bei SSV Software Systems in Hannover.

© SSV Software Systems

Unzählige IoT-Sensoranwendungen streamen Rohdaten in die Cloud, um die dort vorhandenen Möglichkeiten der Datenverarbeitung zu nutzen. Neben den Sicherheitsbedenken hat dieser zentrale Lösungsansatz im industriellen Umfeld aufgrund der Bandbreiten-, Latenz- und Verfügbarkeitsprobleme auch funktionale Nachteile. Ein Cobot Voice/Gesture Interface für die Zusammenarbeit zwischen Menschen und Robotern, Qualitätssicherung per Machine Vision, Condition Monitoring mit Echtzeit-Anomalie-Erkennung und fahrerlose Transportsysteme (FTS) lassen sich mit einer einfachen Sensor-to-Cloud-Verbindung nicht realisieren. Hier ist zusätzlich eine Datenauswertung vor Ort erforderlich.

Um die Entwicklung KI-basierter Funksensor-Edge-Anwendungen zu vereinfachen, hat SSV mit dem WSEI/154A einen Ende-zu-Ende-Technologie-Stack mit einer 868-MHz-Funktechnik gemäß IEEE 802.15.4 entwickelt. Als Sensing Endpoint gehört ein Evaluation Board mit einem ARM Cortex M0+ SoC und integriertem Sub-GHz-Funktransceiver sowie RIOT als Embedded-Betriebssystem zum Lieferumfang.

Die zahlreichen Gateway-Softwarefunktionen sind auf ein Debian-Linux abgestimmt und werden durch eine vorzertifizierte Funkhardware als Auflötmodul ergänzt. Für den Cloud-Einsatz gehören verschiedene Jupyter-Notebooks zum Technologie-Stack. Sie unterstützen die MQTT-Kommunikation mit dem Gateway sowie das Training neuronaler Netze mit TensorFlow. Die dabei erzeugten Machine-Learning-Modelle lassen sich im Edge-Inferenzbetrieb auf einer Ressourcen-limitierten Gateway-Hardware nutzen. Der WSEI/154A ermöglicht OEMs die Realisierung Daten-basierter Lösungen mit Funksensoren, verschiedenen Kommunikationsprotokollen, Machine Learning, PKI-basierter Cybersecurity inklusive Authentifizierung sowie sichere Software-Updates Over-The-Air (OTA) bis in den Sensor, ohne zuvor tiefgehende Spezialkenntnisse in den einzelnen Themenbereichen aufbauen zu müssen.