Es gibt zahlreiche Gründe, warum ein permanenter Sensor-to-Cloud-Datenstrom für viele Anwendungen keine gute Idee ist. Immer größere Datenmengen, unzureichende Bandbreite, lange Latenzzeiten, Datenschutzprobleme und relativ hohe Betriebskosten sind nur einige Beispiele hierfür. Trotz allem hat sich die Cloud in den vergangenen Jahren als Datenverarbeitungsplattform für IoT-Daten etabliert, weil dort hochentwickelte, bedienerfreundliche und gut dokumentierte Werkzeuge und Möglichkeiten zur Datenverarbeitung existieren. Besonders wichtig ist auch die Möglichkeit des ortsunabhängigen Benutzerzugriffs auf die in der Cloud gespeicherten oder dort erzeugten Daten. Des Weiteren bietet eine Cloud nahezu unbegrenzte Ressourcen in Bezug auf Speicherkapazität und Rechenleistung, die darüber hinaus sehr professionell betreut werden und sogar Lastschwankungen automatisch ausbalancieren können.

Edge AI (AI: Artificial Intelligence) verfolgt einen völlig anderen Lösungsansatz: Daten sollen direkt vor Ort verarbeitet werden, um – vielfach sogar in Echtzeit – die jeweils erforderlichen Informationen zu erzeugen und zur automatischen Entscheidungsfindung zu nutzen.

Edge AI unterscheidet sich allerdings vom Edge Computing, das vielfach auch als Edge-Cloud-Einsatz bezeichnet wird. Hier geht es in der Regel darum, einfach Cloud-Dienste auf entsprechend leistungsfähiger Hardware direkt On-Prem vor Ort zu nutzen. Teilweise werden dabei sogar die gleichen Softwareschnittstellen (APIs) wie in den jeweiligen Cloud-Anwendungen verwendet. Edge Computing ist in erster Linie ein Hardware-Thema. Entscheidend ist hier aus Expertensicht der passende Edge-Computer.

Edge AI verfolgt eine etwas andere Zielsetzung. Es geht primär darum, leistungsfähige KI-Algorithmen auch im kleinsten Mikrocontroller zur Echtzeit-Datenanalyse und automatischen Entscheidungsfindung zu nutzen. Für solche Lösungen müssen Hardware und Software sorgfältig aufeinander abgestimmt sein.

Es sind allerdings auch verschiedene hybride Lösungen möglich. In einem solchen Fall senden die Edge-AI-Lösungen die per Machine-Learning-Algorithmen-Einsatz erzeugten Metadaten direkt an eine Cloud. Oder aber ein Edge AI-Sensor agiert als modulare Lösung, indem er mit einer Datenschnittstelle zu einem Edge Gateway ausgestattet ist, auf dem wiederum ein zum Sensor gehörender Docker-Container mit den Datenanalyse-Algorithmen abläuft.

Eine sehr dynamische Edge AI-Entwicklung ist aber zunächst einmal im Bereich der drahtlosen IoT-Sensorik mit Cloud-Integration zu erwarten; insbesondere in Bezug auf Innovation, Anwendungsvielfalt und den Bedarf an geeigneten Halbleiterchips.

Edge-AI-Anwendung Wireless Sensorik

Eine typische IoT-Anwendung besteht aus drei elementaren Funktionsblöcken: der Sensorik, den Gateway-Funktionen sowie einer Cloud, zum Beispiel als IoT-Plattform mit verschiedenen Diensten. Sensoren und Gateway waren bisher in erster Linie als Datenlieferant für die Cloud konzipiert. Nun kommt mit der Edge AI eine weitere anspruchsvolle Aufgabe hinzu: dazu gehört die Echtzeit-Sensordatenanalyse direkt vor Ort an der Sensordatenquelle (beispielsweise als Machine-Learning-Inferenz per TensorFlow Lite).

© SSV Software Systems

Die Systemintegration von Funksensoren in IoT-Lösungen ist besonders in industriellen Anwendungen recht anspruchsvoll. Eine große Herausforderung ist nach wie vor der jeweilige Protokollstack. Er muss nicht nur für den Sensor selbst, sondern auch für das jeweils zum Einsatz kommende Gateway zur Verfügung stehen. Dabei sind neben den Funktionen und Schnittstellen die jeweiligen Lizenzmodelle zu beachten. Im Rahmen einer Entscheidungsfindung sollten sogar die hinter dem Code stehenden Entwickler bewertet werden. Schließlich erfordert eine industrielle Funksensorlösung auch für die Protokollsoftware qualifizierten Support für die kommenden 10 bis 15 Jahre. Eine Funkfirmware als Binärobjekt (Blob) aus einer intransparenten Quelle, wie für Wi-Fi- oder BLE-Implementierungen im Consumer-Bereich üblich, ist nicht in jedem Fall eine gute Wahl.

Ein weiterer wichtiger Themenkomplex für die Wireless-Sensorik einer Edge-AI-Lösung ist die IT- beziehungsweise IoT-Security. Dazu gehören zunächst einmal die Authentizität, Vertraulichkeit und Integrität der Sensordaten. Eine IoT-Anwendung am anderen Ende benötigt die 100- prozentige Sicherheit, dass die erhaltenen Daten auch tatsächlich von dem Sensor stammen, dessen Absender-Kennung als Quellangabe in den Sensordaten zu finden ist und dass diese Daten auf dem Übertragungsweg nicht verändert wurden. Bei der erforderlichen Ende-zu-Ende-Sicherheit wird häufig übersehen, dass die Sicherheitsmechanismen eines von MQTT- oder HTTPS-Verbindungen genutzten TLS-Protokolls in der Praxis architekturbedingt an mehr als einem Punkt ‚aufgebrochen‘ werden. Dadurch existieren mehrere Bereiche zwischen Sensor und Anwendung, in denen Sensordaten-Manipulation oder andere unerwünschte Eingriffe erfolgen können. Um derartige Risiken weitestgehend auszuschalten, ist aber nicht gleich eine Blockchain erforderlich. In der Praxis reicht es aus, wenn die Sensordaten direkt an der Quelle oder in unmittelbarer Nähe mit einer digitalen Signatur versehen werden, die von der Anwendung am anderen Ende in jedem Fall überprüft wird.

OTA-Updates für Sensor und Gateway

Ein weiteres Security-Thema sind die technischen und organisatorischen Voraussetzungen für Over-The-Air (OTA) Updates. Ein unidirektionaler Kommunikationspfad zur Messdatenübertragung vom Sensor bis in die Cloud reicht somit nicht mehr aus. In Gegenrichtung, also von der Cloud bis in den Sensor müssen von Zeit zu Zeit beziehungsweise bei Bedarf Software-Updates verschickt werden. Das ist wegen der Gefahren einer missbräuchlichen Nutzung eine hochsensible Aufgabenstellung.
Aber auch Zuverlässigkeitsaspekte sind hier zu beachten: Bricht die Funkdatenübertragung zwischen Sensor und Gateway während eines Update-Vorgangs ab, muss der IoT-Sensor auf jeden Fall noch die ‚alte‘ Softwareversion nutzen können. Dafür sollte der interne Flash des Sensormikrocontrollers in einen A- und B-Bereich aufgeteilt werden, um das A/B-Boot-Update-Konzept anzuwenden. Hierbei wird die Software jeweils aus einem Bereich gestartet. Das Update erfolgt in den jeweils anderen Bereich. Erst wenn ein Software-Update vollständig und ohne Fehler durchgelaufen ist, werden die Bereiche gewechselt und ein Neustart der Mikrocontrollersoftware ausgelöst, um die neue Softwareversion zu nutzen.

In die Kommunikationsbeziehungen für Software-Updates sind die Gateway-Funktionen einer Anwendung eingebunden. Sie dienen nicht nur als OTA-Update-Proxy für das Sensor-Update, sondern benötigen auch selbst Funktions- und Sicherheits-Updates aus der Cloud. Durch den Einsatz von ML-Algorithmen (also der AI-Part) zur Sensordatenanalyse in Echtzeit innerhalb der Gateway-Funktionen werden auch Updates für das dabei zum Einsatz kommende Machine-Learning-Modell benötigt (ML Model Updates). Solche Edge-AI-Lösungen nutzen Modelle, die durch eine Machine-Learning-Trainingsphase (ML Model Building) in der Cloud entstehen.

Der AI-Part

Den ML-Algorithmus einer Edge AI-Anwendung kann man sich als Mapping-Funktion in Form eines neuronalen Netzwerks vorstellen: zu den jeweiligen Eingangsparametern X werden über ein mathematisches Regressions- oder Klassifizierungsverfahren die passenden Ausgangswerte Y geliefert. Die mathematischen Zusammenhänge für die Rechenoperationen in den einzelnen Knotenpunkten (den Neuronen) werden aus zuvor erfassten Trainingsdaten im Rahmen der ML-Modellbildung erlernt.

© SSV Software Systems

Die künstliche Intelligenz einer Edge-AI-IoT-Applikation wird durch Methoden des Supervised Machine Learning gebildet. Zum Sensor gehört dann jeweils ein ML-Modell für die Inferenzphase – beispielsweise eine Echtzeit-Datenanalyse mittels einer zuvor erlernten und zur jeweiligen Aufgabenstellung passenden Mustererkennung. Den dafür zum Einsatz kommenden ML-Algorithmus kann man sich als Mapping-Funktion vorstellen: zu den jeweiligen Eingangsparametern X werden über ein mathematisches Regressions- oder Klassifizierungsverfahren die passenden Ausgangswerte Y geliefert. Der Zusammenhang zwischen X und Y wird von der Mapping-Funktion aus zuvor erfassten Trainingsdaten erlernt. Das mathematische Mapping-Verfahren lässt sich durch ein neuronales Netzwerk realisieren.

Die ML-Modellbildung mit einem neuronalen Netzwerk ist aufgrund der zahlreichen Iterationen ein rechenintensiver Vorgang, der mit einer ausreichend großen Menge an Trainingsdaten erfolgen sollte. Darüber hinaus benötigt ein ML-Modell hin und wieder einige weitere Lernphasen, um auf Veränderungen in der Inferenzumgebung zu reagieren und die Inferenzfehlerquote zu optimieren. Des Weiteren muss die aktuelle Modellversion allen Sensing-Endpunkten einer Edge-AI-Anwendung zentral zur Verfügung stehen. Durch diese unterschiedlichen Anforderungen ist eine Cloud oder ein gleichwertiger On-Prem-Service in den meisten Fällen der beste Ort für Modellbildung, Maintenance und Modellspeicherung.

Ein neuer Embedded-Megatrend?

Klaus-Dieter Walter ist Mitglied der Geschäftsführung bei SSV Software Systems.

© SSV Software Systems

Edge AI und die damit verbundene dezentrale künstliche Intelligenz könnte in der IoT-Welt so etwas wie ein Embedded-Megatrend werden, weil sich damit etwa für Halbleiterhersteller gigantische Stückzahlen realisieren lassen. Unternehmen, wie ARM, sprechen hier schon von ‚Trillion Intelligent Endpoints‘ mit Wireless-Sensorik und lokaler Endpoint AI. Auf der virtuellen Messe embedded world 2021 Digital waren schon erste Produkte zu entdecken, die erahnen lassen, was damit gemeint ist – die ‚Digitale Nase mit KI‘ ist nur eines der Beispiele.