Künstliche Intelligenz prägt zunehmend die Welt der Embedded Systeme – über die Bildverarbeitung hinaus. Über die Frage des »Ob« ist man längst hinaus, stattdessen geht es um das »Wie« – und damit um komplexe Fragen zu geeigneten Cloud- und/oder Edge-Konzepten, Hard- und Software- Architekturen sowie Projekt-Herangehensweisen.

Die Gretchenfrage: Cloud oder Edge?

Überblick über Embedded-KI-Hardware und ihre Anwendungsfelder.

© Grossenbacher Systeme

Im Markt ist zu beobachten, dass seit ChatGPT Entwickler wieder verstärkt auf die Verarbeitung ungefilterter Maschinendaten in der Cloud setzen. Das ist angesichts der Vorteile von ChatGPT oder anderen KI-Engines und vorhandenen Ressourcen in der Cloud-basierten Datenverarbeitung verständlich, aber gleichzeitig doppelt fragwürdig: Zum einen verbraucht die massenhafte Datenübertragung Energie, zum anderen kostet jede Abfrage, sprich jeder »call«, auch Geld.

Um die Kommunikation zu minimieren, ist eine algorithmische Vorverarbeitung der Daten in der Edge-Ebene oft der sinnvollere Weg. Dabei sind der notwendige Datenumfang und die Anzahl der Datenquellen entscheidend. Sind die Datenmengen sehr groß, stellt sich die Frage, welche direkt an die Cloud weitergereicht und welche zuvor mittels geeigneter KI-Algorithmen vor Ort aufbereitet und zusammen- gefasst werden sollten.

Auch die Latenz spielt eine Rolle: Wie lange kann meine Anwendung auf die Reaktion der KI warten? Die Antworten auf diese Fragen bestimmen, welches Maß an Intelligenz und damit welche Hardware auf der Edge-Ebene sinnvoll ist. Je nach Umfang der Algorithmenberechnung in der Cloud oder der Edge empfehlen sich unterschiedliche Hardware-Architekturen – sie reichen von einfachen Mikrocontrollern mit KI-Ergänzungen »on Chip« über FPGA, DSPs, TPUs bis hin zu leistungsstarken und kostspieligen Zusatzrechnern mit GPUs. Alle Varianten haben spezifische Stärken und Einschränkungen, die sie für bestimmte KI-Anwendungen prädestinieren (siehe Kasten »Hardware – Was ist die klügste Wahl?«).

Neben der Hardware werfen auch die Software und der Entwicklungsprozess Fragen auf. Bei KI-Anwendungen in der Automatisierung sind die erforderlichen Reaktionszeiten ein kritisches Thema. Ist die KI-Anwendung auf schnelle Antworten angewiesen, müssen die Algorithmen lokal abgearbeitet werden. Je aufwendiger diese sind, je größer die Datenmengen und je kürzer die gewünschten Reaktionszeiten, desto mehr Rechenperformance ist nötig. Das verursacht Kosten – sowohl für die Entwicklung wie auch für die Edge-Hardware selbst. Sie müssen zum Businessmodell passen und dem Endkunden einen Nutzen bringen, der die Mehrkosten für ihn rechtfertigt. Ohne Wirtschaftlichkeitsnachweis kann sich keine Technologie durchsetzen.

Dennoch ist die Nutzung von KI-Engines wie ChatGPT nicht unbedingt kostengünstiger – »Pay per Call« lässt grüßen. Es sind mehrere Faktoren, die über die Verteilung von Embedded KI und »normaler« KI bestimmen. Setzt man zumindest teilweise auf Embedded, muss der »Product Owner« über die Toolchain der Software-Entwicklung entscheiden – natürlich in Abhängigkeit von der verwendeten Hardware inklusive der »KI-Prozessoren«.

Die Entwicklung und Bereitstellung von KI-Anwendungen erfordert Tools und Bibliotheken, die zur gewählten Hardware-Plattform passen.

Modellkomprimierungstechniken sind dabei enorm von Bedeutung, um die Anforderungen an die Hardware zu reduzieren. »One Size fits all« Software-Lösungen für jegliche Hardware gibt es nicht. Jedoch gibt es einige Plattformen und Frameworks, die verschiedene Hardware- typen unterstützen und die Entwicklung und Implementierung von KI-Anwendungen auf einer Vielzahl von Geräten erleichtern (siehe Kasten »Software – Wer kann mit wem?«).

KI »lebt«: Fleet Observability

KI-Algorithmen sind nie fehlerfrei und bleiben immer optimierbar. Zudem »driften« die Algorithmen, d.h. die Qualität der von ihnen gelieferten Ergebnisse – etwa beim Klassifizieren von Sensordaten und Detektieren von Anomalien – kann durch Umwelteinflüsse im Lauf der Zeit abnehmen. KI-Algorithmen bedürfen deshalb kontinuierlicher Prüfung und Anpassung.

Um Qualität und Sicherheit der KI im Embedded-Umfeld zu gewährleisten, ist deshalb eine umfassende Diagnose und Beobachtung aller installierten KI-Feldgeräte erforderlich – sprich »Fleet Observability«. Leisten kann dies eine zentralisierte Überwachungslösung, die mit KI-Unterstützung in der Lage ist, Diagnose-Daten zu verarbeiten, darauf zu reagieren sowie Alarme und Berichte auszulösen, um die Embedded KI-Anwendung insgesamt zu unterstützen. Hierfür gibt es eine Cloud-Portal-Lösung, welche die Diagnose- und Verwaltungsaufgaben für die KI-Feldgeräte und ihre Algorithmen übernehmen kann; die Updates der Algorithmen selbst gehört auch dazu.