Die industrielle Automatisierung steht vor einem Paradigmenwechsel: Mit der Integration von Künstlicher Intelligenz (KI) in Embedded-Systeme entstehen neue Möglichkeiten für Effizienz, Flexibilität und vorausschauende Wartung. Doch der Weg von der Modellentwicklung bis zur Inferenz, also zur stabilen, skalierbaren Anwendung in der industriellen Praxis, ist steinig. In diesem Artikel beleuchten wir die Anforderungen an moderne Toolchains für Embedded KI, vergleichen gängige Frameworks, diskutieren Optimierungsstrategien und zeigen, wie durch Containerisierung und durchdachte Entwicklungsumgebungen nachhaltige Lösungen entstehen. Dabei gehen wir auch auf die zentrale Rolle ein, die ein geeigneter Controller als Plattform für Embedded KI und Soft-SPS spielt. Weil Grossenbacher Systeme mit dem Universal Controller ein solches Gerät anbietet, beziehen sich die Erfahrungen hierauf, lassen sich grundsätzlich aber auch auf andere Controller anwenden.

Was müssen Toolchains für Embedded KI leisten?

Klassische Automatisierungssysteme kommen an ihre Grenzen, wenn es um Aufgaben wie Anomalieerkennung, prädiktive Wartung und Instandhaltung oder Bildauswertung geht. Hier zeigt KI ihre Stärken. Um ausufernde ‚Cost-per-Call‘ und andere Nachteile zu vermeiden, besteht dabei die Herausforderung darin, Modelle so zu trainieren und zu optimieren, dass sie auf ressourcenlimitierten Edge-Devices performant laufen. Eine leistungsfähige Toolchain muss deshalb:

• Ressourcenbeschränkungen berücksichtigen. Speicher- und Rechenleistung sind auf Embedded-Geräten begrenzt, was kleine und effiziente Modelle erfordert.
• Echtzeitanforderungen unterstützen. Die Inferenz muss schnell und vorhersagbar erfolgen.
• Hardwarediversität beherrschen. Toolchains müssen mit diversen Hardware-Architekturen (CPU mit KI-Engine, GPU, VPU, NPU, …) arbeiten können.
• Update-Fähigkeit und Sicherheit garantieren. Lifecycle-Management für Modelle ist essenziell.
• Nahtlose Integration in bestehende Steuerungssysteme ermöglichen. Geeignete Controller mit Soft-SPS sind erforderlich.

Aufbau eines Edge-Controller © Grossenbacher Systeme

Dabei ist zu beachten, dass der klassische Ansatz bei der Modellentwicklung zunächst von quasi unbegrenzten Ressourcen ausgeht und das Modell erst anschließend an die tatsächlich verfügbaren Ressourcen anpasst. Wer dies für suboptimal hält, liegt richtig, entspricht es in gewisser Hinsicht doch der Vorgehensweise, die ein übermäßig optimistischer Lottospieler wählen würde: Was mache ich, wenn Geld keine Rolle spielt? Weil man im Normalfall aber nicht im Lotto gewinnt und die Ressourcen im industriellen Umfeld endlich sind, ist eine Herangehensweise von Vorteil, die die Möglichkeiten von vornherein realistisch einschätzt.

Welche Frameworks eignen sich?

Für die Inferenz der KI-Modelle auf Edge-Geräten haben sich nach unserer Erfahrung mit TensorFlow Lite, PyTorch Mobile und ONNX drei geeignete Frameworks etabliert (Tabelle 1). Die Liste ist jedoch nicht abschließend; oftmals empfiehlt sich zudem der sehr an Embedded-Anforderungen orientierte ‚TinyML‘-Ansatz. Er sieht vor, das mit den genannten Frameworks „fertig“ trainierte Modell in ein C-Array umzuwandeln und in ein C++-Projekt einzubinden, was Schlankheit und Performance optimiert und sogar Edge-Devices auf Mikrocontroller-Basis KI-Funktionalitäten ermöglicht. Dass die Vorteile von Laufzeitsystemen, zum Beispiel TensorFlow RT, dabei verloren gehen, ist natürlich unvermeidlich.

Tabelle 1. Eine Liste an Frameworks mit ihren Vor- und Nachteilen.

In den bisherigen Entwicklungen hat Grossenbacher vorrangig TensorFlow Lite eingesetzt, da es direkt auf die integrierte NPU des i.MX 8M Plus im hauseigenen Universal Controller zugreifen kann. Dies sorgt für kurze Latenzen und geringen Energieverbrauch. Selbstverständlich kann aber in einem eigenen Container auch ein Modell im C-Code integriert werden.

Modellquantisierung und Optimierung: Performance vs. Genauigkeit

Wie dargestellt, muss die Toolchain für die Embedded KI-Entwicklung zwingend Möglichkeiten bieten, um das Modell auf die vorhandene beziehungsweise gewünschte Zielhardware anzupassen. Quantisierung, Pruning und andere Optimierungstechniken sind Schlüsselelemente, um das Hauptziel der Embedded KI zu erreichen – eine Senkung von Rechenzeit und Speicherbedarf bei möglichst gleichbleibender Modellgüte.

Unsere Erfahrungen zeigen, dass es bei Verwendung zeitgemäßer Hardware-Architekturen möglich ist, den Speicherbedarf auf weniger als ein Viertel und die Rechenzeit auf ein Drittel zu reduzieren, während sich die Modellgenauigkeit nur um wenige Prozentpunkte verschlechtert.

Ein Beispiel für Modelloptimierung bei sonst gleichen Bedingungen: Ein Modell wird einmal mit 32 Bit-Floating-Point und einmal mit 8 Bit-Integer berechnet. Es zeigt sich, dass eine geringfügige Verschlechterung der Genauigkeit zu deutlich geringerem Speicheraufwand und kürzerer Inferenzzeit (Ausführungszeit) führt (Tabelle 2).

Tabelle 2. Beispiel einer Modelloptimierung bei sonst gleichen Bedingungen.

Was bringen Containerisierung und Virtualisierung?

Der Autor: Oliver Roth ist CEO von Grossenbacher Systeme und der Amalthea Gruppe, zu der unter anderem auch Sabo Mobile IT gehört. © Grossenbacher Systeme

Container-Technologien wie Podman schaffen auch in Embedded-Umgebungen Vorteile. Denn damit lassen sich auch komplexe Softwarestrukturen mit mehreren Entwicklungsteams umsetzen. Beispielhaft sei genannt, dass es in einem Hybrid-Projekt die Entwickler der webbasierten Visualisierung, der SPS-Programme und der KI-Modelle in mehreren Teams aufgrund der jeweiligen Kompetenzen und Schwerpunkte organisiert sind. Geeignete Controller unterstützen Container-Technologien wie Podman nativ und erlauben es, einzelne Dienste – auch KI-Anwendungen – als isolierte Container bereitzustellen. Das verbessert die Wartbarkeit und ermöglicht parallele Updates. Übrigens empfiehlt es sich, die containerisierte KI-Inferenz über eine REST-API auszuführen.REST steht für „Representational State Transfer“, ein Architekturstil für Webservices, der eine standardisierte Kommunikation zwischen Clients, zum Beispiel Embedded Systemen, und Servern ermöglicht – typischerweise über HTTP. Das bedeutet, dass der Controller Anfragen an einen Server sendet, der die Berechnungen übernimmt.

Toolchain: Woran sollte man denken?

Eine professionelle Entwicklungsumgebung für Embedded KI besteht nicht nur aus Frameworks, sondern aus durchgängigen Prozessen:

• Trainingspipelines in der Cloud oder auf Workstations für die Trainingsdaten.
• CI/CD für Konvertierung, Testing und Container-Builds, beispielsweise mit GitLab CI.
• Modell- und Experimentverwaltung mit TensorFlow oder anderen Frameworks.
• Telemetry & Monitoring für die Qualitätsüberwachung des Modells.
• Over-the-Air-Update-Strategien unter Nutzung von Cloudportalen, zum Beispiel ‚GUT‘ von Grossenbacher.

Für Embedded KI geeignete Controller erlauben die Umsetzung all dieser Komponenten. Im Fall des Universal Controller sind dies Linux Yocto mit Echtzeiterweiterung, Codesys für Automatisierungslogik und Container-Support für KI-Module mit maximaler Flexibilität.

Die Zukunft der Automatisierung ist hybrid

KI und klassische Automatisierung wachsen schon heute zusammen. Embedded KI-Systeme müssen nicht nur effizient, sondern auch wartbar, erweiterbar und sicher sein, nach dem Motto: Soft-SPS trifft KI-Beschleunigung trifft Containerisierung. Dazu braucht es nicht viel – sondern am besten alles auf einmal: zukunftssichere Hardware, eine passende Software-Toolchain und geeignete Prozesse und Methoden.