Welche wirtschaftlichen Herausforderungen sehen Sie aktuell bei der Implementierung von Embedded-KI-Systemen in der Hardware-Entwicklung?

Die europäische Automatisierungsindustrie steht unter nie gekanntem Wettbewerbsdruck – und hat es dennoch in der Hand, ihre Position zu verbessern, nicht zuletzt durch den Einsatz von Embedded AI. Allerdings sind KI-Projekte aus wirtschaftlicher Sicht an sich eine Herausforderung, weil sie eine offene Herangehensweise erfordern: Man darf sich nicht frühzeitig in Details verlieren, weil man auf dem Weg zum individuell passenden Use Case mehr lernen wird, als man sich zu Beginn vorstellen kann. Das macht die Budgetplanung schwierig und sorgt für Diskussionen mit dem Controlling. Embedded AI ist besser mit agiler, flexibler Entwicklungsmethodik zu realisieren als mit V-Modell und Pflichtenheft – dafür gibt es bei Projektbeginn einfach zu viele Unbekannte.

Welche Hardwarearchitekturen (z.B. CPU, FPGA, NPU, TPU) bevorzugen Sie für KI-taugliche Edge-Devices, und warum?

Das hängt ganz vom individuellen Use Case ab, also von einer Vielzahl von Faktoren wie dem Verhältnis von lokaler KI zu cloudbasierter KI, den erlaubten Latenzzeiten oder akzeptablen „Cost per AI Call“ und schliesslich auch von der Modellgrösse. Für KI-taugliche Edge Devices kommen deshalb in Abhängigkeit von diesen Faktoren CPUs mit integriertem Engine, aber auch FPGAs, NPUs, GPUs, TPUs und DSPs sowie zusätzliche eigenständige KI-Boards infrage. Für kleine Modell sind zudem auch Mikrocontroller mit integrierter AI Erweiterung eine Option. Bei Architekturentscheidungen sollte man immer bedenken, dass sich die KI-Algorithmen und damit die Anforderungen an die Rechenperformance während des Lebenszyklus verändern dürften. Das alles sind Gründe, warum wir ein Szenariomanagement für verschiedene Hardwarekonzepte empfehlen und an Skalierbarkeit dabei denken.

Wie wichtig ist es, die KI-Rechenleistung über standardisierte Schnittstellen erweiterbar zu gestalten, um die Hardware zukunftssicher und flexibel zu halten?

Skalierbare Leistung ist die Grundvoraussetzung für zukunftssichere Hardware, aufgrund der beschriebenen Projektfaktoren ist Flexibilität gefordert. Um auf neue Kosten- und Performance-Anforderungen reagieren zu können, ist deshalb eine Systemarchitektur Pflicht, die über Schnittstellen den Austausch der KI-Elemente und damit eine Skalierbarkeit der KI-Rechenleistung ermöglicht. Das kann über den Austausch eines SOM Moduls geschehen oder über PCI Express, USB-C, Ethernet zu einem Piggyback Board. Bei kleinen Embedded-KI-Modellen, die in Sensoren und Aktoren direkt zum Einsatz kommen, sollte man auf die Pin-Kompatibilität der eingesetzten Mikrocontroller achten. Die Auswahl der passenden „Familie“ ermöglicht auch hier eine gewisse Skalierbarkeit – und die ist und bleibt nun einmal »das« Rezept gegen den Zielkonflikt zwischen Stückkosten und Performancebedarf.

Warum ist es entscheidend, Hardware und KI-Modelle parallel und eng verzahnt zu entwickeln?

Zum einen braucht es die Verzahnung, damit Sensorik und Performance der Hardware zum gewünschten Modell passen. Zum anderen ist die Parallelität, sprich die Entkopplung von beiden Entwicklungsaufgaben auch wichtig und erfordert einen gewissen Mut. KI-Modelle und Hardware-Entwicklung erfordern jeweils eigene Spezialisten. Anders als die Hardware verändern sich KI-Modelle im Laufe der Zeit: Sie driften, weil sich die Umwelt ändert, und müssen deshalb dauerhaft weiterentwickelt werden und dazulernen. Ergo haben sie einen komplett anderen Lebenszyklus als die Hardware  – der Entwicklungsprozess muss das berücksichtigen.

Welche Rolle spielt die Modellfaktorisierung bei der Optimierung von KI-Modellen für Embedded-Hardware und wie beeinflusst dies die Hardware-Entwicklung?

Kleinere Modelle können mit der Faktorisierung geschaffen werden, gehen aber oft zu Lasten der Genauigkeit. Allerdings sind kleinere Modelle für die Embedded Systeme ein Kosten- und Performancevorteil, den es zu nutzen gilt. Die Optimierung ist deshalb ein Balanceakt. Die Hardware-Entwicklung soll ja dies zur Stückkostenoptimierung berücksichtigen.

Der Blick nach vorne zeigt neue Gedanken, neue Methoden und neue Anbieter. Das berührt auch die Themen Ressourcen und Tools. Zum Beispiel gibt es immer mehr Tools, die von den klassischen Methoden abweichen und stattdessen die Modelle anhand der verfügbaren Hardware für ein Optimum an Genauigkeit und Performance neu strukturieren. Federated Learning, Fleet Management und Observability sind und bleiben jedoch wichtige Elemente, um KI-fähige Geräte auf Dauer im Produktiveinsatz zu halten.

Wie gestalten Sie KI-fähige Controller so, dass sie mit skalierbarer zusätzlicher KI-Hardware (z.B. spezialisierten Prozessoren) erweitert werden können, ohne grundlegende Änderungen am System vorzunehmen?

Bei unserem Universal Controller, dessen aktuelle Version wir hier auf der SPS das erste Mal zeigen, setzen wir auf ein Carrierboard/SoM-Design auf Basis performanter ARM-Yocto-Architektur und mit skalierbarer KI-Ergänzung. Das SoM-Modul sorgt dafür, dass wir zum einen verschiedene iMX-basierte CPUs mit integrierten KI-Prozessoreinheiten verwenden können, ohne Änderungen an der Hauptplatine und sonstiger Peripherie vorzunehmen. Sollte der Bedarf an KI-Rechenleistung noch weiter steigen, können über zusätzliche Schnittstellen auch „Piggyback-Boards“ mit dezidierten AI Processing Units zum Einsatz kommen – mehr Skalierbarkeit geht nicht.

Grossenbacher Systeme auf der SPS 2024: Halle 7, Stand 480