KI im Miniaturformat für Kleinstgeräte

Künstliche Intelligenz gilt als rechen- und energieintensiv – eine Herausforderung für das Internet der Dinge, wo kleine, eingebettete Sensoren mit begrenzter Rechenleistung, wenig Speicher und kleinen Batterien auskommen müssen. Ein Forschungsteam des Comet-K1-Zentrums Pro2Future, der TU Graz und der Universität St. Gallen hat im Projekt 'E-Minds' Wege gefunden, wie KI auf kleinsten Geräten lokal und effizient ausgeführt werden kann, ohne auf externe Rechenleistung angewiesen zu sein. So ist es etwa gelungen, auf einem Ultrabreitband-Lokalisierungsgerät mit nur 4 kB Speicher spezialisierte KI-Modelle laufen zu lassen, die Störquellen aus Ortungsdaten herausrechnen.

Einige Tricks angewendet

„Natürlich laufen keine Large Language Models auf diesen Kleingeräten, sondern Modelle mit ganz spezifischen Aufgaben, beispielsweise um Entfernungen abschätzen zu können“, sagt Michael Krisper, Leiter des Projekts bei Pro2Future und Wissenschafter am Institut für Technische Informatik der TU Graz. „Aber auch diese Modelle muss man erst einmal klein genug bekommen. Das benötigt einige Tricks und genau mit solchen Tricks haben wir uns im Rahmen des Projekts beschäftigt.“

Entstanden ist dabei eine Art Baukasten aus verschiedenen Methoden, die in Kombination das gewünschte Ergebnis liefern. Eine Methode davon ist die Aufteilung der Modelle und deren Orchestrierung: Statt eines Universalmodells stehen mehrere kleine, spezialisierte Modelle zur Verfügung. Bei der in E-Minds untersuchten Lokalisierungstechnologie heißt das, ein Modell funktioniert bei Störungen durch Metallwände, ein anderes bei Störungen durch Menschen und noch eines bei Störungen durch Regale. Ein Orchestrierungsmodell auf dem jeweiligen Chip erkennt, welche Störung vorliegt und lädt innerhalb von rund 100 ms das passende KI-Modell vom Server, das den Störfaktor aus den Daten herausrechnen kann. Für Industrieanwendungen wie Lagerhallen wäre das schnell genug.

Falten, anpassen, stutzen

Eine weitere Methode des Baukastens sind Subspace-Configurable Networks (SCNs). Hierbei handelt es sich um Modelle, die sich je nach Daten-Input anpassen, statt für jede Input-Variante ein eigenes Modell zu haben. Diese SCNs kamen für Bilderkennungsaufgaben wie der Klassifizierung von Objekten zum Einsatz und erwiesen sich als äußerst produktiv. Bei Bildveränderungen oder auf IoT-Geräten getesteten Fruchtklassifizierungen gelang damit eine bis zu 7,8-mal schnellere Bildberechnung als über externe Ressourcen, obwohl die Modelle kleiner und energiesparender waren. Weitere Verkleinerungen gelangen durch eine Faltung der mathematischen Struktur des Modells, ohne zu viel Genauigkeit zu verlieren.

Gleiches galt bei den Techniken Quantisierung und Pruning. Bei der Quantisierung vereinfachten die Forschenden die Zahlen, mit denen das Modell rechnet: Statt Gleitkommazahlen wurden Ganzzahlen verwendet, was bei akzeptablen Genauigkeitsverlusten für die gewünschten Anwendungen wieder Energie und Rechenzeit sparte. Beim Pruning – auf Deutsch 'stutzen' oder 'beschneiden' – hingegen wird ein fertiges Modell unter die Lupe genommen und es werden jene Teile entfernt, die für das gewünschte Endergebnis nicht ins Gewicht fallen. Denn für das Erfüllen der Kernaufgabe sind viele Teile eines Modells verzichtbar. Wichtig war es für die Forschenden, bei allen Techniken die passende Balance zwischen Verkleinerung und verbleibender Genauigkeit zu finden. Neben der erfolgreichen Verkleinerung hat das Projektteam an der effizienten Bereitstellung, dem sogenannten Deployment, der KI-Modelle geforscht, damit diese schneller auf die Kleingeräte übertragen werden können.

Ergebnisse auf andere Bereiche umlegbar

Während der Fokus von E-Minds auf der drahtlosen Ultrabreitband-Lokalisierung (Ultra-Wideband, UWB) lag, um etwa in der industriellen Automatisierung trotz Hindernissen und Interferenzen die exakte Position von Drohnen, Shuttles oder Robotern bestimmen zu können, sehen die Forschenden zahlreiche andere Anwendungsfelder. Beispielsweise als weitere Sicherheitsmaßnahme für schlüssellose Autoöffner, um bestimmen zu können, ob sich der Schlüssel wirklich beim Auto befindet und nicht nur jemand das Funksignal kopiert. Smarthome-Fernbedienungen hätten mit effizienten KI-Modellen eine wesentlich längere Batterielaufzeit und Büchereien könnten ihre Bücher tracken.

„Mit neuem Know-how und neuen Methoden haben wir im Projekt E-Minds ein Fundament für zukünftige Produkte und Anwendungen gelegt“, sagt Michael Krisper. „Unser Projektteam hat sich hier perfekt ergänzt. Bei Pro2Future haben wir uns auf die eingebetteten Systeme und die Umsetzung auf der Hardware fokussiert, Olga Saukh hat mit Kolleg*innen am Institut für Technische Informatik an der TU Graz wichtige wissenschaftliche Grundlagen in den Bereichen Embedded Machine Learning erarbeitet und zu Methoden der Modelloptimierung beigetragen und Simon Mayer hat an der Universität St. Gallen wichtige Forschungsarbeit im Bereich Lokalisierung beigesteuert.“