Machine Learning
Lösungsansätze im direkten Vergleich
Das Thema Machine Learning wirft eine Reihe von Fragen auf: Welche Daten sollten mit welchen Methoden analysiert werden? Welche Rolle übernimmt der Nutzer im Datenanalyseprozess? Und wie sieht es mit Echtzeit-Fähigkeit, Erklärbarkeit und Zuverlässigkeit der Ergebnisse aus?
Machine Learning ist eines der großen Schlagworte im Bereich der industriellen Fertigung. Doch wie lässt sich die Technologie in der Praxis sinnvoll implementieren und welche speziellen Herausforderungen ergeben sich hierbei? Mit diesen Fragen beschäftigten sich Vertreter aus Industrie und Forschung Ende letzten Jahres in Baden-Baden auf der VDI-Konferenz ‚Machine Learning in der Produktion‘.
Bei der Suche nach einer geeigneten Implementierungsstrategie kristallisierten sich drei aktuelle Methoden heraus, die sich zum einen im Grad der Autonomie unterscheiden: Ist das Ziel, dass die ML-Lösung ohne Benutzer-Interaktionen – sprich autonom – funktioniert? Oder ist das Ziel eine Interaktion mit einem Data Scientist? Zum anderen spielt der Ort der Berechnung eine wesentliche Rolle: Soll die Datenanalyse in der Edge, also in den echtzeitfähigen Automationsgeräten, stattfinden? Oder liegen alle Daten in der Cloud, wo die Analyse mit viel Rechenleistung stattfindet?
Nachfolgend die stark vereinfachten Methoden im Einzelnen mit ihren jeweiligen Vor- und Nachteilen.
Methode 1: Interaktive Datenanalyse
Dieser Ansatz entspricht dem klassischen Vorgehen bei der Datenanalyse: Ein Experte sichtet manuell die Daten und erarbeitet sich ein Verständnis bezüglich des Analyse-Problems. Basierend auf diesen Informationen erfolgt eine Auswahl der Analyse-Methoden. Der Experte wendet diese Methoden auf die Daten an und optimiert manuell die Parameter der Methode. Am Ende werden die Ergebnisse grafisch aufbereitet und präsentiert.
Typisch bei diesem Vorgehen ist, dass der Experte zumeist einen Informatik- oder datenwissenschaftlichen Hintergrund hat und für die Analyse auf spezielle Datenanalysewerkzeuge setzt. Auswahl und Anwendung der Verfahren erfolgt anhand von Eigenschaften der Daten wie Zeitdynamik, Abhängigkeiten und Rauschen. Der Abgleich mit Domänenwissen dagegen verlangt einen starken interdisziplinären Dialog in der Firma. Solch eine Analyse dauert daher meist mehrere Tage bis Wochen. Diese Methode dürfte in den meisten Fällen der Normalzustand sein. Das heißt, es entspricht dem Vorgehen, welches Data Scientists erlernen und viele IT-Firmen aus dem Bereich in der Vergangenheit erfolgreich angewendet haben. Da bei dieser Methode der Mensch die langsamste Komponente ist, kommen hier für die Analyse zumeist Serversysteme oder gute PC-Plattformen zum Einsatz. Die Daten können problemlos in der Cloud oder in Datenbanksystemen liegen.
Ein Beispiel für diesen Ansatz: Zusammen mit Miele hat der Fraunhofer Institutsteil für industrielle Automation am Fraunhofer IOSB eine interaktive Datenanalyse durchgeführt. Ziel hierbei war die Untersuchung der Taktzeit einer Spülmaschinenproduktion am Standort Bielefeld. Die Prozessexperten von Miele stellten dabei die Daten zur Verfügung, welche der Datenanalyst des Fraunhofer Institutes anschließend manuell aufbereitete.
Im Zuge dieser Aufbereitung wurden hybride Automaten als Methodik genutzt, um in einem ersten Schritt das typische Verhalten der Anlage in Bezug auf die Taktzeit abzubilden. Nach einer grafischen Aufbereitung dieser Daten trafen sich dann sowohl die Prozessexperten als auch die Datenanalysten zu einer Bewertung. Es wurden Zeiten identifiziert, in denen die Maschine außerhalb des Erwartungswertes operierte.
Bild 2: Darstellung des Einsatzes eines Schrittfolgeautomaten zur Identifikation von zeitlichen Varianzen in der Produktionsfolge. Tiefe Analysen der Zustandsübergänge liefern wichtige Hinweise zur Begründung der Varianzen.
© Fraunhofer IOSB-INABild 2 zeigt den vereinfachten Schrittfolgeautomaten. Mittels dieses Automaten wurden die Zustandsfolgen gefunden, bei deren Transition die größten Varianzen der Produktionszeit auftraten. Anschließend erfolgte ein Abgleich dieser Varianzen der Produktionszeit mit Ausfällen und anderen produktionsbedingten Verzögerungen. Schließlich verblieben nur unerklärte Zykluszeit-Abweichungen, die sich weitergehend untersuchen ließen. Dafür wurden Dimensionsreduktionsverfahren, grafische Analysen und Methoden zu Ausreißer-Erkennung kombiniert und die Ergebnisse dann mit den Experten besprochen. Am Ende dieses Prozesses stellten die Prozessexperten auf Basis der Datenanalyse Hypothesen für die Abweichungen der beobachteten Zyklen auf und leiteten daraus entsprechende Handlungen ab.
Vorteile:
Vorteil der interaktiven Datenanalyse ist vor allem, dass dieses Vorgehen seit langem etabliert und bewährt ist. Menschliche Experten können gut anhand der Datencharakteristika Verfahren und Parameter auswählen. Auch sind sie in der Lage, die Ergebnisse zu interpretieren und ihren Auftraggebern in deren Sprache zu kommunizieren. Auch die Werkzeuge sind zumeist auf dieses Vorgehen zugeschnitten. Ein weiterer Vorteil ist es, dass für die Analyse Standardsoftware verwendbar ist.
Nachteile:
Nachteil bei diesem Vorgehen ist, dass der Experte nicht nur ein tiefes Verständnis der Analysemethoden braucht, sondern auch über Domänenwissen verfügen muss. In der Praxis scheitert dies Vorgehen zumeist an der Verfügbarkeit von Experten; gerade KMUs sind nicht in der Lage, diese am Arbeitsmarkt einzustellen. Ein weiterer Nachteil ist die dafür notwendige Zeit, wodurch diese Methode für zeitkritische Fragen wenig sinnvoll erscheint.
Methode 2: AutoML
Die Komplexität der ‚ML-Pipeline‘ – von Datenerfassung, über die Wahl und Erstellung geeigneter Features und Modelle, Hyperparameter-Optimierung und Analyse der erzielten Ergebnisse, bis hin zur Modellüberwachung – ist von einem Nicht-ML-Experten nur schwer zu bewältigen. Ein möglicher Ansatz ist AutoML, das heißt eine Unterstützung bei der Methodenauswahl und Methodenparametrisierung durch Software. Zumeist analysieren AutoML-Werkzeuge dafür die Daten, um die Methodenkonfiguration zu automatisieren. Des Weiteren werden oft verschiedene Methoden und Parameter probiert und die besten Ergebnisse übernommen.
Auf diesem Gebiet arbeitet zum Beispiel die Arbeitsgruppe Maschinelles Lernen des Institutes für Informatik der Albert-Ludwigs-Universität Freiburg. Das spezielle Thema der Freiburger Wissenschaftler ist die automatisierte Hyperparameter-Optimierung. Dabei übernimmt und automatisiert AutoML die oft langwierige und schwierige manuelle Einstellung der Hyperparameter. Zusätzlich ermöglicht AutoML eine höhere Reproduzierbarkeit, was auch im Hinblick auf die von der Europäische Kommission veröffentlichten ethischen KI-Richtlinien wichtig ist. Denn diese haben als ‚trustworthy‘ (vertrauenswürdig) nicht nur legale und ethische, sondern auch reproduzierbare Resultate zum Ziel.
AutoML-Implementierungen für typische ML-Softwarewerkzeuge wie WEKA und Skikit-learn beziehungsweise deren Erweiterungen (Auto-WEKA/Auto-Sklearn) zielen auf die Unterstützung nicht-sachkundiger Benutzer von ML-Techniken, indem sie die Anwender bei der Auswahl und Parametrisierung der Verfahren unterstützen. In ausführlichen Untersuchungen der Freiburger Wissenschaftler war Auto-WEKA bei 15 von 21 Datensätzen die Vorgehensweise mit der niedrigsten Fehlerrate. Bei drei Datensätzen war die Leistungsverbesserungen von Auto-WEKA gegenüber den anderen Methoden mit 16 % erheblich.
Vorteile:
AutoML wird es Domänenexperten ermöglichen, den interaktiven Ansatz zu automatisieren beziehungsweise den Benutzer durch den Analyseprozess zu leiten. Hierbei sind zumeist bestehende, etablierte Werkzeuge weiter nutzbar, sodass Firmen Migrationsszenarien umsetzen können. Des Weiteren unterstützt dieses Verfahren den Weiterbildungsprozess in Firmen und hilft fachfremden Mitarbeitern, sich in das Thema ML einzuarbeiten.
Nachteile:
In der Praxis vereinfachen diese Ansätze zwar den Einsatz von ML-Methoden; vor allem die Parametrisierung der Methoden wird beschleunigt. Die Auswahl der Verfahren und vor allem das Erkennen fehlerhafter Ergebnisse erfordern aber bislang noch einen Experten. So haben diese Ansätze zwar ein hohes Potenzial; allerdings sind diesbezüglich auch noch weitere Forschungsarbeiten nötig. Vor allem der Zusammenhang zwischen Datencharakteristika und verwendeter ML-Methode wird noch wenig verstanden. Ein weiterer offener Punkt ist die Integration von Domänenwissen in den Datenanalyseprozess, hierfür fehlen generische, einfach verwendbare Ansätze.
Methode 3: Generische ML-Verfahren
Ein dritter, ganz anderer Ansatz, der im Rahmen der VDI-Tagung intensiv diskutiert wurde, besteht darin, eine generische Datenanalysemethode direkt in die Edge zu packen und dort bereits viele maschinelle Lernaufgaben zu erledigen. Der Reiz dieses Ansatzes liegt gerade darin, dass sich auf diese Weise effiziente Implementierungen für verteilte Automationssystemen erstellen lassen – und dies unter Erfüllung wichtiger Eigenschaften wie Zuverlässigkeit und Echtzeit-Fähigkeit.
Ein Beispiel: Neuronale Netze sind leistungsfähige ML-Werkzeuge, mit denen sich speziell in industriellen Umgebungen sehr präzise Datenmodelle erzeugen lassen – immer vorausgesetzt, es sind genügend Zeitreihendaten in ausreichender Qualität vorhanden. Auf diese Weise sind gewisse Aufgaben durch Softwareagenten automatisierbar – insbesondere die Optimierung von bestimmten Zielgrößen in Fabrikprozessen (Menge, Zeit, Qualität und Kosten), aber auch die Überwachung oder Vorschau von Prozess- und Zustandsgrößen (Anlagenverhalten, Ausfälle oder Störungen).
Bild 3: Automationstechnik und Sensoren in der Chemieanlage liefern die Input-Größen. Damit wird ein Neuronales Netz trainiert. Nun lassen sich ein gewünschter Betriebszustand (zum Beispiel Maximierung der Produktionsmenge) und die dafür erforderlichen Einstellgrößen automatisch bestimmen. Das Bild zeigt die Output-Größen im nicht-optimierten Fall (gemessene Werte) versus dem optimierten Fall (berechnete Werte).
© AhornerDazu werden Sensordaten aus dem Prozessleitsystem oder aus den dezentralen Steuerungen der Fabrik zu einem empirischen Anlagenmodell zusammengeführt: Dies umfasst Zielgrößen wie etwa KPIs, Störgrößen, nicht beobachtbare Signale und regelbare oder kontrollierbare Größen. Die Datenvorverarbeitung macht dabei heute in der Praxis immer noch bis zu 80 % der menschlichen Arbeit beim Erstellen des Datenmodells aus. Das Vorgehen dabei ist wie folgt: Das Neuronale Netz wird zunächst mit einem Teil historischer Daten trainiert (Offline-Learning). Das Modell bildet selbstständig eine Formel, um die historischen Output-Resultate aus gegebenen Input-Daten zu berechnen. Anschließend wird mit einem weiteren Teil der historischen Daten überprüft, wie gut das Neuronale Netz nun weitere Output-Ergebnisse aus bisher nicht bekannten Input-Daten selbstständig berechnen kann. Auf diese Weise wird das Modell validiert und getestet. Zum Schluss schließt man das Datenmodell an die Anlage an, um den Algorithmus mit aktuellen Betriebsdaten selbstständig und kontinuierlich anzupassen (Online-Learning). In der Offline-Phase wird also mit historischen Daten gearbeitet; in der Online-Phase wird das Modell implementiert und damit an die tatsächliche Datenwelt angeschlossen. Bild 3 zeigt beispielhaft die Prognose der Produktionsmenge einer chemischen Fabrik mittels eines neuronalen Netzes.
Vorteile:
Der Vorteil dieser Herangehensweise ist, dass die bestehende Vielzahl der ML-Verfahren durch ein einzelnes Verfahren ersetzt wird. Hierdurch gestaltet sich auch die Parametrisierung der Methoden einfacher, für ein einzelnes Verfahren lassen sich analog zum AutoML-Ansatz durchaus anhand der Datencharakteristika und der Aufgabenstellung automatisch Parametereinstellungen auswählen. Auch lassen sich generische Implementierungen auf Geräten zur Verfügung stellen, sodass eine ‚On-The-Edge‘-Umsetzung wahrscheinlicher wird.
Nachteile:
Nachteil dieses Ansatzes ist, dass aktuell kein Verfahren für die verschiedenen Datentypen und die unterschiedlichen Aufgaben als generisch einsetzbar anerkannt ist. Tiefe Neuronale Netze sind sicherlich der vielversprechendste Kandidat, weisen aber bezüglich Anforderungen an die Datenmenge, Belastbarkeit der Ergebnisse sowie der Einsetzbarkeit für zeitdynamische Systeme Nachteile auf. Diesbezüglich sind noch diverse Forschungslücken zu schließen.
Zusammenfassung
Zusammenfassend lässt sich festhalten: Keiner der drei angerissenen Ansätze löst aktuell alle Herausforderungen im Kontext von ML für die Produktion. So besteht momentan der gangbarste Weg darin, auf die interaktive Datenanalyse zu setzen, ohne dabei andere Ansätze aus den Augen zu verlieren. Hierzu müssen die Firmen aber klären, wie sie die dafür notwendige Anzahl an Data Scientists einstellen, ausbilden und halten wollen. Außerdem benötigt es ein Konzept, wie diese Experten mit den Domänenexperten der Firma auf Dauer kooperieren können. Gerade für KMUs gestaltet sich dies schwierig. Auf der anderen Seite sind die beiden anderen Ansätze aktuell noch ‚work-in-progress‘, sodass Firmen vor einer Kommerzialisierung eine Risikominimierung zum Beispiel in Form von Forschungsprojekten einplanen sollten. Ein Wechsel zwischen den Ansätzen ist zwar grundsätzlich nicht ausgeschlossen, zieht aber in der Regel Verzögerungen und Mehrkosten nach sich.
Autoren:
Markus Ahorner ist Geschäftsführer von Ahorner & Innovators in Ratingen;
Jens Eickmeyer ist ML-Experte am Fraunhofer IOSB-INA in Lemgo;
Dr. Oliver Niggemann ist Professor am Institut für Automatisierungstechnik an der Universität der Bundeswehr Hamburg;
Peter Seeberg ist Inhaber des Beratungsunternehmens Asimovero.AI.















