Schwerpunkte

Machine Learning

Lösungsansätze im direkten Vergleich

11. November 2019, 08:00 Uhr   |  Markus Ahorner, Jens Eickmeyer, Dr. Oliver Niggemann, Peter Seeberg


Fortsetzung des Artikels von Teil 2 .

Methode 2: AutoML

Die Komplexität der ‚ML-Pipeline‘ –  von Datenerfassung, über die Wahl und Erstellung geeigneter Features und Modelle, Hyperparameter-Optimierung und Analyse der erzielten Ergebnisse, bis hin zur Modellüberwachung – ist von einem Nicht-ML-Experten nur schwer zu bewältigen. Ein möglicher Ansatz ist AutoML, das heißt eine Unterstützung bei der Methodenauswahl und Methodenparametrisierung durch Software. Zumeist analysieren AutoML-Werkzeuge dafür die Daten, um die Methodenkonfiguration zu automatisieren. Des Weiteren werden oft verschiedene Methoden und Parameter probiert und die besten Ergebnisse übernommen.

Auf diesem Gebiet arbeitet zum Beispiel die Arbeitsgruppe Maschinelles Lernen des Institutes für Informatik der Albert-Ludwigs-Universität Freiburg. Das spezielle Thema der Freiburger Wissenschaftler ist die automatisierte Hyperparameter-Optimierung. Dabei übernimmt und automatisiert AutoML die oft langwierige und schwierige manuelle Einstellung der Hyperparameter. Zusätzlich ermöglicht AutoML eine höhere Reproduzierbarkeit, was auch im Hinblick auf die von der Europäische Kommission veröffentlichten ethischen KI-Richtlinien wichtig ist. Denn diese haben als ‚trustworthy‘ (vertrauenswürdig) nicht nur legale und ethische, sondern auch reproduzierbare Resultate zum Ziel.

AutoML-Implementierungen für typische ML-Softwarewerkzeuge wie WEKA und Skikit-learn beziehungsweise deren Erweiterungen (Auto-WEKA/Auto-Sklearn) zielen auf die Unterstützung nicht-sachkundiger Benutzer von ML-Techniken, indem sie die Anwender bei der Auswahl und Parametrisierung der Verfahren unterstützen. In ausführlichen Untersuchungen der Freiburger Wissenschaftler war Auto-WEKA bei 15 von 21 Datensätzen die Vorgehensweise mit der niedrigsten Fehlerrate. Bei drei Datensätzen war die Leistungsverbesserungen von Auto-WEKA gegenüber den anderen Methoden mit 16 % erheblich.

Vorteile:
AutoML wird es Domänenexperten ermöglichen, den interaktiven Ansatz zu automatisieren beziehungsweise den Benutzer durch den Analyseprozess zu leiten. Hierbei sind zumeist bestehende, etablierte Werkzeuge weiter nutzbar, sodass Firmen Migrationsszenarien umsetzen können. Des Weiteren unterstützt dieses Verfahren den Weiterbildungsprozess in Firmen und hilft fachfremden Mitarbeitern, sich in das Thema ML einzuarbeiten.

Nachteile:
In der Praxis vereinfachen diese Ansätze zwar den Einsatz von ML-Methoden; vor allem die Parametrisierung der Methoden wird beschleunigt. Die Auswahl der Verfahren und vor allem das Erkennen fehlerhafter Ergebnisse erfordern aber bislang noch einen Experten. So haben diese Ansätze zwar ein hohes Potenzial; allerdings sind diesbezüglich auch noch weitere Forschungsarbeiten nötig. Vor allem der Zusammenhang zwischen Datencharakteristika und verwendeter ML-Methode wird noch wenig verstanden. Ein weiterer offener Punkt ist die Integration von Domänenwissen in den Datenanalyseprozess, hierfür fehlen generische, einfach verwendbare Ansätze.

Seite 3 von 5

1. Lösungsansätze im direkten Vergleich
2. Methode 1: Interaktive Datenanalyse
3. Methode 2: AutoML
4. Methode 3: Generische ML-Verfahren
5. Zusammenfassung

Auf Facebook teilenAuf Twitter teilenAuf Linkedin teilenVia Mail teilen

Verwandte Artikel

Fraunhofer IOSB (Institut für Optronik, Systemtechnik und Bildauswertung), asimovero.AI AG, Ahorner und Partner, Helmut-Schmidt-Universität d. Bundeswehr Hamburg