Kurz vor 22 Uhr am 18. März 2018 schob Elaine Herzberg ihr Fahrrad über die vierspurige Mill Avenue in Tempe, einem Vorort von Phoenix, Arizona. Sie trug ein schwarzes Oberteil und nutzte nicht den ausgewiesenen Fußgängerüberweg. Die Algorithmen des selbstfahrenden Testautos von Uber, das genau auf Herzberg zufuhr, waren sich lange uneins, womit sie es zu tun hatten. Der Wagen überfuhr die 49-jährige Obdachlose ungebremst. Sie starb wenig später im Krankenhaus. Die Sicherheitsfahrerin des Testautos hatte nicht eingegriffen. Anstatt auf den Verkehr zu achten und die Hände einsatzbereit über dem Steuer zu halten, hatte sie den Blick nach unten gerichtet, wie das Video einer Überwachungskamera zeigt.

Hätte der Wagen abgebremst und Herzberg die Straße unbeschadet überqueren können, hätte vermutlich nie jemand gefragt, wie die Algorithmen des selbstfahrenden Autos zu ihren Vorhersagen und Wahrscheinlichkeitsberechnungen gekommen waren. Doch weil sie eben manchmal Fehler begehen, ist es ein ernstzunehmendes Problem, dass ihre Lösungswege meist im Verborgenen liegen. Denn moderne Machine-Learning-Algorithmen (ML) gleichen einer Blackbox. Sie folgen nicht mehr vorgegebenen Wenn-dann-Regeln, sondern erzeugen aus den Eingabedaten ein komplexes Modell, auf dessen Ausgestaltung der Mensch allenfalls indirekt Einfluss nehmen kann.

„Je komplexer das neuronale Netz ist, desto genauere aber leider auch schwerer nachvollziehbare Ergebnisse liefert es“, bringt es Professor Marco Huber auf den Punkt, der am Fraunhofer-Institut für Produktionstechnik und Automatisierung IPA in Stuttgart das Zentrum für Cyber Cognitive Intelligence (CCI) leitet. Er hat es sich zur Aufgabe gemacht, diesem ständigen Abwägen zwischen Leistungsfähigkeit und Interpretierbarkeit eines Algorithmus ein Ende zu setzen. Künstliche Intelligenz (KI) soll in Zukunft erklärbare Entscheidungen treffen und nachvollziehbare Prognosen abgeben.
 

Datenschutz verlangt erklärbare KI

‚Explainable Artificial Intelligence‘ – oder kurz xAI – heißt dieser Forschungszweig der Informatik, der auf die Initiative der Defense Advanced Research Projects Agency (DARPA) zurückgeht, einer Behörde des US-Verteidigungsministeriums. Lange hielt sich das Interesse der Industrie daran in Grenzen. Doch seit KI nicht mehr nur bei Amazon Bücher oder bei Netflix Filme empfiehlt, sondern in Produktionshallen Maschinen und Roboter dirigiert, oder Autofahrern dabei hilft, ihren Wagen sicher durch belebte Innenstädte zu steuern und unfallfrei einzuparken, hat sich das grundlegend geändert. Denn warum sollten Menschen ihr Schicksal selbstfahrenden Autos oder kollaborativen Robotern anvertrauen, wenn deren Algorithmen intransparente und mitunter sogar falsche Entscheidungen fällen?

Aber nicht nur das menschliche Bedürfnis nach Sicherheit und einer Erklärung für unerwartete oder tiefgreifende Ereignisse, sondern auch die Datenschutz-Grundverordnung (DSGVO) der Europäischen Union verleiht xAI Relevanz. Gemäß Artikel 12 sind Unternehmen, die personenbezogene Daten verarbeiten, verpflichtet, Betroffenen darüber „in präziser, transparenter, verständlicher und leicht zugänglicher Form“ Auskunft zu geben. Das gilt nach Artikel 13 auch bei „einer automatisierten Entscheidungsfindung“, bei der betroffene Personen Anspruch auf „aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen“ haben.

Noch grundsätzlicher wird eine 52-köpfige Expertengruppe der Europäischen Kommission, die im vergangenen April ‚Ethik-Leitlinien für eine vertrauenswürdige KI‘ vorgelegt hat. Sie erklärt die EU-Verträge, die EU-Grundrechtecharta und die internationalen Menschenrechte zur Basis für die Entwicklung, Einführung und Nutzung von KI-Systemen und formuliert aufbauend darauf vier ethische Grundsätze: Vertrauenswürdige KI müsse die Autonomie des Menschen achten, Schaden verhüten, fair und erklärbar sein. Denn nur nachvollziehbare Entscheidungen könnten „ordnungsgemäß angefochten werden“.

Erklärbare Modelle

Diese rechtlichen und moralischen Rahmenbedingungen werfen eine Reihe von Fragen auf, mit denen sich xAI-Forscher beschäftigen müssen. Zunächst: Welche Methoden und Verfahren gibt es überhaupt, damit uns Blackbox-Algorithmen künftig nicht nur ihr Ergebnis, sondern auch den Lösungsweg mitteilen? Eine Antwort auf die Frage hängt davon ab, welches Modell dem KI-Verfahren zugrunde liegt. Denn es gibt von Natur aus erklärbare oder auch Whitebox-Modelle, die Anwender gut nachvollziehen können, und es gibt von Natur aus nicht erklärbare Modelle, für die ein alternativer Weg zur Erklärbarkeit gefunden werden muss.

Wie bereits erwähnt, arbeiten erklärbare Modelle zwar der Verständlichkeit zu, für ein KI-Ergebnis reicht ihre Genauigkeit jedoch oft nicht aus. Hierzu gehören lineare Modelle. Dabei werden die Daten – je nachdem auf welcher Seite einer Geraden sie liegen – einer Klasse zugeordnet. Sie besitzen also eine nachvollziehbare Entscheidungsgrenze.

Eine weitere Erklärungshilfe für ML-Ergebnisse sind Entscheidungsbäume. Diese eignen sich insbesondere dann, wenn eine lineare Entscheidungsgrenze nicht mehr ausreicht, und repräsentieren anhand ihrer Verästelung regelbasierte mögliche Entscheidungspfade des Algorithmus. Die Entscheidungen sind hierarchisch gegliedert und führen so von der Ausgangsfrage entsprechend den Zwischenantworten zu einem Klassifizierungsergebnis. Allerdings können Entscheidungsbäume auch eine derartige Komplexität generieren, dass sie wiederum unverständlich werden.

Als dritte Erklärungshilfe sind regelbasierte Systeme, die anhand von vorgegebenen Wenn-Dann-Regeln Entscheidungen fällen, für Anwender prinzipiell gut nachvollziehbar. „Zwar ist ein Entscheidungsbaum auch bereits ein Regelsystem; ich kann diese Regeln aber noch einmal gesondert aufschlüsseln“, führt Huber aus. „So lassen sich Regeln beispielsweise priorisieren oder alle gleich gewichten. Kommt es zu Widersprüchen, sind diese aufzulösen. Und auch hier gilt es aufzupassen, dass die Anzahl der Regeln beherrschbar bleibt. Sonst ergibt sich gegenüber einem automatisierten Modell kein Mehrwert.“

Hilfsmittel zur Erklärbarkeit

Liegt einem KI-Ergebnis ein von Natur aus nicht erklärbares Modell zugrunde, wie beispielsweise ein tiefes neuronales Netz, braucht es eine Art Übersetzungsleistung für Anwender. Denn hier gibt es im Gegensatz zu den erklärbaren Modellen keine so klare Entscheidungsgrenze für die Ergebnisgewinnung. Die Übersetzungsleistung kann dabei entweder global orientiert sein – sprich das Modell als Ganzes erklären –, oder lokal ausgerichtet sein und erklären, warum eine bestimmte Eingabe x zu einer bestimmten Ausgabe y führt. Drei Verfahren seien beispielhaft aufgeführt.

Das erste Verfahren ist das Bilden eines Stellvertretermodells oder auch Surrogats. Dieses Whitebox-Modell simuliert das Blackbox-Modell und trifft weitgehend gleiche Vorhersagen. Soll für ein Surrogat ein Entscheidungsbaum etwa aus einem neuronalen Netz extrahiert werden, kann die Komplexität des Netzes durch die sogenannte Regularisierung beziehungsweise das Forcieren bestimmter Eigenschaften eines Netzes beeinflusst werden. Zudem ist es machbar, das Gewicht möglichst vieler Kanten im Netz automatisch auf null zu setzen, sodass diese wegfallen. Dies führt die sogenannte Spärlichkeit herbei. Sie macht das Netz nicht nur schlanker und somit nachvollziehbarer, sondern ermöglicht auch eine schnellere Auswertung, weil die Rechenzeit sinkt.

Das zweite Hilfsmittel sind kontrafaktische Erklärungen. Diese schlüsseln auf, welches Detail der Eingabedaten konkret ein Ergebnis herbeiführte. Sie dienen also der lokalen Erklärbarkeit. So könnte ein Algorithmus, der über Kreditvergaben entscheidet, als Erklärung ausspielen: „Ihr Kreditgesuch wurde abgelehnt, weil ihr Einkommen zu niedrig ist, um die Zinsen bedienen zu können.“ Dieses Hilfsmittel macht nicht nur ML-Anwendungen verständlicher, sondern beinhaltet auch eine Handlungsempfehlung. Wenn der Anwender weiß, dass aus einer Summe von Eingabedaten genau die Eingabe x zum Ergebnis y führte, kann eine kleinstmögliche Veränderung der Eingangsdaten eine andere Ausgabe erzeugen.

Eine dritte Möglichkeit sind schließlich Erklärungsrepräsentationen. Hierbei können Modelle visualisiert oder mit Hilfe von Narrativen, virtueller Realität, Animationen oder Sprachausgaben erklärt werden. „In der Bildverarbeitung möchte ich beispielsweise wissen, warum ein Foto als Katze und nicht als Hund klassifiziert wurde. Dafür nutzen wir sogenannte Heatmap-Technologien. Diese heben hervor, welche Teile des Bildes wichtig oder unwichtig für die Entscheidung waren“, erklärt Huber. Oder eine Textverarbeitung schlüsselt auf, warum eine E-Mail als Spam deklariert wurde.

KI für sichere Mensch-Roboter-Kooperation

Jeder MRK-Arbeitsplatz ist anders. Sicherheitsbeauftragte müssen daher für jeden eine eigene Risiko- und Gefährdungsbeurteilung durchführen. Algorithmen könnten sie dabei unterstützen, doch dafür müssen sie nachvollziehbare Ergebnisse liefern.

© Fraunhofer IPA / Rainer Bez

Bei der Mensch-Roboter-Kooperation (MRK) sind globale Erklärungen, die das Modell als Ganzes erklären, unabdingbar. Denn bei der vorgeschriebenen Risiko- und Gefährdungsbeurteilung nach ISO 12100 kommt immer häufiger das sogenannte Reinforcement Learning (RL) zum Einsatz – ein maschinelles Lernverfahren, bei dem ein Roboter für richtiges Handeln ‚belohnt‘ wird. Das bedeutet: Roboter erhalten für richtiges Handeln Punkte und steigen in einem Ranking auf. Sie sind also bestrebt, möglichst viele Punkte zu sammeln und ganz oben im Ranking zu stehen.

Unter Einsatz von RL lernt ein Roboter an einem virtuellen MRK-Arbeitsplatz, wie er trotz der völlig unvorhersehbaren Bewegungen eines Menschen seine Montageaufgabe erledigen kann, ohne jemanden zu verletzen. Weil beim RL aber ein neuronales Netz zum Einsatz kommt, das ein Sicherheitsbeauftragter nicht durchdringen kann, wird er nie die Verantwortung für Sicherheitsimplementierungen übernehmen, die ihm ein Algorithmus vorschlägt. Das wäre grob fahrlässig und könnte vor Gericht enden.

Bisher gibt es für das RL allenfalls lokale Erklärungen für spezifische Eingabedaten. Im Forschungsprojekt KLEAR möchte Huber deshalb zusammen mit MRK-Experte Ramez Awad von der Abteilung Roboter- und Assistenzsysteme am Fraunhofer IPA und zehn weiteren Partnern aus Wissenschaft und Industrie an der globalen „Nachvollziehbarkeit und Erklärbarkeit der mittels ML-Verfahren gewonnenen Risiko- und Gefährdungsbeurteilung in einer Mensch-Roboter-Kooperationsapplikation für CE-Dokumentation“ arbeiten. Das Problem dabei: Bisher sind globale Erklärungen immer nur Annäherungen an die komplexen Lösungswege eines neuronalen Netzes. Die bereits genannten Entscheidungsbäume etwa bieten eine mühelos nachvollziehbare Darstellungsform. Allerdings vereinfachen sie so sehr, dass viele Informationen keine Berücksichtigung finden. Bei sogenannten Ontologien – Schaubildern ähnlich einer Mind-Map, auf denen einzelne Begriffe zueinander in Beziehung gesetzt werden – ist es umgekehrt. Sie bilden die Wirklichkeit vollständig ab, sind aber schwer zu verstehen.

Die Forscher um Huber wollen nun verständliche Erklärungen für die Sicherheitsimplementierungen extrahieren, die das neuronale Netz vorschlägt, und dabei den Informationsverlust so gering wie möglich halten. So möchten sie Sicherheitsbeauftragte in die Lage versetzen, die Schutzmaßnahmen, die die Algorithmen vorsehen, zu prüfen und anschließend zu bestätigen oder zu verwerfen. Ihr Einverständnis vorausgesetzt, leitet das System automatisch einen Code für die Speicherprogrammierbare Steuerung (SPS) des geplanten MRK-Arbeitsplatzes ab.

Wartung zum richtigen Zeitpunkt

Wenn Verschleißteile zu früh oder zu spät ausgetauscht werden, verursacht das unnötige Kosten. Tiefe neuronale Netze sollen deshalb die Sensordaten einer Maschine auswerten und den richtigen Zeitpunkt für die Wartung ermitteln.

© Uni Stuttgart IFF, Fraunhofer IPA/Rainer Bez

Ein weiteres Anwendungsgebiet für xAI ist die vorausschauende Wartung. Denn in klassischen Produktionsanlagen werden Verschleißteile aktuell meist zu früh oder zu spät ausgetauscht. Beides führt zu unnötigen Kosten. Mittels Sensordaten und deren maschineller Auswertung soll eine Wartung zum genau richtigen Zeitpunkt möglich werden.

Für die Analyse in Echtzeit kommen momentan häufig Complex-Event-Processing-Ansätze (CEP) unter Verwendung nachvollziehbarer Regeln zum Einsatz. Dabei zeigt sich aber in der Praxis, dass der betrachtete kurze Live-Datenausschnitt oft nicht ausreicht, um mögliche Probleme zu identifizieren. Durch eine Vergrößerung des Beobachtungszeitraums können mittels komplexer ML-Ansätze zwar aussagekräftige Muster in den Daten ermittelt, ihr Zustandekommen aber nicht nachvollzogen werden. Dies ist jedoch entscheidend für die Verfeinerung und Verbesserung der CEP-Regeln und um die Qualität von Vorhersagen zu verbessern. Surrogate sollen künftig helfen, das Verständnis der Regeln zu verbessern. – Ein Thema, das konkret im Forschungsprojekt ‚Extraktion von Erklärungen für überwachte Lernverfahren‘ – kurz EVE – adressiert wird.

Autoren;
Karin Röhricht ist Redakteurin am Fraunhofer IPA,
Hannes Weik ist Redakteur am Fraunhofer IPA.