Forscher am Massachusetts Institute of Technology (MIT) arbeiten an Lösungen, mit denen Machine-Learning-(ML-)Modelle besser erklärt werden können. Dabei geht es in erster Linie um die Interpretierbarkeit von Merkmalen dieser Modelle. Die Forscher haben dafür eine Taxonomie entwickelt, die Entwicklern dabei helfen soll Funktionen so zu gestalten, dass sie für Anwender und Entscheider leichter zu verstehen sind.

"Wir haben festgestellt, dass immer noch viel Verwirrung herrscht, auch wenn wir modernste Methoden zur Erklärung von maschinellen Lernmodellen verwenden", sagt Alexandra Zytek, Doktorandin der Elektrotechnik und Informatik sowie Hauptautorin eines Papiers (PDF), in dem die Taxonomie vorgestellt wird. Die Ursache liege meist in den Funktionen, nicht im Modell selbst.

Erklärungsmethoden, die ML-Modelle verständlich machen sollen, beschreiben oft, wie stark bestimmte Merkmale, die in dem Modell verwendet werden, zu dessen Vorhersage beitragen. Wenn ein Modell beispielsweise das Risiko eines Patienten für eine Herzerkrankung vorhersagt, möchte ein Arzt vielleicht wissen, wie stark die Herzfrequenzdaten des Patienten diese Prognose beeinflusst haben. Allerdings seien diese Merkmale oft so komplex oder verworren in dem Modell codiert, dass Benutzer vor einer Blackbox stünden, deren Inhalt sie nicht verstehen könnten.

Verschiedene Merkmale für verschiedene Nutzertypen

Für ihre Taxonomie haben die MIT-Forscher Eigenschaften definiert, die Merkmale für fünf Arten von Nutzern interpretierbar machen - vom KI-Experten bis hin zu den Menschen, die von den Vorhersagen eines ML-Modells betroffen sind. Sie bieten auch Anleitungen, wie Modellentwickler Merkmale in Formate umwandeln können, die für Laien leichter zu verstehen sind. Es sei besser, bereits zu Beginn des Entwicklungsprozesses interpretierbare Merkmale zu verwenden, anstatt sich erst im Nachhinein Gedanken über die Erklärbarkeit zu machen, lautet der Ratschlag der Forscher.

Merkmale sind Eingabevariablen, die in ML-Modelle eingespeist werden. Sie werden normalerweise aus den Spalten eines Datensatzes gezogen. Datenwissenschaftler wählen in der Regel solche Merkmale für das Modell aus und verarbeiten sie manuell weiter. Dabei konzentrieren sie sich hauptsächlich darauf, die Merkmale so zu entwickeln, dass sie die Modellgenauigkeit verbessern, und nicht darauf, ob ein Nutzer und Entscheider sie verstehen kann, erklärt Kalyan Veeramachaneni, leitender Forschungswissenschaftler im Laboratory for Information and Decision Systems (LIDS) und Leiter der Data to AI-Gruppe am MIT.

Machine-Learning-Modelle brauchen Vertrauen

Das Forscherteam hat mit Anwendern zusammengearbeitet, um die Herausforderungen der Benutzerfreundlichkeit des maschinellen Lernens zu ermitteln. Diese Nutzer, die meist keine oder nur wenige ML-Kenntnisse mitbringen, trauten den Modellen oft nicht, weil sie die Merkmale, die die Vorhersagen beeinflussen, nicht verstünden, hieß es.

Ein Beispiel: In einem Projekt auf der Intensivstation eines Krankenhauses sollte mithilfe von maschinellem Lernen das Risiko vorhergesagt werden, ob bei Patienten nach einer Herzoperation Komplikationen auftreten könnten. Einige Merkmale für die entsprechenden Modelle wurden als aggregierte Werte dargestellt, zum Beispiel der Trend der Herzfrequenz eines Patienten im Laufe der Zeit. Obwohl die auf diese Weise kodierten Merkmale "modellfähig" waren - das Modell konnte die Daten verarbeiten -, verstanden die Ärzte nicht, wie sie zustande kamen. Sie hätten lieber gesehen, wie sich diese aggregierten Merkmale zu den ursprünglichen Werten verhalten, damit sie Anomalien in der Herzfrequenz eines Patienten erkennen können. Data Scientists hätten dagegen gut mit den aggregierten Merkmalen arbeiten können.

"Bei der Interpretation sind die Anforderungen unterschiedlich", sagt Veeramachaneni. Es gebe unterschiedliche Bedürfnisse und auch die Interpretierbarkeit selbst habe viele Ebenen. Die Erkenntnis, dass "one size fits all" hier nicht funktioniert, ist der Schlüssel für die Taxonomie der MIT-Forscher. Sie definieren Eigenschaften, die Merkmale für verschiedene Entscheidungsträger mehr oder weniger interpretierbar machen können. Dabei wird überlegt, welche Eigenschaften für bestimmte Benutzer wahrscheinlich am wichtigsten sind.

Feature Engineering: Wie verständlich sind die Daten?

ML-Entwickler und Data Scientists präferieren Funktionen, die mit dem Modell kompatibel und prädiktiv sind, die also die Leistung des Modells verbessern. Entscheider mit geringer ML-Erfahrung sind dagegen besser mit Funktionen bedient, die von Menschenhand formuliert sind. Sie müssen in einer für die Benutzer natürlichen Weise verständlich beschrieben werden. "Die Taxonomie besagt: Wenn Sie interpretierbare Merkmale erstellen, bis zu welcher Ebene sind sie interpretationsfähig?", beschreibt Zytek ihren Ansatz. "Je nach Art der Fachleute, mit denen Sie arbeiten, brauchen Sie nicht alle Ebenen." Die Forscher skizzieren in ihrer Arbeit auch Techniken des Feature-Engineering, die Entwickler anwenden können, um Eigenschaften für bestimmte Zielgruppen besser nachvollziehbar zu machen.

Feature Engineering ist ein Prozess, bei dem Data Scientists Daten in ein Format umwandeln, das ML-Modelle verarbeiten kann. Dabei werden Techniken wie die Aggregation von Daten oder die Normalisierung von Werten angewandt. Die meisten Modelle können keine Daten verarbeiten, die nicht in einen numerischen Code umgewandelt wurden. Das Problem: Diese Umwandlungen sind für Laien oft fast unmöglich zu entschlüsseln. "Um interpretierbare Merkmale zu erstellen, muss möglicherweise ein Teil dieser Kodierung rückgängig gemacht werden", erklärt Zytek.

Das muss nicht zwangsläufig auf Kosten der Genauigkeit des ML-Modells gehen. "In vielen Bereichen ist der Kompromiss zwischen interpretierbaren Merkmalen und Modellgenauigkeit tatsächlich sehr gering", stellt die MIT-Wissenschaftlerin fest. Aufbauend auf dieser Arbeit haben die Forscher ein System entwickelt, komplizierte Merkmalstransformationen effizienter zu handhaben, um menschenzentrierte Erklärungen für ML-Modelle zu erstellen. Dieses neue System werde auch Algorithmen zur Erklärung modellreifer Datensätze in Formate konvertieren, die von Anwendern ohne tiefergehende ML-Kenntnisse verstanden werden können.