"Dabei muss Watson wie ein Kollege agieren"

CW: Das bedeutet, KI macht auch Fehler?

Wolfgang Wahlster: Das bedeutet - wir müssen darauf bestehen, Erklärungskomponenten für selbstlernende KI-Systeme zur Verfügung gestellt zu bekommen, die in Echtzeit Lernergebnisse zumindest plausibilisieren und kritische Nachfragen des letztlich verantwortlichen Menschen beantworten können. Diese müssen in der Lage sein, auf menschlich verständliche Weise darzulegen, warum das System eine bestimmte Entscheidung vorschlägt. Beispiel: Es wird ein Störfall in der Leitwarte eines Atomkraftwerks gemeldet.

Dahinter arbeitet ein automatisiertes System mit Lernmechanismen. Das empfiehlt "Achtung, wir müssen hier eine Notabschaltung betreiben und die Steuerstäbe einfahren." Dann muss der Mensch in der Lage sein zu fragen: "Warum soll ich das eigentlich jetzt machen? Was ist die Erklärung dafür?" Wenn der Mensch diese Erklärung dann überhaupt nicht versteht, sollte er den Vorschlag der Maschine auch nicht ausführen. Oder nehmen Sie ein Beispiel aus der Medizin: Ein Watson-System (ein von IBM entwickeltes selbstlernendes Softwaresystem, Anm.d.Red.) kann einem Arzt gewisse Behandlungsmethoden empfehlen und zu einer gefährlichen Operation raten.

In solch einem Fall muss das System in der Lage sein, dem Arzt zu erklären, wie es auf diese Handlungsoption gekommen ist. Dabei muss Watson wie ein Kollege agieren und nicht einfach sagen, es habe bis jetzt schon zehn Millionen Datenpunkte ausgewertet. Vielmehr muss es in einer für den Arzt verständlichen Form seine Vorschläge erklären können, damit der Arzt Vertrauen in die Lösungsangebote hat. Denn letztlich trägt er die Verantwortung gegenüber dem Patienten.

CW: Ist denn dem Urteil eines Arztes mehr zu trauen als der Auswertung von Abermillionen Datensätzen - da kann doch kein Arzt mit seinem Wissen mithalten?

Wolfgang Wahlster: Watson kenne ich sehr gut, denn ich habe mit SmartWeb eines der Vorgängerprojekte in Deutschland geleitet. Wir dürfen solche Systeme, die auf der intelligenten Auswertung von Daten beruhen, nicht als Orakel missbrauchen, sondern sie zwar als wichtige Informationsquelle, aber mit einer notwendigen kritischen Distanz benutzen. Denn letztlich ist es der Arzt, der haftbar gemacht wird, wenn einem Patienten durch eine Fehlbehandlung Schaden zugefügt wird. Auch vor Watson konnte ein Arzt sich nicht darauf zurückziehen, dass in seinem medizinischen Lehrbuch durch einen Druckfehler eine falsche Dosierung eines Medikaments empfohlen wurde. So sieht es unser Rechtssystem vor.

Und deshalb muss das System den Arzt überzeugen. Das ist technisch eine große Herausforderung. Wir müssen selbstlernende Systeme als wertvolle Hilfen bei der Entscheidungsunterstützung nutzen, ohne dauerhaft alle Entscheidungen an solche Systeme zu delegieren. Auch der Autopilot muss von einem menschlichen Piloten wegen einer klar erkennbaren Fehlfunktion abgeschaltet werden können.