Ähnlich wie Auskunfteien werden auch KI-Systeme häufig als Grundlage für nachfolgende Entscheidungen eingesetzt. So nutzen manche Unternehmen künstliche Intelligenz bereits, um Kandidaten aus einer Vielzahl von eingegangenen Job-Bewerbungen vorzusortieren. Medizinische Einrichtungen analysieren damit, welche Patienten sich besonders für eine Studie eignen.

Diverse Berichte haben zwar bereits gezeigt, dass auch die KI - ähnlich wie Menschen - mit einem gewissen Bias belastet ist. Wer durch das Auswahlraster fällt, tut sich aber in der Regel schwer damit, nachzuweisen, dass die Algorithmen beispielsweise bestimmte Personengruppen oder Lebensumstände diskriminieren.

Mit dem nun gefällten Urteil des europäischen Gerichtshofs könnte sich das ändern, glauben Datenschützer. Denn was für Schufa-Scores zutrifft, gelte dann auch generell für den Output einer künstlichen Intelligenz. Entsprechend müssten solche KI-basierten Bewertungen mit einer menschlichen Beurteilung verknüpft werden, erklärt Thomas Fuchs, der Hamburgische Beauftragte für Datenschutz und Informationsfreiheit.

KI darf nicht allein entscheiden

Der EuGH hat in seinem Urteil vom 7. Dezember festgestellt, dass es sich bei der Schuldnerbewertung der Kreditauskunftei Schufa um eine "automatisierte Entscheidung im Einzelfall" handelt. Ein solcher Score, der auf der Auswertung durch Algorithmen basiere, verstoße damit gegen DSGVO Artikel 22, Absatz 1 ("Automatisierte Entscheidungen im Einzelfall einschließlich Profiling"). Dort heißt es:

Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung - einschließlich Profiling -beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.

Oder verständlicher ausgedrückt: Gemäß Artikel 22 der Datenschutzgrundverordnung (DSGVO) hat jeder Mensch das Recht, nicht durch rein automatisierte Entscheidungen benachteiligt zu werden. Stattdessen gelten solche KI-basierte Bewertungen nur als Vorschläge und müssten mit einer menschlichen Beurteilung verknüpft werden.

Dies aber stelle Anwendende vor einige Herausforderungen, denn die letztendlich entscheidende Person benötige Sachkunde und genug Zeit, um die maschinelle Vorentscheidung hinterfragen zu können, so Datenschützer Fuchs. Nach den neuen Maßstäben des EuGH sei genau das aber jetzt essenziell: Die involvierte Logik, die hinter dem computergenerierten Vorschlag steckt, nachzuvollziehen und gegebenenfalls übersteuern zu können.

Entscheidungen nachvollziehbar machen

Im Nachhinein die Entscheidungen einer KI nachvollziehen zu können, dürfte sich schwierig gestalten. Es sei daher Aufgabe der Entwickler, Transparenz herzustellen, und Aufgabe der Anwender, sich mit der Funktionsweise auseinanderzusetzen und sie in jedem Einzelfall zu überprüfen, erklärt Fuchs. Sollte diese Abgrenzung von Mensch und Maschine nicht gelingen, seien Bewertungen von Einzelpersonen durch eine KI nur in den engen Grenzen des Artikels 22 DSGVO zulässig, nämlich:

• wenn die betroffene Person ausdrücklich eingewilligt hat, oder

• wenn die automatisierte Entscheidung im Ausnahmefall für die sofortige Erfüllung eines Vertrags erforderlich ist.

Aber auch in diesen Fällen seien die Betroffenen nicht schutzlos, befindet der Datenschützer: "Wenn sie sich von der KI falsch eingeschätzt fühlen, haben sie das Recht, ihren individuellen Standpunkt darzulegen und die Nachprüfung durch einen Menschen zu verlangen. Das letzte Wort muss stets der Mensch haben, und die Betroffenen können dies einfordern", konstatiert Fuchs.