Künstliche Intelligenz (KI) im Allgemeinen und Machine Learning (ML) im Speziellen können wie alle anderen neuen und alten Technologien Schwachstellen durch Fehlkonfigurationen aufwerfen - haben allerdings auch unikale Security-Risiken zu "bieten". Das liegt unter anderem daran, dass KI und ML - im Vergleich zu anderen Technologien - größere und komplexere Datenmengen erfordern. Die Algorithmen, die ihnen zugrunde liegen entstammen meist wissenschaftlichen Projekten - ein Bereich, in dem IT Security naturgemäß nur eine eher untergeordnete Rolle spielt. Das kann besonders dann zum Problem werden, wenn die dort entwickelten Open-Source-Algorithmen von Unternehmen wiederverwendet werden.

Die schiere Menge an Daten und die Anforderungen für ihre Verarbeitung führen oft dazu, dass zu diesem Zweck Cloud-Plattformen zum Einsatz kommen - was nicht nur für zusätzliche Komplexität, sondern auch für weitere Schwachstellen sorgt. Wenig überraschend, dass Cybersecurity laut einer Deloitte-Studie für 62 Prozent der befragten IT-Entscheider die größte Sorge darstellt. Erschreckend ist hingegen, dass nur 39 Prozent der Studienteilnehmer laut eigener Aussage auf diese Risiken vorbereitet sind.

Da Security inzwischen auch zu den wesentlichen Einsatzfeldern von KI gehört, potenzieren sich die Probleme noch. Insbesondere dann, wenn selbst grundlegende Security-Regeln nicht eingehalten werden - etwa die vollständige Inventarisierung aller KI-Projekte oder regelmäßiges Testing und Audits.

KI-Datenhunger macht Risiko

KI- und ML-Systeme benötigen dreierlei Arten von Daten:

• Trainingsdaten, um prädiktive Modelle auszubilden;

• Testdaten, um überprüfen zu können, wie gut diese Modelle funktionieren;

• und Prozessdaten wenn das Modell ausgerollt ist.

Insbesondere Prozessdaten sind ein wertvolles Asset für Unternehmen, allerdings sollten die Trainings- und Testdatenpools - die ebenfalls sensible Informationen enthalten können - deswegen nicht außer Acht gelassen werden. Schließlich lassen sich viele Grundprinzipien des Datenschutzes auch auf KI- oder ML-Projekte anwenden - zum Beispiel Anonymisierung, Tokenisierung oder Verschlüsselung.

Im ersten Schritt sollten sich Unternehmen fragen, welche Daten tatsächlich nötig sind. Gerade wenn es um Künstliche Intelligenz geht, neigen viele Anwenderunternehmen dazu, so viele Daten wie möglich zu sammeln. Erst im Nachgang wird dann ermittelt, für welche Zwecke man diese verwenden kann. Um das zu verhindern und nur die Daten zu sammeln, die für das Projekt wirklich nötig sind, sollte der Fokus auf die angestrebten Geschäftsziele gerichtet werden.

Natürlich können dabei immer auch Fehler passieren - etwa wenn Kunden ungefragt oder versehentlich persönliche Daten übermitteln, die eigentlich nicht gebraucht werden. KI-Systeme werden zudem oft mit kontextualisierten Daten gefüttert - eine Praxis, die für große Angriffsflächen sorgen kann, wenn diese Daten mit Kundenkontos korreliert werden können. Solche Datensätze sind nicht nur für das Unternehmen wesentlich interessanter, sondern auch für kriminelle Hacker. Kommt es in einem solchen Fall zum Datendiebstahl, kann die Unternehmensreputation erheblichen Schaden nehmen.

AI Security by Design

Ein Unternehmen, das besonders viele Daten schützen muss, ist zum Beispiel Box. Die Filesharing-Plattform bringt auch Künstliche Intelligenz zum Einsatz, etwa um Metadaten zu extrahieren oder Suchergebnisse zu optimieren.

Diese Daten zu schützen, hat für das Unternehmen oberste Priorität, weswegen bei allen Systemen und neuen Projekten stets grundlegende Security-Prinzipien zum Einsatz kommen. Dazu gehören zum Beispiel Verschlüsselung, Logging, Monitoring sowie Zugangskontrollen.

Auch in Sachen Softwareentwicklung setzt Box auf Sicherheit, wie CISO Lakshmi Hanspal erklärt: "Wir erfüllen die ISO-Industriestandards, um sichere Produkte zu entwickeln. Security by Design ist bei uns Standard und wir setzen auch entsprechende Prüfmechanismen wie Penetration Testing und Red Teaming ein - das gehört bei uns zum standardmäßigen Vorgehen, auch bei KI- und ML-Projekten."

Inversion-Angriffe sind im Kommen

KI- und ML-Systeme, die im Unternehmensumfeld zum Einsatz kommen setzen sich oft aus Open-Source-Bibliotheken und neu geschriebenen Komponenten zusammen. Üblicherweise waren dabei in beiden Fällen keine Sicherheitsexperten beteiligt - allerdings gibt es auch keine standardisierten Security Best Practices für die Programmierung sicherer KI-Algorithmen.

Eines der größten und hartnäckigsten Security-Risiken bei KI-Algorithmen besteht im ungewollten Abfluss von Trainingsdaten. Mit sogenannten Inversion-Attacken können fähige Cyberkriminelle KI-Systeme unter bestimmten Umständen dazu bringen, Informationen über sich selbst und die Daten, mit denen sie trainiert wurden, offenzulegen.

Nach Aussage von Edward Raff, Chief Scientist beim US-Beratungsunternehmen Booz Allen Hamilton, sind solche Angriffe einer der größten Pain Points - obwohl es bereits entsprechende Tools auf dem Markt gibt: "Sicherheitsforscher beschäftigen sich intensiv mit diesem Thema", erklärt Raff. "Wir wissen bereits, wie man solche Attacken stoppt - allerdings treibt das derzeit die Kosten und den Zeitaufwand für die Trainingsmodelle um den Faktor 100 nach oben."

Nicht nur Algorithmen absichern

Ein KI-System besteht nicht nur aus einer NLP-Engine, einem Algorithmus oder einem neuronalen Netz. Auch wenn diese Komponenten entsprechend abgesichert sind, muss das gesamte System inklusive User und Backend-Plattformen den Security-Ansprüchen genügen.

In diesem Zusammenhang sollten sich Unternehmen folgende Fragen stellen:

• Kommen starke Authentifizierungsmaßnahmen zum Einsatz?

• Wie steht es um Least-Privilege-Prinzipien?

• Sind die Verbindungen zu den Backend-Datenbanken abgesichert?

• Sind die Verbindungen zu Datenquellen von Dritten abgesichert?

• Ist das User Interface gegen Injection-Angriffe gewappnet?

Darüber hinaus spielt auch bei der Absicherung von KI- und ML-Systemen der Faktor Mensch eine wesentliche Rolle. Gerade Data Scientists sollen und müssen mit Daten experimentieren, um die besten Modelle ausbilden zu können. Das kann jedoch zu Risiken führen, wie Peter Herzog, Mitbegründer der Non-Profit-Organisation ISECOM, weiß: "Das Problem ist nicht in der Künstlichen Intelligenz, sondern den Menschen begründet. Es gibt kein KI-Modell, das absolut sicher ist, weil die Entscheidung darüber, wie diese Modelle trainiert werden, von Menschen getroffen wird."

Kommen KI-Systeme für Enterprise-Security-Zwecke (beispielsweise User Behavior Analytics oder Data Exfiltration) zum Einsatz, können Bias oder Model Drift weitere potenzielle Risiken aufwerfen. "Sie müssen dafür sorgen, dass Ihre Modelle stets auf dem aktuellen Stand sind" empfiehlt Raff daher.

Wolkig mit Aussicht auf KI

Der Daten- und Leistungshunger von Künstlicher Intelligenz und Machine Learning hat dazu geführt, dass so gut wie alle großen Cloud-Anbieter inzwischen Data-Science-Plattformen als "All-In-One-Lösungen" anbieten. Das hat den Vorteil, dass die Datenwissenschaftler nicht mehr warten müssen, bis die IT entsprechende Server zur Verfügung stellt. Die bereits genannte Studie von Deloitte kommt zu dem Ergebnis, dass 93 Prozent der befragten Unternehmen auf mindestens eine Form von Cloud-basierter KI zurückgreifen.

Das gestaltet den KI-Start zwar einfacher - wenn diese Systeme allerdings skalieren, vervielfachen sich die Konfigurations-Fallstricke und damit auch die Sicherheitsrisiken. Neu verfügbare Dienste sind darüber hinaus unter Umständen nicht zentral und automatisiert konfigurierbar - auch Security Management Dashboards sind bei neuen Produkten oft nicht verfügbar.

Für die Anwenderunternehmen bedeutet das, entweder eigene Lösungen zu coden, oder auf die Anbieter warten zu müssen. Diese veröffentlichen allerdings oft erst einmal neue Produkt-Features, bevor sie sich um die IT-Sicherheit kümmern. Das wiederum führt zu neuen Risiken, wenn die Benutzer der Systeme keinen Security-Hintergrund vorweisen können oder Systeme möglichst schnell ausgerollt und skaliert werden sollen. IoT Devices, Cloud Storage und Container lassen in diesem Zusammenhang grüßen.

Besserung ist allerdings in Sicht, wenn man Irfan Saif, Principal bei Deloitte und zuständig für das Thema KI, Glauben schenken mag: "Zumindest die Hyperscaler, die Enterprise KI Workloads unterstützen, haben aus ihren Fehlern gelernt. Diese Technologien sind früheren in Sachen Cybersecurity meiner Meinung nach überlegen."

Security-Checkliste für KI-Projekte

Um Unternehmen dabei zu unterstützen, ihre KI-Projekte nachhaltig abzusichern, stellt Deloitte ihnen in ihrem "State of the AI in the Enterprise"-Report eine Checkliste zur Verfügung. Diese enthält die folgenden Ratschläge:

• Erstellen Sie ein Inventar aller KI-Implementierungen

• Ihr KI-Risikomanagement sollte mit der allgemeinen Risikomanagement-Strategie in Einklang stehen

• Eine Führungskraft sollte in Sachen KI-Risiken den Hut aufhaben

• Internes Testing und Audits sind Pflicht

• Für unabhängiges Testing und Audits sollten Drittanbieter eingesetzt werden

• Anwender sollten bezüglich ethischer Fragestellungen geschult werden

• Die Systeme von KI-Anbietern dürfen keinen Bias aufweisen

• Policies oder ein Board zum Thema KI-Ethik sind empfehlenswert

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation CSO Online (fm).