Nehmen wir an, die Data-Science-Teams Ihres Unternehmens haben Geschäftsziele für Bereiche dokumentiert, in denen Analytics und Machine-Learning-Modelle geschäftliche Auswirkungen haben können. Jetzt sind alle bereit, mit der Optimierung loszulegen: Datensätze sind markiert, ML-Technologien ausgewählt, ein Prozess für die Entwicklung von ML-Modellen eingerichtet und der Zugang zur skalierbaren Cloud-Infrastruktur steht ebenfalls. Zeit, grünes Licht für die ML-Modellentwicklung zu geben?

Einige KI- und ML-Experten würden davon eher abraten. Schließlich ist jeder produktive Einsatz von Innovationen mit Risiken verbunden, die überprüft und strategisch minimiert werden müssen. Risikomanagement-Prozesse so früh wie möglich in Entwicklungs- und Data-Science-Protesse zu integrieren, ist deshalb empfehlenswert. Die meisten Unternehmen richten zu diesem Zweck einen Software Development Lifecycle (SDLC) ein, setzen auf einen Shift-Left-Ansatz in Sachen DevSecOps und schaffen Observability-Standards. Das stellt darüber hinaus auch sicher, dass die Softwareentwickler den Code pflegen und optimieren können, sobald er produktiv eingesetzt wird.

Wenn es darum geht, Machine-Learning-Modelle zu managen, ist ModelOps das Äquivalent zu einem SDLC. Der Ansatz vereint eine Reihe von Methoden, um den Lifecycle besagter Modelle zu managen. Datenwissenschaftler können mit Hilfe von Modelops ML-Modelle erstellen, testen und bereitstellen - aber auch monitoren und optimieren, um die gewünschten Ergebnisse sicherzustellen.

Risikomanagement ist eine breite Kategorie - wir konzentrieren uns in diesem Artikel ausschließlich auf die Risiken in Zusammenhang mit ModelOps und dem Lebenszyklus von ML-Modellen. Im Gespräch mit mehreren Experten haben wir fünf Risiken zusammengetragen, die Sie mit ModelOps minimieren können.

1. Keine Risikomanagementstrategie

Laut dem Report "State of Modelops 2022" stellt es für mehr als 60 Prozent der befragten Führungskräfte eine Herausforderung dar, Risiken und Compliance zu managen. Weil Datenwissenschaftler in der Regel keine Risikomanagement-Experten sind, sollten Unternehmen im ersten Schritt mit den entsprechenden Entscheidern in diesem Bereich eine Strategie entwickeln, die auf den Modelops-Lebenszyklus angepasst ist.

"Das Ziel der Innovation ist es, bessere Methoden zu finden, um ein gewünschtes Geschäftsergebnis zu erreichen", erklärt John Wheeler, Senior Advisor of Risk and Technology beim Softwareanbieter AuditBoard. "Für Datenwissenschaftler bedeutet das oft, neue Datenmodelle zu erstellen, um bessere Entscheidungen zu treffen. Ohne Risikomanagement können die gewünschten Geschäftsergebnisse allerdings einen hohen Preis haben. Bei ihrem Streben nach Innovation müssen Data Scientists auch versuchen, zuverlässige und gültige Datenmodelle zu erstellen, indem sie die Risiken, die in den Daten stecken, verstehen und minimieren."

2. Erhöhter Wartungsaufwand

Data-Science-Teams sollten auch Standards dafür schaffen, auf welche geschäftlichen Probleme sie sich konzentrieren und wie sie Modelle verallgemeinern können, die in einem oder mehreren Geschäftsbereichen und -feldern funktionieren. Dabei sollten sie es vermeiden, mehrere Modelle zu erstellen und zu pflegen, die ähnliche Probleme lösen - vielmehr benötigen sie effiziente Techniken, um Modelle in neuen Geschäftsbereichen zu trainieren.

Dieser Herausforderung - und ihrer Folgen - ist sich auch Srikumar Ramanathan, Chief Solutions Officer beim IT-Dienstleister Mphasis, bewusst: "Jedes Mal, wenn sich der Bereich ändert, müssen die ML-Modelle von Grund auf neu trainiert werden, selbst wenn Standardprinzipien für Machine Learning verwendet werden." Dieses Problem lasse sich durch inkrementelles Lernen lösen: "Die Input-Daten werden kontinuierlich dazu genutzt, das Modell zu erweitern. So lässt sich ein Modell für die neuen Domänen mit weniger Ressourcen trainieren."

Beispiele für inkrementelles Lernen finden Sie zum Beispiel bei:

• AWS SageMaker,

• Azure Cognitive Search,

• Matlab und

• Python River.

3. Zu viele Datenmodelle

Damit enden die Herausforderungen in Sachen ML-Modellpflege jedoch nicht, weiß Kjell Carlsson, Head of Data Science Strategy and Evangelsim bei Domino Data Lab: "Ein wachsendes, aber weitgehend übersehenes Risiko besteht darin, dass Data-Science-Teams ihre Modelle immer langsamer neu entwickeln und bereitstellen. Dazu kommt es, weil die Modellgeschwindigkeit in der Regel weit unter dem erforderlichen Wert liegt. Das führt zu einem wachsenden Backlog an Modellen, die nicht die erforderliche Leistung erbringen. Da diese Modelle immer wichtiger werden und im gesamten Unternehmen verankert sind, entsteht in Kombination mit dem sich verändernden Kunden- und Marktverhalten eine tickende Zeitbombe."

Ähnlich wie Devops-Teams die Zykluszeit für die Auslieferung und Bereitstellung von Funktionen messen, können Data Scientists die Geschwindigkeit ihrer Modelle messen. Das ist laut Carlsson der wichtigste Ausgangspunkt, um dieses Risiko zu managen.

Data-Science-Teams sollten darüber hinaus die Zentralisierung eines Modellkatalogs oder -registers in Erwägung ziehen, damit die Teammitglieder wissen, welche Modelle existieren, welchen Status sie im ML-Modell-Lebenszyklus haben und welche Personen diese managen. Modellkatalog- und Registry-Funktionen finden sich in Data-Catalog-Plattformen, ML-Entwicklungstools und sowohl MLops- als auch Modelops-Technologien.

4. Bürokratie

Angenommen, das Data-Science-Team hat die Standards und Best Practices des Unternehmens für Data- und Modell-Governance befolgt. Dennoch muss das Deployment warten. Denn Risikomanagement-Verantwortliche möchten möglicherweise Review Boards einrichten, um sicherzustellen, dass die Datenwissenschaftler alle begründeten Risiken mindern. Risikoprüfungen können sinnvoll sein, wenn Data-Science-Teams gerade erst damit beginnen, ML-Modelle in die Produktion zu überführen. Dabei stellen sich zwei Fragen:

• Wann ist ein Review Board notwendig?

• Was ist zu tun, wenn sich das als Bottleneck erweist?

Chris Luiz, Director of Solutions and Success beim Softwareanbieter Monitaur, bietet einen alternativen Ansatz an: "Eine Kombination aus soliden Governance-Prinzipien, Softwareprodukten, die auf den Data Science Life Cycle abgestimmt sind und einer starken Ausrichtung der Stakeholder auf den Governance-Prozess - das ist eine wesentlich bessere Lösung als ein drakonisches Top-Down-Executive-Review-Board."

In Sachen ModelOps-Technologien empfiehlt Luiz: "Die Tools müssen sich nahtlos in den Data-Science-Lebenszyklus einfügen, das Innovationstempo beibehalten und vorzugsweise erhöhen, die Anforderungen der Stakeholder erfüllen und eine Self-Service-Erfahrung für nicht-technische Stakeholder bieten."

Zu den Modelops-Technologien mit Risikomanagement-Funktionen gehören etwa die Plattformen von:

• Datatron,

• Domino,

• Fiddler,

• MathWorks,

• ModelOp,

• Monitaur,

• RapidMiner,

• SAS und

• TIBCO Software.

5. Data Drift und Betriebsprobleme

Es ist bekannt, dass Code gewartet werden muss, um Framework-, Bibliotheks- und Infrastruktur-Upgrades zu unterstützen. Dabei sollten die Data-Science-Teams darüber informiert sein, wenn ein ML-Modell nicht die gewünschte Leistung erbringt.

"Jedes KI/ML-Modell, das in Produktion geht, wird sich im Laufe der Zeit aufgrund der sich ändernden Daten in dynamischen Geschäftsumgebungen garantiert verschlechtern", erklärt Hillary Ashton, Executive Vice President und Chief Product Officer bei Teradata, und empfiehlt: "Sobald sie in Produktion sind, können Datenwissenschaftler Modelops verwenden, um automatisch zu erkennen, wenn Modelle beginnen, sich zu verschlechtern." (fm)

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation Infoworld.