Agile Entwicklungsteams müssen sicherstellen, dass Microservices, Anwendungen und Datenbanken:

• beobachtbar ("observable") sind,

• über ein Monitoring verfügen, um Betriebsprobleme zu erkennen und

• mit AIOps Alarmmeldungen zu handhabbaren Vorfällen korrelieren.

Wenn Benutzer und Business Stakeholder Erweiterungen wünschen, folgen DevOps-Teams agilen Methoden, um Feedback zu verarbeiten und neue Versionen bereitzustellen. Selbst wenn dabei nur wenige Anfragen auflaufen, wissen die Teams, dass sie Anwendungen aktualisieren und zugrundeliegende Komponenten patchen müssen. Ansonsten verwandelt sich die heute entwickelte Software zur technischen Schuld von morgen.

Komplexer als Software gestaltet sich das Lifecycle Management von Machine-Learning-Modellen, wie Andy Dang, Mitbegründer und technischer Leiter beim Observability-Anbieter WhyLabs, erklärt: "Daten, die Grundlage eines ML-Modells, sind komplex, hochdimensional und in ihrem Verhalten unvorhersehbar."

Neben Code, Komponenten und Infrastruktur werden ML-Modelle auch mit Hilfe von Algorithmen, Konfigurationen und Trainingsdatensätzen erstellt. Diese müssen aber im Zeitverlauf aktualisiert werden, wenn sich Annahmen und Daten verändern.

Warum Machine Learning Monitoring braucht

Machine-Learning-Modelle zu monitoren ermöglicht Datenwissenschaftlern - ähnlich wie bei entsprechenden Applikationen in den Bereichen Performance, Zuverlässigkeit und Fehlerbedingungen - einen Überblick über die Modellleistung. Besonders wichtig ist das, wenn Modelle für Vorhersagen verwendet werden oder hoch volatile Datensätze zum Einsatz kommen. "Die Hauptziele beim Monitoring von ML-Modellen sind Leistung und Fehlerbehebung. ML-Teams wollen ihre Modelle optimieren und sicherstellen, dass alles wie vorgesehen läuft", erklärt Dmitry Petrov, Mitbegründer und CEO des ML-Tool-Anbieters Iterative.

Rahul Kayala, Principal Product Manager beim KI-Plattformanbieter Moveworks, stimmt zu und nennt weitere Vorteile für Unternehmen: "Monitoring kann Unternehmen dabei unterstützen, die Vorteile von KI-Vorhersagen mit ihrem Bedarf an vorhersehbaren Ergebnissen in Einklang zu bringen. Automatisierte Warnmeldungen können ML-Betriebsteams dabei helfen, Ausreißer in Echtzeit zu erkennen, so dass sie reagieren können, bevor Schaden entsteht."

"Die Kopplung von robustem Monitoring mit einer automatisierten Remediation beschleunigt die Zeit bis zur Lösung, was den Geschäftswert maximiert und die Risiken entscheidend verringert", ist Stu Bailey, Mitbegründer des KI-Governance-Spezialisten ModelOp, überzeugt. Insbesondere Datenwissenschaftler sollten über unerwartete Ausreißer informiert werden. Kayala erklärt, was man darunter versteht: "KI-Modelle sind oft probabilistisch, können also eine Reihe von Ergebnissen erzeugen. Manchmal produzieren Modelle dabei einen Ausreißer - also ein Ergebnis, das deutlich außerhalb des normalen Bereichs liegt. Ausreißer können sich störend auf die Geschäftsergebnisse auswirken und haben oft erhebliche negative Folgen, wenn sie unbemerkt bleiben. Um sicherzustellen, dass KI-Modelle in der realen Welt wirksam sind, sollten ML-Teams auch Trends und Schwankungen bei Produkt- und Geschäftskennzahlen überwachen, auf die sich KI direkt auswirkt."

Nehmen wir zum Beispiel die Vorhersage des Tageskurses einer Aktie: Bei geringer Marktvolatilität können Algorithmen wie Long Short-Term Memory (LSTM) rudimentäre Vorhersagen liefern. Umfassendere Deep-Learning-Algorithmen können die Genauigkeit verbessern. Die meisten Modelle haben jedoch Schwierigkeiten, genaue Vorhersagen zu treffen, wenn die Märkte stark schwanken. Das Monitoring von ML-Modellen kann auf diese Bedingungen hinweisen.

Eine andere Art von ML-Modellen führt Klassifizierungen durch und Präzisions- und Recall-Metriken können helfen, die Genauigkeit zu tracken. Die Präzision misst die echten positiven Ergebnisse im Vergleich zu den vom Modell ausgewählten, während die Rückrufquote die Empfindlichkeit eines Modells erfasst. ML-Monitoring kann auch auf eine Modellabweichung hinweisen:

• Etwa einen "Concept Drift", wenn sich die der Vorhersage zugrundeliegende Statistik verändert oder

• oder "Data Drift" wenn sie die Input-Daten verändern.

Ein weiteres Problem ist Explainable ML, bei der Modelle einem Stresstest unterzogen werden, um festzustellen, welche Eingabemerkmale am stärksten zu den gewünschten Ergebnissen beitragen. Dieses Problem steht im Zusammenhang mit Modellverzerrungen (Bias), bei denen die Trainingsdaten statistische Fehler aufweisen, die das Modell zu falschen Vorhersagen verleiten. Model Performance Management zielt darauf ab, die genannten Probleme in den Phasen der Entwicklung, Schulung, Bereitstellung und Monitoring zu lösen.

Krishnaram Kenthapadi, leitender Wissenschaftler beim Softwareunternehmen Fiddler, ist der Ansicht, dass Explainable ML, die ein geringeres Bias-Risiko aufweisen soll, Model Performance Management erfordert: "Um sicherzustellen, dass ML-Modelle nicht übermäßig diskriminieren, benötigen Unternehmen Lösungen, die während des gesamten Lebenszyklus - von der Modellschulung und -validierung bis hin zur Analyse und Optimierung - Kontext und Einblick in das Modellverhalten bieten. Model Performance Management stellt sicher, dass die Modelle vertrauenswürdig sind und unterstützt Ingenieure und Datenwissenschaftler dabei, Verzerrungen zu erkennen, die Ursache zu monitoren und rechtzeitig Erklärungen dafür zu liefern, warum diese Instanzen aufgetreten sind."

ML-Monitoring: 5 Best Practices

ModelOps, ML-Monitoring und Model Performance Management sind Begriffe für Praktiken und Tools, die sicherstellen, dass Machine-Learning-Modelle wie erwartet funktionieren und zuverlässige Vorhersagen liefern. Welche grundlegenden Praktiken sollten Data-Science- und DevOps-Teams bei ihren Implementierungen berücksichtigen?

Josh Poduska, Chief Field Data Scientist bei Domino Data Lab, empfiehlt: " Um die zukünftige Genauigkeit eines Modells, das abgedriftet ist, zu verbessern, muss es mit frischeren Daten und den zugehörigen Ground-Truth-Labels, die die aktuelle Realität besser widerspiegeln, neu trainiert werden."

Ira Cohen, Chief Data Scientist und Mitbegründer von Anodot, nennt weitere wichtige Faktoren beim Monitoring von ML-Modellen: "Zuallererst sollten die Modelle das Verhalten von In- und Output monitoren - Verschiebungen bei den Eingabedaten können Probleme verursachen." Der Experte schlägt vor, Proxy-Maßnahmen zu verwenden, wenn die Modellleistung nicht direkt oder schnell genug gemessen werden kann. Laut Cohen benötigten Data Scientists darüber hinaus die richtigen Tools, um ML-Modelle zu überwachen: "Modelle manuell zu überwachen ist nicht skalierbar und Dashboards und Reportings sind nicht in der Lage, die Komplexität und das Volumen der Monitoring-Daten zu bewältigen, die in vielen Fällen anfallen."

Diese fünf Best Practices empfehlen Experten, wenn es um ML-Modell-Monitoring und Leistungsmanagement geht:

• Petrov empfiehlt: "Stellen Sie sicher, dass Sie zu Beginn des Lebenszyklus der Modellentwicklung über die nötigen Tools und Automatisierungen verfügen, um Ihre Monitoring-Anforderungen zu erfüllen."

• Dang meint: "Dateningenieure und Wissenschaftler sollten erste Validierungen durchführen, um sicherzustellen, dass ihre Daten das erwartete Format haben. Wenn die Daten und der Code eine CI/CD-Pipeline durchlaufen, sollten sie Daten-Unit-Tests durch Validierungen und Constraint-Checks ermöglichen."

• Cohen schlägt vor: "Verwenden Sie skalierbare Algorithmen, die lernen wie sich die In- und Ouputs der einzelnen Modelle verhalten und bei Anomalien Warnmeldungen aussenden. So nutzen Sie KI, um KI zu monitoren."

• Kayala empfiehlt: "Verfolgen Sie den Drift in der Verteilung der Features. Eine starke Veränderung deutet darauf hin, dass Sie Ihre Modelle neu trainieren müssen, um eine optimale Performance zu erzielen."

• Bailey ergänzt: "Unternehmen achten zunehmend darauf, Modellrisiko und ROI im Rahmen umfassenderer Model-Governance-Programme zu überwachen, um sicherzustellen, dass die Modelle geschäftliche und technische KPIs erfüllen."

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation InfoWorld. (fm)