Data Drift?
Wann immer Sie (sinnvolle) Analogien verwenden können, sollten Sie das tun. Das gilt auch, wenn es um Data Drift geht. Führungskräfte können sich unter dem Begriff "Drift" wahrscheinlich etwas vorstellen, haben aber unter Umständen Schwierigkeiten, das mit der Welt der Daten in Einklang beziehungsweise Zusammenhang zu bringen.
"Ein Data Drift tritt auf, wenn die Daten, die das Modell in der Produktion sieht, nicht mehr mit den historischen Daten übereinstimmen, auf denen es trainiert wurde. Unabhängig davon, wie der Drift auftritt, ist es entscheidend, diese Veränderungen schnell zu erkennen. Nur so kann die Modellgenauigkeit gewahrt und der Impact auf das Business abgemildert werden", erklärt Krishnaram Kenthapadi, Chief AI Officer und Scientist bei Fiddler AI, und fügt hinzu: "Man könnte einen Data Drift auch mit den Produkten eines Unternehmens vergleichen, die im Laufe der Zeit an Beliebtheit einbüßen, weil sich die Verbraucherpräferenzen geändert haben."
David Talby, CTO von John Snow Labs, hat eine weitere Analogie auf Lager: "Ähnlich wie der Wert eines Neuwagens sinkt, sobald man ihn vom Parkplatz bewegt, verhält sich ein Machine-Learning-Modell, weil sich die Dinge in der Produktion anders verhalten als noch innerhalb der Forschungsumgebung. Unabhängig davon, wie gut ein Modell funktioniert, muss es immer gewartet werden, weil die Welt darum herum sich verändert."
Die wichtige Botschaft, die Data-Science-Experten vermitteln sollten: Daten sind nicht statisch, deswegen müssen ML-Modelle auf ihre Genauigkeit hin überprüft und mit neueren oder relevanteren Daten neu trainiert werden.
ML-Monitoring?
Produzierende Unternehmen verwenden diverse Tools, um Fehler zu erkennen - etwa Abweichungen in der Output-Qualität. Stellen Sie sich ein ML-Modell als eine kleine Produktionsanlage vor. Schon macht es Sinn, dass Datenwissenchaftler ML-Monitoring-Tools benötigen, um Performance- oder Qualitätsprobleme identifizieren zu können.
"ML-Monitoring umfasst eine Reihe von Techniken, die während der Produktion eingesetzt werden, um Probleme zu erkennen, die sich negativ auf die Leistung des ML-Modells auswirken und zu qualitativ schlechten Erkenntnissen führen können", erklärt Katie Roberts, Data Science Solution Architect beim Datenbankspezialisten Neo4j.
Hillary Ashton, Chief Product Officer bei Teradata, weiß, wie Sie Ihrer ML-Monitoring-Argumentation weiteren Nachdruck verleihen: "Weil Unternehmen ihre Investitionen in KI/ML-Initiativen beschleunigen, wird die Zahl der KI-Modelle drastisch steigen. Jedes einzelne dieser Modelle muss sicher gespeichert und kontinuierlich überwacht werden, um die Genauigkeit zu gewährleisten."
Modelops?
MLops konzentriert sich auf multidisziplinäre Teams, die zusammenarbeiten, um Modelle zu entwickeln, einzusetzen und zu warten. Aber wie entscheiden Führungskräfte, in welche Modelle sie investieren, welche gewartet werden müssen - und wie schaffen sie Transparenz über Kosten und Nutzen von KI/ML-Initiativen? Diese Fragen fallen in den Bereich der Governance - und sollen mit Modelops-Praktiken und -Plattformen adressiert werden. Das Problem: Die Notwendigkeit und der Nutzen von Modelops zeigen sich im Regelfall erst, wenn es bereits (zumindest teilweise) implementiert ist.
Nitin Rakesh, CEO und Managing Director beim IT-Dienstleister Mphasis, schlägt deswegen vor, Modelops wie folgt zu erklären: "Mit Modelops stellen Unternehmen sicher, dass ML-Modelle bereitgestellt und gewartet werden, um ihren Wert zu maximieren und die Governance für verschiedene Versionen zu gewährleisten."
Teradata-CPO Ashton empfiehlt zudem, ein Praxisbeispiel ins Spiel zu bringen: "Modelops befähigt Datenwissenschaftler, Datenqualitätsrisiken zu identifizieren und zu beheben, wenn Modelle sich verschlechtern." (fm)
Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation Infoworld.