Foto: patpitchaya | shutterstock.com
Eine aktuelle Umfrage zeigt auf, dass Kapitalrendite, Umsatzwachstum und verbesserte Effizienz zu den wichtigsten Erfolgsmetriken für Analytics-Projekte zählen. Allerdings kommt die Survey auch zum Ergebnis, dass:
nur 32 Prozent der Befragten mehr als 60 Prozent ihrer Machine-Learning-Modelle erfolgreich einsetzen.
über 50 Prozent der Befragten die Performance ihrer Analytics-Projekte nicht regelmäßig messen - was darauf hindeutet, dass die Zahl der Initiativen, die Geschäftswert vermissen lassen, noch weit höher liegen dürfte.
Es gibt zwar viele technische und auch datenbezogene Gründe dafür, dass ML- und Analytics-Projekte nicht wie erwartet performen oder scheitern. Wir konzentrieren uns in diesem Artikel in erster Linie auf die organisatorischen und prozessbezogenen Hindernisse, die regelmäßig dazu führen, dass die Geschäftsziele verfehlt werden.
1. Analytics ohne Workflow-Verbindung
Wenn Data-Science-Teams das Verständnis dafür fehlt, wie ihre ML-Modelle und Datenanalysen mit den Workflows der Endbenutzer zusammenhängen, entstehen Probleme. Zum Beispiel ist Akzeptanz unter den Endbenutzern so nur schwer zu erreichen.
Soumendra Mohanty, Chief Strategy Officer beim Data-Science-Anbieter Tredence, bringt es ganz unverblümt auf den Punkt: "Im Analytics- und Data-Science-Bereich ist es wichtig, die Endnutzer zu befragen und ihre Probleme zu ergründen, statt ihnen einfach ein paar Dashboards vor die Nase zu setzen, die nicht mit ihren Geschäftssystemen verbunden sind. Bei der Konzeption und Entwicklung von KI-Lösungen sollten Sie mit der User Experience beginnen und dann herausfinden, wie eine Empfehlung, Vorhersage oder Automatisierung für Business Impact sorgen kann."
Selbst wenn Ihre Data-Science-Teams nur für die Modelle verantwortlich sind, sollte ein definiertes Vision Statement am Anfang des Modellentwicklungsprozesses stehen. Es gibt darüber Auskunft, wie die Analyselösungen existierende Geschäftsprozesse bereichern oder für eine Disruption sorgen können.
2. Gräben zwischen Datenwissenschaftlern und Devs
Um einen Produktions-Workflow zu realisieren, der von den Endbenutzern akzeptiert wird, müssen Data Scientists und Softwareentwickler zusammenarbeiten, um:
Integrationen durchzuführen,
Applikationen zu modfizieren und
Workflows zu verändern.
"Ein nicht existentes Rahmenwerk für die Interaktion zwischen Datenwissenschaftlern und Entwicklern ist ein gängiges Leadership-Problem, wenn es darum geht, KI- oder ML-Projekte produktiv zu setzen", hält Rita Priori, CTO beim Bildanalysespezialisten Thirona, fest. Sie fügt hinzu: "In diesem Fall müssen die beiden Bereiche möglichst frühzeitig zusamenwirken, um die nächsten Schritte abzustimmen und zu definieren, welche Tasks in welchen Bereich fallen."
Dabei sei eine wichtige Frage, wann die Software-Teams in den Prozess einbezogen werden, um das Modell verstehen und die erforderlichen Änderungen am System ermitteln zu können. "Sowohl zu früh als auch zu spät ist ungünstig. Klare Zeitpläne und Erwartungen an alle Beteiligten zu kommunizieren, ist deshalb entscheidend", so Priori.
Ein Lösungsansatz kann sein, ein flexibles, agiles Data-Science-Team aufzustellen, das im Rahmen des Analytics Lifecycle unterschiedliche Fähigkeiten einbringt. In der frühen Planungsphase können solche Teams Six-Sigma- und UX-Spezialisten umfassen, um bestehende Workflows zu überprüfen und Änderungen zu erwägen. Sobald die Modelle vielversprechende Ergebnisse zeigen, können Softwareentwickler hinzugezogen werden, um die Implementierung - inklusive Änderungen und Integrationen - zu planen.
3. Change-Management-Ermüdung
Auch Change Management gehört zu den Aufgaben multidisziplinärer Data-Science- und Dev-Teams. Schließlich kann man nicht einfach erwarten, dass die Endbenutzer Workflow-Optimierungen durch Machine Learning einfach von selbst an- und übernehmen - insbesondere, wenn die Modelle Entscheidungsprozesse verändern oder Arbeitsabläufe automatisieren.
"Mitarbeiter und Teams müssen Innovationsbemühungen durchdringen und verstehen, wie das zu ihrer Zielerreichung beitragen kann", ist Lux Narayan, CEO und Mitbegründer des Engagement-Spezialisten StreamAlive, überzeugt. Er fasst zusammen, wie das gelingt: "Eine optimale Kommunikation seitens der Führungskräfte ist dafür ebenso entscheidend wie Technologie für synchrone und asynchrone Kommunikation und ein regelmäßiger Austausch zwischen den Business-, IT- und Analytics-Teams, die sich mit der Implementierung befassen."
Best Practices in diesem Bereich sind allen voran, die Stakeholder und Endbenutzer in die Ausarbeitung des Vision Statement einzubeziehen sowie Erfolgskriterien zu definieren. Wichtige Stakeholder (und End User) sollten zudem am Data-Science- und Softwareentwicklungsprozess beteiligt werden - um zu Anforderungen beizutragen und die laufenden Fortschritte zu überprüfen.
4. Experimente ohne Lerneffekt
Selbst wenn sich Datenwissenschaftler der experimentellen und iterativen Natur ihrer Arbeit bewusst sind, kann es Versäumnisse geben. Etwa, wenn vergessen wird, dass Modelle, die in User Experiences eingebettet werden und Workflows optimieren, ebenfalls iterativ mit weiteren Releases und der Einbindung von Feedback verbessert werden müssen. Das gilt auch, wenn eine Minimal Viable Experience zur Verfügung gestellt wird: Auch in diesem Fall müssen die Endbenutzer und Stakeholder befragt werden, um ermitteln zu können, welche Veränderungen, beziehungsweise Verbesserungen notwendig sind.
"KI-Implementierungen können positive Nutzererfahrungen entweder beschleunigen oder sich zu einer lästigen Funktion auswachsen, die in eine Applikation gepresst und den Nutzern aufgezwungen wird", hält Cody De Arkland, Senior Director of Product Incubation beim Softwareentwicklungsspezialisten LaunchDarkly, fest. Der Experte empfiehlt Product Ownern deshalb, KI-Funktionalitäten so zu implementieren, dass diese die Workflows der End User bereichern: "Experimente einzusetzen, unterstützt Sie in diesem Rahmen dabei, KI-Funktionen schnell zu implementieren - ohne dabei eine schlechte User Experience zu riskieren."
Data-Science-Teams können einige Methoden heranziehen, um Problemen dieser Art vorzubeugen. Dazu gehören etwa:
A/B-Tests, um die Auswirkungen verschiedener Implementierungen zu messen sowie
qualitative Befragungen der Endbenutzer.
Entwickler und Datenwissenschaftler sollten außerdem sicherstellen, dass Applikationen und Workflows transparent sind, um Probleme in den Bereichen Performance, Software, ML-Modelle oder Usability erfasst und überprüft werden können.
5. Analytics ohne Automatisierung oder Integration
Den Endbenutzern mehr Daten, Vorhersagen, Dashboards und Reportings zu liefern, kann wertvoll sein - potenziell aber auch dafür sorgen, dass die Produktivität leidet. Sind die eingesetzten Reporting-Tools beispielsweise nicht mit den Plattformen verbunden, die für Workflows und Decision Making zum Einsatz kommen, verursacht das Mehrarbeit für die Mitarbeiter. Ein weiteres Problem entsteht, wenn Datenanalysen zwar neue Insights liefern, allerdings erheblicher, manueller Aufwand nötig ist, um diese auch zu nutzen.
"Analysen sind dazu gedacht, von Menschen konsumiert zu werden. Sie sind dabei die Komponente, die nicht skalierbar ist", konstatiert Vanja Josifovski, CEO und Mitbegründer des KI-Plattformanbieters Kumo. Sie fügt hinzu: "Die meisten wichtigen Use Cases in Unternehmen, wie Personalisierung und Empfehlungssysteme, sind prädiktiv. Um hier Wert zu erschließen, gilt es, maschinelles Lernen zu vereinfachen, zu automatisieren und dann auf KI-Anwendungsfälle auszuweiten."
Ein simpler Ansatz, um Dashboards und Applikationen miteinander zu verknüpfen bieten Embedded Analytics. Hierbei werden Datenvisualisierungen oder Business-Intelligence-Tools per JavaScript oder iFrames in User Interfaces eingebunden. Umfassendere Integrationen lassen sich über APIs bewerkstelligen.
6. Ergebnislose Proofs-of-Concept
Geht es darum, die Kollaborationsbemühungen agiler, multidisziplinärer Teams zu überwachen, spielen Produktmanagement, Design Thinking und Six-Sigma-Disziplinen eine tragende Rolle. Allerdings gibt es auch an dieser Stelle Gefahrenpotenzial, wenn zu viele Proofs of Concept (POCs) durchlaufen und iterativ optimiert werden, ohne dass dabei ein Analytics-getriebener Workflow in die Produktion überführt wird. Treten solche Probleme über einen längeren Zeitraum auf, kann das darauf hindeuten, dass die POCs nicht mit der Unternehmensstrategie in Einklang stehen - oder die Unternehmensleitung ihre strategischen Analyseprioritäten nicht definiert hat.
Hillary Ashton, Chief Product Officer beim Analytics-Anbieter Teradata, spezifiziert: "Ein Hauptgrund dafür, dass KI-Initiativen scheitern, ist eine fehlende strategische Ausrichtung. Eine Möglichkeit, Analysefähigkeiten effektiver zu vermarkten, sind wiederverwendbare Datenprodukte oder kuratierte, vertrauenswürdige Datensätze. Diese sind der Schlüssel dazu, das Vertrauen in die Technologie zu stärken."
Wenn ein Data-Science-Team am POC-Rad dreht, dabei aber nie Ergebnisse liefert, sollte die Unternehmensleitung eingreifen und:
Prioritäten setzen sowie
Workflow-Änderungen fördern, sobald die Modelle produktionsreif sind.
7. Leadership- und Talent-Skills-Gap
Unternehmen müssen sich mit der Frage auseinandersetzen, ob sie über die nötigen Führungstalente und -fähigkeiten verfügen, um mit den rasanten Veränderungen in Sachen Technologie und Business-Strategie Schritt zu halten. Problematisch ist in dieser Hinsicht beispielsweise, wenn eine Kultur des lebenslangen Lernens nicht existiert - oder Datenwissenschaftler nicht ausreichend Gelegenheit erhalten, moderne Analytics-Ansätze zu adaptieren. In anderen Fällen sind Tech-Talente hingegen eventuell damit beschäftigt, Legacy-Technologien zu supporten - was sie davon abhält, sich neuen Business-, Analytics- und Technologiechancen zu widmen. Krishnan Venkata, Chief Client Officer beim Softwareanbieter LatentView Analytics, erklärt, wie Führungskräfte diese Herausforderungen meistern können: "Konzentrieren Sie Ihre Recruiting-Bemühungen auf qualifizierte Data- und Analytics-Spezialisten und ziehen Sie dabei auch alternative Methoden wie Offshoring in Betracht."
Qualifikationsdefizite in den Bereichen Technologie und Datenwissenschaft lassen sich auch durch Schulungsmaßnahmen und Partnerschaften beheben. Eine ganz andere Frage ist, ob auch ausreichend Geschäftssinn im Team vorhanden ist, um Data- und Analytics-Initiativen mit Geschäftsanforderungen und -möglichkeiten zu verknüpfen. Das hat auch eine Debatte darüber entfacht, ob KI - und insbesondere generative KI - neue Entscheiderrollen erfordert oder ob es sich lediglich um einen erweiterten Zuständigkeitsbereich für Data-Science- und Technologie-Teams handelt.
Kjell Carlsson, Head of Data Science Strategy and Evangelism beim Datenspezialisten Domino, hat dazu eine klare Meinung: "Unternehmen, die erfolgreich KI-Projekte umsetzen, haben KI-Führungsrollen geschaffen, multidisziplinäre KI/ML-Teams aufgebaut, Prozesse entwickelt, die den gesamten KI-Lebenszyklus umfassen und in integrierte KI-Plattformen investiert, die die Entwicklung, Operationalisierung und Governance von KI-Projekten rationalisieren." (fm)
Sie wollen weitere interessante Beiträge zu diversen Themen aus der IT-Welt lesen? Unsere kostenlosen Newsletter liefern Ihnen alles, was IT-Profis wissen sollten - direkt in Ihre Inbox!