Der Kosmetikriese Estée Lauder hat einen sprachgesteuerten Makeup-Assistenten entwickelt. Dieser kombiniert künstliche Intelligenz (KI) und Augmented Reality (AR), um Menschen mit Sehbehinderung dabei zu unterstützen, Beauty-Produkte zu verwenden. Der Voice-enabled Makeup Assistant (VMA) ist in den USA und Großbritannien bereits als mobile (iOS)-App verfügbar und wird demnächst auch weltweit ausgerollt. Das Projekt hat dem Konzern auch einen CIO 100 Award in der Kategorie "IT Excellence" eingebracht.

"Wir sind angetreten, um ein bedeutendes Geschäftsproblem in der Beauty-Industrie zu lösen - nämlich den Mangel an barrierefreien Lösungen", konstatiert Michael Smith, SVP und CIO bei Estée Lauder. Er fügt hinzu: "Weltweit gibt es 2,2 Milliarden Menschen, die unter einer Form von Sehbeeinträchtigung leiden. Allein in unserem Pilotmarkt Großbritannien sind es über zwei Millionen. Aber es geht hierbei um mehr als nur eine neue Geschäftsmöglichkeit. Dieses Projekt zahlt auf unsere Mission ein, sowohl aus Sicht unserer Mitarbeiter als auch der unserer Kunden der inklusivste und vielfältigste Beauty-Konzern der Welt zu sein."

Laut Christopher Aidan, Vice President Innovation und Emerging Technologies bei Estée Lauder, beinhaltete die Vision für den KI-getriebenen Makeup-Assistenten, die bereits existierende ARIA (Augmented Reality Immersive Application)-Plattform des Konzerns zu nutzen: "Die Plattform bringt AR, KI und Machine-Learning-Algorithmen zusammen, um das Makeup auf dem Gesicht der Benutzer zu analysieren. VMA nutzt dann die konfigurierbare Sprachführung, um die Nutzer dabei zu unterstützen, zum idealen Look zu finden."

Die richtige Beauty-KI finden

Aidan und sein Team waren zwar in der Lage, die VMA-App relativ schnell zu entwickeln. Die Forschungsphasen erwiesen sich jedoch als schwierig. Das Team erkannte dabei schnell die Notwendigkeit, dass die App im Sinne der Inklusion alle Formen, Größen, Hauttöne und einzigartigen Merkmale der Gesichter potenzieller Nutzer berücksichtigen muss. Um das sicherzustellen, war ein weitaus komplexerer KI-Trainingsprozess als ursprünglich vorgesehen nötig - und jede Menge Daten.

Der ursprüngliche Plan für den Makeup-Assistenten sah vor, dass die Nutzer ein Selfie machen, das der Algorithmus analysiert und dem Nutzer dann entsprechende Optimierungstipps an die Hand gibt. Schon nach kurzer Zeit schwenkte das Team jedoch auf Echtzeit-Videos um, um die Gesichter der User zu scannen. Das birgt folgende Vorteile: Wenn die Videoanalyse zum Beispiel ergibt, dass der User Lippenstift ungleichmäßig aufträgt, liefert die App natürlichsprachliche Anweisungen für die spezifischen Bereiche, in denen nachgebessert werden muss. Nachdem der Nutzer die Korrekturen angewandt hat, gibt ein erneuter Gesichtsscan Aufschluss darüber, ob das Ergebnis zufriedenstellend ist.

Bei der Entwicklung der App stand für Technologieexperte Aidan und sein Team auch der direkte Austausch mit der Community der Menschen mit Sehbehinderung im Fokus: "Wir wollten verstehen, welche Bedürfnisse Menschen mit Sehbeeinträchtigung haben, welche Probleme und Vorlieben sie haben und was sie von unseren Produkten erwarten. Um das zu ermitteln, haben wir Fokusgruppen zusammengestellt und viele Fragen gestellt - aber vor allem auch zugehört." Auch mit Blick auf die Fokusgruppen sei dem Konzern Diversität wichtig gewesen, wie der Manager versichert, weswegen Menschen mit verschiedenen Ausprägungen von Sehbeeinträchtigung ausgewählt wurden. "Das ermöglichte dem Team, Einblicke in eine Vielzahl individueller Erfahrungen zu gewinnen und die eigenen Annahmen zu hinterfragen", resümiert Aidan.

Das Feedback der Fokusgruppen wurde im Anschluss mit dem von internen und externen Stakeholder-Gruppen sowie Experten für Barrierefreiheit und Inklusion kombiniert, um die Anforderungen für den Voice-enabled Makeup Assistant zu definieren. Darüber hinaus nutzte das Technologie-Team von Estée Lauder das Nutzerfeedback für diverse weitere Aspekte der App - von der Namensgebung bis hin zum richtigen Wording, wie Aidan preisgibt: "Während der gesamten Design-, Entwicklungs- und Testphase ist das Nutzer-Feedback in unsere Entscheidungen eingeflossen, selbst bei kleinen Funktionen wie der Möglichkeit, die Sprechgeschwindigkeit des virtuellen Assistenten anzupassen."

Continuous Makeup Monitoring

Damit ist die Arbeit am Makeup-Assistenten für Estée Lauder allerdings längst nicht abgeschlossen: Seitdem die VMA-App im Januar 2023 zunächst in Großbritannien veröffentlicht wurde, wurde weiter fleißig User-Feedback gesammelt und Raum für Optimierungen identifiziert. Aidan gibt ein Beispiel: "In der Praxis haben die Benutzer Fragen gestellt, die in der Testphase nicht gestellt wurden. Zum Beispiel, ob der Assistent auch Tipps geben könnte, wie gut ein bestimmtes Makeup-Produkt entfernt wurde."

CIO Smith zufolge misst Estée Lauder den Erfolg der VMA-App an den Rückmeldungen der Benutzer - und die seien ebenso positiv wie konstruktiv ausgefallen: "Die App vermittelt den Benutzern ein Gefühl von Selbstbestimmtheit. Sie können eigenständig neue Produkte ausprobieren und müssen sich dabei nicht auf andere verlassen, beziehungsweise niemanden um Hilfe bitten. Und: Die App urteilt nicht, sie ist einfach nur ehrlich."

Der IT-Entscheider appelliert an seine Kollegen: "CIOs sollten der Entwicklung barrierefreier Produkte Priorität einräumen. Wenn man für alle Menschen auf eine integrative Art und Weise entwickelt, profitieren alle davon."

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation CIO.com.