Kontrollierte Experimente

A/B-Tests sind für den digitalen Erfolg unerlässlich

10.07.2018
Von 
Iris Quirin ist freie Journalistin in Hamburg
Tech-Riesen wie Microsoft, Amazon, Google oder Netflix stützen ihr Wachstum auf Daten, die sie aus kontrollierten Digitalexperimenten gewinnen. Der Erfolg gibt ihnen Recht: Im digitalen Business ist Experimentieren – vor allem mit A/B-Tests - eine absolute Pflicht.

Manchmal zeigen schon kleine Änderungen eine große Wirkung: So war es etwa bei Microsofts Suchmaschine Bing. Durch eine Reihe von Tests in einer ausgesuchten Probegruppe kam heraus, dass nur leicht dunklere Blau- und Grüntöne in den Überschriften und ein etwas helleres Schwarz bei Bildunterschriften das Nutzererlebnis deutlich verbesserten. Microsoft nahm daraufhin die Änderung vor. Ergebnis: Der Umsatz je Suche erhöhte sich um zehn bis 25 Prozent pro Jahr.

A/B-Tests sind die Voraussetzung dafür, dass Webseiten und App professionell und datengetrieben aufgebaut sind. Der Besucher entscheidet.
A/B-Tests sind die Voraussetzung dafür, dass Webseiten und App professionell und datengetrieben aufgebaut sind. Der Besucher entscheidet.
Foto: one photo - shutterstock.com

Microsoft ist nicht das einzige Unternehmen, dass beim Thema Digitalisierung nichts dem Zufall überlässt. Es ist durchaus üblich Tausende von kontrollierten Online-Experimente vorzunehmen und Millionen Nutzer daran teilnehmen zu lassen. Mal geht es um die Optimierung einer Website und ein besseres Nutzererlebnis, mal um die Verbesserung von mobilen Apps, aber auch um komplexere Themen wie Produktentwicklungen, neue Strategien und innovative Geschäftsmodelle. Digitales Experimentieren ist ein fester Bestandteil des Innovationsprozesses.

Daten sind der Grundstoff für digitales Experimentieren

Wie die Forrester-Studie "Insights-Driven Businesses Set the Pace for Global Growth" aufzeigt, werden Unternehmen im digitalen Zeitalter immer besser, wenn ihre Urteile auf Fakten und statistischen Erkenntnissen beruhen. Mit datengestützten Erkenntnissen verbessern Unternehmen permanent ihr Geschäftsmodell. Damit reagieren sie stets auf die Wünsche ihrer Kunden, was sich unmittelbar durch beschleunigtes Wachstum auszahlt.

Statistische Erkenntnisse durch Experimentieren sind heute einfach zu haben, beispielsweise mithilfe von Online-Tools wie Optimizely und durch Methoden wie den sogenannten A/B-Test. Dabei werden zwei Varianten eines Systems bewertet, wobei die Originalversion gegen eine oder mehrere leicht veränderte Varianten getestet wird. Diese Methode wird vor allem bei Softwareentwicklungen und beim Webdesign eingesetzt, um bestimmte Nutzeraktionen zu steigern. Bei gut geplanten Experimenten steuern zuvor festgelegte Hypothesen die Richtung, in die die Versuche gehen sollen.

Nicht aufs Bauchgefühl verlassen

Dennoch gehen viele Unternehmen bei ihren Digitalisierungsmaßnahmen immer noch von Vermutungen oder dem berühmten Bauchgefühl aus, anstatt Entscheidungen rund um Webshop, Design oder mobile Anwendungen mit aus Nutzerdaten gewonnenen Erkenntnissen zu untermauern. Global erfolgreiche Unternehmen wie Microsoft, Amazon, Google, Facebook oder Netflix sind da viel weiter. Sie nutzen Erkenntnisse und Daten, die sie aus kontinuierlichen Online-Experimenten gewonnen haben: Facebook führt täglich zehntausende von Experimenten durch. Google beteiligt seine Suchmaschinen-Nutzer ebenfalls ständig an Tests. Und dass der Streaming-Dienst Netflix seine Videos mit minimalen Wiedergabeunterbrechungen liefern kann, verdankt er seinem Team von Ingenieuren und Datenwissenschaftlern, die mit Hilfe des A/B-Testings ständig die Streaming- und Content Delivery-Netzwerkalgorithmen ausloten.

Von der personalisierten Homepage bis zum Layout - jede einzelne Änderung wird streng getestet, bevor sie eingeführt wird. Sogar die Fotoauswahl aus Filmen wird bei Netflix einem A/B-Test unterzogen. Das richtige Bild auszuwählen, kann zu einem Plus von Abrufzahlen für einzelne Firmen führen - manchmal sogar um 20 bis 30 Prozent.

Jeff Bezos, Gründer von Amazon und inzwischen reichster Mann der Welt, beschreibt die Bedeutung des Testings so: "Unser Erfolg bei Amazon hängt davon ab, wie viele Experimente wir pro Jahr, pro Monat, pro Woche und pro Tag vornehmen." In dem US-Bestseller "The Innovators DNA" verriet er außerdem: "Wir versuchen ständig, die Kosten für Experimente zu reduzieren, damit wir mehr ausprobieren können. Wenn Sie die Anzahl der Versuche von hundert auf tausend erhöhen können, erhöhen Sie die Anzahl der von Ihnen produzierten Innovationen dramatisch."

Was ist dabei herausgekommen? Bei Amazon sind die wohl bekanntesten Ergebnisse neue Produkte und Dienste wie Amazon Prime, Amazon Echo, Amazon Kindle oder Amazon Web Services (AWS). AWS gilt heute als das am schnellsten wachsenden B2B-Unternehmen der digitalen Welt.

Scheitern als Chance und Herausforderung

Digitalunternehmen sind heute dann erfolgreich, wenn sie ihr Geschäftsmodell mit einer Reihe von Ideen starten, die anschließend immer wieder durch Experimente erprobt, angepasst und perfektioniert werden. Wichtig dabei ist, dass auch gescheiterte Experimente geschätzt werden. Sie sind nötig, um zu erkennen, was funktioniert und was nicht. Sie schützen Unternehmen vor dem Risiko, mit neuen Ideen eine Bruchlandung hinzulegen. Bei Bing beispielsweise seien nur zehn bis 20 Prozent der Tests erfolgreich, berichtete Ron Kohavi, Leiter des Analyse- und Experimente-Teams bei Microsoft in einem Beitrag im "Harvard Business Manager".

Gerade große Konzerne haben es häufig mit diversen Kundengruppen zu tun und können deshalb riesige Datenmengen darüber erfassen, wie sich Nutzer auf Websites und in Apps verhalten. Gleichzeitig können sie Experimente umsetzen und so in kurzer Zeit viele Ideen präzise bewerten. Ein Beispiel ist der "Instant-Ink"-Abonnementservice von HP, der mit verschiedenen Registrierungsangeboten experimentiert hat. Den Kunden wurde so eine Option für eine kostenlose Testversion angezeigt und der Dienst wurde als Druckerfunktion positioniert. Als Ergebnis konnte der Aboservice für Druckertinte 37 Prozent mehr registrierte Nutzer gewinnen. Mit kleinen Experimenten lassen sich also durchaus digitale Innovationen schnell und unkompliziert einführen.

Beispiel Verivox

Das funktioniert auch im Mittelstand. Das deutsche Vergleichsportal für Energie- und TK-Dienstleistungen Verivox hat auf diesem Weg seine "Danke"-Seite optimiert. Die erscheint nun, nachdem ein neuer Vertrag geschlossen wurde, und hält den Kunden auf eine ansprechende Art auf der Seite. Zuvor hatte er lediglich eine Bestätigung erhalten. Entscheidend ist die Hypothese zu Beginn, die in diesem Fall davon ausging, dass ein bestimmter Anteil der Kunden nach Vertragsabschluss in der Stimmung sein dürfte, weitere passende Angebote zu nutzen. Nach dem Testen verschiedener Designs und Nachrichtenoptionen wurde schließlich die Variante mit dem meisten Zuspruch der Nutzer gefunden, was den Cross-Selling-Anteil um 70 Prozent erhöhte.

Um derartige Experimente auszuführen, brauchen Firmen die entsprechende Tools und das Engagement der Mitarbeiter. Wie Sebastiaan de Jong, Vice President EMEA bei Optimizely, beobachtet, liegt der Schlüssel darin, "nicht nur die kreativen, sondern alle Mitarbeiter einzubeziehen." Tests müssten das täglich Handwerkszeug sein, es gelte, eine regelrechte Experimentierkultur zu etablieren und die Belegschaft mit ihren Ideen und Erfahrungen von Anfang an in Boot zu nehmen.