Fallstudie ifolor.ch Warum A/B-Tests allein nicht ausreichen Winning Insights.
ifolor.ch Warum A/B-Tests allein nicht ausreichen Fotoprodukte online erstellen ist ein positives Erlebnis. Die Bearbeitung eigener Bilder und das Konfigurieren individueller Bücher, Grußkarten, Kalender usw. bringt viel Freude. Die besonders große Auswahl an Möglichkeiten stellt jedoch auch eine Herausforderung dar. Das passende Angebot schnell und problemlos finden zu können, muss daher für Anbieter digitaler Fotoprodukte höchste Priorität haben. Wichtig hierfür sind vor allem das Navigationskonzept und die Darstellungsart der Produktkategorien. Wie werden Produkte innerhalb der verschiedenen Kategorien geordnet? Spielt die Reihenfolge eine Rolle? Sollen Bilder in die Kategorien-Navigation eingefügt werden oder reichen Bezeichnungen? Welchen Einfluss hat die Art des Navigationskonzeptes auf die Konversion? Um diese Fragen zu beantworten, kommen oft A/B-Tests zum Einsatz. Überprüft wird hier, welche Designvarianten zu besseren Ergebnissen führen und höhere Konversionen zeigen. Manchmal messen A/B-Tests Kennzahlen, die bei der Optimierung nicht weiterhelfen, da sie die tatsächliche Nutzer-Interaktion mit den Varianten nicht aufdecken können. Zum Beispiel reicht es in vielen Fällen nicht zu messen, welche Varianten gesehen wurden. Entscheidend ist die tatsächliche Interaktion der Nutzer mit den einzelnen Varianten. Außerdem bleiben sie die Antwort auf die entscheidende Frage schuldig: Warum die eine oder andere Variante besser ist?. Für den internationalen Online-Dienstleister personalisierter Fotoprodukte Ifolor konnte m-pathy nicht nur aufdecken, welche Variante der Flyout-Navigation besser funktioniert, sondern auch, warum das so ist. Für den A/B-Test wurden zwei Varianten ausgeliefert: eine Dropdown-Navigation mit den Namen der Produktkategorien sowie ein Megalayer, der neben den Namen noch Produktbilder enthält. Abb. 1: Screenshot der Startseite mit Dropdown-Menü
Abb. 2: Screenshot der Startseite mit Megalayer-Menü m-pathy mit fundierter Datenbasis m-pathy konnte zeigen, dass das Navigationskonzept mit der Dropdown-Variante zu höherer Konversion führt und den genauen Grund dafür liefern. Der A/B-Test nahm als Datenbasis alle Nutzer, die die eine oder die andere Variante ausgeliefert bekamen. Es wurde jeder Nutzer gezählt, der eine Variante erhalten hat und geschaut, ob er sie auch zur Navigation nutzte. Mit m-pathy konnten wir zusätzlich schauen, wie damit interagiert wurde: Wurden die Layer tatsächlich zur Navigation verwendet? Wie häufig wurden sie aufgeklappt? Und wurden sie zum Vergleich verschiedener Produkte genutzt? Die Analyse der tatsächlichen Nutzerinteraktion half, echte Varianten-Effekte zu quantifizieren und zu erklären. Die Ergebnisse zeigten einen klaren Trend: Beinahe dreimal mehr Nutzer, welche mit der Dropdown-Navigation interagiert hatten, erreichten den Warenkorb und konvertierten auch. m-pathy und A/B-Tests - eine fruchtbare Beziehung Der Megalayer verursachte bei einigen Kunden Probleme. In der Analyse der m-pathy Livedaten wurde sichtbar, dass viele Nutzer nicht auf die Kategorienbezeichnung, sondern auf die Produktbilder klickten. Von dort gelangten sie zu einer Ergebnisliste mit Unter-Kategorien und suchten nun lange und aufwendig nach genau dem geklickten Bild. Sie verstanden nicht, dass die im Megalayer dargestellten Bilder nur prototypische Beispiele für die Kategorie waren und nicht direkt als Designvariante ausgewählt werden können. Einige suchten vergeblich und brachen ab. Abb. 3: Nutzer klickten auf dieses Bild im Megalayer
Abb. 4: Nachdem der Nutzer im Megalayer auf das Bild der Produktkategorie Grusskarte klassisch gefaltet geklickt hat, wählt er nach langem Suchen genau dieses Bild aus der Ergebnisliste aus. Warum A/B-Tests allein nicht ausreichen Die Projektergebnisse waren eindeutig: Eine zusätzliche Untersuchung der A/B-Test-Varianten ist wichtig. m-pathy hilft, sie hinsichtlich der tatsächlichen Interaktion zu bewerten und in der Siegervariante vorhandene Usability-Hürden aufzudecken, konkrete Handlungsempfehlungen zu geben und so die Konversionen zu steigern. Eine Kombination von A/B-Tests mit m-pathy bietet sich in jedem Stadium der Testserie an: Vor dem A/B-Test können die besten Varianten aus einem größeren Portfolio identifiziert werden. Ein Einsatz während eines A/B-Tests bietet den Vorteil, dass die Varianten nicht nur hinsichtlich der Kennzahlen ausgewertet werden, sondern gleichzeitig aufgedeckt wird, warum einzelne Varianten besser abschneiden als andere. Auch ein Einsatz danach ist sinnvoll. Immer wieder machen wir die Erfahrung, dass selbst die Siegervariante noch wertvolles Optimierungspotential birgt. Mit diesem Detailwissen wird es möglich, zukünftig noch bessere Varianten zu gestalten. www.ifolor.ch Die Verknüpfung unseres A/B Testtools mit den Interaktionsdaten von m-pathy war die richtige Entscheidung. Das Ifolor Team konnte auf Basis der zusätzlich gelieferten Informationen und der zur Verfügung gestellten Reports und Optimierungsempfehlungen von m-pathy die Flyout-Navigation schneller und nachhaltiger optimieren, als dies mit einem isolierten A/B Test möglich gewesen wäre. Robert Becker (Group Management Frontend & Usability)
Schauen Sie Ihren Website-Besuchern über die Schulter m-pathy eröffnet einzigartige Einblicke in das Nutzerverhalten im Web. 2007 als Mouse-Tracking-Pionier gestartet, schließt m-pathy heute die Lücke zwischen Webanalyse und Usability-Testing. Unsere Spezialisten unterstützen Sie bei der nutzerzentrierten Optimierung Ihrer Website auf Basis einer der fortschrittlichsten Analysetechnologien weltweit. m-pathy zeigt ein 1:1-Abbild des Bildschirms, so wie der Nutzer ihn sieht. Sämtliche Interaktionen auf einer Website - Klicks, Mausbewegungen, Scrolling und Tastatureingaben - werden aufgezeichnet und als Film in Echtzeit wiedergegeben. Heatmaps von Klicks und Mausbewegungen zeigen Navigationsverhalten und Nutzungsintensität; Scrollingmaps die Sichtbarkeit einzelner Seitenelemente. Die m-pathy Formularanalyse liefert Kennzahlen für jedes einzelne Feld eines Formulars. Die User Experience einer Website kann somit unter realistischen Bedingungen getestet werden - ohne Versuchspersonen und spezielle Labors. Referenzen m-pathy Königsbrücker Str. 34 01099 Dresden Fon: +49 351 501415-10 Fax: +49 351 501415-5 Mail: info@m-pathy.com Web: www.m-pathy.com Twitter: www.twitter.com/mousetracking Facebook: www.facebook.com/mpathyux