Die Zukunft des Fragens

Transkript

1 Die Zukunft des Fragens Teilnehmerverhalten in Next Generation Multi-Screen-Design Studien Holger Lütters Malte Freksa Sandra Vitt HTW Berlin GapFish GmbH Mediengruppe RTL Deutschland

2 0 Ausgangslage Die Zukunft des Fragens

3 Ausgangsthese: Die Befragungslandschaft ändert sich. Kann die Marktforschung es sich leisten gleich zu bleiben? unintentional mobile participation Befragungen finden zunehmend auf mobilen Geräten statt Desktopkonzepte werden unintendiert auf Smartphones ausgefüllt Befragungsdauer auf mobilen Geräten ca. 20% länger im Vergleich zu Desktopbefragungen mit Auswirkungen auf die Kosten der Incentivierung und Teilnahmebereitschaft Technologieproblem verdrängt Fragen nach Methodik und Effekten verschiedener Erhebungstechnologien auf mobilen Geräten

4 Studie: Wie funktioniert das Fragen in der Zukunft? Zentrale Fragestellung: Wie fragt man in Zukunft, wenn Menschen auf beliebigen Kanälen mit unterschiedlichsten Technologie an Studien der Marktforschung teilnehmen wollen? Forschungsansatz: Effekte der Nutzung unterschiedlicher Kanäle auf Ergebnisse Test neuer Fragetypen, welche das mobile Nutzungsverhalten stärker berücksichtigen sollen (und dennoch auf den klassischen Geräten funktionieren müssen) Hintergrundmessungen des Verhaltens während der Teilnahme Ergebnissoffene Analyse alter und neuer Konzepte in Bezug auf Validität der Datenerhebung

5 1 Experimentelles Studiendesign

6 Kooperationsprojekt innovativer Berliner Marktforscher befragte n=807 Teilnehmer auf unterschiedlichen Geräten und Kanälen Eckdaten der Umsetzung Teamarbeit Konzept der Studie 13 Minuten Fragebogen Durchführung Oktober Kontakte Zufallsverteilung auf klassische oder neue Fragetypen 807 vollständige Interviews davon 216 Befragte In-App Quotierung auf genutzte Geräte Field Work Fragebogen mit neuen Fragetypen:

7 Aufgabenstellung: Wie fragt man in Zukunft? Wo fragt man in Zukunft? Quotierte Devicekategorien Desktop/Laptop und Mobile (Tablet/Smartphone)

8 2 Verbesserung der UX in der Marktforschung durch NXT GEN Fragetypen Alte vs. Neue Fragetypen im Vergleich

9 NXT GEN Fragetypen im Responsive Design Beispiel: Grafische Unterstützung und technische Unterstützung Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp Wichtigstes Ergebnis bei über 20 Fragen: Die neue Technologie hat keine Auswirkung auf die Antworten bei Standardfragen Einfache grafische Unterstützung soll helfen, kann aber auch Komplexität erhöhen

10 Idee: Grafische Unterstützung zur kognitiven Entlastung bei komplexeren Fragen gelingt nicht immer Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp

11 Hypothese: Die unterschiedliche Darstellung von Fragetypen kann dennoch Einfluss auf das Antwortverhalten nehmen Beispiel klassischer Fragetyp Drop-down Auswahlliste Beispiel Next Generation Fragetyp Antwort auf grafischer Skala

12 Die unterschiedliche Darstellung einer Frage kann extremen Einfluss auf das Antwortverhalten haben. Drop-down liefert keine validen Ergebnisse Frage: Wie lange war dieser Fragebogen? Gemessene Zeit über alle Befragten: 13 Minuten 47 Sekunden

13 Klassiker der Marktforschung vs. neue Idee der Erhebung mit Touch: Ranking vs. graphisches Sortieren Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp mit 2 Bedienoptionen Ergebnis: 4 von 5 Items werden anders einsortiert bei Wechsel der Methode Die unterschiedlichen Fragetypen erzeugen einen klassischen Rank-Reversal.

14 Methode vollständiger Paarvergleiche nach Analytic Hierarchy Process zu Ermittlung der Präferenzen

15 Die Bewertung im vollständigen Paarvergleich (10 Fragen) ergibt ein völlig anderes (vielleicht valideres) Bild als die Ranking-Frage

16 Type-In vs. graphische Antwort bei Methoden Hier: Price-Sensitivity Meter Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp

17 Die grafische Antwort erzeugt abweichende Werte im Vergleich zur direkten Dateneingabe. Ergebnis 44% höhere Preisbereitschaft=Validitätsproblem

18 Neuer Fragetyp in questfox: TinSort

19 Multiple Choice vs. TinSort (nur Text) Duales Bedienkonzept wischen oder klicken Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp

20 NXT GEN Fragetyp TinSort erzeugt viel mehr Antworten als die vermeintlich identische Frage als Multiple-Choice

21 Multiple Choice vs. TinSort (graphisch) TinSort mit explizit negativer Aussage vs. positive Aussage Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp

22 ist der favorisierte Einladungskanal Viel weniger Antworten im klassischen Multiple-Choice Verfahren als mit TinSort

23 Multiple Choice vs. TinSort (graphisch) Beispiel klassischer Fragetyp Beispiel Next Generation Fragetyp

24 Viele Online-Teilnehmer würde gerne echte Produkttest zu Hause machen Antwortunterschiede extrem je nach verwendetem Fragetyp

25 Die neuen Fragetypen bringen an vielen Stellen erhebliche zeitliche Vorteile Bei einigen Fragetypen ist kein zeitlicher Vorteil erkennbar Antwortzeit in Sekunden

26 Zusammenfassung Nutzung NXT GEN Fragetypen Mobil optimierte Fragetypen beschleunigen das CLICK-Interview (auch auf dem Desktop) Validität der Verwendung von Drop-Downlisten darf generell hinterfragt werden. Auf mobilen Geräten noch schwieriger als auf Desktop. Dort werden Antwortmuster erkennbar, die es ohne mobile Technologie nicht geben würde Drop-Down für Ranking macht alles noch schlimmer. Touch Sortierung als interessante Alternative Analytic Hierarchy Process als Ranking Alternative verursacht hohen Bearbeitungsaufwand, erzeugt jedoch auch Qualitätsdaten der Konsistenz Multiple-Choice Fragetyp wird eher als Single-Choice Muster beantwortet TinSort ist ein spannender neuer Fragetyp, der ohne Kosten die Qualität der Befragung verbessern kann Grafischer Price-Sensitivity-Meter erzeugt viel höhere Werte und erfordert weitere Messungen zur Überprüfung der Validität der Idee Grafische Unterstützung macht Befragungen auch unterhaltsamer und erzeugt weniger Item-Non-Response Zeit ist sehr subjektiv. Die neuen Fragetypen sparen im Schnitt 15% Antwortzeit und damit Geld

27 Wir forschen weiter: Gyroscale als Kombination von Bewegungen und analytischen Fragen auf Mobilgeräten: Moving answers Landscape Mode mit Messung Neigungswinkel Portrait Mode mit Steering Wheel Messung Gyroscale ist eine Entwicklung der pangea labs und in questfox verfügbar

28 3 Neue mobile Welt - Neue Fragetypen?!

29 Chance für ein Umdenken in der digitalen Fragebogenforschung Einige der neuen Fragetypen erzeugen vergleichbare Antworten. Andere erzeugen völlig andere Ergebnisse. Die Ergebnisse stellen die Grundsatzfrage nach der Validität von Messungen per Befragung. Haben wir bisher alles korrekt erfragt? Wie geht das mobil? Grafische Fragetypen können das Verständnis der Teilnehmer unterstützen (aber auch manipulieren) Schlichtes technisches Umwandeln von Repräsentationsformen einer Frage erzeugt Datenprobleme. Responsive Design als technische Lösung ist nicht immer adäquat für die (mobile) Marktforschung Duale Bedienkonzepte könnten weitere Effekte haben. Apple 3D Touch wird weitere Optionen eröffnen, die es zu testen gilt Einige Fragetypen eignen sich vorerst nur für bestimmte Geräte. Das wird auch in naher Zukunft noch so bleiben

30 Die Suche nach mobilen Methoden hat gerade erst begonnen Methodenverzicht auf mobilen Geräten wäre katastrophal Device agnostisch ist die Denkweise zukünftiger Entwicklung Mobil wird erst in Zukunft wirklich mobil...

31 GapFish Übersicht

32 High-Tech-Lösungen für die Marktforschung EntscheiderClub mit über Befragungsteilnehmern in der Schweiz, Österreich und Deutschland Cookie-Panel für Werbewirkungsforschung mit über Teilnehmern Tracking-Panel TrailSpot: Messung der plattformübergreifenden Internetnutzung auf PC, Tablet und Smartphone mit über Teilnehmern Panel360 Realisierung von Panel-Managementlösungen u.a. für Spiegel Online, und Gallup Institut I love MyMedia Mobile-Panel mit über aktiven App-Nutzern zusammen mit der Mediengruppe RTL Deutschland

33 Digitale Fragmentierung verändert die Marktforschung 18 % 59 % 69 % 28 % 57 % 5 % Smart-TV Desktop-PC Laptop- Tablet Smartphone Feature-Phone BRAND Quelle: ARD/ZDF Onlinestudie 2014 (Deutschsprachige Onlinenutzer ab 14 Jahren): Genutzte Internetzugänge

34 Das Smartphone eröffnet neue Wege Mobiltelefone sind verbreiteter als PCs oder Festnetztelefone. Nicht intendierte Mobile Marktforschungsstudie: 20-30% der Befragungsteilnehmer nehmen mobil an Online-Studien teil. Menschen haben ihr Mobiltelefon bei sich, damit wird Marktforschung im Moment erleichtert. Über Smartphones können Marktforschungsaktivitäten initiiert werden: zu bestimmten Zeitpunkten, an bestimmten Orten, nach bestimmten Verhaltensaktivitäten oder direkt durch ein Signal des Marktforschers. Smartphones sind Alleskönner: Sie sind zum Beispiel in der Lage, passive Daten wie Ort, Aktivitäten und Mediennutzung zu messen.

35 Mobile In-App Studien über die I love MyMedia App Native und Web App für Mobile App-Studien Rekrutierung über Push-Notification und einladung: Studienteilnahme auch online (stationär, mobile) möglich Einbindung der gängigen Fragebogensysteme (mobile optimiert) Bei Aufruf der App: Messung der Geo-Location möglich Multimediaeinbindung und Foto-Upload (z.b. für Tagebuchstudien)

36 Mehrstufige Teilnehmerrekrutierung App Download Download der I love MyMedia-App über App-Store (Android, ios) Profilierung Umfangreiche Teilnehmerprofilierung anhand einer Vielzahl von Merkmalen Sampling Einladung von Studienteilnehmern über Push-Notification oder

37 Strukturdaten I love MyMedia: aktive Teilnehmer Basis Internetnutzer: Fälle (Unique User) / Angaben in Prozent / Quelle: AGOF mobile facts 2015-I Basis I love MyMedia-Panel Fälle (aktive Nutzer Juni 2015) / Angaben in Prozent / Quelle: GapFish, Juni 2015

38 Wir danken den Unterstützern dieser Studie Fragen, Diskussion und Vorführungen in Halle 2, Stand 205 bei GapFish Projektdurchführung: Prof. Dr. Holger Lütters HTW Berlin Dank an die Unterstützer der Studie Kontakt Prof. Dr. Holger Lütters Hochschule für Technik und Wirtschaft Berlin xing.com/profile/holger_luetters de.linkedin.com/in/luetters/ questfox is a development of pangea labs GmbH Dank an Benjamin Schubert und Ian Thomson für die Unterstützung Vollständiger Report unter