Mobile Befragungen. LINK Tag der Marktforschung 20. September 2011

Transkript

1 Mobile Befragungen mittels Smartphones LINK Tag der Marktforschung 20. September 2011 Prof. Dr. Michael Bosnjak Freie Universität Bozen, Fakultät für Wirtschaftswissenschaften 1

2 Übersicht Ertragsorientierte Zusammenfassung der Befunde einer Studienreihe zum Thema Teilnahmeverhalten Rücklaufverhalten Determinanten der Teilnahmeabsicht bzw. des Teilnahmeverhaltens Usability / Gebrauchstauglichkeit subjektive Einschätzung zur Gebrauchstauglichkeit unterschiedlicher Fragetypen objektive Indikatoren (Nonresponse, Drop-Out) bei (selbst-administrierten) mobilen Befragungen.

3 Ausgangssituation I 3 Persönliche Interviews % 21 % Telefoninterviews (CATI) % 35 % Schriftliche Befragungen % 6 % Online-Befragungen % 38 % * Quelle: ADM Studien unter Mitgliedsunternehmen:

4 Ausgangssituation II 4

5 4 Ausgangssituation II Anzahl (weltweit) der sich aktuell in Gebrauch befindenden... Festnetzanschlüsse: Internetanschlüsse (Nutzer): Mobilfunkgeräte:

6 4 Ausgangssituation II Anzahl (weltweit) der sich aktuell in Gebrauch befindenden... Festnetzanschlüsse: Internetanschlüsse (Nutzer): Mobilfunkgeräte: Mobile Datenerhebungsverfahren: Interviewer-administrierte telefonische Befragungen (CATI) unter Mobilfunknutzern Interactive voice response (IVR) Befragungen unter Mobilfunknutzern Selbst-administrierte Befragungen über Mobiltelefone mit Internet-Zugang (Smartphones)

7 Ausgangssituation III 5 Mobile Research Barometer Februar 2011

8 Ausgangssituation III 5 Mobile Research Barometer 2/2011 Mobile Research Barometer Februar 2011

9 Ausgangssituation III 5 Studiensteckbrief: Mobile Research Barometer 2/ Marktforschungs-Auftraggeber in D-A-CH via CAWI befragt (Feldzeit: 11/2010), 15 geschlossene Fragen zur Nutzung und Akzeptanz von Mobilbefragungen Mobile Research Barometer Februar 2011

10 Ausgangssituation III 5 Studiensteckbrief: Mobile Research Barometer 2/ Marktforschungs-Auftraggeber in D-A-CH via CAWI befragt (Feldzeit: 11/2010), 15 geschlossene Fragen zur Nutzung und Akzeptanz von Mobilbefragungen Befunde (Auswahl): Mobile Research Barometer 58% der Befragten schätzen den Anteil an mobilen Befragungen zwischen 5-10% ein (Rest: < 5% Anteil) 52% schätzen Mobilbefragungen als (sehr) interessant ein, Betriebsmarktforscher sind etwas skeptischer Vorteile (Top 3 Nennungen): Orts-/Zeitunabhängigkeit, zeitnahe Befragungen, Erreichbarkeit mobiler Zielgruppen Nachteile (Top 3 Nennungen): Kosten für Datentraffic für Teilnehmer, schwierige/umständliche Dateneingabe, techn. Heterogenität Februar 2011 Befragungen per Apps als geeigneter Zugang (45% Befr.)

11 Datenerhebungsrelevante Fragestellungen 6 (Auswahl, bezogen auf Teilaspekte des Total Survey Error) (Coverage, z.b. Merkmale von Nutzern) (Sampling) Measurement: Gebrauchstauglichkeit von mobilen Fragetypen (objektiv/subjektiv)? Äquivalenz im Modus-Vergleich? Nonresponse: Teilnahmebereitschaft und -verhalten (beschreibend/objektiv; Determinanten) Verfahren zur Erhöhung der Ausschöpfungsrate

12 Datenerhebungsrelevante Fragestellungen 6 (Auswahl, bezogen auf Teilaspekte des Total Survey Error) (Coverage, z.b. Merkmale von Nutzern) (Sampling) Measurement: Gebrauchstauglichkeit von mobilen Fragetypen (objektiv/subjektiv)? Äquivalenz im Modus-Vergleich? Nonresponse: Teilnahmebereitschaft und -verhalten (beschreibend/objektiv; Determinanten) Verfahren zur Erhöhung der Ausschöpfungsrate

13 Studienreihe: Untersuchungssteckbrief 7 Studienserie 2008 ( ) Studienserie 2009 ( ) April 2011

14 Studienreihe: Untersuchungssteckbrief 7 Studienserie 2008 ( ) 1. Web: Vorstudie: Determinanten der Teilnahmeintention (Sozioland Web-Panel) 2. Vorstudie: Experten-Usability-Evaluation durch YOC 3. Web: Determinanten der Teilnahmeintention für S4 (YOC Mobile-Panel; 979 Panelisten, 272 Tn) 4. Mobilbefragung zum Thema Olympia 2008 (YOC Mobile-Panel; 979 Panelisten, 413 Tn) 5. Web: Gebrauchstauglichkeit von S4 aus Nutzersicht (YOC Mobile-Panel; 413 Panelisten aus S4, 187 Tn) Studienserie 2009 ( ) April 2011

15 Studienreihe: Untersuchungssteckbrief 7 Studienserie 2008 ( ) Studienserie 2009 ( ) 1. Web: Vorstudie: Determinanten der Teilnahmeintention (Sozioland Web-Panel) 2. Vorstudie: Experten-Usability-Evaluation durch YOC 3. Web: Determinanten der Teilnahmeintention für S4 (YOC Mobile-Panel; 979 Panelisten, 272 Tn) 4. Mobilbefragung zum Thema Olympia 2008 (YOC Mobile-Panel; 979 Panelisten, 413 Tn) 5. Web: Gebrauchstauglichkeit von S4 aus Nutzersicht (YOC Mobile-Panel; 413 Panelisten aus S4, 187 Tn) 6. Mobilbefragung: Bewertung des letzten Urlaubs (Respondi Web-Panel; 3270 Panelisten, 540 Tn) 7. Web: Gebrauchstauglichkeit von S6 aus Nutzersicht(Respondi Web-Panel; 540 Panelisten aus S6, 318 Tn) April 2011

16 Studienreihe: Untersuchungssteckbrief 7 Studienserie 2008 ( ) Studienserie 2009 ( ) April Web: Vorstudie: Determinanten der Teilnahmeintention (Sozioland Web-Panel) 2. Vorstudie: Experten-Usability-Evaluation durch YOC 3. Web: Determinanten der Teilnahmeintention für S4 (YOC Mobile-Panel; 979 Panelisten, 272 Tn) 4. Mobilbefragung zum Thema Olympia 2008 (YOC Mobile-Panel; 979 Panelisten, 413 Tn) 5. Web: Gebrauchstauglichkeit von S4 aus Nutzersicht (YOC Mobile-Panel; 413 Panelisten aus S4, 187 Tn) 6. Mobilbefragung: Bewertung des letzten Urlaubs (Respondi Web-Panel; 3270 Panelisten, 540 Tn) 7. Web: Gebrauchstauglichkeit von S6 aus Nutzersicht(Respondi Web-Panel; 540 Panelisten aus S6, 318 Tn) Gebrauchstauglichkeit von Spracherkennung als Eingabeformat? (mit Globalpark und Mario Callegaro, Google USA)

17 8 Ausgewählte Teilfragestellungen Teilnahmebereitschaft und -verhalten? Rücklaufgeschwindigkeit kumuliert mobil (versus Web)? von Tageszeit der Einladung abhängig? Determinanten der Teilnahmeabsicht? S4 S3 S6 Welche Fragetypen sind (nicht) geeignet? (Gebrauchstauglichkeit von auf mobilen Endgeräten dargestellten Fragetypen) S5 & S7

18 Kumuliertert prozentualer Anteil Rücklaufgeschwindigkeit (2008) 9 Geschwindigkeit des Zugriffs auf Welle 1 und 2 Stunden seit Einladung

19 Kumuliertert prozentualer Anteil Rücklaufgeschwindigkeit (2008) 9 Geschwindigkeit des Zugriffs auf Welle 1 und 2 Noch deutlich schnellerer Rücklauf bei Mobilbefragungen im Vergleich zu Web-Befragungen: Ca. 35% Mobil versus ca. 10 % Web Stunden seit Einladung

20 Kumuliertert prozentualer Anteil Rücklaufgeschwindigkeit (2008) 9 Geschwindigkeit des Zugriffs auf Welle 1 und 2 Rücklaufgeschwindigkeitsvorteil bei Mobilbefragungen bis ca. 4 1/2 Stunden nach Aussendung Noch deutlich schnellerer Rücklauf bei Mobilbefragungen im Vergleich zu Web-Befragungen: Ca. 35% Mobil versus ca. 10 % Web Stunden seit Einladung

21 10 Ertrag Teilnahmebereitschaft und -verhalten? Rücklaufgeschwindigkeit kumuliert mobil (versus Web)? von Tageszeit der Einladung abhängig? Determinanten der Teilnahmeabsicht? Schnellster Modus? Welche Fragetypen sind (nicht) geeignet? (Gebrauchstauglichkeit von auf mobilen Endgeräten dargestellten Fragetypen)

22 Rücklaufgeschwindigkeit (2009) :00 9:00 10:00 11:00 12:00 13:00 14:00 15:00 16:00 17:00 18:00 19:00 20:00 Mittlere Rücklaufgeschwindigkeit in Stunden für unterschiedliche Aussendezeitpunkte der Teilnahmeeinladung (versendet per SMS, vor Aussendung eines Reminders).

23 Rücklaufgeschwindigkeit (2009) Aussendezeitpunkt :00 9:00 10:00 11:00 12:00 13:00 14:00 15:00 16:00 17:00 18:00 19:00 20:00 Mittlere Rücklaufgeschwindigkeit in Stunden für unterschiedliche Aussendezeitpunkte der Teilnahmeeinladung (versendet per SMS, vor Aussendung eines Reminders).

24 12 Ertrag Teilnahmebereitschaft und -verhalten? Rücklaufgeschwindigkeit kumuliert mobil (versus Web)? von Tageszeit der Einladung abhängig? Determinanten der Teilnahmeabsicht? Schnellster Modus? Ja : Systematik? Welche Fragetypen sind (nicht) geeignet? (Gebrauchstauglichkeit von auf mobilen Endgeräten dargestellten Fragetypen)

25 Nicht-Partizipation: Selbstberichte 13 Post survey in Wave 3, open responses, N= 63

26 Determinanten der Teilnahmeabsicht I 14

27 Determinanten der Teilnahmeabsicht I Relativer Einfluss der folgenden fünf Faktoren auf die Teilnahmebereitschaft an Mobilbefragungen: 1. Einstellung gegenüber der Teilnahme 2. Hedonistische Aspekte (perceived enjoyment) 3. Soziale Aspekte (subj. norm) 4. Image und Selbst-Kongruenz (self-congruity) 5. wahrgenommener Nutzen und insbes. Kosten 14

28 Determinanten der Teilnahmeabsicht I Relativer Einfluss der folgenden fünf Faktoren auf die Teilnahmebereitschaft an Mobilbefragungen: 1. Einstellung gegenüber der Teilnahme 2. Hedonistische Aspekte (perceived enjoyment) 3. Soziale Aspekte (subj. norm) 4. Image und Selbst-Kongruenz (self-congruity) 5. wahrgenommener Nutzen und insbes. Kosten Ausgangshypothesensystem: Erweitertes Technologie-Akzeptanz-und-Gebrauch Modell (Venkatesh et al., 2003) 14

29 Determinanten der Teilnahmeabsicht I Relativer Einfluss der folgenden fünf Faktoren auf die Teilnahmebereitschaft an Mobilbefragungen: 1. Einstellung gegenüber der Teilnahme 2. Hedonistische Aspekte (perceived enjoyment) 3. Soziale Aspekte (subj. norm) 4. Image und Selbst-Kongruenz (self-congruity) 5. wahrgenommener Nutzen und insbes. Kosten Ausgangshypothesensystem: Erweitertes Technologie-Akzeptanz-und-Gebrauch Modell (Venkatesh et al., 2003) Insgesamt drei aufeinander bezogene Studien S1: Optimierung der Messmodelle S3: Erhebung der Determinantenbasis bezügl. S4 S4: Olympia-Befragung 14

30 Determinanten der Teilnahmeabsicht II Bosnjak et al Fit Indices (robust) SB-Χ²=407; df=296 p<.05, Χ²/df= 1.37 NNFI=.98 RMSEA=.04 ( ) *std.β, sig. at α=. 05, N= 272

31 Determinanten der Teilnahmeabsicht II Bosnjak et al Fit Indices (robust) SB-Χ²=407; df=296 p<.05, Χ²/df= 1.37 NNFI=.98 RMSEA=.04 ( ) *std.β, sig. at α=. 05, N= 272

32 Determinanten der Teilnahmeabsicht II Bosnjak et al Bedeutsam: > Affektiv/hedon. Aspekte > Selbst-Kongruenz Fit Indices (robust) SB-Χ²=407; df=296 p<.05, Χ²/df= 1.37 NNFI=.98 RMSEA=.04 ( ) *std.β, sig. at α=. 05, N= 272

33 Determinanten der Teilnahmeabsicht II Bosnjak et al Bedeutsam: > Affektiv/hedon. Aspekte > Selbst-Kongruenz Nicht bedeutsam: Fit Indices (robust) SB-Χ²=407; df=296 p<.05, Χ²/df= 1.37 NNFI=.98 RMSEA=.04 ( ) *std.β, sig. at α=. 05, N= 272 > Erwartete Kosten > Meinung anderer Personen

34 16 Ertrag Teilnahmebereitschaft und -verhalten? Rücklaufgeschwindigkeit kumuliert mobil (versus Web)? von Tageszeit der Einladung abhängig? Determinanten der Teilnahmeabsicht? Schnellster Modus? Ja : Systematik? Welche Fragetypen sind (nicht) geeignet? (Gebrauchstauglichkeit von auf mobilen Endgeräten dargestellten Fragetypen) Hedon./affektiv/selbstkongruent: Erhöhung der Ausschöpfungsrate?

35 Fragetypen (I) 17 Single choice Multiple choice Drop-Down menu

36 Fragetypen (II) 18 Textfield Matrix / Polarity profile Voice / image / video capturing

37 Einfachauswahl Gebrauchstauglichkeit Subjektive Gebrauchstauglichkeit Nachbefragung (Web) eine Woche nach Feldstart Indikatoren für GT-Index: Flüssigkeit, Leichtigkeit, Einfachheit 19 Objektiv Item- NR Drop- Out Mehrfachauswahl Auswahlliste Textfeld einzeilig Fragetyp mit Bild

38 Gebrauchstauglichkeit 19 Einfachauswahl Einfachauswahl untereinander Subjektive Gebrauchstauglichkeit Nachbefragung (Web) eine Woche nach Feldstart Indikatoren für GT-Index: Flüssigkeit, Leichtigkeit, Einfachheit 89,2 Objektiv Item- NR Drop- Out Mehrfachauswahl untereinander 87,3 Fragetyp Auswahlliste Geschlossene Auswahlliste 82,7 Textfeld Textfeld einzeilig 74,7 Fragetyp mit Fragetyp mit Bild 87,9 65,00 73,75 82,50 91,25 100,00 Gebrauchstauglichkeit (0-100 Punkte)

39 Gebrauchstauglichkeit 19 Einfachauswahl Einfachauswahl untereinander Subjektive Gebrauchstauglichkeit Nachbefragung (Web) eine Woche nach Feldstart Indikatoren für GT-Index: Flüssigkeit, Leichtigkeit, Einfachheit 89,2 Objektiv Item- NR Drop- Out Mehrfachauswahl untereinander 87,3 9% Fragetyp Auswahlliste Geschlossene Auswahlliste 82,7 Textfeld Textfeld einzeilig 74,7 45% 9% Fragetyp mit Fragetyp mit Bild 87,9 23% 65,00 73,75 82,50 91,25 100,00 Gebrauchstauglichkeit (0-100 Punkte)

40 Bisheriger Ertrag (Auswahl) & Diskussion 20 Teilnahmebereitschaft und -verhalten? Rücklaufgeschwindigkeit kumuliert mobil (versus Web)? von Tageszeit der Einladung abhängig? Determinanten der Teilnahmeabsicht? Schnellster Modus? Ja : Systematik? Welche Fragetypen sind (nicht) geeignet? (Gebrauchstauglichkeit von auf mobilen Endgeräten dargestellten Fragetypen) Hedon./affektiv/selbstkongruent: Erhöhung der Ausschöpfungsrate? Textfelder problematisch: Spracherkennung? Bildelemente: Drop-Out techn. Übergangserscheinung?

41 Mobilstudie III: iphone Sprachaufzeichnung 21

48 Mobilstudie III: Android Spracherkennung 22

53 Usability-Einschätzung (unmittelbar) 23

54 Usability-Einschätzung (unmittelbar) 23 Unmittelbare Usability- Einschätzung am höchsten (und am homogensten) für Android (!)

55 Usability-Einschätzung (nach einer Woche) 24

56 Usability-Einschätzung (nach einer Woche) 24 Beste erinnerte Usability- Einschätzung nach einer Woche für iphone Sprachaufzeichnung!

57 25

58 Herzlichen Dank für Ihre Aufmerksamkeit! Prof. Dr. Michael Bosnjak Freie Universität Bozen, Fakultät für Wirtschaftswissenschaften 26

59 ANHANG: Zusatzmaterialien 27

60 GPS positioning: Privacy concerns? 28 Acceptance of GPS-Location among participants with an iphone (MS II; n=45) Yes (willing to disclose) No (not willing to disclose)

61 GPS positioning: Privacy concerns? 28 Acceptance of GPS-Location among participants with an iphone (MS II; n=45) 9% 91% Yes (willing to disclose) No (not willing to disclose)

62 Current context of participation? (MS I) 29 Where have you been taking part in the survey? (Wave 3; N=116) "Which activity did you have to disrupt to take part in the mobile survey?/ What have you done in that very situation? (Wave 3; N=98; open responses)

63 Current context of participation? (MS I) 29 At home 63,79% Where have you been taking part in the survey? (Wave 3; N=116) In the office / at work In a car At the bus or train station Using public transport 17,24% 6,90% 4,31% 2,59% On the move (other reasons) 5,17% "Which activity did you have to disrupt to take part in the mobile survey?/ What have you done in that very situation? (Wave 3; N=98; open responses)

64 Current context of participation? (MS I) 29 At home 63,79% Where have you been taking part in the survey? (Wave 3; N=116) In the office / at work In a car At the bus or train station Using public transport 17,24% 6,90% 4,31% 2,59% On the move (other reasons) 5,17% At home busy with my PC Watched TV Worked at home Read In the office / at work Preparing / eating a meal On the move 17,35% 14,29% 10,20% 8,16% 11,22% 7,14% 8,16% "Which activity did you have to disrupt to take part in the mobile survey?/ What have you done in that very situation? (Wave 3; N=98; open responses) Nothing disrupted 23,47%

65 Optimal length of mobile surveys? (MS II) Do you want to continue answering the survey mobile or online (in this case you will get a link via )? Participants: n=

66 Optimal length of mobile surveys? (MS II) Do you want to continue answering the survey mobile or online (in this case you will get a link via )? Participants: n= % 10,3 % 75 % 68,9 % 50 % 89,7 % 25 % 0 % 31,1 % non iphone iphone mobile online

67 Optimal length of mobile surveys? (MS II) 30 Do you want to continue answering the survey mobile or online (in this case you will get a link via )? 100 % Participants: n= ,3 % 30,0 75 % 68,9 % 22,5 19,8 19,3 20,1 50 % 89,7 % Minnutes 15,0 25 % 31,1 % 7,5 5,2 5,1 5,2 0 % non iphone iphone mobile online 0 Total iphone Non iphone Part 1: Mobile- Initial Survey Part 1 & 2: Mobile Survey

68 Optimal length of mobile surveys? (MS II) Do you want to continue answering the survey mobile or online (in this case you will get a link via )? Participants: n=

69 Optimal length of mobile surveys? (MS II) Do you want to continue answering the survey mobile or online (in this case you will get a link via )? Participants: n= % 10,3 % 75 % 68,9 % 50 % 89,7 % 25 % 0 % 31,1 % non iphone iphone mobile online

70 Optimal length of mobile surveys? (MS II) 31 Do you want to continue answering the survey mobile or online (in this case you will get a link via )? 100 % Participants: n= ,3 % 30,0 75 % 68,9 % 22,5 19,8 19,3 20,1 50 % 89,7 % Minnutes 15,0 25 % 31,1 % 7,5 5,2 5,1 5,2 0 % non iphone iphone mobile online 0 Total iphone Non iphone Part 1: Mobile- Initial Survey Part 1 & 2: Mobile Survey