Verschiedene Befragungsmodi, ähnliche Ergebnisse? Wahlverhalten und politische Einstellungen in AUTNES 2013

Transkript

1 Verschiedene Befragungsmodi, ähnliche Ergebnisse? Wahlverhalten und politische Einstellungen in AUTNES 2013 Julian Aichholzer PUMA-Symposium, 11. Nov. 2016, Wien

2 Inhalt Hintergrund der Studie Daten Analyse Punktschätzer (Wahlverhalten) Multivariate Modelle (Wahlverhalten) Bivariate Korrelationen (polit. Einstellungen) Zusammenfassung Ausblick

3 Thema & Forschungsstand: Survey-Modes Verschiedene Befragungsarten (Survey-Modes): Unterschiede: Belastung, soziale Situation, Einfluss von Interviewern, Kontrolle der Durchführung. (z.b. Bowling, 2005) Generell: Messungen in CAPI/CATI weniger valide, etwas weniger reliabel, d.h. CAWI potenziell höhere Messqualität. (Saris & Gallhofer, 2007) Erklärungen für Unterschiede in Survey-Modes: Sample-Unterschied ist bedeutsam (Selektion). Antworttendenzen ändern sich (systematisch) mit dem Befragungsmodus. Ergebnisse zu CAWI (opt-in internet panels): Bedeutsame Unterschiede in der demografischen Zusammensetzung von non-probability internet panels (Yeager et al., 2011), Punktschätzer weichen ab (vgl. Pasek, 2016). Korrelationen oder Regressionsparameter in CAWI zu anderen Modi jedoch relativ ähnlich. (Ansolabehere & Schaffner, 2014; Bytzek & Bieber, 2016; Sanders et al., 2007)

4 Datengrundlage Austrian National Election Study (AUTNES) 2013 Daten und Dokumentation: Komponente Modus n Stichprobe, Auswahlrahmen RR % 1. Pre-Post-Survey (Panel) 2. Internet-Panel- Survey 3. RCS-Survey (Panel) CAPI 3266 Postadressen (Zählsprengel) 61.8 CAWI 3084 Quote aus Panel (m/w, Alter, Bundesl., HHGr.) 14.8 CATI 4011 RDD/Telefonbuch (50/50%) CSES-Survey (Nachwahl) CATI 1000 RDD/Telefonbuch (11/89%) (prop. nach Bundesl.) 52.1 Gesamt (gepoolt) 11361

5 Demografische Struktur? (over-sampling: 16-21J.) (Quelle Vergleich: Statistik Austria MZ-2012)

6 Punktschätzer: Wahlverhalten (Kalibrierung: MZ-2012; Geschlecht, Alter, Bildung, Migr. Hintergr., Bundesland, Person/HH, Erwerbsstatus, Geschlecht*Matura, Alter*Matura) (Wahl: w.n./k.a.=missing, Wahlbeteiligung: 0 wenn w.n./k.a. und Wahl=w.n., Quelle Vergleich: BMI)

7 Multivariate Modelle: Interaktionen CAWI vs. CAPI: CAWI vs. CATI: Wahl FPÖ vs. andere (n = 2113) Effekte für Beruf inkonsistent, in CAWI kein Unterschied nach Beruf (bei p =.01) Wahlbeteiligung (n = 2925) Effekt Bildung minimal inkonsistent, aber bei p <.05 Wahl FPÖ vs. andere (n = 3735) Effekt Bildung minimal inkonsistent CAWI: kein Effekt von Geschlecht Allerdings keine Interaktion bei p <.01 Wahlbeteiligung (n = 4037) keinerlei Unterschiede (jeweils p >.05) (Wahl FPÖ: Geschlecht, Bildung, Alter (4 Kat.), Beruf (3 Kat.), Religiosität (Dummy), Gewerkschaftsm., L-R-Skala, Wirtschaftslage) (Wahlbeteiligung: Geschlecht, Migrationshintergrund, Bildung, Alter (4 Kat.), subj. Einkommenssit., Religiosität (Dummy), Gewerkschaftsm., Parteiidentität)

8 Korrelationen: Bsp. Autoritarismusskala (s. Aichholzer & Zeglovits, 2015)

9 Korrelationen: Skala polit. Zynismus (s. Aichholzer & Kritzinger, 2016)

10 Zusammenfassung Stichprobe und Punktschätzer: CAPI mit HH-Stichprobe = Goldstandard. Demografische Gewichtung offenbar keine ausreichende Lösung. Stützt frühere Forschung: Verschiedenste Gewichtungsstrategien (für CAWI) können nicht hinreichend ausgleichen. (z.b. Pasek, 2016; Tourangeau et al., 2013) Korrelationen bzw. strukturelle Zusammenhänge: Im multivariaten Modell zeigt CAWI nur minimal abweichende Effekte. Außerdem: Andere Vorzeichen sind nicht signifikant, Erklärungskraft ist sehr ähnlich. Korrelationen von Einstellungen in CAWI etwas stärker (z.b. Pasek, 2016 zu CAWI/CATI). Erklärung: Reliabilität der Messung in CAWI höher und/oder spezielle Subpopulation.

11 Ausblick Was spricht für CAWI? Billiger! Kürzere Bearbeitungsdauer! Herausforderungen: Echte probabilistische Online-Surveys? Andere oder neue Gewichtungsstrategien? Danke für Ihre Aufmerksamkeit!

12 Referenzen Aichholzer, J., & Kritzinger, S. (2016). Kurzskala politischer Zynismus (KPZ). In: Zusammenstellung sozialwissenschaftlicher Items und Skalen. Aichholzer, J., & Zeglovits, E. (2015). Balancierte Kurzskala autoritärer Einstellungen (B-RWA-6). In: Zusammenstellung sozialwissenschaftlicher Items und Skalen. Ansolabehere, S., & Schaffner, B. F. (2014). Does survey mode still matter? Findings from a 2010 multi-mode comparison. Political Analysis, 22, Bowling. A. (2005). Mode of questionnaire administration can have serious effects on data quality. Journal of Public Health, 27, Bytzek. E., & Bieber. I. E. (2016). Does survey mode matter for studying electoral behaviour? Evidence from the 2009 German Longitudinal Election Study. Electoral Studies, 43, Pasek, J. (2016). When will nonprobability surveys mirror probability surveys? Considering types of inference and weighting strategies as criteria for correspondence. International Journal of Public Opinion Research, 28, Sanders. D., Clarke. H. D., Stewart. M. C., & Whiteley. P. (2007). Does mode matter for modeling political choice? Evidence from the 2005 British Election Study. Political Analysis, 15, Saris. W. E., & Gallhofer. I. N. (2007). Design. evaluation and analysis of questionnaires for survey research. Hoboken, NJ: Wiley. Tourangeau, R., Conrad, F. G., & Couper, M. P. (2013). The science of web surveys. Oxford: Oxford University Press. Yeager, D. S., Krosnick, J. A., Chang, L., Javitz, H. S., Levendusky, M. S., Simpser, A., & Wang, R. (2011). Comparing the accuracy of RDD telephone surveys and internet surveys conducted with probability and non-probability samples. Public Opinion Quarterly, 75,