Verschiedene Befragungsmodi, ähnliche Ergebnisse? Wahlverhalten und politische Einstellungen in AUTNES 2013 Julian Aichholzer PUMA-Symposium, 11. Nov. 2016, Wien
Inhalt Hintergrund der Studie Daten Analyse Punktschätzer (Wahlverhalten) Multivariate Modelle (Wahlverhalten) Bivariate Korrelationen (polit. Einstellungen) Zusammenfassung Ausblick
Thema & Forschungsstand: Survey-Modes Verschiedene Befragungsarten (Survey-Modes): Unterschiede: Belastung, soziale Situation, Einfluss von Interviewern, Kontrolle der Durchführung. (z.b. Bowling, 2005) Generell: Messungen in CAPI/CATI weniger valide, etwas weniger reliabel, d.h. CAWI potenziell höhere Messqualität. (Saris & Gallhofer, 2007) Erklärungen für Unterschiede in Survey-Modes: Sample-Unterschied ist bedeutsam (Selektion). Antworttendenzen ändern sich (systematisch) mit dem Befragungsmodus. Ergebnisse zu CAWI (opt-in internet panels): Bedeutsame Unterschiede in der demografischen Zusammensetzung von non-probability internet panels (Yeager et al., 2011), Punktschätzer weichen ab (vgl. Pasek, 2016). Korrelationen oder Regressionsparameter in CAWI zu anderen Modi jedoch relativ ähnlich. (Ansolabehere & Schaffner, 2014; Bytzek & Bieber, 2016; Sanders et al., 2007)
Datengrundlage Austrian National Election Study (AUTNES) 2013 Daten und Dokumentation: http://www.gesis.org Komponente Modus n Stichprobe, Auswahlrahmen RR % 1. Pre-Post-Survey (Panel) 2. Internet-Panel- Survey 3. RCS-Survey (Panel) CAPI 3266 Postadressen (Zählsprengel) 61.8 CAWI 3084 Quote aus Panel (m/w, Alter, Bundesl., HHGr.) 14.8 CATI 4011 RDD/Telefonbuch (50/50%) 42.5 4. CSES-Survey (Nachwahl) CATI 1000 RDD/Telefonbuch (11/89%) (prop. nach Bundesl.) 52.1 Gesamt (gepoolt) 11361
Demografische Struktur? (over-sampling: 16-21J.) (Quelle Vergleich: Statistik Austria MZ-2012)
Punktschätzer: Wahlverhalten (Kalibrierung: MZ-2012; Geschlecht, Alter, Bildung, Migr. Hintergr., Bundesland, Person/HH, Erwerbsstatus, Geschlecht*Matura, Alter*Matura) (Wahl: w.n./k.a.=missing, Wahlbeteiligung: 0 wenn w.n./k.a. und Wahl=w.n., Quelle Vergleich: BMI)
Multivariate Modelle: Interaktionen CAWI vs. CAPI: CAWI vs. CATI: Wahl FPÖ vs. andere (n = 2113) Effekte für Beruf inkonsistent, in CAWI kein Unterschied nach Beruf (bei p =.01) Wahlbeteiligung (n = 2925) Effekt Bildung minimal inkonsistent, aber bei p <.05 Wahl FPÖ vs. andere (n = 3735) Effekt Bildung minimal inkonsistent CAWI: kein Effekt von Geschlecht Allerdings keine Interaktion bei p <.01 Wahlbeteiligung (n = 4037) keinerlei Unterschiede (jeweils p >.05) (Wahl FPÖ: Geschlecht, Bildung, Alter (4 Kat.), Beruf (3 Kat.), Religiosität (Dummy), Gewerkschaftsm., L-R-Skala, Wirtschaftslage) (Wahlbeteiligung: Geschlecht, Migrationshintergrund, Bildung, Alter (4 Kat.), subj. Einkommenssit., Religiosität (Dummy), Gewerkschaftsm., Parteiidentität)
Korrelationen: Bsp. Autoritarismusskala (s. Aichholzer & Zeglovits, 2015)
Korrelationen: Skala polit. Zynismus (s. Aichholzer & Kritzinger, 2016)
Zusammenfassung Stichprobe und Punktschätzer: CAPI mit HH-Stichprobe = Goldstandard. Demografische Gewichtung offenbar keine ausreichende Lösung. Stützt frühere Forschung: Verschiedenste Gewichtungsstrategien (für CAWI) können nicht hinreichend ausgleichen. (z.b. Pasek, 2016; Tourangeau et al., 2013) Korrelationen bzw. strukturelle Zusammenhänge: Im multivariaten Modell zeigt CAWI nur minimal abweichende Effekte. Außerdem: Andere Vorzeichen sind nicht signifikant, Erklärungskraft ist sehr ähnlich. Korrelationen von Einstellungen in CAWI etwas stärker (z.b. Pasek, 2016 zu CAWI/CATI). Erklärung: Reliabilität der Messung in CAWI höher und/oder spezielle Subpopulation.
Ausblick Was spricht für CAWI? Billiger! Kürzere Bearbeitungsdauer! Herausforderungen: Echte probabilistische Online-Surveys? Andere oder neue Gewichtungsstrategien? Danke für Ihre Aufmerksamkeit!
Referenzen Aichholzer, J., & Kritzinger, S. (2016). Kurzskala politischer Zynismus (KPZ). In: Zusammenstellung sozialwissenschaftlicher Items und Skalen. http://zis.gesis.org/pdffiles/dokumentation/aichholzer+%20kurzskala%20politischer%20zynismus.pdf Aichholzer, J., & Zeglovits, E. (2015). Balancierte Kurzskala autoritärer Einstellungen (B-RWA-6). In: Zusammenstellung sozialwissenschaftlicher Items und Skalen. http://zis.gesis.org/pdffiles/dokumentation/aichholzer+%20balancierte%20kurzskala%20autoritaerer%20einstellungen%20(b-rwa-6).pdf Ansolabehere, S., & Schaffner, B. F. (2014). Does survey mode still matter? Findings from a 2010 multi-mode comparison. Political Analysis, 22, 285-303. Bowling. A. (2005). Mode of questionnaire administration can have serious effects on data quality. Journal of Public Health, 27, 281-291. Bytzek. E., & Bieber. I. E. (2016). Does survey mode matter for studying electoral behaviour? Evidence from the 2009 German Longitudinal Election Study. Electoral Studies, 43, 41-51. Pasek, J. (2016). When will nonprobability surveys mirror probability surveys? Considering types of inference and weighting strategies as criteria for correspondence. International Journal of Public Opinion Research, 28, 269-291. Sanders. D., Clarke. H. D., Stewart. M. C., & Whiteley. P. (2007). Does mode matter for modeling political choice? Evidence from the 2005 British Election Study. Political Analysis, 15, 257-285. Saris. W. E., & Gallhofer. I. N. (2007). Design. evaluation and analysis of questionnaires for survey research. Hoboken, NJ: Wiley. Tourangeau, R., Conrad, F. G., & Couper, M. P. (2013). The science of web surveys. Oxford: Oxford University Press. Yeager, D. S., Krosnick, J. A., Chang, L., Javitz, H. S., Levendusky, M. S., Simpser, A., & Wang, R. (2011). Comparing the accuracy of RDD telephone surveys and internet surveys conducted with probability and non-probability samples. Public Opinion Quarterly, 75, 709-747.