Methodische Innovationen am Beispiel der Bevölkerungsbefragung im Kanton Luzern Dr. Georges-Simon Ulrich, Direktor LUSTAT Statistik Luzern Luzern, 12. September 2012
Einführung Methodik Struktur und Methodeneffekte Bilanz und Ausblick
Ausgangslage (1) (1) Verändertes Mobilitäts-, Freizeit- und Kommunikationsverhalten (2) Steigende Befragungsmüdigkeit (3) Fehlende Eintragungen in den offiziellen Telefonregistern (4) Unverändert hohe Anforderungen an Repräsentativität in der Sozialforschung (5) Anspruch an echte intersubjektive Nachvollziehbarkeit (man kann Verantwortung für eine gute Umfrage nicht delegieren)
Ausgangslage (2) (6) Es existieren kaum einheitlich definierte Qualitätsstandards bei der Erhebung bzw. Standards sind zuwenig konkret oder zuwenig verbindlich (7) Die Ergebnisse von Befragungen lassen sich wegen unterschiedlichster Erhebungsverfahren in den wenigsten Fällen vergleichen (u.a. Stichprobenplan, Basisstichprobe, Anzahl Befragte, Ausschöpfung) (8) Erhebliche Defizite bestehen in der Interreliabilisierung bei der Codierung und bei der Erfassung offener Fragen der CATI-Methode (9) Eine echte intersubjektive ex-post Kontrolle wird von den Instituten kaum angeboten (10) Methodeneffekte sind kaum untersucht
Methodische Neuerungen der kantonalen Einwohnerbefragung 2011 (1) Verfeinertes Verfahren zur Ermittlung fehlender Telefonnummern aus kantonalen Einwohnerregister (2) Audioaufzeichnungen bei CATI-Interviews (3) Parallelmessung Mixed-Mode CAWI/CATI vs. CATI (inkl. Analyse der strukturellen und methodischen Effekte)
Hypothesen (1) höhere Repräsentativität durch Mixed-Mode- Ansatz (2) der Mixed-Mode-Ansatz bringt relevante Methodeneffekte zwischen CATI- und CAWI- Interviews mit (3) Audioaufzeichnungen verbessern die Befragungsqualität und machen die Qualität nachvollziehbar (4) Audioaufzeichnungen verbessern die Codier- und Erfassungsqualität der offenen Fragen durch Interreliabilisierung
Einwohnerbefragung 2011 (1) Auftraggeber: Regierungsrat des Kantons Luzern (2) Auftrag: Einstellungen und Befindlichkeiten der Luzerner Bevölkerung in verschiedenen Lebensbereichen erfahren (3) Instrument für politische Entscheidungsträger zur Überprüfung politischer Ziele und Formulierung von Massnahmen (4) 2009 und 2011 wurden jeweils 4 000 Personen befragt
Registerbasierte Stichprobe (1) Repräsentativ geschichtete Zufallsstichprobe auf Basis der kommunalen Einwohnerregister (2) Schichtungsmerkmale: Alter, Geschlecht, Staatsangehörigkeit und Gemeindetyp (3) Aufteilung in zwei strukturgleiche Stichproben: - Telefonstichprobe - Mixed-Mode-Stichprobe mit freier Wahl zwischen Telefon- und Webinterview
Entscheidungskriterien für Institutwahl Es werden nur Institute berücksichtigt, die Interviews pro Frage mittels Audiofiles aufzeichnen; offene Fragen auf der Basis der Original-Audiofiles codieren; Mitglied des Verbandes VSMS sind; über den ganzen Tag verteilt Interviews durchführen können (inkl. samstags); deren Interviewer nativ sprechend sind; keine Unterakkordanz-Aufträge vergeben; die Vergabegrundsätze Art. 4öBG erfüllen.
Agenda Einführung Methodik Struktur und Methodeneffekte Bilanz und Ausblick
Methodische Neuerungen der kantonalen Einwohnerbefragung 2011 (1) Optimierung Befragungsuniversum: Verfeinertes Verfahren zur Ermittlung fehlender Telefonnummern (2) Audioaufzeichnungen bei CATI-Interviews (3) Parallelmessung Mixed-Mode CAWI/CATI vs. CATI
Verfeinerte Ermittlung der Telefonnummern (1) Abgleich mit den eingetragenen Telefonnummern der öffentlich zugänglichen Telefonregister (2) Plausibilisierung, Bereinigung und manuelle Ergänzung des Telefonnummernabgleichs (3) Gesondertes Anschreiben für Personen ohne ermittelte Telefonnummer mit der Bitte um Rückmeldung der Telefonnummer per Antworttalon, Hotline oder Online-Portal (4) Nachrecherche bei ungültiger Telefonnummer (inkl. allfälligem zweitem Schreiben)
Das Befragungsuniversum 100% 80% 5% 4% 16% 15% Adressprobleme (Zielperson unbekannt, verstorben, verzogen, etc.) 60% 40% 80% 82% Fehlende Telefonnummer (ohne Telefonnummer + ohne Rückmeldung) 20% Befragungungsuniversum (mit Telefonnummer oder mit Rückmeldung) 0% CATI only [3410] Mixed-Mode CAWI/CATI [3670] Basis: [ ] Bruttostichprobe
Audio-Aufzeichnung Ausschreibungsvorgabe mit dem Ziel: (1) Verbesserte Nachcodierung offener Fragen (2) Ergänzende Qualitätskontrolle zum branchenüblichen Silent Monitoring (3) Objektive und systematische Kontrolle muss auch ex-post möglich sein
Berücksichtigung der Datenschutzaspekte (1) Explizites Einverständnis der Befragten für Audioaufzeichnung ist einzuholen. (2) Aufzeichnung startet erst nach Einverständnis. Dieses wird noch einmal explizit auf Audio wiederholt. (3) Ohne Einverständnis wird das Interview ohne Aufzeichnung realisiert. (4) Gesicherte, verschlüsselte Speicherung und exklusive, zeitlich limitierte Zugangsbeschränkung. (5) Löschung nach Studienabschluss (inkl. Back-up).
Anteil der Befragten mit Einverständnis zur Aufzeichnung nach Geschlecht, Alter und Heimat Total 89% Männer Frauen 88% 90% 15 24 Jahre 25 54 Jahre 55 64 Jahre 65 79 Jahre 93% 90% 86% 83% Schweizer/-innen Ausländer/-innen 83% 90% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Anteil der Befragten mit Einverständnis zur Aufzeichnung nach Bildungsstand Total 89% obligator. Schule 2-3jährige Berufsbildung 83% 82% 3-4jährige Berufsbildung Maturität Höhere Berufsbildung Höhere FS/HS 89% 92% 95% 93% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% >> keine expliziten Interview-Verweigerungen!
Erkenntnisse aus der Codierung (1) Kontext ab Audio-Datei für Codierung offener Fragen hilfreich; bei gegebener Fragestellung nicht zwingend (2) Detaillierte Codieranweisungen und Schulungen können bei einfacheren offenen Fragen die Interreliabilität zwischen CATI-Feld und Nachcodierung weitgehend sichern (Bei komplexeren offenen Fragen ist ein deutlich grösserer Nutzen zu erwarten.)
Methodenexperiment Mixed-Mode (1) zwei strukturgleiche Stichproben: 1. CATI- Befragung und 2. Mixed-Mode CATI/CAWI (2) Anzahl Interviews pro Stichprobe: rund 2 000
Gewählter Interviewmodus im Mixed- Mode-Sample 100% 80% 42% CATI-Interview 60% 40% 29% Web-Interview nach CATI-Kontakt 20% 29% Web-Interview ohne CATI-Kontakt 0% Mixed-Mode CAWI/CATI Basis: 2151 Interviews
Bevorzugte Interviewart nach Alter, Geschlecht und Heimat 15 24 J. 25 54 J. 55 64 J. 65 79 J. Schweizer CAWI 68.9% [148] CAWI 70.2% [514] CAWI 55.6% [126] CATI 60.6% [132] Ausländer CATI 62.5% [24] CAWI 59.8% [122] CATI 57.1% [28] Schweizerinnen CAWI 61.4% [166] CAWI 63.9% [443] CATI 53.8% [132] CATI 73.2% [157] Ausländerinnen CATI 54.2% [24] CAWI 54.3% [116] CATI 63.2% [19] Basis: 2151/ [ ] Interviews im Mixed-Mode-Sample
Bruttoausschöpfung der beiden Samples 100% 80% 60% 20% 18% 7% 11% 7% 6% 7% 10% 1% Ausschluss Befragungungsuniversum Neutrale Ausfälle (Sprache, Gesundheit, abwesend) Verweigerungen 40% 20% 54% 58% Offene Kontakte Ungültige Interviews Gültige Interviews 0% CATI only [3410] Mixed-Mode CAWI/CATI [3670] Basis: [ ] aktivierte Adressen
Agenda Einführung Methodik Struktur und Methodeneffekte Bilanz und Ausblick
Bruttoausschöpfung nach Telefoneintrag Total 54% 58% Mit Tel.-Eintrag 61% 64% Ohne Tel.-Eintrag 17% 25% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% Mixed-Mode [3670] CATI [3410] Basis: [ ] aktivierte Adressen
Bruttoausschöpfung nach Geschlecht und Alter der Befragten Total 54% 58% Männer Frauen 52% 57% 59% 57% 15 24 Jahre 25 54 Jahre 55 64 Jahre 65 79 Jahre 58% 53% 55% 51% 61% 59% 65% 65% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% Mixed-Mode [3670] CATI [3410] Basis: [ ] aktivierte Adressen
Bruttoausschöpfung nach Heimat und Wohnort der Befragten Total 54% 58% Schweizer/-innen Ausländer/-innen 41% 41% 58% 63% Kernstadt Agglomeration Land 49% 54% 58% 54% 60% 57% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% Mixed-Mode [3670] CATI [3410] Basis: [ ] aktivierte Adressen
Repräsentativität (1) Struktur der Teilnehmenden nach Geschlecht Grundgesamtheit Stichprobengruppe A (Cati) Stichprobengruppe B (Mixed-Mode) Stichprobengruppe B1 (Cati) Stichprobengruppe B2 (Cawi) 0% 20% 40% 60% 80% 100% Männer Frauen
Repräsentativität (2) Struktur der Teilnehmenden nach Alterskategorien Grundgesamtheit Stichprobengruppe A (Cati) Stichprobengruppe B (Mixed-Mode) Stichprobengruppe B1 (Cati) Stichprobengruppe B2 (Cawi) 0% 20% 40% 60% 80% 100% 15-24-Jährige 25-54.Jährige 55-64-Jährige 65+
Unterschiede im Antwortverhalten (1) Teilweise sind Unterschiede im Antwortverhalten auf Struktureffekte zurückzuführen (2) Online-Teilnehmende nutzen Skalen besser aus und vergeben vermehrt tiefere oder kritischere Beurteilungen (3) Online-Teilnehmende beantworten offene Fragen häufiger mit weiss nicht (4) Unterschiede im Antwortverhalten zwischen Telefon- und Mixed-Mode-Stichprobe vorhanden; besonders betroffen sind Zufriedenheitsfragen
Agenda Einführung Methodik Struktur und Methodeneffekte Bilanz und Ausblick
Schlussfolgerungen (1) höhere Repräsentativität durch Mixed-Mode-Ansatz - Hypothese bestätigt (2) der Mixed-Mode-Ansatz bringt relevante Methodeneffekte zwischen CATI- und CAWI-Interviews mit - Hypothese bestätigt (3) Audioaufzeichnungen verbessern die Befragungsqualität und machen die Qualität nachvollziehbar - Hypothese bestätigt (4) Audioaufzeichnungen verbessern die Codier- und Erfassungsqualität der offenen Fragen durch Interreliabilisierung - Hypothese bestätigt
(1) Bessere Teilnahmequote und bessere Repräsentativität mit Mixed-Mode-Ansatz (2) In Mixed-Mode-Variante können schwierig erreichbare Personen besser angesprochen werden (3) Mixed-Mode-Ansatz führt zu Methodeneffekten: Weitere Forschung erwünscht, um Unterschiede im Antwortverhalten in der Mixed-Mode-Stichprobe auszugleichen
(4) Konstantes Mischverhältnis zwischen Web- und Telefoninterviews reduziert Methodeneffekte (5) Qualität kann mittels Audioaufzeichnung auf objektiver Basis systematisch auch ex-post kontrolliert werden und ermöglicht es dem Auftraggeber diese Verantwortung tatsächlich wahrzunehmen (6) Bei Ausschreibung verbindliches Kostendach vereinbaren und darauf achten, dass ein/eine Interviewer/in nicht mehr als 5% der Interviews durchführt und der Mindestlohn für die Interviewer/innen eingehalten wird.
Herzlichen Dank für Ihre Aufmerksamkeit!