Methodische Innovationen am Beispiel der Bevölkerungsbefragung im Kanton Luzern

Transkript

1 Methodische Innovationen am Beispiel der Bevölkerungsbefragung im Kanton Luzern Dr. Georges-Simon Ulrich, Direktor LUSTAT Statistik Luzern Luzern, 12. September 2012

2 Einführung Methodik Struktur und Methodeneffekte Bilanz und Ausblick

3 Ausgangslage (1) (1) Verändertes Mobilitäts-, Freizeit- und Kommunikationsverhalten (2) Steigende Befragungsmüdigkeit (3) Fehlende Eintragungen in den offiziellen Telefonregistern (4) Unverändert hohe Anforderungen an Repräsentativität in der Sozialforschung (5) Anspruch an echte intersubjektive Nachvollziehbarkeit (man kann Verantwortung für eine gute Umfrage nicht delegieren)

4 Ausgangslage (2) (6) Es existieren kaum einheitlich definierte Qualitätsstandards bei der Erhebung bzw. Standards sind zuwenig konkret oder zuwenig verbindlich (7) Die Ergebnisse von Befragungen lassen sich wegen unterschiedlichster Erhebungsverfahren in den wenigsten Fällen vergleichen (u.a. Stichprobenplan, Basisstichprobe, Anzahl Befragte, Ausschöpfung) (8) Erhebliche Defizite bestehen in der Interreliabilisierung bei der Codierung und bei der Erfassung offener Fragen der CATI-Methode (9) Eine echte intersubjektive ex-post Kontrolle wird von den Instituten kaum angeboten (10) Methodeneffekte sind kaum untersucht

5 Methodische Neuerungen der kantonalen Einwohnerbefragung 2011 (1) Verfeinertes Verfahren zur Ermittlung fehlender Telefonnummern aus kantonalen Einwohnerregister (2) Audioaufzeichnungen bei CATI-Interviews (3) Parallelmessung Mixed-Mode CAWI/CATI vs. CATI (inkl. Analyse der strukturellen und methodischen Effekte)

6 Hypothesen (1) höhere Repräsentativität durch Mixed-Mode- Ansatz (2) der Mixed-Mode-Ansatz bringt relevante Methodeneffekte zwischen CATI- und CAWI- Interviews mit (3) Audioaufzeichnungen verbessern die Befragungsqualität und machen die Qualität nachvollziehbar (4) Audioaufzeichnungen verbessern die Codier- und Erfassungsqualität der offenen Fragen durch Interreliabilisierung

7 Einwohnerbefragung 2011 (1) Auftraggeber: Regierungsrat des Kantons Luzern (2) Auftrag: Einstellungen und Befindlichkeiten der Luzerner Bevölkerung in verschiedenen Lebensbereichen erfahren (3) Instrument für politische Entscheidungsträger zur Überprüfung politischer Ziele und Formulierung von Massnahmen (4) 2009 und 2011 wurden jeweils Personen befragt

8 Registerbasierte Stichprobe (1) Repräsentativ geschichtete Zufallsstichprobe auf Basis der kommunalen Einwohnerregister (2) Schichtungsmerkmale: Alter, Geschlecht, Staatsangehörigkeit und Gemeindetyp (3) Aufteilung in zwei strukturgleiche Stichproben: - Telefonstichprobe - Mixed-Mode-Stichprobe mit freier Wahl zwischen Telefon- und Webinterview

9 Entscheidungskriterien für Institutwahl Es werden nur Institute berücksichtigt, die Interviews pro Frage mittels Audiofiles aufzeichnen; offene Fragen auf der Basis der Original-Audiofiles codieren; Mitglied des Verbandes VSMS sind; über den ganzen Tag verteilt Interviews durchführen können (inkl. samstags); deren Interviewer nativ sprechend sind; keine Unterakkordanz-Aufträge vergeben; die Vergabegrundsätze Art. 4öBG erfüllen.

10 Agenda Einführung Methodik Struktur und Methodeneffekte Bilanz und Ausblick

11 Methodische Neuerungen der kantonalen Einwohnerbefragung 2011 (1) Optimierung Befragungsuniversum: Verfeinertes Verfahren zur Ermittlung fehlender Telefonnummern (2) Audioaufzeichnungen bei CATI-Interviews (3) Parallelmessung Mixed-Mode CAWI/CATI vs. CATI

12 Verfeinerte Ermittlung der Telefonnummern (1) Abgleich mit den eingetragenen Telefonnummern der öffentlich zugänglichen Telefonregister (2) Plausibilisierung, Bereinigung und manuelle Ergänzung des Telefonnummernabgleichs (3) Gesondertes Anschreiben für Personen ohne ermittelte Telefonnummer mit der Bitte um Rückmeldung der Telefonnummer per Antworttalon, Hotline oder Online-Portal (4) Nachrecherche bei ungültiger Telefonnummer (inkl. allfälligem zweitem Schreiben)

13 Das Befragungsuniversum 100% 80% 5% 4% 16% 15% Adressprobleme (Zielperson unbekannt, verstorben, verzogen, etc.) 60% 40% 80% 82% Fehlende Telefonnummer (ohne Telefonnummer + ohne Rückmeldung) 20% Befragungungsuniversum (mit Telefonnummer oder mit Rückmeldung) 0% CATI only [3410] Mixed-Mode CAWI/CATI [3670] Basis: [ ] Bruttostichprobe

14 Audio-Aufzeichnung Ausschreibungsvorgabe mit dem Ziel: (1) Verbesserte Nachcodierung offener Fragen (2) Ergänzende Qualitätskontrolle zum branchenüblichen Silent Monitoring (3) Objektive und systematische Kontrolle muss auch ex-post möglich sein

15 Berücksichtigung der Datenschutzaspekte (1) Explizites Einverständnis der Befragten für Audioaufzeichnung ist einzuholen. (2) Aufzeichnung startet erst nach Einverständnis. Dieses wird noch einmal explizit auf Audio wiederholt. (3) Ohne Einverständnis wird das Interview ohne Aufzeichnung realisiert. (4) Gesicherte, verschlüsselte Speicherung und exklusive, zeitlich limitierte Zugangsbeschränkung. (5) Löschung nach Studienabschluss (inkl. Back-up).

16 Anteil der Befragten mit Einverständnis zur Aufzeichnung nach Geschlecht, Alter und Heimat Total 89% Männer Frauen 88% 90% Jahre Jahre Jahre Jahre 93% 90% 86% 83% Schweizer/-innen Ausländer/-innen 83% 90% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

17 Anteil der Befragten mit Einverständnis zur Aufzeichnung nach Bildungsstand Total 89% obligator. Schule 2-3jährige Berufsbildung 83% 82% 3-4jährige Berufsbildung Maturität Höhere Berufsbildung Höhere FS/HS 89% 92% 95% 93% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% >> keine expliziten Interview-Verweigerungen!

18 Erkenntnisse aus der Codierung (1) Kontext ab Audio-Datei für Codierung offener Fragen hilfreich; bei gegebener Fragestellung nicht zwingend (2) Detaillierte Codieranweisungen und Schulungen können bei einfacheren offenen Fragen die Interreliabilität zwischen CATI-Feld und Nachcodierung weitgehend sichern (Bei komplexeren offenen Fragen ist ein deutlich grösserer Nutzen zu erwarten.)

19 Methodenexperiment Mixed-Mode (1) zwei strukturgleiche Stichproben: 1. CATI- Befragung und 2. Mixed-Mode CATI/CAWI (2) Anzahl Interviews pro Stichprobe: rund 2 000

20 Gewählter Interviewmodus im Mixed- Mode-Sample 100% 80% 42% CATI-Interview 60% 40% 29% Web-Interview nach CATI-Kontakt 20% 29% Web-Interview ohne CATI-Kontakt 0% Mixed-Mode CAWI/CATI Basis: 2151 Interviews

21 Bevorzugte Interviewart nach Alter, Geschlecht und Heimat J J J J. Schweizer CAWI 68.9% [148] CAWI 70.2% [514] CAWI 55.6% [126] CATI 60.6% [132] Ausländer CATI 62.5% [24] CAWI 59.8% [122] CATI 57.1% [28] Schweizerinnen CAWI 61.4% [166] CAWI 63.9% [443] CATI 53.8% [132] CATI 73.2% [157] Ausländerinnen CATI 54.2% [24] CAWI 54.3% [116] CATI 63.2% [19] Basis: 2151/ [ ] Interviews im Mixed-Mode-Sample

22 Bruttoausschöpfung der beiden Samples 100% 80% 60% 20% 18% 7% 11% 7% 6% 7% 10% 1% Ausschluss Befragungungsuniversum Neutrale Ausfälle (Sprache, Gesundheit, abwesend) Verweigerungen 40% 20% 54% 58% Offene Kontakte Ungültige Interviews Gültige Interviews 0% CATI only [3410] Mixed-Mode CAWI/CATI [3670] Basis: [ ] aktivierte Adressen

24 Bruttoausschöpfung nach Telefoneintrag Total 54% 58% Mit Tel.-Eintrag 61% 64% Ohne Tel.-Eintrag 17% 25% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% Mixed-Mode [3670] CATI [3410] Basis: [ ] aktivierte Adressen

25 Bruttoausschöpfung nach Geschlecht und Alter der Befragten Total 54% 58% Männer Frauen 52% 57% 59% 57% Jahre Jahre Jahre Jahre 58% 53% 55% 51% 61% 59% 65% 65% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% Mixed-Mode [3670] CATI [3410] Basis: [ ] aktivierte Adressen

26 Bruttoausschöpfung nach Heimat und Wohnort der Befragten Total 54% 58% Schweizer/-innen Ausländer/-innen 41% 41% 58% 63% Kernstadt Agglomeration Land 49% 54% 58% 54% 60% 57% 10% 15% 20% 25% 30% 35% 40% 45% 50% 55% 60% 65% 70% Mixed-Mode [3670] CATI [3410] Basis: [ ] aktivierte Adressen

27 Repräsentativität (1) Struktur der Teilnehmenden nach Geschlecht Grundgesamtheit Stichprobengruppe A (Cati) Stichprobengruppe B (Mixed-Mode) Stichprobengruppe B1 (Cati) Stichprobengruppe B2 (Cawi) 0% 20% 40% 60% 80% 100% Männer Frauen

28 Repräsentativität (2) Struktur der Teilnehmenden nach Alterskategorien Grundgesamtheit Stichprobengruppe A (Cati) Stichprobengruppe B (Mixed-Mode) Stichprobengruppe B1 (Cati) Stichprobengruppe B2 (Cawi) 0% 20% 40% 60% 80% 100% Jährige Jährige Jährige 65+

29 Unterschiede im Antwortverhalten (1) Teilweise sind Unterschiede im Antwortverhalten auf Struktureffekte zurückzuführen (2) Online-Teilnehmende nutzen Skalen besser aus und vergeben vermehrt tiefere oder kritischere Beurteilungen (3) Online-Teilnehmende beantworten offene Fragen häufiger mit weiss nicht (4) Unterschiede im Antwortverhalten zwischen Telefon- und Mixed-Mode-Stichprobe vorhanden; besonders betroffen sind Zufriedenheitsfragen

31 Schlussfolgerungen (1) höhere Repräsentativität durch Mixed-Mode-Ansatz - Hypothese bestätigt (2) der Mixed-Mode-Ansatz bringt relevante Methodeneffekte zwischen CATI- und CAWI-Interviews mit - Hypothese bestätigt (3) Audioaufzeichnungen verbessern die Befragungsqualität und machen die Qualität nachvollziehbar - Hypothese bestätigt (4) Audioaufzeichnungen verbessern die Codier- und Erfassungsqualität der offenen Fragen durch Interreliabilisierung - Hypothese bestätigt

32 (1) Bessere Teilnahmequote und bessere Repräsentativität mit Mixed-Mode-Ansatz (2) In Mixed-Mode-Variante können schwierig erreichbare Personen besser angesprochen werden (3) Mixed-Mode-Ansatz führt zu Methodeneffekten: Weitere Forschung erwünscht, um Unterschiede im Antwortverhalten in der Mixed-Mode-Stichprobe auszugleichen

33 (4) Konstantes Mischverhältnis zwischen Web- und Telefoninterviews reduziert Methodeneffekte (5) Qualität kann mittels Audioaufzeichnung auf objektiver Basis systematisch auch ex-post kontrolliert werden und ermöglicht es dem Auftraggeber diese Verantwortung tatsächlich wahrzunehmen (6) Bei Ausschreibung verbindliches Kostendach vereinbaren und darauf achten, dass ein/eine Interviewer/in nicht mehr als 5% der Interviews durchführt und der Mindestlohn für die Interviewer/innen eingehalten wird.

34 Herzlichen Dank für Ihre Aufmerksamkeit!