Ausschöpfungsquoten und Stichprobenqualität Erkenntnisse aus dem ALLBUS

Transkript

1 Ausschöpfungsquoten und Stichprobenqualität Erkenntnisse aus dem ALLBUS Michael Blohm (GESIS - Leibniz-Institut für Sozialwissenschaften) Workshop: Methoden der empirischen Sozialforschung in amtlichen Haushaltsstatistiken 16. Mai 2013, Wiesbaden

2 Gliederung Problem und Ausgangslage Ausschöpfung als Qualitätskriterium (1) Ausschöpfungen und Stichprobenabweichungen ALLBUS vs. Mikrozensus (2) ALLBUS 2010: Incentiveexperiment (3) ALLBUS+: Bessere Ergebnisse durch höhere Ausschöpfung? (4) Stichprobenverfahren und Datenqualität Resümee 2

3 Problem und Ausgangslage 1 Sinkende Ausschöpfungsquoten bei steigendem Aufwand und bei steigenden Kosten im internationalen Vergleich in Deutschland eher niedrige Ausschöpfungsquoten im europäischen Vergleich eher mittleres Preisniveau pro Interview 3

4 Nonresponse- und Ausschöpfungsquoten ALLBUS % 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Kontaktrate Kooperationsrate Ausschöpfung 4

5 Problem und Ausgangslage 2 Beim ALLBUS relativ gute Informationsbasis zur Analyse des Problems Seit 1994 Ausschöpfung zuverlässig bestimmbar (Registerstichprobe) Hohe Dokumentationsanforderungen (Feldarbeit, Kontaktierung) Begleitende Methodenforschung: Zusatzstudie ALLBUS+ Incentiveexperiment konstantes Studiendesign seit 1994 (F2F, Registerstichprobe (Personen), 3500 Nettofälle, Befragungsdauer 70 Min, Mehrthemenumfrage, Wohnbevölkerung in Privat-HH ab 18 Jahre ) Merkmale der Bruttofälle sind bekannt 5

6 Fragestellungen (1) Welchen Einfluss hat die Ausschöpfungsquote auf die Stichprobenqualität (im ALLBUS)? (2) Sind Incentives ein effektives Mittel zur Steigerung der Ausschöpfung und der Datenqualität? (3) Ausschöpfungssteigerung in F2F Umfragen: Möglichkeiten und Effekte anhand einer Experimentalstudie. (4) Welche Einfluss hat das Stichprobenverfahren auf die Datenqualität? 6

7 Ausschöpfung als Qualitätskriterium 1 Meistbenutzter Qualitätsindikator für Umfragen Attraktiver Indikator: Eine Maßzahl für gesamte Studie; (vermeintlich) einfach zu ermitteln: RR = Anzahl durchgeführter Interviews / Größe der Bruttostichprobe Annahme: Je höher die Ausschöpfung, desto höher ist die Stichprobenqualität 7

8 Ausschöpfung als Qualitätskriterium 2 Indikator ist allerdings nur beschränkt aussagekräftig: Fehler durch Nonresponse nur eine Fehlerquelle unter anderen (wie z.b. Stichprobenfehler, Over-/Undercoverage, Messfehler) Ausschöpfungsquote: - Häufig nicht zuverlässig zu ermitteln (undokumentierte Substitution von Ausfällen, z.b. bei Random-Route- Stichproben). - Gibt nicht tatsächlichen Fehler durch Nonresponse wieder, sondern nur den Spielraum für Selektivität durch Nonresponse Nonresponse-Bias: Ist immer nur merkmalspezifisch! 8

9 Ausschöpfung als Qualitätskriterium (3) Kein Zusammenhang zw. Ausschöpfung und Nonresponse-Bias Zwei Telefonumfragen mit großen Unterschieden in der Ausschöpfung (36% vs. 61%; 25% vs. 50%) führen zu weitgehend ähnlichen inhaltlichen Ergebnissen (Keeter et al. 2000, 2006); (Keeter et al. 2012) Our results both replicate and extend the finding... that large differences in response rate had only minor effects on cross-sectional analyses.... (Curtin et al. 2000, S. 426); (siehe auch Curtin et al., 2005) Meta-Analyse (Groves 2006): Empirisch gibt es keinen einfachen Zusammenhang zwischen der Höhe der Ausschöpfung und der Größe des Nonresponse-Bias. Aber große Unterschiede im Bias zwischen verschiedenen Variablen in derselben Umfrage. 9

10 (1) Ausschöpfungsquoten und Stichprobenabweichungen ALLBUS - MZ A) Zusammenhang Ausschöpfungsquoten und Stichprobenabweichungen für die ALLBUS-Erhebungen B) (Regelmäßigkeiten der) Veränderung der Stichprobenzusammensetzung über die Feldzeit innerhalb einzelner Studien. 10

11 (1) Indikatoren und Auswertung Abgleich der ALLBUS-Nettostichproben mit dem Mikrozensus 7 soziodemographische Variablen: Alter, Geschlecht, Bildung, Familienstand, Haushaltsgröße, berufliche Stellung, Erwerbsstatus Qualitätsindikator: Dissimilaritätsindex 1 D 2 n i n A i M i 11

12 (1) Ergebnisse 1 A) Abweichungen zwischen ALLBUS und Mikrozensus am Ende der Feldzeit 12

13 A) Dissimilaritätsindex für verschiedene Merkmale, nach Ausschöpfung ALLBUS Geschlecht Alter Bildung Erwerbstätigkeit StiB Familenstand HH-Größe Ausschöpfungsquote (in %) 13

14 A) Mittlerer Dissimilaritätsindex, nach Ausschöpfung (in%) ALLBUS ,5 4 3,5 3 2,5 2 1,5 1 0, Ausschöpfungsquote (in %) 14

15 (1) Ergebnisse 2 B) Abweichungen zwischen ALLBUS und Mikrozensus während der Feldzeit 15

16 B) Abweichungen ALLBUS vom Mikrozensus während der Feldzeit (in %punkte) Allgemeiner Schulabschluss: kein Abschluss/Hauptschule Erwerbstätigkeit 5% 5,0% 0% 2,5 7,5 12,5 17,5 22,5 27,5 32,5 37,5 42,5 47,5 52,5 57, ,0% 2,5 7,5 12,5 17,5 22,5 27,5 32,5 37,5 42,5 47,5 52, % ,0% % ,0% % ,0% % -20,0% Ausschöpfung (in %) 16

17 B) Mittlerer Dissmimilaritätsindex während der Feldzeit ALLBUS ,5 7,5 12,5 17,5 22,5 27,5 32,5 37,5 42,5 47,5 52,5 Ausschöpfung (in %) 17

18 B) Politisches Interesse: Anteil sehr stark/stark (in %) Ausschöpfung (in %) ,5 25 7,5 12,5 17,5 22,5 27,5 32,5 37,5 42,5 47,5 52,5 57, ,5 7,5 12,5 17,5 22,5 27,5 32, ,5 42,5 47,5 52,5 57, ,5 7,5 12,5 17,5 22,5 27,5 32,5 37,5 42,5 47,5 52,5 57,

19 (1) Ergebnisse Über die Jahre gehen sinkende Ausschöpfungsquoten beim ALLBUS nicht mit größeren Stichprobenabweichungen im Vergleich zum Mikrozensus einher im Gegenteil. Je nach Merkmal können sich die Stichprobenabweichungen im Feldverlauf unterschiedlich entwickeln. In aller Regel nimmt der Anteil an - Personen mit niedrigem Bildungsabschluss ab - Erwerbstätigen zu. Insgesamt werden die mittleren Abweichungen im Feldverlauf geringer. 19

20 (2) ALLBUS 2010, Incentiveexperiment Fragestellungen des Incentiveexperimentes Erhöhung der Ausschöpfung? Effekt auf das Teilnahmeverhalten, d.h. die Stichprobenzusammensetzung? Effekt auf das Antwortverhalten? INR, Straightlining, Varianz der Antworten Kosteneffizient? 20

21 (2) Design Entscheidung über die Art des Incentives: - prepaid/promised? - monetär, Gutschein, kleine Aufmerksamkeit? - welcher Betrag? 10 Euro promised, im Anschreiben angekündigt Experiment in der Hauptbearbeitung der Basisstichprobe (ohne Interviewerwechsel, Nachbearbeitungen, usw.) 21

22 (2) Ergebnisse 1 Positiver Effekt des promised Incentive auf die Kooperationsund die Ausschöpfungsquote (+3,6%punkte). Effekte auf die Stichprobenzusammensetzung gering: Incentives besonders attraktiv für - jüngere Zielpersonen - Zielpersonen in größeren Städten aber in Bezug auf den Nonresponse Bias sind die Effekte unterschiedlich! 22

23 Variablen des Stichprobenrahmens und Incentives: Interaktionseffekte auf Kooperation 0,5 0,5 0,4 0,4 p coop 0,3 0,3 0,2 0,2 0,1 0,1 0 < > Euro 10 Euro Gemeindegröße 0 Euro 10 Euro Alter 23

24 (2) Ergebnisse 2 Keinen, bzw. geringen Effekt auf Itemnonresponse und andere Qualitätsindikatoren des Antwortverhaltens Durch die Erhöhung der Ausschöpfung in der Incentivebedingung kann die angestrebte Fallzahl aus einem kleineren Brutto (hier ca. 9%) erzielt werden. Offene Fragen: Bei höheren Beträgen stärkere Effekte? Bei prepaid Incentives stärkere Effekte? 24

25 (3) Forschungsfragen ALLBUS+ (Wie) kann man hohe Ausschöpfungen bei hochwertigen F2F Erhebungen in Deutschland erzielen? Gehen höhere Ausschöpfungsquoten mit anderen / besseren Umfrageergebnissen einher? Besteht ein Zusammenhang zwischen der Ausschöpfungsquote und dem Nonresponse-Bias? 25

26 (3) Grundidee ALLBUS+ Vergleich von Ergebnissen der regulären ALLBUS-Erhebung 2008 mit denen einer zusätzlichen Stichprobe von Befragten (ALLBUS+: Höhere Ausschöpfung durch den Einsatz verschiedener Zusatzmaßnahmen) Ähnlich dem Design der Keeter et al. Studien Kooperationsprojekt zw. Univ. Mainz (Prof. Falter) und GESIS, gefördert durch die DFG 26

27 (3) ALLBUS+ Studien-Design 1 Gleiche Grundbedingungen in beiden Stichproben: Einsatz des gleichen Stichprobenverfahrens (EWA) und der gleichen PSUs (Gemeinden) Beide Erhebungen (ALLBUS 2008 und Zusatzstudie ALLBUS+) parallel im Feld, Zwei Feldphasen in beiden Erhebungen: Hauptbearbeitung und Nachbearbeitung Beide Erhebungen computerunterstützt (CAPI) Hauptthema in beiden Studien: Politische Einstellungen und Verhaltensweisen 27

28 (3) ALLBUS+ Studien-Design 2 Maßnahmen zur Ausschöpfungssteigerung: Reduzierung der Interviewdauer (von 70 auf 30 Min.) Auswahl der besten Interviewer Persönliche Schulung der Interviewer Bessere Bezahlung der Interviewer Incentives für Befragte: (Hauptbearbeitung: 10, Nachb. 50 ) Zusätzliches Anschreiben an Befragte in der Nachbearbeitung Ausschöpfungsziel: 75 % (anstatt 45 %) 28

29 (3) Ausschöpfungs- und Ausfallquoten im ALLBUS 2008 und im ALLBUS+ (in %) ALLBUS 2008 ALLBUS+ Ausschöpfungsquote 40,8 63,2 Nicht erreicht 5,7 1,5 Nicht kooperativ 48,7 31,8 Nicht fähig/andere 3,7 2,2 N

30 (3) Vergleich der Antwortverteilungen 1 19 der insgesamt 142 Items unterscheiden sich signifikant (13,4%) Größe der (signifikanten) Unterschiede: eher gering Die Befragten im ALLBUS+ häufiger Vollzeit / gesünder / häufiger mit Freunden in der Freizeit / mehr Vertrauen in (bestimmte) Institutionen / neigen eher einer politischen Partei zu Dies sind zumeist nicht die Personengruppen, von denen wir erwarten würden, dass sie eher schwer für Umfragen zu gewinnen sind 30

31 (3) Vergleich der Antwortverteilungen 2 KEINE Unterschiede Bildungsabschluss / politisches Interesse / Zufriedenheit mit der Demokratie / rechtsextreme Einstellungen / Furcht vor Kriminalität / Vertrauen in Mitmenschen Die Verteilungen im ALLBUS+ stimmen NICHT besser mit den Daten des Mikrozensus überein als der reguläre ALLBUS Keine belastbaren Hinweise darauf, dass die höhere Ausschöpfung im ALLBUS+ mit besseren Umfrageergebnissen einhergeht! 31

32 (3) Vergleich des Zusammenhangs zwischen Variablen Mehrzahl der untersuchten Korrelationen sehr ähnlich! Faktorenstruktur REX nahezu identisch! Erklärungsmodell Wahlbeteiligung sehr ähnlich! Keine belastbaren Hinweise darauf, dass die höhere Ausschöpfung im ALLBUS+ mit - systematisch - anderen Zusammenhängen einhergeht! 32

33 (3) Ergebnisse ALLBUS+ 1 ALLBUS + zeigt unter realen Feldbedingungen, dass die Ausschöpfungsquote um mehr als 20 Prozentpunkte gesteigert werden kann Die Ausschöpfungssteigerung von 40 auf mehr als 60 Prozent hat allerdings nur einen geringen Effekt auf die Umfrageergebnisse Das survey protocol ist ein wichtige Determinante bei den Variablen, die sich zwischen dem ALLBUS 2008 und dem ALLBUS+ unterscheiden. (Die Unterschiede finden sich meist schon früh nach Feldstart) 33

34 (3) Ergebnisse ALLBUS+ 2 Maßnahmen zur Erhöhung der Ausschöpfung sind mit erheblichen Kosten verbunden Durchschnittliche Fallpreise im ALLBUS+: Doppelt so hoch wie im regulären ALLBUS 2008, obwohl das Interview nur halb so lang war! Konzentration auf Teilmenge der Interviewer Zu beachten: Im internationalen Vergleich liegt Deutschland wenn man z.b. die Kosten des European Social Survey betrachtet im Mittelfeld... 34

35 (3) ALLBUS+ Schlussfolgerungen Die vorliegenden Ergebnisse gelten für den ALLBUS: - Multithematische Studie - Hohe Kontrolle und Transparenz der Feldarbeit Die Übertragbarkeit auf andere Studien, mit anderen Themen, anderen Stichprobenverfahren und weniger Kontrolle ist offen. Eine falsche Schlussfolgerung wäre, dass die Ausschöpfung einer Studie generell unwichtig ist. 35

36 (4) Stichprobenverfahren und Datenqualität Abgleich von Nettostichproben mit dem Mikrozensus 26 Stichproben ( ) nach unterschiedlichen Stichprobenverfahren (z.b. ALLBUS, ESS, Media Analyse, SowiBus) 8 soziodemographische Variablen: Alter, Geschlecht, Bildung, Familienstand, Haushaltsgröße, berufliche Stellung, Erwerbsstatus, Nationalität Dissimilaritätsindex 36

37 Dissimilaritätsindex Ausschöpfungsquote (%) (4) Stichprobenverfahren und Datenqualität Random Route Address-Random Register 0 Dissimilaritätsindex Ausschöpfungsquote 37

38 (4) Datenqualität und Stichprobenverfahren Externe Kriterien (Mikrozensus): Koch, Achim (1998) Blohm, Michael (2006) Internes Kriterium (Anteil befragter Frauen): Sodeur, Wolfgang (2007) Kohler, Ulrich (2007) Koch, Achim (2012) 38

39 Resümee 1 Ausschöpfungen sollten nicht alleiniges Qualitätskriterium sein. Alternative: Nonresponse Bias, aber merkmalsbezogen! ALLBUS zeigt, dass niedrige Ausschöpfungen nicht mit niedrigerer Datenqualität einhergehen. Innerhalb einer Studie findet sich in der Regel ein positiver Zusammenhang zw. Ausschöpfung und Stichprobenqualität. Die Abweichungen einzelner Merkmale können sich im Verlauf einer Studie verkleinern aber auch vergrößern. Ausschöpfungssteigernde Maßnahmen: im Allgemeinen keine starken Effekte auf die Stichprobenzusammensetzung, aber bei einzelnen Merkmalen sind Unterschiede möglich. 39

40 Resümee 2 Die Ergebnisse gelten nur für den ALLBUS und dem hier angewendeten transparenten und kontrollierten Verfahren. Hohe Ausschöpfungen sind möglich, sollten im Rahmen eines festen survey protocols auch angestrebt werden: - intensive und gute Bearbeitung der Fälle - späte Fälle bringen Varianz in den Merkmalen - Abweichungen werden in der Summe in der Regel im Feldverlauf geringer Einsatz ausschöpfungssteigernder Maßnahmen sollte immer in feldnahen Bedingungen getestet werden insbesondere in Bezug auf die zentralen Variablen der Erhebung 40

41 Resümee 3 Stichprobenverfahren und Implementation des survey protocols sind wichtige Determinanten der Qualität einer Erhebung. In sum, the consequences of nonresponse on nonresponse bias are dependent on the survey design (Peytchev, 2013) Nicht die Ausschöpfung ist entscheidend, sondern die Art und Weise, wie sie erzielt wurde. 41

42 Vielen Dank für Ihre Aufmerksamkeit! 42