Nonresponse in der Umfrageforschung:

Transkript

1 Nonresponse in der Umfrageforschung: Das Beispiel ALLBUS Seminar "Praxis der Umfrageforschung" Universität zu Köln 14. Juni 2004 Achim Koch ZUMA Mannheim

2 Überblick: A. Der ALLBUS B. Nonresponse-Problematik: Grundlagen C. Ausschöpfungsquote Exkurs: Zuverlässigkeit der Berechnung D. Stichprobenverzerrung E. Modell der Teilnahme an Umfragen (nach Groves / Couper 1998) Einflussfaktoren: (1) Social environment (2) Survey design (3) Household(er) (4) Interviewer (5) Householder-interviewer interaction

3 A. "Allgemeine Bevölkerungsumfrage der Sozialwissenschaften" (ALLBUS) Was ist der ALLBUS? Replikativer Survey: Daten über Einstellungen, Verhaltensweisen und Sozialstruktur Seit 1980 alle zwei Jahre durchgeführt Zufallsstichprobe der Bevölkerung Persönlich-mündliche Interviews Teils konstantes, teils variables Fragenprogramm Bislang 13 Umfragen mit mehr als Befragten Kennzeichen: Daten allgemein zugänglich Multithematische Ausrichtung Replikation von Fragen Internationale Anbindung (ISSP) Hohe methodische Standards

4 B. (Unit-) Nonresponse Tritt auf, wenn es nicht gelingt, mit allen Einheiten der Bruttostichprobe ein Interview durchzuführen (Vollständiger Ausfall einer Erhebungseinheit) Nonresponse bei face-to-face Umfragen: Zielperson nicht erreicht Zielperson nicht fähig (Krank / fehlende Deutschkenntnisse) Zielperson nicht kooperativ Konsequenzen von Nonresponse: Verringerung der Größe der Nettostichprobe (Evtl.) Verzerrungen der Stichprobenergebnisse (Nonresponse-Bias) Zunahme der Survey-Kosten

5 C. Ausschöpfungsquote (Response rate) Definition: Quotient aus der Anzahl realisierter Interviews und der Größe der (bereinigten) Bruttostichprobe: Anzahl realisierter Interviews Größe der Bruttostichprobe Bereinigte Bruttostichprobe: Bruttostichprobe abzgl. der stichprobenneutralen Ausfälle Stichprobenneutrale Ausfälle: Einheiten zählen nicht zur Grundgesamtheit, sind aber dennoch im Auswahlrahmen enthalten abhängig von Definition der Grundgesamtheit und verwendetem Stichprobenverfahren/Auswahlrahmen Overcoverage : Auswahlrahmen enthält Elemente, die nicht zur angestrebten Grundgesamtheit gehören

6 Ausschöpfung und Ausfallgründe ALLBUS 1994 West Ost N % N % Bruttostichprobe /. Stichprobenneutrale Ausfälle insgesamt Adresse falsch, existiert nicht (mehr) Zielperson verstorben Zielperson verzogen Zielperson lebt in Anstalt und nicht in Privathaushalt Zielperson zu jung* = Bereinigter Stichprobenansatz /. Systematische Ausfälle insgesamt Im Haushalt niemand angetroffen Zielperson nicht angetroffen Zielperson krank / geistig nicht in der Lage, dem Interview zu folgen Zielperson spricht nicht hinreichend gut deutsch Zielperson aus Zeitgründen nicht zum Interview bereit Zielperson generell nicht zum Interview bereit Interview nicht korrekt durchgeführt = Auswertbare Interviews / Ausschöpfungsquote *nur in Gemeinden, die das exakte Alter der Zielperson nicht mitgeteilt haben

7 Der Prozess der Interviewteilnahme (ALLBUS 1994, Westdeutschland) Erreichbarkeit Befragungsfähigkeit Kooperationsbereitschaft Teilnahmeverhalten Bereinigtes Stichprobenbrutto N % N % N % N % , ,0 Nicht erreicht (0) 115 2,7 Erreicht (1) , ,0 Nicht fähig (0) 215 5,2 Fähig (1) , ,0 Nicht kooperativ (0) ,3 Kooperativ (1) ,7 Nicht teilgenommen (0) ,8 Teilgenommen (1) ,2 Ausschöpfungsquote = Kontaktquote x Quote der Befragungsfähigen x Kooperationsquote 54,2 % = 97,3 % x 94,8 % x 58,7 %

8 Ausschöpfungsquoten der ALLBUS-Erhebungen 1980 bis % 90% 80% 70% 60% 50% 40% 69,5% 69,7% 69,9% 58,7% 67,7% 60,4% 62,0% 52,7% 51,9% 53,2% 54,2% 55,4% 53,7% 46,9% 47,2% 47,3% 30% 20% 10% 0% Ausschöpfungsquote West Ausschöpfungsquote Ost

9 Exkurs: Zuverlässigkeit der Berechnung der Ausschöpfungsquote Anzahl realisierter Interviews Ausschöpfungsquote = Größe der Bruttostichprobe Zähler: relativ eindeutig bestimmbar (abgesehen von Interviewfälschungen) Nenner: mehr Freiheitsgrade Definition stichprobenneutraler Ausfälle Undokumentierte Substitution von Ausfällen Unterschiede zwischen verschiedenen Stichprobenverfahren

10 Stichprobenverfahren bei bundesweiten face-to-face Umfragen: 1. Stichproben aus Einwohnermelderegistern Zweistufig: Gemeinden - Personen Selten verwendet Bruttostichprobe liegt vor Feldbeginn vor; Interviewern werden die Zielpersonen mit Namen und Adresse vorgegeben 2. Stichproben nach dem ADM-Design Dreistufig: Wahlbezirke - Haushalte - Personen Standardverfahren bei mündlichen Bevölkerungsumfragen Bestimmung der Zielhaushalte und Zielpersonen in der 2. und 3. Auswahlstufe durch die Interviewer während der Feldarbeit (Random walk + Kish Table bzw. Last/next Birthday Methode)

11 Random walk Interviewern wird eine zufällig ausgewählte Startadresse vorgegeben. Von dieser Adresse ausgehend haben sie entlang eines durch verschiedene Regeln definierten Zufallsweges Haushalte in einer bestimmten Schrittweite auszuwählen (z.b. "jeder 3. Haushalt") und zu befragen. Die wichtigsten Regeln für den Zufallsweg (Bsp.) Vom Startpunkt aus in Richtung der niedrigeren Hausnummern gehen. Immer auf derselben Straßenseite bleiben (auch wenn abgebogen werden muss) So lange geradeaus gehen (oder in der Richtung, die der Geradeausrichtung am nächsten liegt), wie dies möglich ist. Ist ein Geradeaus nicht mehr möglich, rechts abbiegen. Ist ein Geradeaus und ein Rechtsabbiegen nicht möglich, links abbiegen. Ist ein Geradeaus und weder Rechts- noch Linksabbiegen möglich, auf der anderen Straßenseite zurückgehen. Trifft man auf die Stadtgrenze/Grenze des Wahlbezirks oder auf größere unbebaute Gelände (Friedhof, Feld, Bahnanlage, Industriegelände usw.), geht man ebenfalls auf der anderen Straßenseite zurück. In Mehrfamilienhäusern: von unten nach oben, vom Vorder- ins Hinterhaus, im gleichen Stockwerk von rechts nach links gehen.

12 Kish Table ("Schwedenschlüssel") In Haushalten, in denen mehrere zur Grundgesamtheit der Umfrage zählende Personen leben, muss eine Person zufällig für die Befragung ausgewählt werden Vorgehen: Feststellen, wieviele Personen der Grundgesamtheit im Haushalt leben Personen in konsistenter Weise in allen Haushalten auflisten (z.b. geordnet nach Alter) Zielperson anhand eines vorbereiteten Zufallszahlenschlüssels aus den Haushaltsmitgliedern auswählen

13 Denkschrift der Deutschen Forschungsgemeinschaft Qualitätskriterien der Umfrageforschung (1999) Die Aussagekraft der errechneten Stichprobenausschöpfung kann unterschiedlich sein. Sie hängt davon ab, wie die verwendeten Bruttoadressen ausgewählt und dokumentiert werden. In dieser Hinsicht gibt es zwischen verschiedenen Verfahrensmodellen erhebliche Unterschiede. Je härter die Verfahrensregeln für die Bestimmung und Dokumentation des Stichprobenbrutto sind - was unter Qualitätsgesichtspunkten positiv zu werten wäre -, um so niedriger ist die errechnete Stichprobenausschöpfung. (Kaase 1999: 103f) Die Standardverfahren der Umfrageinstitute für persönlich-mündliche Befragungen auf random-basis dürften daher durchweg mit Substitution (Hervorhebung durch A. Koch) arbeiten.... Jeder dokumentierte Substitutionsfall erhöht allerdings die Bruttozahl der eingesetzten Adressen und verringert dementsprechend die errechnete Stichprobenausschöpfung. Es ist daher mit einer gewissen Tendenz zu rechnen, Substitution nicht vollständig zu erfassen und zu dokumentieren. (Kaase 1999: 103) Undokumentierte Substitution: Ein Rechenexempel Interviewer: Wahlbezirk: acht Adressen als Brutto Erzielt unter Beachtung aller Regeln vier Interviews Ausschöpfung: 4 / 8 = 50 % Führt er noch ein weiteres Interview mit einer Person durch, die nicht zu seinem Brutto zählt: Ausschöpfung: 5 / 8 = 62,5 %, wenn bei der Dokumentation des Bruttos einer der vier Ausfälle nicht berücksichtigt wird

14 Ausschöpfung, Feldzeit und Fallpreise in vier Bevölkerungsumfragen* Studie Fallpreis (ca., ohne MwSt.) Berichtete Ausschöpfungsquote Feldzeit Stichprobenverfahren ALLBUS ,1% 28 Wo 250 DM Register ALLBUS ,2% 18 Wo 180 DM Register Wohlfahrtssurvey 1998 Sozialwissenschaften-Bus ,1% 8 Wo 125 DM ADM- Random- Route 68,6% 4 Wo 115 DM** ADM- Random- Route * Durchführendes Umfrageinstitut: ALLBUS, Wohlfahrtssurvey: Infratest; Sozialwissenschaften- Bus: GETAS Fallzahl: ALLBUS 2000 N=3138, ALLBUS 1996 N=3518, Wohlfahrtssurvey N=3042, Sozialwissenschaften-Bus N=2.044 Durchschnittliche Interviewdauer: ALLBUS 2000 ca. 65 Minuten, ALLBUS 1996 ca. 70 Minuten, Wohlfahrtssurvey ca. 50 Minuten, Sozialwissenschaften-Bus ca. 60 Minuten ** Preis errechnet für eine Einschaltung von 55 Minuten Dauer

15 D. Stichprobenverzerrung (Nonresponse-Bias) Teilnehmer und Nicht-Teilnehmer einer Umfrage unterscheiden sich systematisch hinsichtlich einer oder mehrerer Survey-Variablen Verallgemeinerbarkeit der Umfrageergebnisse auf die Grundgesamtheit ist gefährdet Lineare Statistiken wie Mittelwerte oder Anteilswerte: Bias ist eine multiplikative Funktion der Höhe der Nonresponsequote einerseits und der Differenz zwischen Teilnehmern und Nichtteilnehmern bei der betreffenden Variablen andererseits Nonresponse-Bias eines Anteilswertes (p): Bias p T = Nonresponsequote * (p T - p NT ), (p T = Anteilswert der Teilnehmer, p NT Anteilswert der Nichtteilnehmer bei der betreffenden Variable) Die Formel verdeutlicht: Nonresponsequote ist lediglich Indikator für das mögliche Potential eines Nonresponse-Bias Nonresponse-Bias ist eine merkmalsspezifische Größe

16 Problem: Lediglich die Nonresponsequote ist - zumindest theoretisch - gut und eindeutig ermittelbar Informationen über Unterschiede zwischen Teilnehmern und Nichtteilnehmern liegen jedoch in der Regel nicht vor Eine Methode zur Ermittlung des Nonresponse-Bias: Vergleich von Umfrageergebnissen mit Informationen der amtlichen Statistik (Teilnahmepflicht) Nachteil: Nur soziodemographische Merkmale

17 Ein Beispiel: Koch (1998): Wenn "mehr" nicht gleichbedeutend mit "besser" ist: Ausschöpfungsquoten und Stichprobenverzerrungen in allgemeinen Bevölkerungsumfragen. In: ZUMA-Nachrichten, 42, S Sechs allgemeine Bevölkerungsumfragen: Vergleich der Randverteilungen ausgewählter soziodemographischer Merkmale mit Daten des Mikrozensus Ausschöpfung der Umfragen variierte zwischen 50 und 80% Leitfrage: Gibt es Anhaltspunkte dafür, dass der Nonresponse-Bias in Umfragen mit höherer Ausschöpfung niedriger ist als in solchen mit schlechterer Ausschöpfung? Ergebnis: Die analysierten Umfragen weisen bei den betrachteten soziodemographischen Merkmalen in der Regel Abweichungen in gleicher Richtung vom Mikrozensus auf Unterrepräsentiert sind: - über 70jährige - Personen mit Volks-/Hauptschulabschluss - Arbeiter - Ledige / Verwitwete / Geschiedene - Allein lebende Es finden sich keine empirischen Indizien dafür, dass der Bias mit der Höhe der (berichteten) Ausschöpfungsquote abnimmt

18 Differenz zum Mikrozensus beim Merkmal Schulabschluss (Westdeutschland, in Prozentpunkten) Ausschöpfungsquote (%) Bis Volks-/ Hauptschulabschluss Mittlere Reife, Fachhochschulreife Abitur, Fachhochschule, Hochschule Mikrozensus 1993 (%) ALLBUS 1992 ALLBUS 1994 Wohlfahrtssurvey 1993 Sozialwissenschaften- Bus III 1993 Sozialwissenschaften- Bus II 1993 Media- Analyse ,9 53,2 62,9 68,0 73,0 80,2 59,6-6,2-5,7-7,6-6,0-10,3-3,5 23,5 3,7 4,2 5,1 5,1 7,3 3,8 16,9 2,5 1,5 2,5 0,9 3,1-0,2 Differenz zum Mikrozensus beim Merkmal Familienstand (Westdeutschland, in Prozentpunkten) Ausschöpfungsquote (%) Mikrozensus 1993 (%) ALLBUS 1992 ALLBUS 1994 Wohlfahrtssurvey 1993 Sozialwissenschaften- Bus III 1993 Sozialwissenschaften- Bus II 1993 Media- Analyse ,9 53,2 62,9 68,0 73,0 80,2 Verheiratet 60,5 7,3 2,8 10,1 6,3 5,0 7,4 Verwitwet/ Geschieden 15,2-3,7-1,1-4,4-3,7-4,6-2,6 Ledig 24,3-3,6-1,8-5,7-2,6-0,4-4,8

19 Dissimilaritätsindizes im Überblick West Ausschöpfungsquote (in %) ALLBUS 1992 ALLBUS 1994 Wohlfahrtssurvey 1993 Sozial- wissenschaften- Bus III 1993 Sozial- wissenschaften- Bus II 1993 Media- Analyse ,9 53,2 62,9 68,0 73,0 80,2 Geschlecht 1,8 3,8 0,2 1,0 1,3 0,3 Alter 5,3 3,9 6,3 5,0 5,6 4,8 Schulabschluss 6,2 5,7 7,6 6,0 10,4 3,8 Stell. im Erwerbs 0,9 4,4 1,7 3,9 1,8 2,8 Berufl. Stellung 3,7 2,5 3,5 2,3 5,4 6,2 Familienstand 7,3 2,9 10,1 6,3 5,0 7,4 Haushaltsgröße 8,5 2,4 9,8 4,3 5,2 4,6 Bundesland 2,7 4,5 2,5 3,3 4,9 2,2 Durchschnitt 4,6 3,8 5,2 4,0 5,0 4,0 Ost Ausschöpfungsquote ALLBUS 1992 ALLBUS 1994 Wohlfahrtssurvey 1993 Sozial- wissenschaften- Bus III 1993 Sozial- wissenschaften- Bus II 1993 Media- Analyse ,7 55,2 64,4 71,1 72,9 80,2 Geschlecht 2,2 1,4 4,7 2,4 3,9 1,5 Alter 8,5 4,5 11,0 9,0 6,0 8,7 Schulabschluss 6,2 6,6 5,1 6,3 8,0 14,9 Stell. im Erwerbs 4,9 0,2 2,7 6,5 4,3 1,5 Berufl. Stellung 5,1 5,1 3,6 4,8 6,9 4,7 Familienstand 10,5 3,8 12,2 8,9 3,0 9,0 Haushaltsgröße 7,9 2,6 7,2 6,5 4,1 5,5 Bundesland 1,8 3,3 3,3 3,9 4,3 0,7 Durchschnitt 5,9 3,4 6,2 6,0 5,1 5,8

20 E. Modell der Teilnahme an Umfragen Groves/Couper (1998): Nonresponse in Household Interview Surveys New York: Wiley

21 1. Social Environment "Gesellschaftliche" Rahmenbedingungen, die Teilnahmeverhalten beeinflussen Legitimität sozialer Institutionen / soziale Kohäsion Anzahl und Legitimität von Umfragen in einer Gesellschaft ("Survey climate") Beispiel 1: Ausschöpfungsquoten für international vergleichende Surveys (European Social Survey (ESS) 2002/2003, Angaben in Prozent) 80 Greece Finland 73.2 Poland 73.2 Israel 71.0 Slovenia 70.5 Hungary 69.9 Sweden 69.5 Portugal 68.8 Netherlands 67.9 Denmark 67.6 Norway 65.0 Ireland 64.5 Germany 57.1 United Kingdom 55.5 Spain Luxembourg 43.9 Italy 43.7 Czech Republic Switzerland 33.5

22 1. Social environment Beispiel 2: Stadt-Land-Unterschiede im Teilnahmeverhalten (ALLBUS 1994, Westdeutschland, Angaben in Prozent) Kooperations bereitschaft Erreichbarkeit Befragungsfähigkeit Teilnahmeverhalten Signifikanz a) *** n.s. *** *** Politische Gemeindegrößenklasse < 2 Tsd. 98,3 97,9 65,1 62,6 2-<5 Tsd. 99,2 95,8 67,5 64,2 5-<20 Tsd. 98,4 95,3 61,6 57,7 20-<50 Tsd. 98,0 95,1 63,0 58,7 50-<100 Tsd. 97,9 93,9 52,3 48,1 100-<500 Tsd. 96,3 94,1 52,3 47,4 500 Tsd. u. mehr 94,2 92,9 51,4 45,0 Gesamt 97,3 94,8 58,7 54,2 N a) Ergebnis eines χ²-tests: *=p.05, **=p.01,***=p.001 Häufig untersucht, da Information aus Stichprobenrahmen verfügbar Unterschiede in Kriminalitätsfurcht zwischen Stadt und Land spielen eine Rolle Aber auch Kompositionseffekte sind von Bedeutung (z.b. mehr Single-Haushalte in Großstädten)

23 2. Charakteristika des "Householder" Am häufigsten untersuchte Einflussfaktoren auf Nonresponse: Demographische Merkmale von Zielpersonen Abgleich mit Mikrozensus-Daten war ein Beispiel dafür Demographische Merkmale: eher Korrelate, denn kausale Determinanten des Teilnahmeverhaltens Wichtiger: sozialpsychologische Konzepte wie Kriminalitätsfurcht, soziale Isolierung, Entscheidungsheuristiken

24 2. Charakteristika des "Householder" Weiteres Beispiel: Analyse von Daten aus Einwohnermelderegistern zu Teilnehmern und Nichtteilnehmern (ALLBUS 1994, Westdeutschland, Angaben in Prozent) Erreichbarkeit Befragungsfähigkeit Kooperationsbereitschaft Teilnahmeverhalten Signifikanz a) n.s. *** *** *** Geschlecht männlich 97,3 96,3 63,1 59,1 weiblich 97,3 93,4 54,7 49,7 Signifikanz * *** *** *** Alter J. 96,1 95,9 67,1 61, J. 97,5 97,3 60,8 57, J. 96,7 96,0 58,3 54, J. 97,4 96,4 58,2 54, J. 97,7 97,1 53,5 50,8 70 J. und älter 99,1 83,0 47,6 39,1 Signifikanz ** *** *** n.s. Nationalität deutsch 97,5 96,4 58,0 54,5 nicht-deutsch 94,8 74,8 70,6 50,0 Gesamt 97,3 94,8 58,7 54,2 N a) Ergebnis eines χ²-tests: *=p.05, **=p.01,***=p.001

25 3. Faktoren des "Survey Design" Basieren auf Entscheidungen des Forschers Allgemein bedeutsam sind: Thema (Saliency, threat, etc) Interviewlänge Durchführungsmodus (persönlich - telefonisch - schriftlich) Auftraggeber / durchführendes Institut Speziell bedeutsam für Kontaktierung: Länge der Feldzeit Anzahl und Terminierung der Kontaktversuche Speziell bedeutsam für Kooperation: Schriftliche Vorankündigung Incentives Nachbearbeitung ("refusal conversion")

26 4. Interviewer Unterscheiden sich im Ausschöpfungsergebnis Auswahl geeigneter Interviewer wichtig Schwierigkeit: Konfundierung von Interviewer- und Gebietseffekten Beispiel: Ausschöpfungsquoten der Interviewer des ALLBUS 2004 (am Ende der zweimonatigen Hauptbearbeitungsphase) Ausschöpfungsquote Anzahl der Interviewer Anteil der Interviewer (%) Kumulierter Anteil der Interviewer (%) < 20 Prozent 34 22,1 22, < 30 Prozent 39 25,3 47, < 40 Prozent 32 20,8 68, < 50 Prozent 27 17,5 85, < 60 Prozent 15 9,8 95,5 60 Prozent und mehr 7 4,5 100,0 Gesamt ,0

27 4. Interviewer Einflussfaktoren auf Ausschöpfungserfolg: Soziodemographische Merkmale (gering) Erfahrung als Interviewer Umfragebezogene Einstellungen und Erwartungen (man sollte widerstrebende Personen überzeugen, Vertrauen in eigene Fähigkeiten, u.ä.) Schulung: Tailoring + Maintaining interaction (refusal avoidance) Bezahlung: Stundenweise bzw. pro realisiertem Interview Steuerung / Überwachung

28 5. Householder / interviewer interaction Einflussfaktoren werden wirksam, wenn Interviewer in Kontakt mit der Zielperson tritt Zielperson: I.d.R. keine festgefügte, wohlüberlegte Einstellung hinsichtlich der Frage der Interviewteilnahme ("generelle Verweigerer" gibt es nur wenige, Entscheidung fällt eher situationsspezifisch) Erster Kontakt: Kurze Interaktion, in der die Zielperson zunächst herausfinden muss, was das Anliegen des Interviewers ist, und dann eine Entscheidung über Teilnahme oder Nichtteilnahme treffen "Tailoring": Erfolgreiche Interviewer: passen sich der Situation und Zielperson an (Auftreten, Wortwahl, Argumentation, etc.) "Maintaining interaction": Erfolgreiche Interviewer: Zielperson nicht vorschnell zur Entscheidung drängen und ein "nein" riskieren; besser: sich zurückziehen und später wiederkommen, wenn Situation gerade ungünstig

29 5. Householder-interviewer interaction Beispiel: Ergebnis der Hauptbearbeitung nach Modus des ersten Kontaktes (ALLBUS 2000, Angaben in Prozent) Modus des ersten Kontaktes Telefonisch Persönlich Nicht kooperativ 63,3 47,9 Nicht fähig 6,1 5,1 Interview realisiert 30,5 47,0 Kooperationsquote (N Int /(N Int +N nicht koop. ) 32,5% 49,5% N

30 Literaturhinweise (Auswahl): Groves, Robert M. and Couper, Mick P. (1998): Nonresponse in Household Interview Surveys. New York: Wiley. Groves, Robert M., Dillman, Don A., Eltinge, John L. and Little, Roderick J. A. (eds.) (2002): Survey Nonresponse. New York: Wiley. Journal of Official Statistics (1999): Special issue on Survey Nonresponse. Vol. 15, No. 2, June Schnell, Rainer (1997): Nonresponse in Bevölkerungsumfragen. Ausmaß, Entwicklung und Ursachen. Opladen: Leske + Budrich. Diverse Artikel in Public Opinion Quarterly, z.b. Groves, Robert M.; Presser, Stanley, and Dipko, Sarah (2004): The Role of Topic Interest in Survey Participation Decisions. POQ, 68, Curtin, Richard et al. (2000): The Effects of Response Rate Changes on the Index of Consumer Sentiment. POQ, 64, Keeter, Scott et al. (2000): Consequences of Reducing Nonresponse in a Large National Telephone Survey. POQ, 64,