Probleme der Umfrageforschung Ausgewählte Aspekte

Transkript

1 Probleme der Umfrageforschung Ausgewählte Aspekte

2 1.Stichproben 2.Beispiel Minarett-Umfrage 3.Stichprobenfehler (Statistik) 4.Probleme der Befragung

3 Zufallsstichprobe Arten von Stichproben bewusste Auswahl (z.b. Quotenstichprobe) willkürliche Auswahl (nicht kontrollierte Auswahl wie z.b. Passantenbefragung, Umfrage unter Vorlesungsteilnehmenden, sog. Gelegenheitsstichprobe) Zufalls- und Quotenstichproben werden häufig als repräsentativ bezeichnet, da sie ein unverzerrtes Abbild der Population liefern sollen. (Quotenstichproben aber problematisch, entsprechen nicht statistischer Theorie) Repräsentative Stichproben werden benötigt, wenn man auf Eigenschaften der Population schliessen will. Anteil Wähler einer Partei. Der Test von Zusammengangshypothesen kann aber oft auch mit Gelegenheitsstichproben durchgeführt werden (z.b. Experimente mit Studierenden)

4 Zufallsstichproben Bei einer Zufallsstichprobe hat jedes Element der Population eine angebbare Wahrscheinlichkeit (grösser Null), in die Stichprobe aufgenommen zu werden. Zufallsstichproben sind Voraussetzung für die meisten inferenzstatistischen Verfahren (Schluss von Merkmalen der Stichprobe auf Merkmale der Grundgesamtheit). Arten: einfache Zufallsstichprobe (z.b. mit einer Liste, jedes Element hat die gleiche Auswahlwahrscheinlichkeit p) mehrstufige Zufallsstichprobe (z.b. Schüler in Klassen in Schulen oder Auswahl der Befragungsperson im Haushalt mit Geburtstagsmethode) Klumpenstichprobe (z.b. Alle Schüler einer Schule («Klumpen») von 50 zufällig ausgewählten Schulen in einem Kanton) geschichtete Zufallsstichprobe (z.b. 100 zufällig gezogene Betriebe aus jeder der folgenden Grössenklassen: <5, 5-10, 11-20, 21-50, >50 Mitarbeitende). Meist regionale Schichtung: Z.B. Übergewichtung Tessin.

5

6 Problem: Verzerrung durch selektive Stichproben Aus: Walter Krämer, Denkste! Trugschlüsse aus der Welt der Zahlen und des Zufalls. München: Piper

7 Selektionsverzerrung bei Quasi-Experimenten Beispiel SWICA-Studie Teilnehmende am Fitnesstraining Ohne Fitnesstraining Behandlungskosten (X) X Fitness < X Couchpotato, X = Behandlungskosten (Reduktion der Kosten um 30 %; der Unterschied wächst mit dem Alter der Versicherten, Berücksichtigung von Geschlecht, Alter, Sprache)

8 Selektionsverzerrung bei Quasi-Experimenten Beispiel SWICA-Studie: Kausal oder selektive Zusammensetzung der Gruppen (oder beides)? Teilnehmende am Fitnesstraining Ohne Fitnesstraining Behandlungskosten (X) X Fitness < X Couchpotato, X = Behandlungskosten (Reduktion der Kosten um 30 %; der Unterschied wächst mit dem Alter der Versicherten, Berücksichtigung von Geschlecht, Alter, Sprache)

9 Stichprobenfehler und Bias n=2000 n=1000 n=500 n=100 n=50 p^ Bias (Verzerrung) p

10 Non-Response

11 Non-Response Ausschöpfungsquotient A Anzahl realisierter Interviews = a Bruttostichprobe = b Stichprobenneutrale Ausfälle = c A = a/(b c) Non-Response-Quote = 1 A Aber was ist stichprobenneutral?

12 Non-Response Ausschöpfungsquotient A Anzahl realisierter Interviews = a Bruttostichprobe = b Stichprobenneutrale Ausfälle = c A = a/(b c) Non-Response-Quote = 1 A Aber was ist stichprobenneutral?

13 AAPOR-Standards Until recently, there were almost as many ways to calculate response rates as there were researchers. AAPOR-Webseite (

14 Ein Fall aus der Praxis: Die Minarettinitiative in der Schweiz

15 "Minarett-Initiative": Ja nimmt zu Nein unverändert stärker Wäre Mitte November 2009 über die drei Vorlagen entschieden worden, die am 29. November 2009 in der eidgenössischen Volksabstimmung anstehen, hätten unverändert 53 Prozent bestimmt oder eher gegen die Minarett-Initiative gestimmt, während 37 Prozent (+3 Prozentpunkte gegenüber der 1. Welle) bestimmt oder eher dafür gewesen wären. GfS-Bern, (im Auftrag des Schweizer Fernsehens SRG)

16 "Minarett-Initiative": Ja nimmt zu Nein unverändert stärker Wäre Mitte November 2009 über die drei Vorlagen entschieden worden, die am 29. November 2009 in der eidgenössischen Volksabstimmung anstehen, hätten unverändert 53 Prozent bestimmt oder eher gegen die Minarett-Initiative gestimmt, während 37 Prozent (+3 Prozentpunkte gegenüber der 1. Welle) bestimmt oder eher dafür gewesen wären. GfS-Bern, (im Auftrag des Schweizer Fernsehens SRG) 18 Tage später das Abstimmungsergebnis: 57 % JA (statt 37 % ja und 53 % nein in der Umfrage von GfS)

17 GfS 2009

18 Ein Grund für das Debakel könnte die Responsequote sein: Sie lag nach meinen Recherchen vermutlich unter 20 %.

19 Aber wo ist die Responsequote? GfS 2009

20 Sonntagszeitung,

21

22 Wir brauchen bessere Kontrollen und mehr Transparenz bei der Datenerhebung Problem Non-Response in der so genannten repräsentativen Umfrageforschung: 1. Responsequoten werden oft nicht angegeben 2. Wenn angegeben, werden sie schön gerechnet (statt AAPOR-Standard) 3. Wenn sie korrekt errechnet werden, sind sie oft extrem niedrig (weshalb sie ungern angegeben werden)

23 Konfidenzintervalle Beispiel Anteilswerte, Prozentsätze z. B. n = 1000, Anteilswert der Piraten in der Stichprobe 6% (p = 0,06) Ist die Prognose zulässig, dass die Partei bei einer Sperrklausel von 5 % in das Parlament einziehen wird?

24 Stichprobenfehler und Konfidenzintervall

25 Wurzel-n-Gesetz Fehlerbreite (Konfidenzintervall) wächst mit Faktor (1/n) d.h. für die Halbierung des Konfidenzintervalls benötigt man den vierfachen Stichprobenumfang! ( Wurzel-n-Gesetz )

26 2. Probleme der Befragung

27

28 Logik und Psycho-Logik

29 Replikation. Robustes Ergebnis!

30 Soziale Wünschbarkeit ( social desirability effect )

31 Schwarz & Clore (1983) Situationale Einflüsse Telefonische Befragung, Zufallsstichprobe von N = 84 Studentinnen und Studenten der University of Illinois Sonnentag regnerisch General happiness 7,43 5,0 Lebenszufriedenheit 6,6 4,9 Mittelwerte auf Skala von 1 10

32 Informationsfunktion von Antwortvorgaben Besser: Keine Antwortvorgabe, offene Frage

33 Fragereiheneffekte ( Positionseffekte ) Befragung amerikanischer Studenten (Hippler/Schwarz/Strack) Gruppe I Frage nach Lebenszufriedenheit Anschliessend: Dating Frage nach Rendezvoushäufigkeit Gruppe II Frage nach der Häufigkeit von Dates anschliessend: Lebenszufriedenheit Höhe der Korrelationen Lebenszufriedenheit/Dating r = - 0,12 (N = 60)

34 Fragereiheneffekte ( Positionseffekte ) Befragung amerikanischer Studenten (Hippler/Schwarz/Strack) Gruppe I Frage nach Lebenszufriedenheit Anschliessend: Dating Frage nach Rendezvoushäufigkeit Gruppe II Frage nach der Häufigkeit von Dates anschliessend: Lebenszufriedenheit Höhe der Korrelationen Lebenszufriedenheit/Dating r = - 0,12 r = 0,66 (N = 60) (N = 60) Hypothesen aus Kognitionspsychologie zur Informationsverarbeitung, Gruppe II: Informationsaktivierung durch vorhergehende Dating Frage

35 K-Tipp Nr. 9, 7. Mai 2008

36 Wie erkennt man gefälschte Interviews? Dauer der Haushaltsliste (in Sekunden) Korrekte Interviews, N = 2302 Fehlerhafte Interviews, N = 423 ohne Dezimalstelle; N = 2302 mit Dezimalstelle; = 423 N Anzahl der Haushaltspersonen In der Analyse wurden Ausreißer nicht berücksichtigt: Dauer < 20 Sekunden, N=4; Dauer > 20 Minuten, N = 6. Quelle: Blohm, M. und M. Wasmer, 2003: Unregelmäßigkeiten bei der Feldarbeit des ALLBUS Manuskript: Mannheim

37 Indirekte Methoden?

38 Indirekte Methoden?

39

40

41 Groves et al. (2004): Konzept des Total Survey Error Gegenmassnahmen: Z.B. a) Stichprobenplanung, Umfang der Stichprobe, b) z.b. Registerstichproben, c) hohe Ausschöpfung durch Anreizmassnahmen

42 Heikle (sensitive) Fragen Sensitive Fragen sind Fragen zu potentiell deviantem Verhalten oder zu stigmatisierenden Merkmale. Beispiele: Illegale Tätigkeiten, Steuerhinterziehung, Alkoholkonsum, politische Einstellung, rassistische Einstellungen, Sexualverhalten, Abtreibung, HIV-Infektion Sensitive Fragen werden von Survey-Respondenten oft nicht wahrheitsgetreu beantwortet. Anteil der Respondenten, welche sozial unerwünschtes Verhalten bei Befragungen leugnet: Strafrechtliche Verurteilung: 42.5% (Wolter & Preisendörfer 2011) Sozialhilfe- und Arbeitslosengeldbetrug: 75% (van der Heijden et al. 2000) Fahren in angetrunkenem Zustand: 54% (Locander et al. 1976) Privatkonkurs: 32% (Ibid.)

43 Heikle Fragen

44

45

46 Bitte werfen Sie einmal eine Münze. Das Ergebnis soll nur für Sie sichtbar sein. Bei Zahl beantworten Sie bitte die Frage: Wurde Ihre Mutter in einem geraden Jahr (z. B = gerade ) geboren? Bei Wappen beantworten Sie bitte die Frage: Sind Sie in den letzten vier Wochen einmal oder mehrfach mit einem öffentlichen Verkehrsmittel ohne gültige Fahrkarte gefahren? Bitte schreiben Sie auf ein Blatt nur Ja oder Nein

47 Heikle Fragen: Randomized Response Technik (RRT)

48

49 Benford RRT Prevalence estimate: PP(yyyyyy ooooooeeeeeeeeee) = PP(ssssssss. qqqqqqqqqqqqqqqq) PP(yyyyyy ssssssss. qqqqqqqqqq. ) + PP(iiiiiiiiii. qqqqqqqqqq. ) PP(yyyyyy iiiiiiiiii. qqqqqqqqqq. ) PP(yyyyyy ssssssss. qqqqqqqqqq. ) = PP(yyyyyy ooooooeeeeeeeeee) PP(iiiiiiiiii. qqqqqqqqqq. ) PP(yyyyyy iiiiiiiiii. qqqqqqqqqq. ) PP(ssssssss. qqqqqqqqqq. )

50 Prevalence estimates Univ of Bern and ETHZ with Benford RRT Copying in exam Crib notes Perform. enhancing drugs Partial plagiarism Severe plagiarism

51

52

53 Englisches Wort: Bitte Buchstaben ergänzen Projektiver Test S U E R

54 Englisches Wort: Bitte Buchstaben ergänzen Projektiver Test S U MM E R Sie sind sonnenhungrig!

55 Englisches Wort: Bitte Buchstaben ergänzen Projektiver Test S U P P E R Sie sind hungrig!

56 Englisches Wort: Bitte Buchstaben ergänzen Projektiver Test S U P P E R Sie sind hungrig! (Ich übernehme aber keine Garantie für die Validität dieses Tests!)