Die Auswahl ist natürlich rein zufällig und nicht repräsentativ

Transkript

1 Die Auswahl ist natürlich rein zufällig und nicht repräsentativ Betrachtungen zu Qualitätskriterien in der Umfrageforschung Ulrich Kohler University of Potsdam PUMA Symposium Stichprobenverfahren und Repräsentativität. Zufällige und nichtzufällige Auswahltechniken zur Datenerhebung in den Sozialwissenschaften Plattform für Umfragen, Methoden und empirische Analysen Johannes Kepler Universität Linz 13 Oktober / 27

2 2 / 27 Einleitung Können wir auf PS verzichten? NPS für deskriptive Inferenz Brauchen wir PS für kausale Inferenz? Fallauswahl ist nur die halbe Miete Schluss

3 3 / 27 Inhalt Einleitung Können wir auf PS verzichten? NPS für deskriptive Inferenz Brauchen wir PS für kausale Inferenz? Fallauswahl ist nur die halbe Miete Schluss

4 4 / 27 Warm up In einer Studie mit Millionen von Geburtstagen wurde gezeigt, dass ein signifikanter Einfluss von Sternzeichen existiert Die Auswahl ist natürlich rein zufällig und nicht repräsentativ Da es sich um ein Experiment handelt, wurde der kausale Effekt identifiziert Da es sich hier um ein Fixed-Effects Panel-Regressionsmodell handelt, sind die Effekte als kausale Effekte interpretierbar

5 5 / 27 Mögliche Qualitätskriterien Fallzahlen Fallauswahl Stichprobendesign Experimente Statistische Raffinesse Signifikanz (α-fehler)

6 6 / 27 Kernaussagen Es gibt keine allgemeingültigen Qualitätskriterien für empirische Forschung. Die Fragestellung bestimmt welche Qualitätskriterien wie anzuwenden sind. Qualitätsaussagen sind nur über das gesamte Untersuchungsdesign möglich. Im Zentrum des Vortrags steht die Fallauswahl. Abkürzungen PS Probability sampling NPS Non-probabilty sampling

7 7 / 27 Inhalt Einleitung Können wir auf PS verzichten? NPS für deskriptive Inferenz Brauchen wir PS für kausale Inferenz? Fallauswahl ist nur die halbe Miete Schluss

8 8 / 27 Können wir auf PS verzichten? 2 kurze Antworten: Ja, können wir! Ja, das tun wir sowieso Eine lange Antwort: Kommt drauf an! Deskriptive oder kausale Inferenz Eigenschaften der Inferenz-Population Risko-Aversion Vorwissen Nachfolgend mehr zur langen Anwort

9 9 / 27 Deskriptive und kausale Inferenz Deskriptive Inferenz Beschreibung des (unbekannten) Parameters θ einer endlichen Population durch einen Schätzer ˆθ, der auf Basis der zur Verfügung stehenden Daten berechnet wird. Schätzer generell unverzerrt bei SRS (aber... ) Unverzerrte Schätzung möglich bei PS Kausale Inferenz ATE(X) = E ( Y X = (x + τ) ) E(Y X = x) Schätzer unverzerrt unter Conditional Independence Sampling spielt keine Rolle

10 10 / 27 Reformulierung der Fragestellung Können wir auf PS verzichten? Nein, für deskriptive Inferenz Ja, für kausale Inferenz aber: Vielleicht doch: NPS für deskriptive Inferenz? Vielleicht doch: PS für kausale Inferenz?

11 11 / 27 Inhalt Einleitung Können wir auf PS verzichten? NPS für deskriptive Inferenz Brauchen wir PS für kausale Inferenz? Fallauswahl ist nur die halbe Miete Schluss

12 12 / 27 Eigenschaften der Inferenz-Population Non-response bias Self-selection bias Corr(Y, ρ) SD(Y ) SD(ρ) ρ mit Corr(Y, π) SD(Y ) SD(π) π mit ρ = n Resp. n Resp. + n Non-Resp. π = n Resp. N Risiko von NPS abhängig von Populationsgröße (und Heterogenität)!

13 13 / 27 Risiko-Aversion n (desc. inference) n (causal inference) t(α, ν) 2 Var(Y ) ω 2 Var(Y ) ( 1 R(X, Z) 2 ) Var(X)ω 2 ω ist die Breite des akzeptablen Konfidenzintervalls Je höher ω, desto geringer kann die Fallzahl sein... aber was hat das mit PS/NPS zu tun?

14 14 / 27 Einige Behauptungen zu ω ω ist auch für das Stichprobendesign relevant Je höher ω, desto eher wird man NPS akzeptieren ω ist groß bei Forschung zu völlig unbekannten Themen Beispiele sind versteckte Populationen: Pädophile Neonazis... ω ist klein für gut untersuchte Themen Beispiele: Wahlprognosen Einkommensungleichheit...

15 15 / 27 Zwischenfazit Können wir auf PS für deskriptive Inferenz verzichten? Ja, ist aber hoch riskant Vielleicht, bei kleinen homogenen Populationen Vielleicht, bei innovativer Forschung Vielleicht, bei sehr hohen Fallzahlen... und vielleicht bei hoher statistischer Raffinesse.

16 16 / 27 Inhalt Einleitung Können wir auf PS verzichten? NPS für deskriptive Inferenz Brauchen wir PS für kausale Inferenz? Fallauswahl ist nur die halbe Miete Schluss

17 17 / 27 Gibt es den kausalen Effekt? Natural Science ASS reduziert Schmerz, Fieber und Entzündungen An apple a day, keeps doctor away Social Science Koedukation reduziert Mathematikleistungen von Mädchen Geld macht glücklich! Kausale Effekte in Naturwissenschaften sind (oft) immer wahr Kausale Effekte in Sozialwissenschaften sind (oft) konditional

18 18 / 27 Konditionale kausale Effekte Conditional ATE ATE(X Z) = f (Z) Wenn der ATE zwischen Ausprägungen von Kovariaten Z variiert, sind drei Designs denkbar und sinnvoll: Schätzung von ATE(X Z = z) (Special populations) Schätzung von ATE(Z Z) on ATE(X Z) (Interaktionen) Schätzung von ATE(X Z) für eine endliche Population Im dritten Design gelten alle Aussagen für deskriptive Inferenz.

19 19 / 27 Zwischenfazit Brauchen wir auf PS für kausale Inferenz? Nein, wenn eine Spezialpopulation interessant ist Nein, wenn wir in einem großen Datensatz Interaktion untersuchen, oder die Constant-Effect Annahme prüfen Ja, wenn Beschreibungen kausaler Effekte angestrebt werden (Regelfall) Ja, wenn wir nicht wissen, zwischen welchen Z der ATE(X) variiert (Regelfall)

20 20 / 27 Inhalt Einleitung Können wir auf PS verzichten? NPS für deskriptive Inferenz Brauchen wir PS für kausale Inferenz? Fallauswahl ist nur die halbe Miete Schluss

21 21 / 27 Können wir NPS in PS verwandeln? Ja, durch Gewichte oder Modellierung des Selektionsprozesses Designgewichte (PS) berücksichtigen nicht Selbstselektion Selbst-Selektionswahrscheinlichkeiten können nur geschätzt werden Dazu werden Vorwissen, Daten und kühne Annahmen benötigt Kontrolle der Selektion S A ɛ X Y

22 22 / 27 Fallzahlen Hohe Fallzahlen vertragen sich nicht gut mit ritualisierten Signifikanztests bei fehlendem inhaltlichem Konzept der Effektstärke. Klinische Studie A Treatmentgruppe: x = 2 (n = 30, SD = 3) Placebogruppe: x = 1 (n = 30, SD = 3) ATE = 2 ( 1) = 1 t = 2 ( 1) 3/30+3/30 = 1.29 P(T < t) = Klinische Studie B Treatmentgruppe: x = 2 (n = 100, SD = 3) Placebogruppe: x = 1 (n = 100, SD = 3) ATE = 2 ( 1) = 1 t = 2 ( 1) 3/100+3/100 = 2.36 P(T < t) =

23 23 / 27 Fallzahlen Hohe Fallzahlen vertragen sich nicht gut mit ritualisierten Signifikanztests bei fehlendem inhaltlichem Konzept der Effektstärke. Klinische Studie A Treatmentgruppe: x = 2 (n = 30, SD = 3) Placebogruppe: x = 1 (n = 30, SD = 3) ATE = 2 ( 1) = 1 t = 2 ( 1) 3/30+3/30 = 1.29 P(T < t) = Klinische Studie B Treatmentgruppe: x = 2 (n = 100, SD = 3) Placebogruppe: x = 1 (n = 100, SD = 3) ATE = 2 ( 1) = 1 t = 2 ( 1) 3/100+3/100 = 2.36 P(T < t) =

24 Experimente Die Möglichkeit zur Entwicklung kostengünstiger Experimente (etwa in Online-Access-Panels) verträgt sich nicht gut mit ritualisiert durchgeführten Signifikanztests Quelle: 24 / 27

25 25 / 27 Inhalt Einleitung Können wir auf PS verzichten? NPS für deskriptive Inferenz Brauchen wir PS für kausale Inferenz? Fallauswahl ist nur die halbe Miete Schluss

26 26 / 27 Cool down Es gibt keine allgemeingültigen Qualitätskriterien für empirische Forschung. Die Fragestellung bestimmt welche Qualitätskriterien wie anzuwenden sind. Qualitätsaussagen sind nur über das gesamte Untersuchungsdesign möglich.

27 27 / 27