Analyse von Querschnittsdaten. Statistische Inferenz

Transkript

1 Analyse von Querschnittsdaten Statistische Inferenz

2 Warum geht es in den folgenden Sitzungen? Kontinuierliche Variablen Generalisierung kategoriale Variablen Datum Vorlesung Einführung Beispiele Daten Variablen Bivariate Regression Kontrolle von Drittvariablen Multiple Regression Statistische Inferenz Signifikanztests I Signifikanztests II Spezifikation der unabhängigen Variablen Spezifikation der Regressionsfunktion Heteroskedastizität Regression mit Dummy-Variablen Logistische Regression

3 Gliederung 1. Philosophie von Inferenzstatistik 2. Zufallsstichproben und Stichprobenfehler 3. Kriterien zur Beurteilung von Schätzverfahren 4. Eigenschaften von OLS-Schätzungen 5. Schätzverfahren bei Totalerhebungen?

4 Gliederung 1. Philosophie von Inferenzstatistik 2. Zufallsstichproben und Stichprobenfehler 3. Kriterien zur Beurteilung von Schätzverfahren 4. Eigenschaften von OLS-Schätzungen 5. Schätzverfahren bei Totalerhebungen?

5 Rückblick: Deskriptive Modelle Ausgangsbasis Daten (egal ob Stichprobe oder Totalerhebung) Untersuchungsziel Beschreibung von Verteilungen einzelner Variablen oder von statistischen Zusammenhängen zwischen mehreren Variablen optimale Beschreibung Statistik, die das Typische der vorliegenden Daten beschreibt, so dass die einzelnen Daten möglichst wenig von dieser Statistik abweichen mehrere Variablen Überprüfung von Alternativerklärungen für statistische Zusammenhänge (induktives Vorgehen)

6 Rückblick: Theoretisches Modell Beispiel: Konsumausgaben (Keynes 1936) Aussagen über erklärende Variablen C = f(income, circumstances, needs/habits) Aussagen über deren Effekte je höher Einkommen, desto höher Konsum Aussagen über funktionale Form

7 Rückblick: Empirische Überprüfung Daten Konsumausgaben Einkommen circumstances? needs, habits? Aggregatdaten (Nation) oder Mikrodaten (Personen) Stichprobe (Personen) oder Totalerhebung (Nation) Statistisches Modell y β 0 + β x + = 1 Ergebnisse u geschätzte marginale Konsumquote: ˆβ 1

8 Statistisches Modell y = β0 + β1x1 + β 2x2 + K+ β k xk + u Modell: y = µ + u systematische Komponente µ Einflüsse der theoretisch und empirisch bekannten Determinanten x j (j=1,, k) stochastische Komponente u (unobserved) Einflüsse unbekannter Determinanten sowie Messfehler der abhängigen Variablen wahrer Effekt β j Effekt der Variablen, der sich ergibt, wenn u bekannt wäre und Informationen über alle Untersuchungseinheiten vorliegen würden

9 Problem einerseits kein induktives Vorgehen erklärende Variablen theoretisch und empirisch bekannt andererseits Teile des Modells sind unbekannt und über sie liegen prinzipiell keine empirischen Informationen vor häufig wird auch nur ein Teil der Untersuchungseinheiten betrachtet

10 Analyseziel Berechne die Effekte der (bekannten) unabhängigen Variablen so, dass die berechneten Werte möglichst mit den wahren Effekten übereinstimmen, obwohl weitere unbekannte Einflüsse und Messfehler existieren und eventuell nur Informationen für eine Teilmenge aller Untersuchungseinheiten vorliegen. Man spricht von Schätzen. Ziel ist, den Schätzfehler zu minimieren.

11 Inferenzstatistik "wahre" Welt β j beobachtete Welt ˆ β Stichprobe, Minimiere Schätzfehler ( β βˆ ) j Totalerhebung Schätzung j j Deskriptivstatistik L beobachtete Welt ˆ β Berechnung Maximiere Datenfit n i= 1 Daten ( yˆ i y i 2 ) j

12 Folgende Fragen Liefert ein bestimmtes Berechnungsverfahren (wie z.b. OLS) Schätzwerte, die mit den wahren Effekten übereinstimmen? unverzerrter Schätzer (unbiased estimator) Welche vereinfachenden Annahmen muss man dabei machen: über unbekannte Einflüsse und Messfehler? über nicht beobachtete Untersuchungseinheiten?

13 Gliederung 1. Philosophie von Inferenzstatistik 2. Zufallsstichproben und Stichprobenfehler a. Grundgesamtheit b. Illustration des Stichprobenfehlers c. Stichprobenverteilung eines Regressionskoeffizienten 3. Kriterien zur Beurteilung von Schätzverfahren 4. Eigenschaften von OLS-Schätzungen 5. Schätzverfahren bei Totalerhebungen?

14 Analyse der Lebenszufriedenheit St. Regression: eine kleine Insel im Südpazifik mit 665 Einwohnern Lebenszufriedenheit (Index 1-20) Determinanten: Haushaltseinkommen, Berufsprestige, Ausbildungsdauer, Kirchgangshäufigkeit, Ortsgröße Messfehler und weitere Einflüsse sind unabhängig von diesen Determinanten: u korreliert mit keiner der fünf Variablen Frage: Ist der folgende in der Grundgesamtheit gültige Zusammenhang zwischen Lebenszufriedenheit und Einkommen, Prestige usw. auch in einer Zufallsstichprobe beobachtbar? y = x x x x x5 + u

15 Grundgesamtheit: Korrelationen satisfac income prestige educ attend size error satisfac 1.00 income prestige educ attend size error n=665 (gss1978.dta) Die unabhängigen Variablen x j (j=1,, k) korrelieren unterschiedlich hoch miteinander. Die stochastische Komponente u (Variable error) korreliert nicht mit den unabhängigen Variablen.

16 Gliederung 1. Philosophie von Inferenzstatistik 2. Zufallsstichproben und Stichprobenfehler a. Grundgesamtheit b. Illustration des Stichprobenfehlers c. Stichprobenverteilung eines Regressionskoeffizienten 3. Kriterien zur Beurteilung von Schätzverfahren 4. Eigenschaften von OLS-Schätzungen 5. Schätzverfahren bei Totalerhebungen?

17 Geschätzter Einkommenseffekt aus 10 Zufallsstichproben 2 Stichprobenfehler in Stp 2 y Wert in der GG: 0, _b[income] Man liegt im Mittel richtig, wenn der Durchschnitt aller geschätzten Werte 0,065 beträgt (Erwartungstreue der Schätzung) Schließt aber Abweichung im Einzelfall nicht aus: Schätzfehler = geschätzter Wert 0,065 (Stichprobenfehler) Daher wünscht man sich möglichst geringe Stichprobenfehler, also eine möglichst geringe Streuung der Schätzwerte (Effizienz der Schätzung)

18 Gliederung 1. Philosophie von Inferenzstatistik 2. Zufallsstichproben und Stichprobenfehler a. Grundgesamtheit b. Illustration des Stichprobenfehlers c. Stichprobenverteilung eines Regressionskoeffizienten 3. Kriterien zur Beurteilung von Schätzverfahren 4. Eigenschaften von OLS-Schätzungen 5. Schätzverfahren bei Totalerhebungen?

19 Simulation der Stichprobenverteilung des geschätzten Einkommenseffektes 1000 Stichproben (Replikationen) jeweils mit n=300 Empirische Stichprobenverteilung Einkommenseffekt s. unten Arithmetisches Mittel = 0,061 (noch kleiner Bias), Std.abw. = 0,110 (Theoretische) Stichprobenverteilung: # Replikationen = Bei erwartungstreuem Schätzverfahren: Arithm. Mittel = 0,065 (Bias=0) Density Arithm. Mittel = 0,061 (Bias = 0,061 0,065) Std.abw. = 0, _b[income]

20 Definitionen Stichprobenfehler Die Abweichung eines Schätzwertes vom wahren Wert bezeichnet man als Stichprobenfehler (engl.: sampling error). Stichprobenverteilung Die Verteilung einer Stichprobenstatistik über alle möglichen Stichproben bezeichnet man als Stichprobenverteilung (engl.: sampling distribution). Standardfehler Der Standardfehler (engl.: standard error) ist ein Maß für die Streuung einer Stichprobenstatistik über alle möglichen Zufallsstichproben aus der Grundgesamtheit. Vereinfachend gesagt: Er ist ein Maß für die durchschnittliche Größe des Stichprobenfehlers der Stichprobenstatistik.

21 Gliederung 1. Philosophie von Inferenzstatistik 2. Zufallsstichproben und Stichprobenfehler 3. Kriterien zur Beurteilung von Schätzverfahren 4. Eigenschaften von OLS-Schätzungen 5. Schätzverfahren bei Totalerhebungen?

22 Erwartungstreue (Unbiasedness) unbiased/biased x Ein erwartungstreues Schätzverfahren liefert Schätzwerte, die im Mittel dem Parameter der Grundgesamtheit entsprechen (in dem Beispiel 0,065) 0,065 (unbiased) 0,150 (biased)

23 Effizienz (Efficiency) largesd/smallsd sd=0,05 sd=0,05 sd=0,11 sd=0, x Das Schätzverfahren ist effizienter, dessen Schätzwerte eine kleinere Varianz aufweisen. Das Schätzverfahren mit der kleinsten Varianz der Schätzer heißt absolut effizient (oder kurz: effizient).

24 Konsistenz (Consistency) n10/n50/n100/n x 0,065 n=300 n=100 n=50 n=10 Ein Schätzverfahren ist dann konsistent, wenn die Schätzwerte mit zunehmendem Stichprobenumfang mit dem Parameter der Grundgesamtheit übereinstimmen. Ein konsistentes Schätzverfahren kann bei kleinen Stichproben verzerrt sein.

25 Ein optimales Schätzverfahren sollte unverzerrt und möglichst effizient sein. sollte zumindest mit zunehmendem Stichprobenumfang Schätzwerte liefern, die immer mehr mit dem Parameter der Grundgesamtheit übereinstimmen (also ein konsistentes Schätzverfahren sein). In Ausnahmefällen kann es sinnvoll sein, ein (leicht) verzerrtes Schätzverfahren zu akzeptieren, wenn es effizienter ist als andere (unverzerrte) Schätzverfahren.

26 Gliederung 1. Philosophie von Inferenzstatistik 2. Zufallsstichproben und Stichprobenfehler 3. Kriterien zur Beurteilung von Schätzverfahren 4. Eigenschaften von OLS-Schätzungen 5. Schätzverfahren bei Totalerhebungen?

27 OLS-Schätzungen immer unverzerrt? Die vorherige Simulation mit n=1000 Replikationen scheint das nahe zu legen. Gegenbeispiel Man vernachlässigt fälschlicherweise den Einkommenseffekt und spezifiziert folgendes Modell: y = β K β + * 0 + β 2x2 + β3x3 + β 4x4 + 5x5 u u * enthält jetzt neben Messfehlern und sonstigen Einflüssen den wichtigen Einkommenseffekt. Da das Einkommen mit allen anderen Variablen (Berufsprestige, Ausbildungsdauer, Kirchgangshäufigkeit, Ortsgröße) zusammenhängt, korreliert auch u * mit den im Modell verbliebenen Variablen.

28 Simulationsergebnisse minimale Verzerrung max. 5% erhebliche Verzerrung max. 182% Simulation: 100 Replikationen mit n=50 (Quelle: Berry / Feldman 1985) (i) richtiges Modell: alle fünf unabhängigen Variablen berücksichtigt (ii) fehlspezifiziertes Modell: Einkommen vernachlässigt

29 Schlußfolgerung OLS-Schätzungen sind nur dann unverzerrt, wenn unabhängige Variablen x j (j=1,, k) und stochastische Komponente u unabhängig voneinander sind. Anders ausgedrückt: Wenn man Determinanten unberücksichtigt lässt, dann dürfen diese nicht mit den im Modell berücksichtigten Variablen zusammenhängen. Gleiches gilt für Messfehler.

30 Annahme: E( u x, x, K, x ) = 1 2 k 0 Im Allgemeinen kennt man nicht alle relevanten Determinanten der Zielvariablen. Beispiel (St. Regression) ist daher eigentlich unrealistisch und dient nur der Verdeutlichung des Problems. Die stochastische Komponente u ist per Definition unbekannt! Man muss daher annehmen, dass u und alle x j (j=1,, k) unabhängig voneinander sind (s. oben).

31 OLS-Schätzungen sind BLUE! Erinnern Sie sich noch einmal! Erwartungstreue (Unbiasedness) Effizienz (Efficiency) Konsistenz (Consistency) Unter bestimmten Annahmen sind OLS-Schätzungen (i) unverzerrt und die berechneten Schätzwerte weisen (ii) die kleinste Varianz von allen linearen Schätzverfahren auf (Gauß-Markov-Theorem). - Best - Linear - Unbiased - Estimator

32 Notwendige Annahmen

33 Gliederung 1. Philosophie von Inferenzstatistik 2. Zufallsstichproben und Stichprobenfehler 3. Kriterien zur Beurteilung von Schätzverfahren 4. Eigenschaften von OLS-Schätzungen 5. Schätzverfahren bei Totalerhebungen?

34 Schätzverfahren notwendig bei Totalerhebungen? Beispiele für Totalerhebungen Zeitreihe der Arbeitslosenquote Kindersterblichkeit 1990 für jeden Bundesstaat der USA Wie kann es einen vom Parameter der Grundgesamtheit abweichenden Schätzwert geben, wenn man Daten über alle Elemente der Grundgesamtheit hat?

35 Schätzverfahren bei Totalerhebungen? Gedankenexperiment Daten zur Kindersterblichkeit (Arbeitslosigkeit) werden nach Abschluss erneut überprüft. Ergebnis Wegen Erfassungsproblemen ergeben sich leicht abweichende Werte der Zielvariablen. Schlussfolgerung Messfehler gibt es auch bei Totalerhebungen.

36 Schätzverfahren bei Totalerhebungen? Gedankenexperiment Erhebung zur Lebenszufriedenheit wird eine Woche später wiederholt. Messfehler seien ausgeschlossen. Ergebnis Sonstige Determinanten der Lebenszufriedenheit (z.b. subjektive Stimmungen), die man wegen ihrer Zufälligkeit zunächst vernachlässigt hat, können andere Werte aufweisen. Schlussfolgerung Auch bei Totalerhebungen ist von weiteren Einflüssen auszugehen, die man jedoch nicht weiter modelliert und statt dessen als Zufallsvariable betrachtet.

37 Stochastischer Prozess systematische Komponente µ i x x x x x 3 + stochastische Komponente u i Universum der sonstigen Einflüsse und Messfehler Zufallszahlengenerator u i ~ N(0, σ ) = Zielvariable y i immer gleiche Werte, wenn u i =0 verschiedene Werte, wenn u i 0

38 Schlussfolgerungen Analysiere die stochastischen Eigenschaften des datengenerierenden Prozesses Zufallsstichprobe u: Messfehler und unbekannte Determinanten Auswahl einer Teilstichprobe aus einer endlichen Grundgesamtheit Totalerhebung u: Messfehler und unbekannte Determinanten Auswahl einer Teilstichprobe aus einer hypothetischen Grundgesamtheit Auch bei Totalerhebungen ist Schätzen (und Testen) sinnvoll!

39 Zum Schluss

40 Zusammenfassung OLS- Schätzung Zufallsstichproben Inferenzstatistik Totalerhebungen Generalisierung: Rückschluss von der beobachteten auf die wahre Welt Minimiere den Schätzfehler, am besten auf Null Stichprobenfehler Stichprobenverteilung Standardfehler BLUE: best linear unbiased estimator Voraussetzung: Annahmen gegeben unverzerrt, wenn stochastische Komponente unabhängig Auswahl einer Teilstichprobe aus einer hypothetischen Grundgesamtheit auch hier sind Schätzverfahren sinnvoll

41 Wichtige Fachausdrücke Deutsch Englisch Deutsch Englisch Stichprobenverteilung Grundgesamtheitsparameter population parameter sampling distribution Geschätzter Regressionskoeffizient estimated regression coefficient Verzerrung bias Stichprobenfehler sampling error Effizienz efficiency Standardfehler standard error Konsistenz consistency

42 Weiterführende Literatur Die Annahmen werden in Kapitel 1 bei Berry und Feldman (BF 10-11) kurz aufgezählt, ohne sie im Einzelnen statistisch abzuleiten. Wooldridge behandelt in Kapitel 3 (WO ) die einzelnen Annahmen ausführlich und zeigt, wie sich auf dieser Basis die BLUE-Eigenschaft ableiten lässt. Er bezeichnet die Annahmen mit MLR.1 bis MLR.6 (MLR steht für multiple linear regression ).

43 Stata-Befehle sample 50 sample 300, count Ziehe eine Zufallsstichprobe von 50% aus dem im Speicher befindlichen Datensatz Ziehe eine Zufallsstichprobe von n=300 Fällen aus dem im Speicher befindlichen Datensatz