Kap. 2: Kurzwiederholung Wahrscheinlichkeitsrechnung und Statistik

Transkript

1 Kap. 2: Kurzwiederholung Wahrscheinlichkeitsrechnung und Statistik Empirische Fragestellung Datenanalyse: Schätzung, Test, Konfidenzintervall Grundbegriffe der Wahrscheinlichkeitsrechnung und Statistik Punktschätzung Hypothesentests Konfidenzintervalle

2 2.1 Empirische Fragestellung Bildungsökonomische Frage: Sind kleine Klassen besser? Konkret: wie ist der Zusammenhang zwischen Klassengrösse und Lernleistung der Schüler? Daten bei Stock und Watson: 420 Schuldistrikte in Kalifornien für das Jahr 1998 Variablen: Anzahl Schüler und Lehrer pro Bezirk, Ergebnisse standardisierter Tests für Lesen und Mathematik ( PISA), diverse demographische Variablen Definiere neue Variablen: score := Durchschnitt aus Rechen- und Leseleistungen stratio ( student-teacher ratio ) (in Vollzeitäquivalenten) Schüler-Lehrer-Quotient := Anzahl Schüler Anzahl Lehrer C. Kleiber: Ökonometrie 1 Kap. 2-1 U Basel, HS 2009

3 2.2 Datenanalyse Ein Blick auf die Daten: R> data("caschools", package = "AER") R> CASchools$stratio <- with(caschools, students/teachers) R> CASchools$score <- with(caschools, (math + read)/2) R> attach(caschools) R> summary(stratio) Min. 1st Qu. Median Mean 3rd Qu. Max R> summary(score) Min. 1st Qu. Median Mean 3rd Qu. Max C. Kleiber: Ökonometrie 1 Kap. 2-2 U Basel, HS 2009

4 2.2 Datenanalyse Etwas mehr zeigen Boxplots: score stratio C. Kleiber: Ökonometrie 1 Kap. 2-3 U Basel, HS 2009

5 2.2 Datenanalyse Den Zusammenhang visualisiert ein Streudiagramm: score stratio C. Kleiber: Ökonometrie 1 Kap. 2-4 U Basel, HS 2009

6 2.2 Datenanalyse Gesucht: Belege für negativen Zusammenhang zwischen Klassengrösse und Testergebnis Mögliche Vorgehensweisen: 1. Vergleiche durchschnittliche Testergebnisse für Bezirke mit kleinen und grossen Klassen Punktschätzung 2. Teste auf Gleichheit der erwarteten Testergebnisse für Bezirke mit kleinen und grossen Klassen Hypothesentest 3. Bestimme Intervall für die Differenz der durchschnittlichen Testergebnisse Intervallschätzung (Konfidenzintervall) C. Kleiber: Ökonometrie 1 Kap. 2-5 U Basel, HS 2009

7 2.2 Datenanalyse Klassengrösse: definiere Klassen als klein, falls stratio < 20 gross, falls stratio 20 Gesucht: Klassengrösse Ȳ s Y n klein gross Schätzung für = Differenz zwischen Gruppen 2. Test der Hypothese = 0 3. Konfidenzintervall für C. Kleiber: Ökonometrie 1 Kap. 2-6 U Basel, HS 2009

8 2.2 Datenanalyse zu 1.: mit Ȳ k := 1 n k n k i=1 Y i und Ȳ g := 1 n g n g ist naheliegende (Punkt-)Schätzung für Differenz ˆ = Ȳk Ȳg = 7.17 Ist dieser Unterschied gross (für praktische Zwecke)? ˆ = 7.17 entspricht ungefähr Differenz zwischen 75- und 60-Prozent-Quantil: i=1 Y i q 0.75 q 0.60 = = 7.26 Unterschied relativ gross (für praktische Zwecke) C. Kleiber: Ökonometrie 1 Kap. 2-7 U Basel, HS 2009

9 2.2 Datenanalyse zu 2.: Hypothesentest für H 0 : = 0 vs. H 1 : 0 Zweistichproben-t-Test (Typ: Welch-Test ) beruht auf t = Ȳk Ȳg s 2 k n k + s2 g n g wobei Hier ist s 2 k = 1 n k 1 t = n k (Y i Ȳ )2, analog s 2 g i= = = 3.93 Da t > 1.96: lehne H 0 zum Niveau α = 0.05 ab. Bem.: Da Stichprobe relativ gross (n = 420), verwenden wir einen approximativen t-test, d.h. kritische Werte kommen aus der Normalverteilung. C. Kleiber: Ökonometrie 1 Kap. 2-8 U Basel, HS 2009

10 2.2 Datenanalyse Natürlich gibt es in R auch eine eingebaute Funktion für den t-test: R> CAsmall <- subset(caschools, stratio < 20) R> CAlarge <- subset(caschools, stratio >= 20) R> t.test(casmall$score, CAlarge$score) Welch Two Sample t-test data: CAsmall$score and CAlarge$score t = 3.927, df = 402.3, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of x mean of y Die Funktion geht von ungleichen Varianzen in den Teilstichproben aus ( Welch-Version des Tests). Siehe?t.test, dort steht als Voreinstellung: var.equal = FALSE. C. Kleiber: Ökonometrie 1 Kap. 2-9 U Basel, HS 2009

11 2.2 Datenanalyse zu 3.: Konfidenzintervall zum Niveau 1 α = 0.95 für Differenz der Mittelwerte ist (Ȳk Ȳg) ± 1.96 Var(Ȳk Ȳg) = 7.17 ± = (3.58, 10.76) Folgende Aussagen sind äquivalent: das 95%-Konfidenzintervall für enthält nicht 0 die Hypothese H 0 : = 0 wird zum Niveau α = 0.05 abgelehnt Bem.: Auch hier ein approximatives Intervall, da Stichprobe relativ gross (n = 420). C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

12 2.3 Grundbegriffe der Wahrscheinlichkeitsrechnung und Statistik Grundgesamtheit (GG): alle (denkbaren) Schulbezirke Zufallsvariable: Testergebnis, Lehrer-Schüler-Quotient vor Durchführung des Zufallsexperiments (d.h. Auswahl des Schulbezirks, Jahres) Realisation: Testergebnis, Lehrer-Schüler-Quotient nach Durchführung des Zufallsexperiments Verteilung: W keiten für einzelne Ausprägungen von Y in GG (falls Y diskret) Bsp.: P (Y = 611) W keiten für Mengen (Intervalle) von Ausprägungen von Y in GG (falls Y stetig) Bsp.: P (Y 643) Momente: Erwartungswert E(Y ) =: µ Y Varianz Var(Y ) = E[(Y E(Y )) 2 ] =: σ 2 Y Standardabweichung Var(Y ) =: σ Y C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

13 2.3 Grundbegriffe der Wahrscheinlichkeitsrechnung und Statistik Bedingte Verteilung: Verteilung von Y gegeben eine andere Zufallsvariable X Bsp.: Verteilung der Testergebnisse für Bezirke mit kleinen Klassen Y Testergebnis, X Klassengrösse, also Vtlg. von Y (stratio < 20) Wichtige Kenngrössen von bedingten Verteilungen sind bedingter Erwartungswert E(Y X = x) =: µ Y X bedingte Varianz Var(Y X = x) =: σy 2 X Beispiele: E(Testergebnis stratio < 20) = E(Testergebnis stratio < 20) E(Testergebnis stratio 20) erwartetes Einkommen von Männern (hier ist X Geschlecht) C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

14 2.3 Grundbegriffe der Wahrscheinlichkeitsrechnung und Statistik Bedingte Erwartungen: Sei Y diskret mit Werten y 1,..., y k. Dann ist E(Y X = x) = k y i P (Y = y i X = x) i=1 Wichtiges Resultat zu bedingten Erwartungen: Satz über iterierte Erwartungen: ( law of iterated expectations ) ( ) E(Y ) = E(E(Y X)) = E X (E Y X (Y X)) Bsp.: Sei Y Einkommen, X Geschlecht, dann E(Y ) = E(Y Frau)P (Frau) + E(Y Mann )P (Mann ) = E(E(Y X)) Wir werden später oft folgendes Argument verwenden: aus E(Y X) = 0 folgt E(Y ) = 0. C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

15 2.3 Grundbegriffe der Wahrscheinlichkeitsrechnung und Statistik Empirisches Gegenstück zu bedingten Erwartungen: Gruppenmittelwerte. Für unsere Daten ist das durchschnittliche Testergebnis als Funktion des stratio: stratio mean(score) C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

16 2.3 Grundbegriffe der Wahrscheinlichkeitsrechnung und Statistik Kovarianz: Eigenschaften: Cov(Y, Z) = E[(Y E(Y ))(Z E(Z))] =: σ Y Z misst linearen (!!) Zusammenhang zwischen Y und Z falls Y und Z stoch. unabh., dann Cov(Y, Z) = 0 (Umkehrung falsch!) Kovarianz zwischen Y und Y ist Varianz: Cov(Y, Y ) = E[(Y E(Y ))(Y E(Y ))] = E[(Y E(Y )) 2 ] = σ 2 Y (= σ Y Y ) C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

17 2.3 Grundbegriffe der Wahrscheinlichkeitsrechnung und Statistik Korrelation: Eigenschaften: Cor(Y, Z) := Cov(Y, Z) Var(Y ) Var(Z) = σ Y Z σ Y σ Z 1 Cor(Y, Z) 1 Cor(Y, Z) = ±1 bedeutet perfekter linearer Zusammenhang Cor(Y, Z) = 0 bedeutet kein linearer Zusammenhang E(Y Z) = const., dann ist Cor(Y, Z) = 0 (Umkehrung falsch!) C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

18 2.3 Grundbegriffe der Wahrscheinlichkeitsrechnung und Statistik Für unsere Daten ist Cor(score, stratio) = 0.23 score stratio C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

19 2.3 Grundbegriffe der Wahrscheinlichkeitsrechnung und Statistik Stichproben und Stichprobenfunktionen: Formaler Rahmen in Statistik 2: Einfache Zufallsstichprobe, d.h. jede Stichprobe vom Umfang n wird mit gleicher W keit ausgewählt. Folgerungen: Y 1, Y 2,..., Y n sind stochastisch unabhängig Y 1, Y 2,..., Y n sind identisch verteilt Kurzschreibweise: Y 1, Y 2,..., Y n sind u.i.v. (unabhängig und identisch verteilt). Engl.: i.i.d. (für independently and identically distributed ) Eine Zufallsvariable Z, die als Funktion der Stichprobenvariablen Y 1, Y 2,..., Y n definiert ist, also Z = g(y 1, Y 2,..., Y n ), heisst eine Stichprobenfunktion oder auch eine Statistik. Typische Stichprobenfunktionen sind Punktschätzer, Intervallschätzer und Teststatistiken. C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

20 2.4 Punktschätzung Naheliegend: schätze µ Y durch Ȳ Welche Eigenschaften hat der Schätzer, wenn Y i u.i.v.? E(Ȳ ) = E ( 1 n n ) Y i = 1 n i=1 n E(Y i ) = 1 n n µ y = µ y i=1 und Var(Ȳ ) = Var ( 1 n n ) Y i i=1 = 1 n n 2 Var(Y i ) + 1 n 2 i=1 = 1 n n 2 σy = σ2 Y n i=1 n n i=1 j=1,j i Cov(Y i, Y j ) C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

21 2.4 Punktschätzung Ergebnis: E(Ȳ ) = µ Y und Var(Ȳ ) = σ2 Y /n Interpretation: Ȳ ist ein unverzerrter Schätzer für µ Y Var(Ȳ ) ist umgekehrt proportional zu n Schätzer wird mit grösserem n genauer! Standardabweichung der Verteilung von Ȳ ist proportional zu 1/ n Dies sind nur die Momente der Verteilung von Ȳ was ist die exakte Verteilung? Bsp.: Sei Y Bin (1, p), also E(Y ) = p und Var(Y ) = p(1 p). Exakte Verteilung von Ȳ für kleines n sehr kompliziert. Aber: für grosses n wird es einfach! Wegen Var(Ȳ ) = σ2 /n ist mit wachsendem n Verteilung stärker konzentriert um µ Y. Statistik für grosses n hat zwei Hauptresultate: (1) Gesetz der grossen Zahlen und (2) zentraler Grenzwertsatz. C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

22 2.4 Punktschätzung Gesetz der grossen Zahlen: (engl.: law of large numbers, LLN) Falls Y 1, Y 2,..., Y n u.i.v. und σ 2 Y <, dann gilt für alle ɛ > 0 P ( Ȳ µ Y < ɛ) 1 für n Notation: Ȳ P µ Y oder auch p lim(ȳ ) = µ Y, für Ȳ konvergiert in W keit gegen µ Y [Beweis: folgt direkt aus der Tschebyschev-Ungleichung!] Statistische Sprechweise: der Schätzer Ȳ ist konsistent für µ Y C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

23 2.4 Punktschätzung Illustration: das Stichprobenmittel als Funktion von n. Simulation von Y i Bin (1, p), i = 1,..., 400, mit p = Y n C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

24 2.4 Punktschätzung Zentraler Grenzwertsatz: (engl. central limit theorem, CLT) Falls Y 1, Y 2,..., Y n u.i.v. und σy 2 <, dann gilt für n n Ȳ µ Y σ Y d N (0, 1) d.h. die linke Seite konvergiert in Verteilung gegen eine standardnormalverteilte Zufallsvariable. Etwas technischer: hier konvergieren die Verteilungsfunktionen, nämlich ( n Ȳ µ Y P σ Y Anwendung: für grosse n gilt näherungsweise ) y Φ(y) y. ( Ȳ µ Y a n N (0, 1) d.h. Ȳ N µ Y, σ2 Y σ Y n ) C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

25 2.4 Punktschätzung Illustration: Simulation der Verteilung des Stichprobenmittels Ȳ bei Y i Bin (1, p), i = 1,..., 400, mit p = ( Simulationen) Density C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

26 2.4 Punktschätzung Zusammenfassung: Eigenschaften von Ȳ als Schätzer von µ Y Falls Y 1, Y 2,..., Y n u.i.v. und σy 2 <, dann Ȳ unverzerrt für µ Y mit Varianz σy 2 /n exakte Verteilung meist kompliziert, aber P es gilt Ȳ µ Y (Konsistenz) ) es gilt Ȳ a N (µ Y, σ2 Yn für n gross (approximative Normalverteilung) Weitere Eigenschaften: Ȳ ist der Kleinstquadrate-Schätzer (KQ-Schätzer) für µ Y, d.h. er löst das Optimierungsproblem n i=1 (Y i m) 2 min m! C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

27 2.5 Hypothesentest Hypothesentest: entscheide, ob Daten gegen Nullhypothese sprechen. Dabei H 0 : E(Y ) = µ Y,0 vs. H 1 : E(Y ) > µ Y,0 einseitiges Testproblem H 0 : E(Y ) = µ Y,0 vs. H 1 : E(Y ) < µ Y,0 einseitiges Testproblem H 0 : E(Y ) = µ Y,0 vs. H 1 : E(Y ) µ Y,0 zweiseitiges Testproblem Signifikanzniveau: vorgegebene W keit, Nullhypothese zu Unrecht abzulehnen (bei wiederholter Durchführung des Tests) Fehler: Beim Testen statistischer Hypothesen kann man zwei Fehler machen ablehnen, obwohl man das nicht sollte (H 0 wahr) Fehler 1. Art nicht ablehnen, obwohl man das sollte (H 0 falsch) Fehler 2. Art Vorsicht: die Hypothesen H 0 und H 1 werden nicht symmetrisch behandelt! Statistische Tests sind so konstruiert, dass sie den Fehler 1. Art kontrollieren. C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

28 2.5 Hypothesentest Vorgehen in Statistik 2 nach Lehrbuch: gebe Signifikanzniveau vor berechne Teststatistik vergleiche Teststatistik mit kritischem Wert zu vorgegebenem Signifikanzniveau Beim Arbeiten mit statistischer Software geht man anders vor, man benutzt p-werte. p-wert: W keit, einen mindestens so extremen Wert der Teststatistik zu erhalten wie aus den Daten berechnet, gegeben die Nullhypothese ist wahr. Heisst oft auch marginales Signifikanzniveau: kleinstes Niveau, zu dem H 0 gerade noch verworfen werden kann. Für das Beispiel Ȳ : p-wert = P H0 ( Ȳ µ Y,0 > ȳ µ Y,0 ). Berechnung erfordert Verteilung von Ȳ. C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

29 2.5 Hypothesentest Falls n gross, kann wieder approximative Verteilung (hier Normalverteilung) benutzt werden. Betrachte dazu p-wert = P H0 ( Ȳ µ Y,0 > ȳ µ Y,0 ) = P H0 ( Ȳ µ Y,0 σ Y / n ) > ȳ µ Y,0 σ Y / n Leider ist σ 2 in der Regel unbekannt schätze σ 2 Y durch s 2 Y = 1 n 1 n (Y i Ȳ )2 i=1 Es gilt: falls Y 1, Y 2,..., Y n u.i.v. und E(Y 4 ) <, dann s 2 Y P σ 2 Y. C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

30 2.5 Hypothesentest Mit Schätzung von σy 2 gilt approximativ ( ) p-wert = P H0 ( Ȳ µ Ȳ µ Y,0 Y,0 > ȳ µ Y,0 ) = P H0 σ Y / n > ȳ µ Y,0 σ Y / n ( ) Ȳ µ Y,0 P H0 s Y / n > ȳ µ Y,0 s Y / n = P H0 ( t > t ) 2(1 Φ( t )) Dabei ist t = Ȳ µ Y,0 s Y / n die t-statistik und t deren Stichprobenwert. Praxis: Lehne H 0 zu vorgegebenem Niveau α = 0.05 ab, falls t > 1.96 bzw. p-wert Statistische/ökonometrische Softwarepakete verwenden generell p-werte! C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

31 2.5 Hypothesentest Bemerkungen: falls Y 1, Y 2,..., Y n u.i.v. N (µ Y, σ 2 Y ), dann gilt exakt: t t n 1 (t-verteilung mit n 1 Freiheitsgraden) für n > 30 sind t n - und N (0, 1)-Verteilung sehr ähnlich häufig Normalverteilungsannahme nicht gerechtfertigt t-verteilung von eher theoretischem Interesse, historisch bedingt Diese Veranstaltung wird überwiegend Argumente basierend auf approximativen Verteilungen verwenden. C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

32 2.6 Intervallschätzung Ein 95%-Konfidenzintervall für µ Y überdeckt den wahren Wert des Parameters µ Y in 95% der Fälle. Ein Konfidenzintervall zum Niveau 1 α kann konstruiert werden als Menge aller Werte von µ Y, die von Hypothesentest zum Niveau α nicht abgelehnt werden. Beispiel: Konfidenzintervall für µ Y, α = 0.05 {µ Y : Ȳ µ Y s Y / n 1.96} = {µ Y : 1.96 Ȳ µ Y s Y / n 1.96} = {µ Y : 1.96 s Y / n Ȳ µ Y 1.96 s Y / n} = {µ Y (Ȳ 1.96 s Y / n, Ȳ s Y / n)} Auch hier wird wieder die Normalverteilungsapproximation benutzt. C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009

33 2.6 Intervallschätzung Zwischenfazit: Unter den (plausiblen) Annahmen 1. einfache Zufallsstichprobe, d.h. Y 1, Y 2,..., Y n u.i.v < E(Y 4 ) < wurden Punktschätzung, Hypothesentests und Intervallschätzung entwickelt. Ursprüngliche Frage: wie ist der Zusammenhang zwischen Klassengrösse und Lernleistung der Schüler? Erster Schritt unter Verwendung der Methoden aus Statistik 2: Vergleich kleine und grosse Klassen. Eigentliches Ziel: wie verändert sich das Testergebnis bei Veränderung der Klassengrösse? C. Kleiber: Ökonometrie 1 Kap U Basel, HS 2009