Einführung in die induktive Statistik. Inferenzstatistik. Konfidenzintervalle. Friedrich Leisch

Transkript

1 Spiel Körpergröße Zahl: Azahl weiblich Eiführug i die iduktive Statistik Friedrich Leisch Istitut für Statistik Ludwig-Maximilias-Uiversität Müche Tafelgruppe SS Eigee.Gruppe Friedrich Leisch, Iduktive Statistik Iferezstatistik Methode, um mit Iformatioe aus Stichprobe auf Charakteristika der Gesamtpopulatio schließe zu köe. Kofidezitervalle Nach Modellierug ud Parameterschätzug ist ma meist a der Überprüfug kokreter Fragestelluge iteressiert (ja/ei- Etscheiduge statt lage Beschreibuge der Date). Mögliche Frageforme: 1. Paßt eie Hypothese zu meiem Modell? 2. Widerspricht mei Modell eier gewisse Hypothese? I der klassische Iferezstatistik werde vor allem Frage der zweite Form behadelt. Friedrich Leisch, Iduktive Statistik

2 Vier Woche vor der österreichische Natioalratswahl 1999 wurde 499 Haushalte die Sotagsfrage gestellt: Falls ächste Sotag Wahle wäre, welche Partei würde Sie wähle? SPÖ ÖVP FPÖ Grüe LIF Sost Umfrage 38% 24% 25% 6% 4% 3% Wahl 33.15% 26.91% 26.91% 7.4% 3.65% 1.98% Frage 1: War das Ergebis für die SPÖ überrasched? Frage 2: Mit welcher Wahrscheilichkeit mußte das LIF damit reche, de Wiedereizug is Parlamet icht zu schaffe? Mit welcher Wahrscheilichkeit die Grüe? Frage 3: War das Gesamtergebis überrasched? SP VP FP G LIF sost Umfrage Wahl Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik Kofidezitervall für Mittelwert Kofidezitervall für Mittelwert Schätzug des Mittelwerts: ˆµ = X = 1 x i i=1 Kommt die Stichprobe aus eier Populatio mit Mittelwert µ ud Variaz σ 2, da gilt für ˆµ N(µ, σ 2 /) ud mit 95% Wahrscheilichkeit liegt ˆµ ierhalb des Itervalls µ 1.96σ ˆµ µ σ Mit c = 1.96σ/ habe wir 2 Ugleichuge µ c ˆµ ˆµ µ + c ud wolle eigetlich Aussage über µ treffe. Brige wir die Kostate jeweils auf die adere Seite so erhalte wir oder kürzer i eier Zeile µ ˆµ + c ˆµ c µ ˆµ c µ ˆµ + c Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik

3 Kofidezitervall für Mittelwert Setze wir für c wieder 1.96σ/ ei, so erhalte wir, daß mit 95% Wahrscheilichkeit ˆµ 1.96σ µ ˆµ σ gilt, falls die Stichprobe wirklich aus eier Populatio mit Mittelwert µ ud Variaz σ 2 stammt. Die obere ud utere Itervallgreze häge aber icht vo µ ab die Aussage trifft für alle µ aus diesem Itervall gleichermaße zu. Wir schließe also: Mit 95% Wahrscheilichkeit liegt der wahre Mittelwert irgedwo i dem gegebee Itervall. Begie wir mit dem Ergebis der SPÖ (Frage 1): Die Stimme für jede eizele Partei köe wir als biomialverteilt asehe (jeweils gege de Rest). Wir habe also eie geschätzte Erwartugswert vo ˆp s = 0.38 ud eie zugehörige Variaz vo somit erhalte wir ˆσ 2 S = ˆp S(1 ˆp S ) = c = = ud es war zu erwarte, daß das Ergebis der SPÖ mit 95% Wahrscheilichkeit im Itervall [33.7, 42.3] liege würde. Das 99% Itervall ist [32.4, 43.6]. Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik SP VP FP G LIF sost Umfrage Wahl Frage 2 betreffed de Verbleib der Grüe ud des LIF köe wir auch so formuliere: Wie groß ist die Wahrscheilichkeit, daß p G 0.04 bzw. p L Es gilt P{p 0.04} = P{ˆp p ˆp 0.04} ˆp N(p, σ 2 /) ˆp p N(0, σ 2 /) (ˆp p) N(0, 1) σ (ˆp p) N(0, 1) ˆp(1 ˆp) Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik

4 Grüe: LIF: (ˆp p) P{p 0.04} = P ˆp(1 ˆp) (ˆp 0.04) ˆp(1 ˆp) (ˆp 0.04) ˆp(1 ˆp) = ( ) (1 0.06) Φ( ) 97% (ˆp 0.04) ˆp(1 ˆp) = ( ) (1 0.06) = SP VP FP G LIF sost Umfrage Wahl Φ(0) = 50% Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik SP VP FP G LIF sost Die Beatwortug der Frage 3, ob das Gesamtergebis überrasched war, ist icht gaz so eifach: Dürfe wir eifach 95% Kofidezitervalle für alle Parteie bilde ud das Gesamtergebis als icht überrasched klassifiziere, we alle ierhalb der Kofidezitervalle liege? Was passiert, we 20 Parteie atrete? Solle wir da eie Ausreißer akzeptiere? Oder vielleicht gar 2? Sid die Ergebisse der Parteie voeiader uabhägig? darauf komme wir später ochmal zurück. Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik

5 (1 α) Kofidezitervall Symmetrisches KI Das vo de Schätzstatistike G u = g u (X 1,..., X ) G o = g o (X 1,..., X ) defiierte Itervall [G u, G o ] heißt (1 α) Kofidezitervall für θ, falls für jede vorgegebeer Irrtumswahrscheilichkeit α [0, 1] P{G u θ G o } = 1 α Vo eiem symmetrische Kofidezitervall spricht ma, falls θ mit gleicher Wahrscheilichkeit liks oder rechts außerhalb des Itervalles liegt: P{θ < G u } = P{θ > G o } = α 2 gilt. Achtug: G u ud G o sid Statistike der Stichprobe, ud damit Zufallsvariable. Falls die Verteilug vo θ bekat ist, liefer die Quatile zu de Werte α/2 ud 1 α/2 die Itervallgreze. Realisiertes Kofidezitervall: [g u, g o ]; g u = g u (x 1,..., x ), g o = g o (x 1,..., x ) Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik Eiseitige KI KI für Mittelwert Falls ur eie utere oder obere Schrake für θ vo Iteresse ist, wird G o oder G u auf gesetzt: P{θ G o } = P{ θ G o } = 1 α P{G u θ} = P{G u θ } = 1 α Bei bekater Verteilug vo θ liefer die Quatile zu de Werte 1 α bzw. α die Schrake. Gegebe sei eie ormalverteilte Stichprobe mit bekater Variaz σ 2. Da ist z = X µ σ/ N(0, 1) stadardormalverteilt, die Schrake des Kofidezitervalls sid G u = X z 1 α/2 σ G o = X + z 1 α/2 σ wobei z α das α-quatil der N(0, 1) ist. Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik

6 KI für Mittelwert KI für Mittelwert Gegebe sei eie ormalverteilte Stichprobe mit ubekater Variaz σ 2. Da ist t = X µ ˆσ/ t 1 t-verteilt mit 1 Freiheitsgrade, die Schrake des Kofidezitervalls sid G u = X t 1 α/2 ( 1) ˆσ G o = X + t 1 α/2 ( 1) ˆσ wobei t α ( 1) das α-quatil der t-verteilug mit 1 Freiheitsgrade ist. Gegebe sei eie beliebig verteilte Stichprobe mit bekater Variaz σ 2. Da ist z = X µ σ/ N(0, 1) approximativ stadardormalverteilt, die Schrake des etsprechede approximative Kofidezitervalls sid G u = X z 1 α/2 σ G o = X + z 1 α/2 σ wobei z α das α-quatil der N(0, 1) ist. Bei ubekater Variaz wird diese wieder durch ˆσ 2 ersetzt, das KI sollte da aber erst für größere verwedet werde (ud damit i jedem Fall die Normalverteilugsquatile). Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik KI für Variaz KI für Ateilswert Gegebe sei eie ormalverteilte Stichprobe mit ubekater Variaz σ 2. Da ist q = 1 σ 2 ˆσ2 χ 2 1 χ 2 -verteilt mit 1 Freiheitsgrade, die Schrake des Kofidezitervalls für die Variaz sid G u = 1 q 1 α/2ˆσ 2 G o = 1 q α/2 ˆσ 2 wobei q α das α-quatil der χ 2 -Verteilug mit 1 Freiheitsgrade ist. Gegebe sei eie dichotome Stichprobe mit de Auspräguge 0 ud 1 ud P(X = 1) = π. Da ist X i B(, π) i=1 X π N(0, 1) π(1 π)/ Die Schrake des Kofidezitervalls für π sid G u = ˆπ z 1 α 2 ˆπ(1 ˆπ) G o = ˆπ + z 1 α 2 ˆπ(1 ˆπ) Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik

7 Breite vo Kofidezitervalle Beispiel Kofidezitervall für µ: Breite b: G u = X z 1 α/2 σ G o = X + z 1 α/2 σ σ b = 2 z 1 α 2 Überprüfug vo Verteilugsaahme 1 α größer (kleier) z 1 α 2 größer (kleier) KI breiter (schmaler) größer (kleier) KI schmaler (breiter) c Breite verädert sich um Faktor c Friedrich Leisch, Iduktive Statistik Beispiel GBÖ: Ausgabe Beispiel GBÖ: Ausgabe Histogram of ALTER1 Histogram of ALTER2 Histogram of KOPFAUSG Frequecy Frequecy Frequecy Media & IQR Mea & StdDev ALTER ALTER KOPFAUSG Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik

8 Beispiel GBÖ: log2(ausgabe) Beispiel GBÖ: Welche Verteilug? Histogram of log2(kopfausg) Frequecy Wie gut passe eie Normalverteilug zum Alter bzw. eie Log- Normalverteilug zu de Augabe? Optisch ach Histogramm scheibar recht gut, aber was ist gut? Stichprobe extrem groß, daher sollte es hier eigetlich sehr leicht sei log2(kopfausg) Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik Empirische Dichte ud Verteilug Empirische Dichte ud Verteilug Als eifache Visualisierug der Wahrscheilichkeite eier diskrete Verteilug bzw. Dichte eier stetige Verteilug verwede wir Balkediagramme ud Histogramme. Verteilug F ud empirische Verteilug ˆF : F (x) = P{X x} ˆF (x) = {#i : x i x} = güstige mögliche ist uverzerrter Schätzer für die ubekate wahre Verteilug Echte Dichteschätzug sehr komplexes Thema, es gibt Bücher die sich ausschließlich mit diesem Problem befasse, aive Schätzer wie Histogramm sid meist icht glatt geug (i Abhägigkeit vo Breite der Klasse). Desity Histogram, N= F(x) ecdf(x) Verteilugsschätzer viel glatter (für echte Dichteschätzer muß Histogramm geglättet werde). x Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik

9 Empirische Dichte ud Verteilug Empirische Dichte ud Verteilug We Verteilugsschätzer viel eifacher sid, warum beschäftigt ma sich da überhaupt mit dem Problem der Dichteschätzug? Vergleich Gleichverteilug mit Normalverteilug: ecdf(x) Normal P P Plot Dichte ist für Mesche viel ituitiver zu lese. Warum mache Verteilugsschätzer deoch Si? Nützlich zum Vergleich vo Verteiluge. F(x) emp.vt(z) x porm(z, sd = sd(x)) Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik Quatile Quatile Eie duale Sichtweise: statt der Verteilugsfuktio F (x) verwede wir die Quatilsfuktio F 1 (α) QQ (Quatil-Quatil) Diagramme. Normal Q Q Plot Uiform Q Q Plot Verwedug sowohl zum Vergleich zweier Stichprobe als auch zum Vergleich eier Stichprobe mit de theoretische Quatile eier Verteilug. Ersetzt die atiquierte Methode der Wahrscheilichkeitspapiere. Vorteile: F 1 lebt für alle Verteiluge auf dem Itervall [0, 1]. Sample Quatiles Sample Quatiles Für mehrere Familie vo Verteiluge, ikl. Gleichverteilug ud Normalverteilug gilt, daß QQ Diagramme gerade Liie ergebe, auch we ma falsche Parameter wählt. Theoretical Quatiles Theoretical Quatiles Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik

10 Quatile QQ-Plot: ALTER1 ud ALTER2 Vergleich der QQ Diagramme eier N(0,1) mit eier N(3,0.25): Normal Q Q Plot Normal Q Q Plot Sample Quatiles Sample Quatiles Theoretical Quatiles Theoretical Quatiles Gerade wird durch 1. ud 3. Quartil der Stichprobe gelegt. Achseabschitt etspricht Mittelwert, Steigug der Stadardabweichug. Ab ca. 30 Jahre greift die Normalapproximatio recht gut. Friedrich Leisch, Iduktive Statistik Friedrich Leisch, Iduktive Statistik QQ-Plot: KOPFAUSG Friedrich Leisch, Iduktive Statistik