Teil VIII. Zentraler Grenzwertsatz und Vertrauensintervalle. Woche 6: Zentraler Grenzwertsatz und Vertrauensintervalle. Lernziele. Typische Situation

Transkript

1 Woche 6: Zentraler Grenzwertsatz und Vertrauensintervalle Patric Müller ETHZ Teil VIII Zentraler Grenzwertsatz und Vertrauensintervalle WBL 17/19, Wahrscheinlichkeit und Statistik Patric Müller WBL 2017 Wahrscheinlichkeit und Statistik 2 / 23 WBL 2017 Lernziele Typische Situation Sie können den zentralen Grenzwertsatz erläutern... den Standardfehler des arithmetischen Mittels berechnen... den Unterschied zwischen Standardfehler und Standardabweichung erläutern... ein approimatives Vertrauensintervall für einen Erwartungswert berechnen... eine Binomialverteilung durch eine Normalverteilung approimieren Vorlesung basiert auf Kapitel 4.6 im Skript Man möchte den unbekannten) Erwartungswert µ einer messbaren Grösse anhand von Messungen bestimmen / schätzen. Womöglich möchte man auch noch die Qualität der Schätzung bewerten können. Beispiele: Geschwindigkeit einer Internetverbindung bestimmen Merkmal einer Bevölkerung bestimmen Lebenserwartung, Lohnerwartung) Resistenzrate eines Bakteriums eines bestimmten Antibiotikums bestimmen... Wahrscheinlichkeit und Statistik 3 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 4 / 23 WBL 2017

2 Mathematisches Modell Wiederholte Messungen einer Zufallsgrösse könne wie folgt mathematisch modelliert werden: X 1, X 2,..., X n sind unabhängige und identisch verteilte Zufallsvariablen i.i.d. ) Alternative Interpretation: X1, X 2,..., X n sind unabhängige Kopien einer Zuvfallsvariable X. 1, 2,..., n sind die Realisierungen der Zufallsvariablen X 1,..., X n Folgende theoretische Aussagen treffen zu: Alle Messungen haben denselben Erwartungswert: EX 1 ) =... = EX n ) = µ Alle Messungen haben dieselbe Varianz: VarX 1 ) =... = VarX n ) = σ 2 Das arithmetische Mittel Das arithmetische Mittel Stichprobenmittel) ist definiert als: X = 1 n X 1 + X X n ) Bemerke, dass X auch eine Zufallsvariable ist. Aus den Rechenregeln für Erwartungswert und Varianz wissen wir bereits: EX ) = µ, VarX ) = σ2 n, σ X = σ n Vgl. Woche 5, Slide 9 und Woche 4, Slide 21) Das arithmetische Mittel aus wiederholten Messungen X ist ein Schätzer für den Erwartungswert µ einer Zufallsvariablen! Zentrale Frage: X ist zufällig. Wie gut ist dann die Schätzung für µ? Wahrscheinlichkeit und Statistik 5 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 6 / 23 WBL 2017 Standardfehler des arithmetischen Mittels Beispiel: Standardfehler eines durchschnittlichen Geburtsgewichts Je kleiner die Varianz von X ist, desto präziser wird die Schätzung. Mit wachsender Stichprobengrösse n wird die Varianz von X kleiner. Definition Standardfehler des arithmetischen Mittels) Die Grösse se = s n heisst Standardfehler des arithmetischen Mittels s bezeichnet die empirische Standardabweichung der Stichprobe). se ist ein Schätzer für die Standardabweichung des arithmetischen Mittels X. Abkürzung für den Standardfehler des arithmetischen Mittels: SEM standard error of the mean ) Datensatz mit Geburtsgewichten von 44 Neugeborenen in g): s se Gewicht [g] Mittelwert = [3276]g emp. St.abw. s = [528]g SEM se = [80]g Wenn die Stichprobengrösse n wächst, konvergiert EX ),... s σx ),... se 0. Wahrscheinlichkeit und Statistik 7 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 8 / 23 WBL 2017

3 Der zentrale Grenzwertsatz Bis jetzt haben wir Erwartungswert und Varianz des Stichprobenmittels X bestimmt. Wir können aber viel mehr tun und sogar die ganze kumulative Verteilungsfunktion von X bestimmen. Theorem Zentraler Grenzwertsatz) X sei eine Zufallsvariable mit Erwartungswert µ und Varianz σ 2, und X 1,..., X n sind i.i.d. Kopien davon. Dann ist Gleichwertige Aussage: X N µ, σ2 ) für grosse n. n X µ σ/ n N 0, 1) für grosse n. Wahrscheinlichkeit und Statistik 9 / 23 WBL 2017 Der zentale Grenzwertsatz Definition standardisierte Stichprobenmittel) Z n bezeichnet das standardisierte Stichprobenmittel Z n = X µ σ/ n Der zentrale Grenzwertsatz sagt, dass für alle reellen Zahlen z gilt lim PZ n z) = lim F Z n n n z) = Φz) ; Φz): kumulative Verteilungsfunktion von N 0, 1) In Worten: die kumulative Verteilungsfunktion des standardisierten Stichprobenmittels nähert sich mit wachsender Stichprobengrösse mehr und mehr der kumulativen Verteilungsfunktion der Standard-Normalverteilung an. Für die mathematisch Interessierten: man nennt das schwache Konvergenz Wahrscheinlichkeit und Statistik 10 / 23 WBL 2017 Simulation zum zentralen Grenzwertsatz Zentraler Grenzwertsatz: Illustration n unabhängige Messungen simulieren; Verteilung einer Einzelmessung durch rechts gegeben klar nicht normalverteilt!). Mittelwert X der n Messwerte berechnen. Diese Simulation wird jeweils R = 2000 mal wiederholt. Die R = 2000 berechneten Mittelwerte Stichprobenmittel) werden in ein Histogramm gezeichnet. p) E[X] Die Verteilung des Stichprobenmittels gleicht mehr und mehr einer Normalverteilung: p) E[X] n = n = 10 n = n = n = n = n = Histogramme: empirische Verteilung der Stichprobenmittel für unterschiedliches n Wahrscheinlichkeit und Statistik 11 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 12 / 23 WBL 2017

4 Zentraler Grenzwertsatz: Illustration Bemerkungen zum ZGS Die Verteilung des Stichprobenmittels gleicht mehr und mehr einer Normalverteilung: p) E[X] n = 500 n = 10 n = n = 50 n = 5000 n = 100 n = Histogramme: empirische Verteilung der Stichprobenmittel für unterschiedliches n Die kumulative Verteilungsfunktion des standardisierten Stichprobenmittels nähert sich mit wachsender Stichprobengrösse mehr und mehr der kumulativen Verteilungsfunktion der Standard-Normalverteilung an. Aber: Konvergenz ist nur für kumulative Verteilungsfunktion wahr, nicht für die : unter Umständen ist X diskret und hat keine! Der ZGS ist tatsächlich auch für wiederholte Messungen diskreter Zufallsvariablen richtig! Anwendung: Normalapproimation einer Binomialverteilung) Wahrscheinlichkeit und Statistik 13 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 14 / 23 WBL 2017 Anwendungen des zentralen Grenzwertsatzes Normalapproimation einer Binomialverteilung X Binn, π) sei eine binomialverteilte Zufallsvariable. Dann ist X = Y Y n, wobei Y 1,... Y n sind i.i.d. Kopien von Y Bernoulliπ) Normalapproimation einer Binomialverteilung Approimative) Vertrauensintervalle für den Erwartungswert Y = 1 n Y Y n ) = X n Falls n gross genug ist, können wir den ) Zentralen Grenzwertsatz auf Y anwenden. Y N π, π1 π)/n. Das heisst für X : ) X N nπ, nπ1 π) In Worten: Die Verteilungsfunktion einer Binomialverteilung mit Parametern n und π nähert sich wenn n gross genug ist) der Normalverteilung mit Parametern µ = nπ und σ 2 = nπ1 π) an Wahrscheinlichkeit und Statistik 15 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 16 / 23 WBL 2017

5 Normalapproimation einer Binomialverteilung Faustregel: Approimation darf verwendet werden, falls nπ > 5 und n1 π) > 5 Beachte: Approimation macht nur Sinn, wenn wir uns für die kumulative Verteilungsfunktion interessieren. Die Wahrscheinlichkeitsverteilung von X kann natürlich nicht durch eine approimiert werden! Vertrauensintervalle Modell für Messungen: X 1, X 2,..., X n : i.i.d. Messungen mit EX i ) = µ und VarX i ) = σ 2. Zentraler Grenzwertsatz besagt, dass Z := X µ ) σ/ n N 0, 1 Das heisst: Z liegt mit 95% Wahrscheinlichkeit zwischen dem 2.5%- und dem 97.5%-Quantil der Standard-Normalverteilung also zwischen Φ ) = 1.96 und Φ ) = 1.96) P Z [q 2.5% ; q 97.5% ] ) = P Z [ 1.96; 1.96] ) = 0.95 Konsequenz 1: P X [ µ 1.96 σ n ; µ 1.96 σ n ] ) = 0.95 Wahrscheinlichkeit und Statistik 17 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 18 / 23 WBL 2017 Vertrauensintervall für den Erwartungswert Vertrauensintervall für den Erwartungswert Konsequenz 2: µ liegt mit 95% Wahrscheinlichkeit in [X 1.96 σ n ; X σ n ] Idee Vertrauensintervall: X ist ein Schätzer für µ Punktschätzung). Dank Konsequenz 2 kann man auch ein sogenanntes Vertrauensintervall angeben: ein range in dem der wahre unbekannte) Parameter µ mit Wahrscheinlichkeit 0.95 liegt. Problem: wahre Standardabweichung σ ist nicht bekannt. Wir können aber Unter- und Obergrenze dieses Bereichs des Vertrauensintervalls!) abschätzen, indem wir σ durch die empirische Standardabweichung s der Stichprobe ersetzen. Der Erwartungswert [ µ liegt mit ungefähr) 95% Wahrscheinlichkeit im Intervall I = X 1.96 s n, X s n ]. I heisst Vertrauensintervall für µ zum Konfidenzniveau 95%. Definition Vertrauensintervall für den Erwartungswert) Ein Vertrauensintervall zu einem Konfidenzniveau 1 α ist ein Intervall I R mit der Eigenschaft, dass Pµ I ) = 1 α. Ein Vertrauensintervall für µ zu einem beliebigen Konfidenzniveau 1 α ist gegeben durch [ Φ 1 1 α 2 ) s, + Φ 1 1 α n 2 ) s ] n Wahrscheinlichkeit und Statistik 19 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 20 / 23 WBL 2017

6 Beispiel 1 Prüfungsnoten Schüler Buck hat folgende 5 Prüfungsnoten bekommen: Pr. Nr Note Mathematische Annahmen: Die Prüfungsnoten sind i.i.d. verteilt mit unbekanntem Erwartungswert µ richtige Note für den Schüler ). Problem: Korrekte Semesternote dem Schüler geben. = 5.3 Punktschätzer von µ). Zudem: n = 5, s = Ein 95% Vertrauensintervall für µ ist [ I = X 1.96 s, X s ] = [4.8; 5.8] n n Beispiel 2 Simulation Simulation: R =50 mal wird eine Poisson-verteilte Stichprobe mit Parameter λ = 2) der Grösse n = 40 gezogen und jedesmal ein 95%-Vertrauensintervall für den Erwartungswert berechnet. λ Berechnete Vertrauensintervalle für die 50 Stichproben Wahrscheinlichkeit und Statistik 21 / 23 WBL 2017 Wahrscheinlichkeit und Statistik 22 / 23 WBL 2017 Bemerkungen zum Vertrauensintervall Vertrauensintervalle hängen von den Daten ab. Sie sind deswegen zufällig! Wahl des Konfidenzniveaus hängt vom Kontet ab. Für nicht-sicherheitsrelevante Anwendungen verwendet man häufig 1 α = Häufiges Missverständnis: die Aussage Pµ I ) = 1 α bedeutet nicht, dass der Erwartungswert µ eine Zufallsvariable ist!! Zufällig sind die Grenzen des Vertrauensintervalls, da sie mit Hilfe von zufälligen Messwerten berechnet werden. Beim Vergrössern der Stichprobe: wird das Vertrauensintervall grösser oder kleiner? Und beim Erhöhen des Konfidenzniveaus? Wahrscheinlichkeit und Statistik 23 / 23 WBL 2017