Teil IV. Diskrete Verteilungen. Woche 3: Verteilungen. Diskrete Zufallsvariablen Wiederholung. Lernziele

Transkript

1 Woche 3: Verteilungen Teil IV Patric Müller Diskrete Verteilungen ETHZ WBL 17/19, Wahrscheinlichkeit und Statistik Patric Müller WBL 2017 Wahrscheinlichkeit und Statistik 2 / 44 WBL 2017 Lernziele Diskrete Zufallsvariablen Wiederholung Sie können die Verteilung einer diskreten Zufallsvariablen angeben... Erwartungswert und Varianz diskreter Zufallsvariablen berechnen... mit binomial- und Poisson-verteilten Zufallsvariablen rechnen... eine Zählgrösse mit einer passenden Verteilung modellieren Vorlesung basiert auf Kapitel 2.6 und 2.8 des Skripts. Definition Eine Zufallsvariable X ist eine Funktion, die einen Grundraum Ω nach R abbildet: X : Ω R. Bis jetzt haben wir nur diskrete Zufallsvariablen betrachtet, d.h. die Variable konnte nur Werte aus einer (möglicherweise unendlich langen) Liste annehmen: X : Ω { 1, 2,...}. Definition Die Verteilung einer diskreten Zufallsvariablen ist spezifiziert durch die Wahrscheinlichkeitsverteilung P(X = 1 ), P(X = 2 ), P(X = 3 ),..., die jedem möglichen Wert von X die Wahrscheinlichkeit zuordnet, dass er angenommen wird. Wahrscheinlichkeit und Statistik 3 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 4 / 44 WBL 2017

2 Diskrete Zufallsvariablen Wiederholung Definition Die kumulative Verteilungsfunktion einer Zufallsvariablen X ist die Funktion F X () = P(X ). Ist die Wahrscheinlichkeitsverteilung einer Zufallsvariable bekannt, dann kann man auch die kumulative Verteilungsfunktion bestimmen und umgekehrt. Wahrscheinlichkeit und Statistik 5 / 44 WBL 2017 Diskrete Zufallsvariablen Wiederholung Zwei sehr wichtige Merkmale einer (diskreten) Zufallsvariable sind: Definition (Erwartungswert und Varianz) Der Erwartungswert von X ist definiert als E(X ) = k P(X = k ). k Die Varianz von X ist definiert als Var(X ) = ( k E(X )) 2 P(X = k ). k Zur Erinnerung: Eigenschaften diskreter Zufallvariablen Normalisierung: P(X = k ) = 1 k Wahrscheinlichkeit, dass X in einer Menge A liegt: P(X A) = P(X = k ) k: k A Wahrscheinlichkeit und Statistik 6 / 44 WBL 2017 Wiederholungsbeispiel: zufällig gezogene Jasskarte Beispiel: fairer Würfel Zufallseperiment: Sie ziehen aus den 36 Jasskarten zufällig eine heraus; X : Wert der gezogenen Karte. Wahrscheinlichkeitsverteilung und kumulative Verteilungsfunktion von X sind dann: Ein Würfel kann die Werte {1, 2,..., 6} annehmen; wenn er fair ist, wird jede Zahl mit derselben Wahrscheinlichkeit angenommen. Wahrscheinlichkeitsverteilung und kumulative Verteilungsfunktion der gewürfelten Augenzahl X : P(X = ) F X () P(X = ) F X () Wahrscheinlichkeit und Statistik 7 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 8 / 44 WBL 2017

3 Vergleich der Beispiele Diskrete Gleichverteilung In der Natur gibt es Verteilungen, die öfter vorkommen. Diese haben sogar einen eigenen Name bekommen. Wir werden ein paar wichtige Verteilungen betrachten: Gleichverteilung Brenoulliverteilung Binomialverteilung Poisson-Verteilung In den nächsten Slides werden die wichtigsten Verteilungen betrachtet und deren Anwendungen beschrieben. Welche der zwei Verteilungen ( Jasskarten vs fairer Würfel ) ist wichtiger? Wir betrachten eine diskrete Zufallsvariable X, die die Werte 1, 2, 3,..., n annehmen kann. X heisst gleichverteilt, wenn alle Werte mit Wahrscheinlichkeit 1 n angenommen werden. Verwendung: Modell für beliebiges Laplace-Eperiment, bei dem die verschiedenen Ausgänge durchnummeriert werden. Beispiele: fairer Würfel (n = 6) Euromilionzahl (n = 50) Wahrscheinlichkeit und Statistik 9 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 10 / 44 WBL 2017 Bernoulli-Verteilung Anzahl Erfolge in n Versuchen Einfachste (nicht-triviale) Zufallsvariable: binäre Zufallsvariable X {0, 1} Verwendung: Messung von Erfolg/Misserfolg. Verteilungsfunktion: P(X = 1) und P(X = 0) definieren die Verteilungsfunktion. Formal: P(X = 1) = π [0, 1] P(X = 0) = 1 π Notation: X Bernoulli(π) Beispiele: Ausgang eines medizinischen Tests (X = 1 Test positiv, X = 0 Test negativ) Erfassung eines Merkmals in einer Population (X = 1 hat Ausbildung in Statistik, X = 0 hat keine Ausbildung in Statistik) Bernoulli-Verteilung zeigt Erfolg oder Misserfolg in einem einzelnen Zufallseperiment an. Spannendere Grösse bzw. Zufallsvariable: Anzahl Erfolge in n unabhängigen Wiederholungen eines Zufallseperiments Beispiel: Ein Samen einer bestimmten Pflanze keimt mit einer Wahrscheinlichkeit von π = 0.75 auf. Für einen Samen haben wir die Verteilung: Bernoulli(0.75). Es werden n = 30 Samen gepflantzt. Wie gross ist die Wahrscheinlichkeit, dass genau 0, 1, 2,..., 30 Samen aufkeimen? Dank Baumdiagrammen und Überlegungen stellt man schnell fest, dass ( ) 30 P(X = ) = 0.75 (0.25) 30. Wahrscheinlichkeit und Statistik 11 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 12 / 44 WBL 2017

4 Binomialverteilung I Eine Zufallsvariable, die die Anzahl Erfolge in n unabhängigen Bernoulli-Versuchen zählt, heisst binomialverteilt. Mathematisch: Seien X 1,..., X n Bernoulli(π), unabhängig, dann ist Y := X X n binomialverteilt. Definition (Binomialverteilung) Eine diskrete Zufallsvariable X {0, 1,..., n} hat Binomialverteilung mit Parametern n und π, falls ( ) n P(X = ) = π (1 π) n. Wir schreiben dafür kurz X Bin(n, π) mit n N, π (0, 1). Wobei π bezeichnet gerade die Wahrscheinlichkeit für einen Erfolg in einem einzelnen Versuch. Spezialfall: Bin(1, π) = Bernoulli(π). Wahrscheinlichkeit und Statistik 13 / 44 WBL 2017 Binomialverteilung II Wahrscheinlichkeitsverteilung der Binomialverteilung Bin(30, π) für verschiedene Werte des Parameters π: π = 0.2 π = 0.5 π = 0.75 p() p() p() Wahrscheinlichkeit und Statistik 14 / 44 WBL 2017 Rechnen mit der Binomialverteilung X sei eine binomialverteilte Zufallsvariable mit Parametern n und π: X Bin(n, π). X hat Erwartungswert E(X ) = nπ X hat Varianz Var(X ) = nπ(1 π) R-Funktionen zum Arbeiten mit Binomialverteilungen: dbinom liefert die Wahrscheinlichkeitsverteilung, pbinom die kumulative Verteilungsfunktion. Namensgebung folgt allgemeinem Schema: viele Verteilungen in R implementiert! Wahrscheinlichkeitsverteilung erhält man immer mit d, kumulative Verteilungsfunktion mit p, wobei die Verteilung spezifiziert. Wahrscheinlichkeit und Statistik 15 / 44 WBL 2017 Biespiel Samen Fortsetzung Beispiel: Ein Samen einer bestimmten Pflanze keimt mit einer Wahrscheinlichkeit von π = 0.75 auf. Es werden n = 30 Samen gepflantzt. Wie gross ist die Wahrscheinlichkeit, dass mindestens 2 Samen aufkeimen? P(X 2) = 1 P(X < 2) = 1 P(X = 0) P(X = 1) Bemerkungen: Die Regel des Komplementärereignisses P(X ) = 1 P(X > ) kann unnötig lange Berechnungen ersparen. Leider gibt es keine einfache Formel um die kumulative Verteilungsfunktion zu berechnen. Die Zufallsvariable X kann nur endlich viele Werte annehmen (von 1 bis n). Wahrscheinlichkeit und Statistik 16 / 44 WBL 2017

5 Erfolge in unbeschränkter Anzahl Versuche Poisson-Verteilung I Binomialverteilung: zählt Erfolge in beschränkter Anzahl Versuche Wertebereich beschränkt Was, wenn wir Anzahl Erfolge in einer (potentiell) unbeschränkten Anzahl Versuche zählen wollen? Beispiele: Anzahl Anrufe an einem Tag in Telefonzentrale. Anzahl Mutationen in der DNA einer Zelle. Anzahl Verkehrsunfälle in der Schweiz in einem Jahr. etc. Für diese Fälle geeignet: Poisson-Verteilung Definition (Poisson-Verteilung) Eine diskrete Zufallsvariable X N hat Poisson-Verteilung mit Parameter λ, falls λ λ P(X = ) = e!. Wir schreiben X Pois(λ), λ > 0. Verwendung: Die Poisson-Verteilung modelliert die Anzahl seltener Ereignisse in einem festen Raum- oder Zeitbereich. Erwartungswert: E(X ) = λ, Varianz: Var(X ) = λ. R-Funktionen: dpois (Wahrscheinlichkeitsverteilung), ppois (kumulative Verteilungsfunktion). Wahrscheinlichkeit und Statistik 17 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 18 / 44 WBL 2017 Poisson-Verteilung II Poisson-Verteilung: Grenzfall der Binomialverteilung Poisson-Verteilung für verschiedene Werte des Parameters λ: p() λ = p() λ = p() λ = Eine Poisson-Verteilung modelliert sehr seltene Ereignisse π 0. Theoretisch gibt es aber keine Grenze zu den Anzahl der möglichen Ereignisse, d.h. n. Formaler: lässt man bei einer Binomialverteilung n ins Unendliche wachsen und π gleichzeitig schrumpfen, so dass das Produkt nπ =: λ stets konstant bleibt, strebt die Binomialverteilung gegen eine Poisson-Verteilung. Noch formaler: wir betrachten eine Sequenz X n Bin(n, π) mit nπ = λ (konstant!). Dann gilt im Grenzwert n P(X n = ) n λ λ e! Bestimme Erwartungswert und Varianz einer solchen Binomialverteilung Wahrscheinlichkeit und Statistik 19 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 20 / 44 WBL 2017

6 Poisson-Approimation der Binomialverteilung Summe Poisson-verteilter Zufallsvariablen Praktische Konsequenz dieses Grenzwerts: man kann eine Binomialverteilung für grosses n und kleines π ungefähr durch eine Poisson-Verteilung annähern. Vage Faustregel: Poisson-Approimation ist gut für n 50 und π 0.05 Beispiel: Anzahl Druckfehler auf einer Buchseite. Es hat höchstens so viele Druckfehler wie Zeichen Druckfehler sind aber selten, und eine Buchseite enthält viele Zeichen Daher ist die Poisson-Verteilung ein gutes Modell: man muss bloss die Fehlerrate pro Seite (λ) schätzen, nicht die Fehlerrate pro Zeichen (π) sowie die Anzahl Zeichen pro Seite (n). Satz Falls X Poisson-verteilt mit Parameter λ 1 und Y Poisson-verteilt mit Parameter λ 2 ist, X und Y unabhängig sind, dann ist auch X + Y Poisson-verteilt mit Parameter λ 1 + λ 2. Spezielle Eigenschaft der Poisson-Verteilung! Die Summe zweier gleichverteilten Variablen ist z.b. nicht gleichverteilt (Augensumme bei 2 Würfeln). Falls X Pois(λ 1 ) und Y Pois(λ 2 ): ist dann auch 1 2 (X + Y ) Pois( 1 2 (λ 1 + λ 2 ))? Wahrscheinlichkeit und Statistik 21 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 22 / 44 WBL 2017 Lernziele Teil V Stetige Zufallsvariablen Sie können das Konzept der Wahrscheinlichkeitsdichte erklären... zu einer Wahrscheinlichkeitsdichte die zugehörige kumulative Verteilungsfunktion berechnen und umgekehrt... Erwartungswert und Varianz stetiger Zufallsvariablen berechnen... Erwartungswert, Varianz und Quantile linear transformierter Zufallsvariablen berechnen... mit den wichtigsten stetigen Verteilungen rechnen: Uniforme, Normal- und Eponentialverteilung... eine Messgrösse mit einer passenden Verteilung modellieren Vorlesung basiert auf Kapitel 4.4 und 4.5 des Skripts. Wahrscheinlichkeit und Statistik 23 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 24 / 44 WBL 2017

7 Stetige Zufallsvariablen Einführungsbeispiel Auf einer Tramlinie fährt alle 7 Minuten ein Tram. Sei X die Wartezeit (in Minuten) aufs nächste Tram. (Man nehme an, man gehe zu einer zufälligen Zeit zur Haltestelle). Genau so wie beim Beispiel fairer Würfel haben hier alle Werte die gleiche Wahrscheinlichkeit. Aber beim Würfel kann die ZV nur 6 Werte annehmen, während in diesem Beispiel der Wertebereich für X das ganze Intervall [0, 7] ist! Die Zufallsvariable heisst stetig. Wie gross sind P(X = 4) und P(X 5)? Wie kann man die (kumulative) Verteilung von X beschreiben? Wahrscheinlichkeit und Statistik 25 / 44 WBL 2017 Wahrscheinlichkeitsdichte Einführungsbeispiel f() Auf einer Tramlinie fährt alle 7 Minuten ein Tram. Wenn Sie zu einer zufälligen Zeit zu einer Haltestelle kommen, ist Ihre Wartezeit X (in Minuten) aufs nächste Tram uniform verteilt auf dem Intervall [0, 7]: Dichte F() Kumulative Vert.funktion Diese Verteilung heisst Uniforme Verteilung. Wahrscheinlichkeit und Statistik 26 / 44 WBL 2017 Stetige Zufallsvariablen Uniforme Verteilung Stetige Zufallsvariable: Zufallsvariable, die alle Werte in R (oder einem Intervall [a, b] R) annehmen kann. Charakterisiert durch ihre Wahrscheinlichkeitsdichte (kurz Dichte ) f X (): eine nicht-negative Funktion auf R mit f X () d = 1 Verwendung der Dichtefunktion f X : Wahrscheinlichkeiten können als Fläche unter ihrer Kurve dargestellt werden. D.h.: für jedes Intervall [a, b] gilt P(a X b) = b a f X () d Stetiges Analogon der Gleichverteilung: Definition (Uniforme Verteilung) Eine stetige Zufallsvariable X hat uniforme Verteilung auf [a, b], falls f X () = Wir schreiben X Uniform([a, b]). { 1 b a, [a, b], 0, sonst. Erwartungswert: E(X ) = b+a (b a)2 2, Varianz: Var(X ) = 12 R-Funktionen: dunif (Wahrscheinlichkeitsdichte), punif (kumulative Verteilungsfunktion) Wahrscheinlichkeit und Statistik 27 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 28 / 44 WBL 2017

8 Rechnen mit stetigen Zufallsvariablen X ist eine stetige Zufallsvariable mit Wahrscheinlichkeitsdichte f X (). Kumulative Verteilungsfunktion: F X () = P(X ) = f X (u) du ( kumulative Verteilungsfunktion ist Stammfunktion der Dichte ) Umgekehrte Umrechnung: f X () = F X () ( Dichte ist Ableitung der kumulativen Verteilungsfunktion ) Für jeden Wert R gilt P(X = ) = 0 Erwartungswert: E(X ) = f X () d Varianz: Var(X ) = ( E(X ))2 f X () d Andere Berechnung der Varianz: Var(X ) = E(X 2 ) E(X ) 2 Wahrscheinlichkeit und Statistik 29 / 44 WBL 2017 Median Definition (Median) Der Median einer (stetigen) Zufallsvariablen X ist diejenige reelle Zahl m, für die gilt: P(X m) = 1 2, P(X m) = 1 2 Zusammenhang mit der kumulativen Verteilungsfunktion: der Median ist die Zahl m, für die F X (m) = 1 2 gilt. Was ist der Erwartungswert und der Median in dieser Verteilung? f() Dichte F() Kumulative Vert.funktion Wahrscheinlichkeit und Statistik 30 / 44 WBL 2017 Quantile Lineare Transformationen stetiger Zufallsvariablen Quantile verallgemeinern die Idee des Medians. X ist eine (stetige) Zufallsvariable. Für eine Zahl 0 < α < 1 ist das α-quantil von X die Zahl q α mit der Eigenschaft P(X q α ) = α. Zusammenhang zur kumulativen Verteilungsfunktion: F (q α ) = α oder q α = F 1 (α). Der Median entspricht gerade dem 0.5-Quantil. X sei eine stetige Zufallsvariable, a > 0 und b R Konstanten Wir definieren Y = a X + b: lineare Transformation von X Wie ist Y verteilt? Satz (Lineare Transformation einer Zufallsvariablen) Mit X und Y wie oben gilt: ( ) y b 1 F Y (y) = F X, f Y (y) = 1 ( ) y b a a f X a 2 E(Y ) = a E(X ) + b 3 Var(Y ) = a 2 Var(X ) 4 Quantile von Y : q Y,α = a q X,α + b (q X,α : α-quantil von X ) Bemerkung: 2. und 3. gelten auch für diskrete Zufallsvariablen. Wahrscheinlichkeit und Statistik 31 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 32 / 44 WBL 2017

9 Standardisieren einer Zufallsvariablen Beispiel: Regenprognose X sei eine Zufallsvariable mit Erwartungswert E(X ) und Standardabweichung σ(x ). Wir definieren Z = X E(X ) σ(x ) Dann hat Z Erwartungswert E(Z) = 0 und Standardabweichung σ(z) = 1. Transformation nennt sich Standardisierung von X. Eine Standardisierung der Zufallsvariablen kann nützlich sein um Berechnungen zu vereinfachen um Zufallsvariablen mit unterschiedlichen Skalen/Einheiten fairer zu vergleichen.. Wie viel Regen wird morgen in Zürich fallen? Auf Grund eines Prognosemodells ist die Dichtefunktion für X = morgiger Niederschlag (mm) : f() Schätze Median, und 0.75-Quantile sowie E(X ) Wahrscheinlichkeit und Statistik 33 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 34 / 44 WBL 2017 Normalverteilung und Gauss-Verteilung Normalverteilung I Normalverteilung: wichtigste stetige Verteilung, häufigste Verteilung für Messwerte. Dichte durch bekannte Gausssche Glockenkurve beschrieben. Anwendungen (Beispiele): Modellierung zufälliger Messfehler, individueller physiologischer Messgrössen, etc. Verteilung ist wegen des zentralen Grenzwertsatzes (s. später) so wichtig: viele kleine, unabhängige Effekte summieren sich zu einem normalverteilten Gesamteffekt auf. Definition (Normalverteilung) Eine stetige Zufallsvariable X ist normalverteilt mit Erwartungswert µ und Varianz σ 2, falls { f X () = 1 ep 1 ( ) } µ 2, R. 2πσ 2 σ Wir schreiben X N (µ, σ 2 ), µ R, σ 2 > 0. Es gilt E(X ) = µ, Var(X ) = σ 2. R-Funktionen: dnorm (Dichte), pnorm (kumulative Verteilungsfunktion) Achtung: R-Funktionen nehmen als Parameter µ und σ, nicht µ und σ 2! Wahrscheinlichkeit und Statistik 35 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 36 / 44 WBL 2017

10 Normalverteilung II Normalverteilung mit Erwartungswert µ = 1 und Varianz σ 2 = 4: f() Dichte F() Kumulative Vert. fkt. Standard-Normalverteilung Normalverteilung mit µ = 0 und σ 2 = 1 heisst Standard-Normalverteilung Standard-Normalverteilung wird oft verwendet, z.b. in Tests; daher haben ihre Dichte und kumulative Verteilungsfunktion eigene Symbole: ϕ(z) = 1 z e z2 /2, Φ(z) = ϕ(t) dt. 2π Φ() kann nicht als Verknüpfung elementarer Funktionen geschrieben werden Eine beliebige normalverteilte Zufallsvariable X N (µ, σ 2 ) kann linear in eine standard-normalverteilte Zufallsvariable umgerechnet werden: Z = X µ N (0, 1) σ Wahrscheinlichkeit und Statistik 37 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 38 / 44 WBL 2017 Fläche unter der Glockenkurve Beispiel: Fertigungstoleranzen bei Widerständen Wie gross ist die Wahrscheinlichkeit, höchstens 1, 2 oder 3 Standardabweichungen vom Erwartungswert entfernt zu sein? Wegen nicht vollständig kontrollierbarer Prozesse bei der Herstellung haben elektrische Widerstände immer Fertigungstoleranzen. Z.B. kann der tatsächliche elektrische Widerstand eines Bauteils mit Nennwert 220 Ω als normalverteilte Zufallsvariable mit µ = 220 Ω und σ = 11 Ω aufgefasst werden. Wie gross ist die Wahrscheinlichkeit, dass ein produziertes Bauteil Widerstand von weniger als 200 Ω hat? Wie gross ist die Wahrscheinlichkeit, dass der Widerstand grösser als 250 Ω ist? Quelle: Samuels et al. (2012) Wahrscheinlichkeit und Statistik 39 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 40 / 44 WBL 2017

11 Eponentialverteilung I Eponentialverteilung II Definition (Eponentialverteilung) Eine stetige Zufallsvariable X 0 ist eponentialverteilt mit Parameter λ, falls { λe λ, 0, f X () = 0, sonst. Wir schreiben X Ep(λ), λ > 0. Erwartungswert: E(X ) = 1 λ, Varianz: Var(X ) = 1 λ 2 R-Funktionen: dep (Dichte), pep (kumulative Verteilungsfunktion) f() Eponentialverteilung für λ = 2: Dichte F() Kumulative Vert. fkt Wahrscheinlichkeit und Statistik 41 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 42 / 44 WBL 2017 Eponentialverteilung: Verteilung ohne Gedächtnis Literatur Verwendung: Modellierung bestimmter Wartezeiten : radioaktiver Zerfall eines Atoms Wartezeit auf nächsten Anruf in Telefonzentrale Ausfallzeit von Maschinen, falls Alterung keine Rolle spielt T sei eponentialverteilt mit Parameter λ P(T > t) = e λt P(T > t + s T > s) = e λt = P(T > t): erwartete Wartezeit verkürzt sich nicht, wenn man schon Zeit s gewartet hat gedächtnislose Wartezeit Myra L Samuels, Jeffrey A Witmer, and Andrew Schaffner. Statistics for the life sciences. Pearson Education, Heinz Klaus Strick. Einführung in die Beurteilende Statistik. Schroedel, Wahrscheinlichkeit und Statistik 43 / 44 WBL 2017 Wahrscheinlichkeit und Statistik 44 / 44 WBL 2017