Wichtige Begriffe und Sätze aus der Wahrscheinlichkeitsrechnung

Transkript

1 Wichtige Begriffe und Sätze aus der Wahrscheinlichkeitsrechnung Version: 22. September 2015 Evelina Erlacher 1 Mengen Es sei Ω eine Menge (die Universalmenge ) und A, B seien Teilmengen von Ω. Dann schreiben wir: := {} leere Menge x A x ist ein Element von A x / A x ist kein Element von A A := Anzahl der Elemente in A Kardinalität von A A B : (x A x B) A ist eine Teilmenge von B B A (: A B) B ist eine Obermenge von A A B : (A B A B) B A (: A B) A ist eine echte Teilmenge von B B ist eine echte Obermenge von A P(A) := Menge aller Teilmengen von A Potenzmenge von A [a, b] := {x R a x b} abgeschlossenes Intervall von a bis b (a, b) := {x R a < x < b} offenes Intervall von a bis b (a, ) := {x R a < x} und [a, ) := {x R a x} (, b) := {x R x < b} und (, b] := {x R x b} Mengenoperatoren (1): Es seien A, B Teilmengen von Ω. Dann definieren wir: A B := {x Ω x A x B} Vereinigung von A und B A B := {x Ω x A x B} Durchschnitt von A und B A\B := {x Ω x A x / B} Differenz von A und B, A ohne B A c := {x Ω x / A} = Ω\A Komplement von A (in Ω) Evelina Erlacher 1 WS 2015

2 Mengenoperatoren (2): Es sei I eine Indexmenge. Für i I sei A i eine Teilmenge von Ω. Dann schreiben wir: k i=1 A i := A 1 A 2... A k = {x Ω i : x A i } k i=1 A i := A 1 A 2... A k = {x Ω i : x A i } i I A i := {x Ω i I : x A i } i I A i := {x Ω i I : x A i }. Es gelten (unter anderen) die folgenen Gesetze: A B = B A, A B = B A Kommutativgesetz (A B) C = A (B C), (A B) C = A (B C) Assoziativgesetz A (B C) = (A B) (A C), A (B C) = (A B) (A C) Distributivgesetz i I Ac i = ( i I A ) c, i i I Ac i = ( i I A c i) Gesetz von de Morgan Weiters gilt: A B A A B A\B = A B c A B A B A, B endlich, A B = A B = A + B P(A) = 2 A Definition (disjunkt): Zwei Mengen A und B heißen disjunkt, wenn A B = gilt. Eine Mengenfamilie (A i ) i I heißt paarweise disjunkt, wenn A i A j = für i j gilt. Definition (Partition): Eine Mengenfamilie (A i ) i I paarweise disjunkt ist und Ω = i I A i gilt. heißt Partition von Ω, wenn sie Evelina Erlacher 2 WS 2015

3 2 Wahrscheinlichkeiten Es sei Ω eine Menge und der Ereignisraum (=Ergebnisraum) eines Zufallsexperiments. Ereignisse sind (gewisse) Teilmengen von Ω. Ereignisse der Form {ω} (mit ω Ω) heißen Elementarereignisse. Definition (Wahrscheinlichkeit): Es sei A ein Ereignis. Eine Funktion P : A P (A) mit den Eigenschaften (P1) P (A) [0, 1] (P2) P (Ω) = 1 (P3) A 1, A 2, A 3... paarweise disjunkt P ( i=1 A i) = i=1 P (A i) heißt Wahrscheinlichkeit auf Ω. Die Eigenschaften (P1), (P2) und (P3) werden auch als die Axiome von Kolmogorov bezeichnet. Aus dieser Definition leiten sich weitere Eigenschaften von P ab: (P-i) P ( ) = 0 (P-ii) Spezialfall von (P3): A B = P (A B) = P (A) + P (B) (P-iii) Gegenwahrscheinlichkeit: P (A c ) = 1 P (A) (P-iv) Siebformel: P (A B) = P (A) + P (B) P (A B) (P-v) Monotonie: A B P (A) P (B) (P-vi) A B P (B\A) = P (B) P (A) (P-vii) P (B\A) = P (B) P (A B) Laplace sche Wahrscheinlichkeit: Sind alle Elementarereignisse gleich wahrscheinlich, so kann die Wahrscheinlichkeit eines beliebigen Ereignisses A nach der Formel berechnet werden. P (A) = A Ω Definition (bedingte Wahrscheinlichkeit): Es seien A und B Ereignisse mit P (B) > 0. Dann heißt die durch P (A B) P (A B) := P (B) definierte Zahl P (A B) die bedingte Wahrscheinlichkeit von A unter der Bedingung B. Evelina Erlacher 3 WS 2015

4 Mit dieser Definition gelten die folgenden Sätze: Satz von Bayes: Es seien A und B Ereignisse mit positiver Wahrscheinlichkeit. Dann gilt P (B A)(P (A) P (A B) =. P (B) Satz (Produktformel): Es seien A 1,..., A n Ereignisse. Dann gilt P (A 1... A n ) = P (A 1 )P (A 2 A 1 )P (A 3 A 1 A 2 )... P (A n A 1... A n 1 ). Satz von der totalen Wahrscheinlichkeit: Es sei {B 1,..., B n } eine Partition von Ω (d.h.: Ω = n i=1 B i und B i B j = für i j). Dann gilt für ein beliebiges Ereignis A: Weiters gilt: P (A c B) = 1 P (A B). P (A) = P (A B 1 )P (B 1 ) P (A B n )P (B n ). Definition (unabhängige Ereignisse): Zwei Ereignisse A und B heißen unabhängig, wenn P (A B) = P (A)P (B) gilt. Andernfalls heißen A und B abhängig. Die Ereignisse A 1,..., A n heißen unabhängig, wenn für jede Auswahl von mindestens zwei Ereignissen A i1,..., A ik (mit verschiedenen Indizes) P (A i1... A ik ) = P (A i1 )... P (A ik ) gilt. Andernfalls heißen A 1,..., A n abhängig. 3 Zufallsvariablen Definition (Zufallsvariable): Eine (reelle) Zufallsvariable X auf Ω ist eine Funktion der Form X : Ω R. Die Menge der Werte, die X auch annimmt, bezeichnen wir mit X(Ω). Also: X(Ω) heißt das Bild von X. X(Ω) := {x R ω Ω mit X(ω) = x}. Schreibweisen: Es seien X, Y : Ω R Zufallvariablen, x R und A R. {X = x} = {ω Ω : X(ω) = x} {X x} = {ω Ω : X(ω) x} {X A} = {ω Ω : X(ω) A} Evelina Erlacher 4 WS 2015

5 P (X = x) = P ({ω Ω : X(ω) = x}) P (X x) = P ({ω Ω : X(ω) x}) P (X A) = P ({ω Ω : X(ω) A}) Wir schreiben X Y, falls X(ω) Y (ω) für alle ω Ω gilt. Definition (Verteilungsfunktion): Die Verteilungsfunktion F X einer Zufallsvariablen X ist durch F X : R [0, 1], F X (x) := P (X x) gegeben. Es gilt (Charakterisierung der Verteilungsfunktion): Eine Funktion F : R [0, 1] ist genau dann eine Verteilungsfunktion einer Zufallsvariablen, wenn sie folgende drei Eigenschaften besitzt: (1) F ist monoton wachsend. (2) F ist rechtsseitig stetig, d.h. F (a + ) = F (a), wobei F (a + ) := lim x a F (x). (3) lim x F (x) = 0, lim x F (x) = 1 Weitere Eigenschaften von Verteilungsfunktionen: P (X < a) = F X (a ), wobei F X (a ) := lim x a F X (x) P (X = a) = F X (a) F X (a ), wobei F X (a ) := lim x a F X (x) P (a < X b) = F X (b) F X (a) 3.1 Diskrete Zufallsvariablen Definition (diskrete Zufallsvariable): Es sei X : Ω R eine Zufallsvariable. Ist die Menge X(Ω) endlich oder abzählbar, so heißt die Zufallsvariable X diskret. Spezialfall: Wenn Ω eine endliche oder abzählbare Menge ist, dann kann X auch nur endlich oder abzählbar viele verschiedene Werte annehmen, d.h. X(Ω) ist endlich oder abzählbar und X ist diskret. Definition (Wahrscheinlichkeitsfunktion): Die Wahrscheinlichkeitsfunktion p X einer diskreten Zufallsvariablen X : Ω R ist jene Funktion, die jedem x X(Ω) die Wahrscheinlichkeit, dass X diesen Wert annimmt, zuordnet. Also: p X : X(Ω) [0, 1], p X (x) := P (X = x). Evelina Erlacher 5 WS 2015

6 Eigenschaften der Wahrscheinlichkeitsfunktion: Es sei X : Ω R eine diskrete Zufallsvariable. Dann gilt: p X (x) = P (X =x) = P ({ω}). ω Ω: X(ω)=x Es sei g : X(Ω) R eine Funktion. Wir definieren Y : Ω R, Y (ω) := (g X)(ω) = g(x(ω)). Dann ist Y selbst wieder eine diskrete Zufallsvariable, und es gilt p Y (y) = P (Y =y) = P ({ω}) = P (X =x) für y Y (Ω) = g(x(ω)). ω Ω: Y (ω)=y x X(Ω): g(x)=y x X(Ω): g(x)=y p X (x) Zusammenhang von Verteilungs- und Wahrscheinlichkeitsfunktion: Die Verteilungsfunktion F X einer diskreten Zufallsvariable X (mit X(Ω) = {x 1, x 2, x 3,... (, x n )}) ist eine Treppenfunktion. Sie ist durch F X (x) = P (X x) = x i x P (X = x i ) = x i x p X (x i ) gegeben. Die Sprunghöhe an der Stelle x entspricht der Wahrscheinlichkeit p X (x i ). 3.2 Stetige Zufallsvariablen Definition (stetige Zufallsvariable): Es sei X : Ω R eine Zufallsvariable und F X die zugehörige Verteilungsfunktion. Ist die Verteilungsfunktion F X stetig, dann heißt die Zufallsvariable X stetig. Ist X stetig, so ist Ω meist ein Intervall des Raums R (oder ein kartesisches Produkt von Intervallen im Raum R n ). Ist die Verteilungsfunktion F X einer Zufallsvariablen X stetig, dann gilt F (a) = F (a ) und somit P (X = a) = F X (a) F X (a ) = 0. Das heißt unter anderem, dass für eine stetige Zufallsvariable P (X a) = P (X < a) + P (X = a) = P (X < a) gilt. Analog gilt P (X a) = P (X > a). Definition (Dichte): Eine Funktion f X : R [0, ) heißt Dichte der Zufallsvariablen X, wenn für beliebige a, b R gilt. P (a < X b) = b a f X (x) dx Evelina Erlacher 6 WS 2015

7 Es gilt (Charakterisierung der Dichte): Eine Funktion f : R R ist genau dann eine Dichte einer Zufallsvariablen, wenn sie folgende zwei Eigenschaften besitzt: (1) f(x) 0 für alle x R. (2) f(x) dx = 1. Weitere Eigenschaften von Dichtefunktionen: P (X = a) = a a f X(x) dx = 0. (Nicht neu, aber konsistent mit unseren bisherigen Überlegungen.) Der Wert f X (x) ist nicht die Wahrscheinlichkeit dafür, dass X den Wert x annimmt! Zusammenhang von Verteilungsfunktion und Dichte: Es gilt F X (x) = P (X x) = x f X (t) dt. Aus dem Hauptsatz der Differential- und Integralrechnung folgt daher, dass die Dichte f X die (stückweise) Ableitung der Verteilungsfunktion F X ist, d.h. F X(x) = f X (x). Variablentransformation: Es sei X : Ω R eine stetige Zufallsvariable mit Dichte f X und Verteilungsfunktion F X. Weiters sei g : X(Ω) R eine (stückweise) differenzierbare Funktion. Wir definieren Y : Ω R, Y (ω) := (g X)(ω) = g(x(ω)). Dann ist Y selbst wieder eine stetige Zufallsvariable mit der Wertemenge Y (Ω) = g(x(ω)). Für die Dichte f Y und die Verteilungsfunktion F Y von Y gilt folgendes: Ist g streng monoton steigend und g (x) 0 auf X(Ω), dann existiert die Umkehrfunktion g 1 : Y (Ω) X(Ω) und es gilt für y Y (Ω): f Y (y) = f X (g 1 (y)) d dy g 1 (y) und F Y (y) = F X (g 1 (y)). Ist g streng monoton fallend und g (x) 0 auf X(Ω), dann existiert die Umkehrfunktion g 1 : Y (Ω) X(Ω) und es gilt für y Y (Ω): f Y (y) = f X (g 1 (y)) d dy g 1 (y) und F Y (y) = 1 F X (g 1 (y)). Definition (Quantil): Es sei X eine stetige Zufallsvariable mit invertierbarer Verteilungsfunktion F. Weiters sei γ (0, 1) eine Wahrscheinlichkeit. Das γ-quantil der Zufallsvariablen X ist jene Zahl x γ, für die F (x γ ) = γ gilt. Bemerkung: Bezeichnet F 1 die Umkehrfunktion von F, so gilt x γ = F 1 (γ). Evelina Erlacher 7 WS 2015

8 4 Erwartungswert Definition (Erwartungswert): Es sei X : Ω R eine diskrete Zufallsvariable. Die durch E(X) := x P (X = x) x X(Ω) gegebene Zahl E(X) (falls sie existiert) heißt Erwartungswert der Zufallsvariablen X. Wir schreiben oft auch µ für E(X). Es sei X : Ω R eine stetige Zufallsvariable mit Dichte f X. Die durch E(X) := x f X (x) dx gegebene Zahl E(X) (falls sie existiert) heißt Erwartungswert der Zufallsvariablen X. Wir schreiben oft auch µ für E(X). Eigenschaften des Erwartungswerts: Für X, Y Zufallsvariablen und a, b R gilt: } (E1) E(X + Y ) = E(X) + E(Y ) E ist linear (E2) E(aX) = ae(x) (E3) E(a) = a (E4) X Y E(X) E(Y ) E ist monoton Weitere Eigenschaften des Erwartungswerts für diskrete Zufallsvariablen: Es sei X : Ω R eine diskrete Zufallsvariable. Dann gilt: E(X) = x P (X = x) = X(ω) P ({ω}). x X(Ω) ω Ω Es sei g : R R eine Funktion. Wir definieren Y : Ω R, Y (ω) := (g X)(ω) = g(x(ω)). Dann ist Y selbst wieder eine diskrete Zufallsvariable, und es gilt E(Y ) = E(g(X)) = y P (Y = y) = g(x) P (X = x) y Y (Ω) = ω Ω x X(Ω) g(x(ω)) P ({ω}) = ω Ω Y (ω) P ({ω}). Weitere Eigenschaften des Erwartungswerts für stetige Zufallsvariablen: Es sei X : Ω R eine stetige Zufallsvariable mit Dichte f X. Weiters sei g : R R eine (integrierbare) Funktion. Dann gilt E(g(X)) = g(x) f X (x) dx. Evelina Erlacher 8 WS 2015

9 5 Varianz Definition (Varianz, Standardabweichung): Es sei X : Ω R eine Zufallsvariable mit Erwartungswert E(X). Die durch V (X) := E ( (X E(X)) 2) gegebene Zahl V (X) (falls sie existiert) heißt Varianz der Zufallsvariablen X. Wir schreiben oft auch σ 2 oder Var(X) für V (X). Die Zahl σ := V (X) heißt Standardabweichung oder Streuung der Zufallsvariablen X. Konkreter: Es sei X : Ω R eine Zufallsvariable mit Erwartungswert E(X). Ist X diskret, dann gilt V (X) = x X(Ω)(x E(X)) 2 P (X = x) = (X(ω) E(X)) 2 P ({ω}). ω Ω Ist X stetig mit Dichte f X, dann gilt V (X) = (x E(X)) 2 f X (x) dx. Eigenschaften der Varianz: Für X eine Zufallsvariable und a, b R gilt: (V1) V (ax + b) = a 2 V (X) (V2) V (X) = E(X 2 ) E(X) 2 Verschiebungssatz 6 Höhere Momente Definition (k-tes Moment): Es sei X eine Zufallsvariable und k N. Die Zahl m k (X) := E ( X k) (falls sie existiert) heißt k-tes Moment von X. Die Zahl z k (X) := E ( (X E(X)) k) (falls sie existiert) heißt k-tes zentriertes (oder zentrales) Moment von X. Evelina Erlacher 9 WS 2015

10 Es gilt: Das erste (nicht zentrierte) Moment von X ist der Erwartungswert E(X). Das zweite zentrierte Moment von X ist die Varianz V (X). Definition (Schiefe): Die Zahl ( ν(x) := E ) 3 X E(X) V (X) (falls sie existiert) heißt Schiefe von X. Wir sagen, die Verteilung von X ist symmetrisch, falls ν(x) = 0, linksschief, falls ν(x) < 0, rechtsschief, falls ν(x) > 0. Es gilt: Es sei µ = E(X) und σ 2 = V (X). Dann ( (X ) ) 3 µ ν(x) = E σ = E((X µ)3 ) σ 3 = z 3(X) z 2 (X) 3 2 = z 3(X) σ 3, d.h. die Schiefe ist das dritte zentrierte Moment z 3 (X) normiert auf die dritte Potenz der Standardabweichung σ. Definition (Wölbung): Die Zahl ( w(x) := E ) 4 X E(X) V (X) (falls sie existiert) heißt Wölbung oder Kurtosis von X. Es gilt: Es sei µ = E(X) und σ 2 = V (X). Dann ( (X ) ) 4 µ w(x) = E σ = E((X µ)4 ) σ 4 = z 4(X) z 2 (X) 2 = z 4(X) σ 4, d.h. die Wölbung ist das vierte zentrierte Moment z 4 (X) normiert auf die vierte Potenz der Standardabweichung σ. Evelina Erlacher 10 WS 2015

11 7 Wichtige Verteilungen 7.1 Diskrete Verteilungen Diskrete Gleichverteilung Von X angenommene Werte: X(Ω) = {x 1, x 2,..., x n }, wobei x 1 < x 2 <... < x n Wahrscheinlichkeitsfunktion: P (X = x k ) = 1 für k {1, 2,..., n} n 0, x < x 1 l Verteilungsfunktion: F (x) = n, x l x < x l+1, l {1,..., n 1} 1, x n x Erwartungswert: E(X) = 1 n n k=1 x k Varianz: V (X) = 1 n n k=1 (x k E(X)) 2 Binomialverteilung Parameter n und p, wobei n N und p (0, 1). Schreibweise: X B(n, p). Von X angenommene Werte: X(Ω) = {0, 1, 2,..., n} Wahrscheinlichkeitsfunktion: P (X = k) = ( n k) pk (1 p) n k für k X(Ω) 0, x < 0 l ( n ) Verteilungsfunktion: F (x) = k=0 k pk (1 p) n k, l x < l + 1, l {0, 1,..., n 1} 1, n x Erwartungswert: E(X) = np Varianz: V (X) = np(1 p) Hypergeometrische Verteilung Parameter N, M und n, wobei N, M, n N mit n M N. Von X angenommene Werte: X(Ω) = {0, 1, 2,..., n} Wahrscheinlichkeitsfunktion: P (X = k) = (M k ) ( N M n k ) ( N n) für k X(Ω) Evelina Erlacher 11 WS 2015

12 0, x < 0 l ( M k ) ( N M n k ) Verteilungsfunktion: F (x) = k=0, l x < l + 1, ( N n) l {0, 1,..., n 1} 1, n x Erwartungswert: E(X) = n M N Varianz: V (X) = n M N (1 M N ) N n N 1 Poissonverteilung Parameter λ, wobei λ (0, ). Schreibweise: X P(λ). Von X angenommene Werte: X(Ω) = N 0 = {0, 1, 2, 3,...} Wahrscheinlichkeitsfunktion: P (X = k) = λk k! e λ für k X(Ω) = N 0 { 0, x < 0 Verteilungsfunktion: F (x) = e λ l λ k k=0, l x < l + 1, l N k! 0 Erwartungswert: E(X) = λ Varianz: V (X) = λ Geometrische Verteilung Parameter p, wobei p (0, 1). Von X angenommene Werte: X(Ω) = N = {1, 2, 3,...} Wahrscheinlichkeitsfunktion: P (X = k) = (1 p) k 1 p Verteilungsfunktion: F (x) = { 0, x < 1 1 (1 p) l, l x < l + 1, l N für k X(Ω) = N Erwartungswert: E(X) = 1 p Varianz: V (X) = 1 p p 2 Evelina Erlacher 12 WS 2015

13 7.2 Stetige Verteilungen Stetige Gleichverteilung auf einem Intervall Parameter a, b R, wobei a < b. { 1, x [a, b] b a Dichte: f(x) = 0, sonst 0, x < a x a Verteilungsfunktion: F (x) = b a, a x < b 1, b x Erwartungswert: E(X) = a+b 2 Varianz: V (X) = (b a)2 12 Exponentialverteilung Parameter λ, wobei λ (0, ). Schreibweise: X Exp(λ). { 0, x < 0 Dichte: f(x) = λe λx, 0 x Verteilungsfunktion: F (x) = { 0, x < 0 1 e λx, 0 x Erwartungswert: E(X) = 1 λ Varianz: V (X) = 1 λ 2 Standardnormalverteilung (Spezialfall der Normalverteilung) Schreibweise: X N (0, 1). Dichte: f(x) = 1 2π e x2 2 Verteilungsfunktion: F (x) = 1 2π x e t2 2 dt =: Φ(x) Erwartungswert: E(X) = 0 Varianz: V (X) = 1 Evelina Erlacher 13 WS 2015

14 Normalverteilung Parameter µ und σ, wobei µ R und σ (0, ). Schreibweise: X N (µ, σ 2 ). Dichte: f(x) = 1 σ 2π (x µ) 2 e 2σ 2 Verteilungsfunktion: F (x) = 1 x σ 2π e (t µ)2 2σ 2 dt = Φ( x µ σ ) Erwartungswert: E(X) = µ Varianz: V (X) = σ Tabellen zur Standardnormalverteilung Quantile der Standardnormalverteilung: z Φ 1 (z) z Φ 1 (z) z Φ 1 (z) Evelina Erlacher 14 WS 2015

15 Verteilungsfunktion Φ der Standardnormalverteilung: Evelina Erlacher 15 WS 2015