1 Diskrete Wahrscheinlichkeitstheorie

Transkript

1 Prof. A. Sapozhnikov Wahrcheinlichkeittheorie I INHALTSVERZEICHNIS 1 Dikrete Wahrcheinlichkeittheorie 1.1 Laplace-Wahrcheinlichkeit. Urnenmodelle. N! Begriffe: Ziehen ohne Zurücklegen, mit Reihenfolge, Ziehen ohne Zurücklegen, ohne Reihenfolge, ( ) N K Ziehen mit Zurücklegen, mit Reihenfolge, N K Ziehen mit Zurücklegen, ohne Reihenfolge, ( N+K 1 K Hypergeometriche Verteilung, (S )( W w) ( S+W +w ) ) (N K)! Satz 1. (Bertrand Ballot Theorem) Seien S, W N. Sei Ω die Menge aller Folgen (ω 1,..., ω S+W ) mit ω i { 1, 1} und o da die Anzahl der Einen gleich S it. Seien A > = A = { ω : { ω : k k } ω i > 0 für alle 1 k S + W, } ω i 0 für alle 1 k S + W. Dann gelten P (A > ) = S W S + W, P (A ) = S + 1 W S Dikreter Wahrcheinlichkeitraum. Begriffe: Dikreter Wahrcheinlichkeitraum Einzelwahrcheinlichkeit. Beipiel: Bernoulli-, Binomial-, Multinomial-, Hypergeometriche-, Geometriche-, Poionverteilung. Satz 2. (Poion-Approximationatz) Sei λ > 0 und p n eine Folge in [0, 1] mit np n λ. Dann für jede k Z +, ( n )p kn(1 p n ) n k λk k k! e λ. Satz 3. (Satz von DeMoivre-Laplace) Für alle p (0, 1), q = 1 p und a < b, gilt np+a npq k np+b npq ( ) ˆ n b p k q n k 1 e x2 2 dx. k a 2π

2 1.3 Bedingte Wahrcheinlichkeit. Begriffe: Bedingte Wahrcheinlichkeit von A gegeben B, P (A B). Lemma 4. (Eigenchaften) Sei (Ω, P ) dikreter Wahrcheinlichkeitraum. 1. Für alle B Ω mit P (B) > 0, it P ( B) eine Verteilung auf Ω B. 2. Für A B, P (A B) = (Multiplikationatz) P (A 1... A n ) = P (A 1 ) P (A 2 A 1 ) P (A 3 A 1 A 2 )... P (A n A 1... A n 1 ) 4. (Geetz der totalen Wahrcheinlichkeit) Für jede Partition B 1,..., B n von Ω mit P (B i ) > 0, n P (A) = P (B i ) P (A B i ). 5. (Satz von Baye) Sei P (A) > 0 und P (B i ) > 0, dann gilt P (B 1 A) = P (B 1) P (A B 1 ) n P (B i) P (A B i ). Propoition 5. (Gedächtniloigkeit der geometrichen Verteilung) Sei X eine N-wertige Zufallvariable. Dann it X geometrichverteilt genau dann, wenn P (X = k) = P (X = n + k X > n), k, n N. 1.4 Erzeugende Funktion. Begriffe: Erzeugende Funktion einer N 0 -wertige Zufallvariable X, ϕ X. Satz 6. (Eindeutigkeit) Zufallvariablen mit gleichen erzeugenden Funktionen ind gleichverteilt. Propoition 7. Sei X, Y unabhängige N 0 -wertige Zufallvariablen. Dann ϕ X+Y = ϕ X ϕ Y. Beipiel: Summe von binomialverteilten Zufallvarialben it binomialverteilt. Summe von poionverteilten Zufallvariablen it poionverteilt. 2

3 2 Allgemeine Wahrcheinlichkeittheorie 2.1 Wahrcheinlichkeitraum. Begriffe: Wahrcheinlichkeitraum (Ω, F, P ) Ergebnimenge Ω Elementarereigni ω Ω Ereigni (oder auch mebare Menge) A F Verteilung (oder auch Wahrcheinlichkeitmaß) P Wahrcheinlichkeit P (A) Fat icher Ereigni. Notation: f.. oder P -f.. Lemma 8. (Eigenchaften von Verteilungen) 1. P ( ) = 0 2. P (A c ) = 1 P (A) 3. P (A B) = P (A) + P (B) P (A B) 4. (Bonferroni-Ungleichung) P ( A i ) P (A i) 5. (σ-stetigkeit) Fall A i A oder A i A, dann P (A n ) P (A). 6. (Sylveter-Siebformel / Prinzip von Inkluion und Exkluion) P ( n A i ) = = n ( 1) k 1 k=1 n P (A i ) 1 i 1 <i 2 <...<i k n P (A i1... A ik ) P (A i1 A i2 ) + P (A i1 A i2 A i3 ) i 1 <i 2 i 1 <i 2 <i ( 1) n 1 P (A 1... A n ). 2.2 Erzeugte σ-algebra. Lemma von Dynkin. Eindeutigkeit und Exitenz von Wahrcheinlichkeitmaßen. Begriffe: Erzeugte σ-algebra Borelche σ-algebra Da Produkt σ-algebra i I F i. Begriffe: π-sytem Dynkin-Sytem Da von G erzeugte Dynkin-Sytem d(g). 3

4 Lemma 9. (Dynkin) Sei G ein π-sytem auf Ω. Dann d(g) = σ(g). Beipiel: D = {A F : P (A) = Q(A)} it ein Dynkin-Sytem. Satz 10. (Eindeutigkeit) Sei G ein π-sytem auf (Ω, F) mit σ(g) = F und P, Q Verteilungen auf (Ω, F) mit P (A) = Q(A) für alle A G. Dann P = Q. Satz 11. (Erweiterungatz von Carathéodory) Begriffe: Produktmaß n P i. 2.3 Zufallvariable. Begriffe: Zufallvariable Zufallvektor Mebare Abbildung Numeriche Zuvallvariable. Notation: {X B} = X 1 (B) = {ω Ω : X(ω) B} {X x} = {ω Ω : X(ω) x}. Propoition 12. Sei X : (Ω, F) (Ω, F ) and F = σ(g ). Dann it X mebar genau dann, wenn X 1 (A ) F für alle A G. Korollar 13. X it eine Zufallvariable {X x} F für alle x R. Lemma 14. (Eigenchaften von mebaren Abbildungen) 1. Fall f : (Ω, F) (Ω, F ) und g : (Ω, F ) (Ω, F ) mebar ind, dann g f : (Ω, F) (Ω, F ) auch mebar it. 2. Fall X 1,..., X n Zufallvariablen ind und f : (R n, B(R n )) (R, B(R)) mebar it, dann f(x 1,..., X n ) eine Zufallvariable it. 3. Fall X 1, X 2,... numeriche Zufallvariablen ind, dann inf n X n, up n X n, lim inf n X n, lim up n X n auch numeriche Zufallvariablen ind. Propoition 15. (Bild von P unter ϕ) Sei ϕ : (Ω, F, P ) (Ω, F ) mebare Abbildung. Dann it ϕ P : F [0, 1] definiert durch eine Verteilung auf (Ω, F ). ϕ P (A ) = P (ϕ 1 (A )), A F, 4

5 Begriffe: Verteilung von Zuvallvariable X, P X = X P. Gleichverteilte Zufallvariablen, X d = Y. Verteilungfunktion von Zufallvariable X, F X (x) = P (X x) = P X ((, x]). Propoition 16. (Satz von Lebegue-Stiltje): Sei F : R [0, 1]. Dann it F die Vertelungfunktion einer Zufallvariable genau dann, wenn 1. F monoton wachend it 2. F rechttetig it 3. lim x + F (x) = 1 und lim x F (x) = 0. Beipiel: Dikrete Verteilungen: Bernoulli B(p), Binomial B(n, p), Poion P oi(λ), Geometricheverteilung Geo(p). Abolut tetige Verteilungen: Gleichverteilung U[a, b], Exponentialverteilung Exp(λ), Normalverteilung N(m, σ 2 ). 2.4 Integration. Erwartungwert. Varianz. Begriffe: Erwartungwert von Zufallvariable X, E[X]. Integrierbare Zufallvariable. Varianz von Zuvallvariable X, Var(X). p-te Moment von Zuvallvariable X, E[X p ]. Lemma 17. (Eigenchaften de Erwartungwerte) Sei X, Y integrierbare (numeriche) Zufallvariablen. 1. (Linearität) E[aX + by ] = ae[x] + be[y ]. 2. (Monotonie) Fall X Y f.., dann E[X] E[Y ]. 3. Fall X 0 f.. und E[X] = 0, dann X = 0 f.. 4. (Jenen-Ungleichung) Für jede konvexe ϕ : R [0, ), E[ϕ(X)] ϕ(e[x]) 5. (Hölder-Ungleichung) Für p, q 1 mit 1 p + 1 q = 1 gilt E[ XY ] (E[ X p ]) 1 p (E[ Y q ]) 1 q Lemma 18. (Lemma von Fatou) Seien X n 0 numeriche Zufallvariablen. Dann gilt [ ] E lim inf X n lim inf E[X n]. n n 5

6 Satz 19. (Satz von den monotonen Konvergenz) Seien X und X n 0 Zufallvariablen mit X n X f.. Dann gilt lim n E[X n] = E[X]. Satz 20. (Satz von den dominierten Konvergenz / Lebegue) Seien X, Y und X n Zufallvariaben mit X n X f.., X n Y f.. für alle n N, und E[Y ] <. Dann gilt lim E[X n] = E[X]. n Propoition 21. (Markov-Ungleichung) Sei f : R + R + monoton wachend und X 0 eine Zufallvariable. Dann gilt P (X x) E[f(X)]. f(x) Propoition 22. (Chebyhev-Ungleichung) Sei X eine Zufallvariable mit E[X 2 ] <, dann gilt P ( X E[X] x) Var(X) x 2. Propoition 23. (Subtitution) Sei ϕ : (Ω, F, P ) (Ω, F ) eine mebare Abbildung und Y eine Zufallvariable auf (Ω, F ). Dann it Y integrierbar bezüglich ϕ P genau dann, wenn Y ϕ integrierbar bezüglich P it und e gilt E ϕ P [Y ] = E P [Y ϕ]. Inbeondere, für jede Zufallvariable X auf (Ω, F, P ), ˆ E[X] = x dp X. R Beipiel: Erwartungwert und Varianz von Bernoulli-, Binomial-, Poion-, Geometrich-, Gleich-, Exponential-, Normalverteilte Zufallvariable. Lemma 24. (Momente einer nichtnegativen Zufallvariable) Sei X eine nichtnegative Zufallvariable. Dann für jede p > 0, E[X p ] = ˆ 0 px p 1 P (X > x)dx. 6

7 2.5 Unabhängigkeit. Begriffe: Unabhängige Ereignie Unabhängige σ-algebren Unabhängige Zufallvariablen. Propoition 25. Seien G 1,..., G n π-syteme mit Ω G i für alle i. Fall P ( n A i ) = n P (A i ), für alle A 1 G 1,..., A n G n, dann die σ-algebren σ(g 1 ),..., σ(g n ) unabhängig ind. Korollar Zufallvariablen X 1,..., X n ind unabhängig genau dann, wenn P (X 1 x 1,..., X n x n ) = P (X 1 x 1 )... P (X n x n ), x 1,..., x n R. 2. Seien F i,j, 1 i n, 1 j n i, unabhängige σ-algebren. Dann ind die σ- Algebren A i = σ ( n i j=1 F i,j), 1 i n unabhängig. 3. Seien X i,j, 1 i n, 1 j n i, unabhängige Zufallvariablen und f i : R n i R Borel-mebare Funktionen, dann ind die Zufallvariablen Y i = f i (X i,1,..., X i,ni ), 1 i n, unabhängig. Begriffe: Produktraum. Produktmaß n P i Propoition 27. (Gemeinameverteilung unabhängiger Zufallvariablen) Seien X und Y unabhängige Zufallvariablen, dann die Gemeinameverteilung von X und Y gleich P X P Y it. Satz 28. (Satz von Fubini) Seien (Ω 1, F 1, P 1 ) und (Ω 2, F 2, P 2 ) Wahrcheinlichkeiträume und (Ω, F, P ) da Produktraum. Für jede nichtnegative oder P -integrierbare Zufallvariable X auf (Ω, F, P ) gilt ˆ ˆ [ˆ ] ˆ [ˆ ] X dp = X(x, y)p 2 (dy) P 1 (dx) = X(x, y)p 1 (dx) P 2 (dy). Ω Ω 2 Ω 1 Ω 1 Korollar 29. Seien X und Y unabhängige Zufallvariablen. Dann gilt: 1. Fall X und Y integrierbar ind, dann da Produkt XY integrierbar it und Ω 2 E[XY ] = E[X] E[Y ]. 2. F X+Y = F X F Y, d.h., ˆ F X+Y (z) = F X (z y) df Y (y). R 7

8 3. Fall X, Y beitzen Dichten, dann die Dichte von X + Y gleich f X+Y = f X f Y it. Beipiel: Fall X 1 und X 2 unabhängige Zufallvariablen mit X i N(m i, σ 2 i ) ind, dann X 1 + X 2 N(m 1 + m 2, σ σ 2 2). Propoition 30. (Bienaymé Formel) Seien X 1,..., X n unkorrelierte Zufallvariablen mit E[X 2 i ] < für alle 1 i n. Dann gilt Var(X X n ) = Var(X 1 ) Var(X n ). Propoition 31. (Maximale Ungleichung von Kolmogorov) Seien X 1,..., X n unabhängige Zufallvariablen mit E[Xi 2 ] < und E[X i ] = 0 für alle 1 i n. Dann gilt für alle x > 0, ( ) P max S k x Var(S n), 1 k n x 2 wobei S k = X X k. 2.6 Unendliche Folgen von Zufallvariablen. Satz 32. (Erweiterungatz von Kolmogorov) Propoition 33. (Exitenz) Für jede Folge von Verteilungen Q n auf (R, B(R)), exitiert ein Wahrcheinlichkeitraum (Ω, F, P ) und unabhängige Zufallvariablen X 1, X 2,... auf (Ω, F, P ), o da, für alle n N, die Verteilung von X n gleich Q n it. Begriffe: lim up n A n = {A n u.o.} = m n m A n lim inf n A n = m n m A n. Lemma 34. (Lemma von Borel-Cantelli) Seien A 1, A 2,... F. 1. Fall n P (A n) <, dann P (A n u.o.) = Fall n P (A n) < und A 1, A 2,... unabhängig ind, dann P (A n u.o.) = 1. Begriffe: Aymptotiche σ-algebra. Satz 35. (0 1 Geetz von Kolmogorov) Seien X n unabhängige Zufallvariablen. Dann it die aymptotiche σ-algebra T von X n trivial, d.h. für alle A T, P (A) {0, 1}. 8

9 2.7 Konvergenzbegriffe. Begriffe: Fat ichere Konvergenz X n f.. X, Konvergenz in Wahrcheinlichkeit X n Konvergenz in p-mittel X n L p X. P X, Lemma 36. (Zuammenhänge) Seien X, X 1, X 2,... Zufallvariablen. f.. P 1. Fall X n X, dann X n X. L 2. Fall X p P n X, dann X n X. P f.. 3. Fall X n X, dann eine Teilfolge n(k) exitiert, o da X n(k) X. P 4. X n X genau dann, wenn für jede Teilfolge n(k) eine Teilfolge k(m) exitiert, f.. o da X n(k(m)) X. Lemma 37. (Eigenchaften) Seien X, Y, X n, Y n Zufallvariablen auf (Ω, F, P ). 1. Fall X n X und X n Y (f.. oder in Wahrcheinlichkiet oder in p-mittel), dann X = Y f.. 2. Fall X n X und Y n Y (f.. oder in Wahrcheinlichkiet oder in p-mittel), dann ax n + by n ax + by (f.. oder in Wahrcheinlichkiet oder in p-mittel). 3. Fall X n X und Y n Y (f.. oder in Wahrcheinlichkeit), dann X n Y n XY (f.. oder in Wahrcheinlichkeit). Satz 38. (Schwache Geetz von der großen Zahlen) Seien X 1, X 2,... unabhängige identich verteilte integrierbare Zufallvariaben. Dann 1 n n X i P E[X 1 ]. Satz 39. (Starke Geetz von der großen Zahlen) Seien X 1, X 2,... paarweie unabhängige identich verteilte integrierbare Zufallvariaben. Dann 1 n n X i f.. E[X 1 ]. 9

10 2.8 Konvergenz tochaticher Reihe. Satz 40. (Zweireihenatz von Kolmogorov) Seien X n unabhängige Zufallvariablen. Fall 1. n=1 Var(X n) < 2. n=1 E[X n] konvergiert, dann die Reihe n=1 X n konvergiert fat icher. Lemma 41. (Lemma von Kronecker) Seien x n und a n Folgen von reellen Zahlen. Fall die Reihe x n n=1 a n konvergiert, dann 1 n a n k=1 x k 0. Satz 42. (Dreireihenatz von Kolmogorov) Seien X n unabhängige Zufallvariablen. Die folgene Bedingungen ind äquivalent: 1. Die Reihe n=1 X n konvergiert fat icher. 2. E gibt A > 0 o da für Y n = X n 1 Xn A, konvergiern die folgende Reihe: (a) n=1 P ( X n > A), (b) n=1 E[Y n], (c) n=1 Var(Y n). 3. Die zweite Bedingung gilt für alle A > Schwache Konvergenz. Konvergenz in Verteilung. Begriffe: Schwache Konvergenz von Verteilungen, µ n µ. Konvergenz in Verteilung von Zufallvariablen, X n = X. Propoition 43. (Äquivalente Bedingungen der chwachen Konvergenz) Die folgende Bedingungen ind äquivalent: 1. µ n µ. 2. E exitiern Zufallvariablen X und X n, n 1, auf einem Wahrcheinlichkeitraum (Ω, F, P ), o da X n µ n -verteilt it, X µ-verteilt it, und X n P f.. X. 3. Für alle tetige bechränkte Funktionen f : R R, ˆ ˆ fdµ n fdµ. R Lemma 44. (Lemma von Helly) Sei F n eine Folge von Verteilungfunktionen auf R. Dann exitiert eine Teilfolge n(k) und eine rechttetige monoton wachende F : R [0, 1],.d. F n(k) (x) F (x) für alle Stetigkeittellen x von F. R 10

11 Begriffe: Straffe Folge von Verteilungen. Satz 45. Für jede traffe Folge von Verteilungen µ n auf R, exitiert eine Teilfolge n(k) und eine Verteilung µ auf R, o da µ n(k) µ. Propoition 46. Seien µ n und µ Verteilungen auf R, o da für jede Teilfolge n(k) exitiert eine Teilfolge k(m) mit µ n(k(m)) µ. Dann µ n µ Charakteritiche Funktion. Begriffe: Charakteritiche Funktion von Verteilung µ, ϕ µ. Charakteritiche Funktion von Zufallvariable X, ϕ X. Propoition 47. (Eigenchaften) Sei ϕ die charakteritiche Funktion einer Verteilung. Dann gelten: 1. ϕ(0) = 1 2. ϕ(t) 1, für alle t R 3. ϕ( t) = ϕ(t) 4. ϕ it gleichmäßig tetig auf R Propoition 48. (Charakteritiche Funktion von Summe unabhängiger Zufallvariablen) Seien X und Y unabhängige Zufallvariablen. Dann ϕ X+Y = ϕ X ϕ Y. Beipiel: Charakteritiche Funktion von Bernoulli-, Poion-, Normal-, Cauchyverteilter Zufallvariable. Satz 49. (Eindeutigkeit) Seien µ und ν Verteilungen auf R mit ϕ µ = ϕ ν. Dann µ = ν. Beipiel: 1. Zufallvariable X i ymmetrich genau dann, when ϕ X (t) R für alle t. 2. Summe von Poionverteilten Zufallvariablen it Poionverteilt. 3. Summe von Normalverteilten Zuvallvariablen it Normalverteilt. Lemma 50. Sei µ eine Verteilung auf R. Dann gelten: 1. Für alle δ > 0, µ ({x : x 2δ ) } 1 δ ˆ δ δ (1 ϕ µ (t))dt 2. Fall x k dµ < für k N, dann ϕ µ k-mal tetig differenzierbar it und ˆ ϕ (l) µ (t) = (ix) l e itx dµ, für alle 0 l k. R 11

12 Satz 51. (Stetigkeitatz) Sie µ n eine Folge von Verteilungen auf R. 1. Fall µ n µ, dann ϕ µn (t) ϕ µ (t) für alle t R. 2. Fall ϕ µn (t) ϕ(t) für alle t R, wobei ϕ eine tetige in 0 Funktion it, dann eine Verteilung µ auf R exitiert mit ϕ µ = ϕ und µ n µ. Satz 52. (Zentraler Grenzwertatz) Seien X n unabhängige identich verteilte Zufallvariablen mit E[X 2 1] <. Dann konvergiert für n die Folge S n mn σ n, wobei S n = X X n, m = E[X 1 ], σ 2 = Var(X 1 ), in Verteilung gegen eine tandardnormalverteilte Zuvallvariable. 12