Stochastik I. Vorlesungsmitschrift

Transkript

1 Stochastik I Vorlesungsmitschrift Ulrich Horst Institut für Mathematik Humboldt-Universität zu Berlin Inhaltsverzeichnis 1 Grundbegriffe Wahrscheinlichkeitsräume Diskrete Modelle 3 3 Transformation von Wahrscheinlichkeitsräumen 4 4 Zufallsvariable, Erwartungswert 6 i

2 1 Grundbegriffe 1.1 Wahrscheinlichkeitsräume a Was kann alles passieren? b Mit welchen Wahrscheinlichkeiten treten diese oder jene Ereignisse auf? a Menge Ω der möglichen Ereignisse Beispiel 1.1. a Ein Münzwurf: Ω = {0, 1} b n Münzwürfe: Ω = {(X 1,..., X n : X i {0, 1}} c unendlich viele Münzwürfe: Ω = { (X i i N : X i {0, 1} } d Zufallszahl zwischen 0 und 1: Ω = [0, 1] e Stetige stochastische Prozesse, z.b. Brownsche Bewegung auf R: Ω = C ([0, 1] oder Ω = C ([0, 1] Ereignis A Ω, A tritt ein, falls auftretendes ω in A liegt elementares Ereignis: A = {ω}, ω Ω unmögliches Ereignis: A = sicheres Ereignis: A = Ω A tritt nicht ein : Ac Kombination von Ereignissen A 1 A 2 A 1 A 2 n n m n Am m n Am lim sup A n = n Beispiel 1.2. zu a 1 tritt ein : A = {1} mindestens eins der A i tritt ein, i A i jedes der A i tritt ein, i A i unendlich viele der A i treten ein bis auf endlich viele treten alle A i auf m n A m m n A m, lim inf A n = n zu b Genau k Einsen treten auf: A = {(X 1,..., X n Ω : n i=1 X i = k} zu c Relative Häufigkeit von 1 ist p: A = { (X 1,..., X n Ω : lim 1 n n i=1 X i = p } zu d Zahl zwischen a und b: A = [a, b] zu e Niveau c wird überschritten (bis zur Zeit 1: A = {ω C ([0, 1] : max 0 t 1 ω (t c} Kollektion A der im Modell zugelassenen Ereignisse soll abgeschlossen sein unter abzählbaren Mengenoperationen. Definition 1.3. A P (Ω heißt σ-algebra, falls 1. Ω A 1

3 2. A A A c A 3. A 1, A 2,... A n=1 A n A Bemerkung A sei σ-algebra. Dann A, A 1, A 2,... A n=1 A n = ( n=1 A n c A 2. P (Ω ist σ-algebra 3. A i σ-algebren, i I i I A i σ-algebra 4. Typische Konstruktion einer σ-algebra A: A 0 Klasse von Ereignissen die jedenfalls dazugehören sollen. Definiere A = B B σ-algebra A 0 B = die kleinste σ-algebra, die A 0 enthält =: σ (A 0, σ (A 0 heißt die von A 0 erzeugt σ-algebra. Beispiel 1.5. Ω topologischer Raum, A 0 die Familie der offenen Teilmengen. B (Ω = σ (A 0 heißt Borelsche σ-algebra auf Ω oder σ-algebra der Borelschen Teilmengen von Ω. B (Ω enthält im Allgemeinen nicht alle Mengen. Definition 1.6. Sei Ω, A σ-algebra auf Ω. Eine Abbildung P : A [0, ] heißt Maß auf (Ω, A, falls P ( = 0 und P ( i=1 A i = i=1 P (A i für A 1, A 2,... A, die paarweise disjunkt sind (σ-additivität. P heißt Wahrscheinlichkeitsverteilung oder Wahrscheinlichkeitsmaß, falls P (Ω = 1, (Ω, A, P heißt dann Wahrscheinlichkeitsraum. (Axiome von Kolmogorov Beispiel 1.7. zu a Ω = {0, 1}, A = {, {0}, {1}, {0, 1}} = P (Ω, faire Münze: P (0 = P (1 = 1 2 zu c X 1,..., X n {0, 1}, P ({ (X i i Ω : X 1 = X 1, X 2 = X 2,..., X n = X n } = 2 n P ist fortsetzbar auf σ (A 0 A 0 = {B Ω : B hängt nur von endlich vielen Würfen ab} = {A {0, 1} {0, 1}... : A P ({0, 1} n, n = 1, 2,...} zu e A = B (R, P ({ω C ([0, : ω (t [a, b]} = 1 b x2 e 2 2πt dx a Einfache Rechenregeln 1.8. (Ω, A, P Wahrscheinlichkeitsraum, A 1,..., A n paarweise disjunkt P ( n i=1 A i = n i=1 P (A i Insbesondere P (A c = 1 P (A A, B A, A B P (B = P (A + P (B\A A, B A P (A B = P (A + P (B\A B = P (A + P (B P (A B Mit vollständiger Induktion: P ( i I A ( i = =J I ( 1 J +1 P j J A j mit J endliche Menge. Für I = {1,..., n} gilt: P ( i I A ( n i = 1 i ( 1k i k n P k j=1 A i j 2

4 Satz 1.9. Sei A eine σ-algebra auf Ω, P : A R mit P (Ω = 1. Dann sind die folgenden Aussagen äquivalent: 1 P ist Wahrscheinlichkeitsverteilung. 2 P ist additiv (A B = P (A B = P (A + P (B und isoton stetig, d.h. A n A, A n A P (A n P (A. 3 P ist additiv und antiton stetig. Korollar A 1, A 2,... A P ( i A i n=1 P (A n Lemma [Borel-Cantelli] Sei (Ω, A, P Wahrscheinlichkeitsraum und seien A 1, A 2,... A mit i=1 P (A i <. Dann gilt ( P lim sup A n = 0. n Beispiel Ω = [0, 1], A Borelsche σ-algebra = σ ({[a, b] : 0 a b 1}, P = Lebesgue Maß [0,1], P ([a, b] = b a (Existenz und Eindeutigkeit vorausgesetzt Gleichverteilung auf [a, b] { 1, ω A 2. Ω, ω Ω, δ ω (A = ε ω (A = 0, ω / A = 1 A (ω Dirac Maß 3. Ω, I abzählbar, α i R, i=1 α i = 1, ω i Ω, P = α i δ ωi 2 Diskrete Modelle Sei Ω eine (höchstens abzählbare Menge, A = P (Ω. Satz 2.1. Sei p : Ω [0, 1], ω Ω p (ω = 1 (p Gewichtung der Fälle. P (A := ω A p (ω, A Ω definiert ein Wahrscheinlichkeitsmaß auf Ω. Jedes Maß auf Ω ist von dieser Form. Beispiel < Ω <, p (ω = const. = 1 Ω Laplace Modell: Für A Ω dann P (A = A Ω. P ist Gleichverteilung auf Ω. Zufällige Permutationen M = {1,..., n}, Ω Menge aller Permutationen von M, d.h. aller Bijektionen ω : M M. Dann Ω = n!. P sei Gleichverteilung auf Ω. Frage z.b.: P ( mindestens ein Fixpunkt, A i = {ω : ω (i = i} ( n P ( mindestens ein Fixpunkt =P A i = i=1 ( 1 k+1 1 i 1... n P (A i1... A ik 3

5 Mit P (A i1 A i2... A n = (n k! n!, gegeben ( n k Summanden, gilt: ( n ( P A i = ( 1 k+1 n (n k! = ( 1 k 1 k n! k! i=1 P ( kein Fixpunkt = n k=0 ( 1k 1 k! e 1 P ( genau k Fixpunkte = 1 n! }{{} mögliche Fälle ( n k }{{} Fixpunkte werden festgelegt = 1 n k ( 1 j j! 1 1 k! k! e 1 j=0 Poisson-Verteilung mit Parameter λ = 1. (n k! n k j=0 ( 1 j 1 j! }{{} obige Forml für n k 2. n Experimente mit Zustandsraum S: 0 < S <, Ω = {(X 1,..., X n : X i S}, Ω = S n, S 0 S Erfolg, falls S 0 auftritt. p := S0 S, A k := genau k Erfolge, p (A k = A k Ω S0 k S\S 0 n k =( n k S n ( n = p k (1 p n k k Binomialverteilung mit Parametern n, p. Für p = λ n konvergiert die Binomialverteilung für festes k gegen die Poisson-Verteilung λk e k 1 k!. 3. Meinungsumfragen,... N Kugeln, K rote, N K schwarze, Stichprobe von n Kugeln (ohne Zurücklegen, davon k rote Modell: Ω Gesamtheit aller Teilmenegen von {1,..., N} mit genau n Elementen, d.h. Ω = ( N n. P Gleichverteilung auf Ω, A k := genau k rote P (A k = A k Ω Ω = {ω P ({1,..., N} : ω = n}, = (K k( N K n k ( N n hypergeometrische Verteilung Für K N =: p fest konvergiert die hypergeometrische Verteilung für N gegen die Binomialverteilung ( n k p k (1 p n k. 3 Transformation von Wahrscheinlichkeitsräumen (Ω, A, ( Ω, Ã seien messbare Räume (jeweils Menge mit σ-algebra 4

6 Definition 3.1. Eine Abbildung { T }: Ω Ω heißt messbar (A Ã-messbar, falls à (à à T 1 A =: T Ã. Bemerkung A = P (Ω T messbar à 1. à = σ (Ã0 mit à 0 P (Ω, T : Ω Ω messbar à Ã0 : T (à 1 A Definition 3.3. Ω, Ω Mengen, à σ-algebra auf Ω, T : Ω Ω sei gegeben. Dann heißt { ( } σ (T := T 1 à : à à die von T erzeugte σ-algebra (es ist eine!. Satz 3.4. Sei P eine Wahrscheinlichkeitsverteilung auf (ω, A, ( Ω, à ein messbarer Raum und T : Ω Ω messbar. Dann ist durch P ( [ ] (à := P T (à 1 = P T Ã, à à eine Wahrscheinlichkeitsverteilung auf ( Ω, à definiert, genannt das Bildmaß von P unter der Abbildung T, oder Verteilung von T unter P. Schreibweise: T (P, P T Bemerkung Nimmt T nur abzählbar viele Werte ω 1, ω n,... an, so ist P = T (P = i P [T = ω i] δ ωi. 2. Satz 3.4 löst manche Existenzprobleme: Beispiel 3.6. Existenz des Lebesgue-Maßes auf [0, 1] vorausgesetzt, existiert exaktes Modell für unendlich viele faire Münzwürfe: Ω = [0, 1], A = B ([0, 1], P = Lebesgue-Maß [0,1], Ω = Projektion auf i-te Koordinate, { } (X 1, X 2,... : Xi {0, 1}, X i : Ω {0, 1} ({{ } } à := σ Xi = 1 : i = 1, 2,.... Die binäre Darstellung von ω [0, 1] liefert Abbildung T : Ω Ω, ω (T 1 ω 1, T 2 ω 2,..., Xi T = T i. Bei Zahlen, deren Darstellung nicht eindeutig ist, z.b. 0, 5, allgemein 2 i, wählen wir die unendliche Reihe, d.h. 0, 5 = i 2 2 i. ({ } T ist messbar: T 1 Xi = 1 = {T i = 1} ist Vereinigung von 2 i Intervallen. 5

7 Sei P das Bild von P unter T. Dann für x 1,..., x n {0, 1} [ P X1 = x 1,..., X ] n = x n =P [T 1 = x 1,..., T n = x n ] da T 1 = x 1,..., T n = x n Intervall der Länge 2 n. =T 1 (X 1 = x 1 ( 1 =T X 1 1 (x 1 = ( X1 T 1 ({x1 } =T 1 ({x 1 } =2 n, 4 Zufallsvariable, Erwartungswert Sei (Ω, A, P Wahrscheinlichkeitsraum. Definition 4.1. X : Ω R (oder R heißt Zufallsvariable, falls X messbar ist, d.h. X 1 (B A Borelschen B R. Bemerkung X : Ω R Zufallsvariable {X c} A c R, da σ ({[, c : c R} = B (R 2. A = P (Ω Jedes X : Ω R ist Zufallsvariable 3. X Zufallsvariable, h : R R messbar h X = h (X Zufallsvariable. Insbesondere ist X, X 2, X p, e X Zufallsvariable 4. Menge der Zufallsvariablen ist abgeschlossen unter abzählbaren Operationen. Seien X 1, X 2,... Zufallsvariablen α i X i Zufallsvariable (soweit sinnvoll oder sup X i, inf X i, lim inf X i, lim sup X i Wichtige Spezialfälle Indikator (charakteristische Funktion von A A: 1 A, für c < 0 {1 A c} = A c, für 0 c 1 Ω, 1 c A 2 Elementare Zufallsvariable: X = n i=1 α i1 Ai, α i R X (Ω endlich: X = α X(Ω α1 X=α Satz Jede Zufallsvariable ist von der Form X = X + + X mit X + = max (X, 0, X = max ( X, 0 = min (X, 0. Insbesondere sind X +, X Zufallsvariablen. 6

8 2. Zu jeder Zufallsvariable X 0 existiert eine isotone Folge (X n von positiven Zufallsvariablen mit sup X n = X. Definition 4.5. [Normalverteilung einer elementaren Zufallsvariablen]X 0, X = n i=1 α i1 Ai mit α i R, A i A, A i A j = i j, A i = Ω. Diese Darstellung ist nicht eindeutig, jede elementare Zufallsvariable besitzt eine solche Darstellung, z.b. X = α X(Ω α1 {X=α}. Lemma 4.6. X = m i=1 α i1 Ai = n j=1 β j1 Bj Normaldarstellung für elementare Zufallsvariable 0 m i=1 P (A i = n j=1 P (A j. Definition 4.7. Ist α i 1 Ai Normaldarstellung für elementare Zufallsvariable X 0, so definiern wir E (X := XdP := α i P (A i. Dies ist unabhängig von der Darstellung. Eigenschaften E (1 A = P (A 1 E (αx = αe (X, α R + 2 E (X + Y = E (X + E (Y 3 X Y E (X E (Y 4 E (X = α X(Ω α P [X = α]. Für X = n i=1 α i1 Ai, α i R +, A i A nicht notwendig Partition E (X = α i P (A i Lemma 4.9. Seien X n, X 0 elementare Zufallsvariablen, X n X n+1, X sup X n. Dann E (X sup E (X n. Korollar X n, Y n elementare Zufallsvariablen 0, X n X n+1, Y n Y n+1, sup X n = sup Y n sup E (X n = sup E (Y n Definition Sei X 0 eine Zufallsvariable auf Ω, X n 0 elementare Zufallsvariablen mit X n X. Dann heißt E (X = sup E (X n Erwartungswert von X unabhängig von der Folge (X n n wegen Eigenschaften X = 0 P-f.s. (d.h. P [X = 0] = 1 E (X = 0 1 E (αx = αe (X, α R + 2 E (X + Y = E (X + E (Y 3 X Y E (X E (Y 4 X (Ω abzählbar E (X = α X(Ω αp [X = α] i=1 7

9 Beispiel Fairer Münzwurf T (ω := min {k : ω (k = 1}, Zeitpunkt des ersten Auftretens von 1. T ({0, 0, 0,...} =. P [T = k] = P [X 1 = 0, X 2 = 0,..., X k 1 = 0, X k = 1] = 2 k P [T = ] 2 k k N P [T = ] = 0. Also, da X (Ω abzählbar: E (T = kp [T = k] = k2 k = 2 Satz [von der monotonen Konvergenz] Seien X n 0 Zufallsvariablen, X n X E (X n E (X. Korollar X n Zufallsvariable, X n 0. Dann E ( n=1 X n = n=1 E (X n. Definition Für Zufallsvariable X auf Ω definieren wir den Erwartungswert durch falls min (E (X +, E (X <. Es sei E (X := E ( X + E ( X, L 1 (Ω, A, P = L 1 = {X : X reelle Zufallsvariable auf Ω mit E ( X < }. X L 1 : X 1 = E ( X. X heißt integrierbar, falls E ( X <. Satz L 1 (Ω, A, P ist Vektorraum, 1 ist eine Halbnorm. Lemma [Lemma von Fatou] X n Zufallsvariable 0 E (lim inf X n lim inf E (X n, es reicht auch X n Y L 1. Bemerkung E (lim inf X n < lim inf E (X n ist möglich, auch wenn Limiten existieren: z.b. auf [0, 1] mit Gleichverteilung E (X n = 1 0 X ndλ = 1 n, X n 0, und E (lim X n = 0, lim E (X n = 1 2n X n Oder: Fairer Münzwurf: Einsatz verdoppeln, bis 1 auftritt. Einsatz in der n-ten Runde: X n = 2 n 1 1 {T >n 1} mit T Wartezeit auf die erste 1. E (X n = 2 n 1 P [T > n 1] = 2 n = 1, X n 1 n (ω 0 ω (0,..., also X n 0 P-f.s. E (lim X n = 0 Satz [Konvergenzsatz von Lebesgue] Seien X n Zufallsvariablen mit X n Y L 1 P-f.s., X n X (punktweise. Dann gilt E (X n E (X und X n X 1 0, d.h. E ( X n X = 0. 1 n 8