STOCHASTIK A&B PHILIP HERRMANN

Transkript

1 STOCHASTIK A&B PHILIP HERRMANN Inhaltsverzeichnis 1. Kombinatorik 2 2. Wahrscheinlichkeiten 2 3. Bedingte Wahrscheinlichkeiten 3 4. Unabhängige Ereignisse 4 5. Diskrete Zufallsvariablen 4 6. Erwartungswert und Varianz von Zufallsvariablen 5 7. Stetige Zufallsvariablen 6 8. Die Chebyshev-Ungleichung 7 9. Gemeinsame Verteilungen Unabhängigkeit von Zufallsvariablen Summen von unabhängigen Zufallsvariablen Erwartungswert und Varianz von Summen Bedingte Verteilungen Erzeugende Funktionen Ein starkes Gesetz der großen Zahlen Statistik Test von Hypothesen - Das Neyman-Pearson Lemma Design von optimalen Tests für einfache Hypothesen Schätzer Markovketten Simulation von Markovketten Monte-Carlo-Simulation Der Poisson-Prozeß Martingale 20 Literatur 20 Entstanden aus einer Mitschrift der entsprechenden Vorlesungen an der Universität Bielefeld im WS 04/05 und SoSe pherrman@math.uni-bielefeld.de URL: 1

2 2 PHILIP HERRMANN 1. Kombinatorik Satz 1. (Grundlegendes Zählprinzip) Es werden n Experimente durchgeführt, dabei habe das i-te Experiment m i mögliche Ergebnisse, dann hat das n-stufige Experiment m 1... m n mögliche Ergebnisse. Definition 1. Eine Anordnung von n verschiedenen Objekten x 1,..., x n heißt Permutation von x 1,..., x n. Satz 2. Es gibt n! Permutationen von n verschieden Objekten. Satz 3. Seien s 1,..., s n verschiede Objekte, wobei jeweils n i Objekte vom Typ i nicht unterscheidbar sind, für 1 i k < n und k i=0 n i = n. Dann gibt es n! n 1!... n k! unterscheidbare Permutationen von s 1,..., s n. Definition 2. Seien x 1,..., x n verschiedene Elemente. Eine k-kombination von x 1,..., x n ist eine k-elementige Teilmenge von {x 1,..., x n }. Satz 4. Es gibt k-kombinationen n(n 1)... (n k + 1) k! = n! k!(n k)! =: ( ) n k Lemma 1. Es gilt: (1) ( ) ( n k = n ) n k (2) ( ) ( n k + n ) ( k+1 = n+1 ) k+1 2. Wahrscheinlichkeiten Definition 3. Sei Ω eine nicht-leere Menge. Ein System F von Teilmengen von Ω heißt σ-algebra, falls gilt: (1) Ω F (2) A F A c F (3) (A n ) n F n A n F (Ω, F) heißt dann Ereignisraum. Definition 4. Sei (Ω, F) ein Ereignisraum. Eine Funktion P : F [0, 1] heißt Wahrscheinlichkeitsmaß, falls: (1) P (ω) = 1 (Normierung). (2) Für alle A 1, A 2,... F paarweise disjunkt gilt P ( A n ) = n P (A n) (σ-additivität). (Ω, F, P ) heißt dann Wahrscheinlichkeitsraum.

3 STOCHASTIK A&B 3 Bemerkung 1. σ-additivität ist eine nicht völlig unumstrittene Forderung an Wahrscheinlichkeitsmaße und im Gegensatz zur schwächeren endlichen Additivität wenig intuitiv. Da σ-additivität aber in vielen Beweisen benutzt wird und die sich σ-additive Maße als sehr nützlich herausgestellt haben wird die Forderung im Allgemeinen akzeptiert. Im folgenden sei (Ω, F, P ) stets ein Wahrscheinlichkeitsraum. Satz 5. (Eigenschaften von Wahrscheinlichkeitsmaßen) Seien A, B, A 1, A 2,... F. Dann gilt (1) A B P (A) P (B) (2) P (A c ) = 1 P (A) (3) (Stetigkeit von Oben) A n A P (A n ) P (A) (4) (Stetigkeit von Unten) A n A P (A n ) P (A) (5) P (A B) = P (A) + P (B) P (A B) Satz 6. (inclusion-exclusion-formula) Seien A 1,..., A n F, dann gilt n P ( A i ) = P (A i ) P (A i1 A i2 ) ( 1) n+1 P ( A i ) i=1 1 i 1 <i 2 n 3. Bedingte Wahrscheinlichkeiten Definition 5. Seien A, B F mit P (B) > 0, dann definieren wir die bedingte Wahrscheinlichkeit von A gegeben B durch P (A B) = P (A B) P (B) Satz 7. (Multiplikationsregel) Seien A 1,..., A n F mit P ( n 1 i=1 A i) > 0, so gilt: P ( n i=1a i ) = P (A 1 )P (A 2 A 1 )P (A 3 A 1 A 2 )... P (A n n 1 i=1 A i) Satz 8. Seien A, B i F, i 1, so dass P (B i ) > 0 i und (B i ) i eine Partition von Ω ist, dh: (1) (B i B j ) = i j (2) i B i = Ω. Dann gilt n P (A) = P (A B i )P (B i ) i=1 Satz 9. (Bayessche Formel) Seien A, B i wie oben, dann für i = 1,... P (B j A) = P (A B j)p (B j ) i P (A B i)p (B i ) Satz 10. Sei B F mit P (B) > 0, dann ist P ( B) : F [0, 1] ein Wahrscheinlichkeitsmaß.

4 4 PHILIP HERRMANN 4. Unabhängige Ereignisse Definition 6. Zwei Ereignisse A, B F heißen unabhängig, falls P (A B) = P (A)P (B). Bemerkung 2. Unabhängig ist nicht nur eine Eigenschaft der Ereignisse, sondern auch der zugrunde liegenden Wahrscheinlichkeitsmaße, deswegen spricht man einschränkend auch von (stochastischer) Unabhängigkeit bezüglich P. Satz 11. Seien A, B F mit P (B) > 0. Dann sind A,B genau dann unabhängig, wenn gilt P (A B) = P (A). Satz 12. Sind A und B unabhängig, dann sind auch A und B c unabhängig. Definition 7. Ereignisse A 1,..., A n F heißen paarweise unabhängig, falls P (A i A j ) = P (A i )P (A j ) i j. Falls sogar gilt P (A i1... A ik ) = P (A i1 )... P (A ik ) 1 i 1 <... < i k n, so heißen die Ereignisse unabhängig. Unabhängigkeit impliziert paarweise Unabhängigkeit. 5. Diskrete Zufallsvariablen Definition 8. Eine diskrete Zufallsvariable auf (Ω, F, P ) ist eine Funktion X : Ω S, wobei S eine abzählbare Menge ist. Die Wahrscheinlichkeitsfunktion von X ist definiert durch p : S [0, 1], P (X = x) := P ({ω Ω : X(ω) = x}). Satz 13. Für die Wahrscheinlichkeitsfunktion einer diskreten Zufallsvariable X gilt stets x S P (X = x) = 1. Satz 14. Sei S abzählbar, p : S [0, 1] mit x S P (X = x) = 1, dann gibt es einen Wahrscheinlichkeitsraum (Ω, F, P ) und darauf eine Zufallsvariable, so dass p die Wahrscheinlichkeitsfunktion von X ist. Definition 9. Die (kummulative) Verteilungsfunktion F : R [0, 1] einer reellwertigen Zufallsvariablen X : Ω S R ist definiert durch F (x) = P (X x). Satz 15. Sei X eine diskrete Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, F, P ). Für die Verteilungsfunktion F von X gilt: (1) P (X > x) = 1 F (x) (2) P (x < X y) = F (y) F (x) (3) F ist monoton wachsend und rechtsseitig stetig lim F (x) = 1 und lim F (x) = 0 x x Satz 16. Sei X ein Zufallsvariable auf (Ω, F, P ). Dann gilt P (X = x) = F (x) F (x ) }{{} =lim y x F (y).

5 STOCHASTIK A&B 5 6. Erwartungswert und Varianz von Zufallsvariablen Definition 10. Sei X eine diskrete reellwertige Zufallsvariable mit Werten in S. Falls s S s P (X = s) <, so definieren wir den Erwartungswert von X: E[X] = s S sp (X = s). Schon für die Definition des Erwartungswertes wird also absolute Konvergenz benötigt. Definition 11. Eine Zufallsvariable heißt Bernoulli-p-verteilt, falls P (X = 1) = p und P (X = 0) = 1 p für ein p [0, 1] gilt. Satz 17. Seien X eine diskrete Zufallsvariable mit Werten in S R und g : R R. Gilt nun s S g(s) P (X = s), so gilt E[g(X)] = g(s)p (X = s). s S Satz 18. Sei X eine Zufallsvariable mit Erwartungswert, a, b R, dann gilt E[a + bx] = a + be[x]. Definition 12. Sei X eine Zufallsvariable mit endlichem Erwartungswert, dann ist die Varianz von X definiert durch V ar(x) = E[(X E[X]) 2 ]. Satz 19. Sei X eine Zufallsvariable mit endlichem Erwartungswert, dann gilt V ar(x) = E[X 2 ] E[X] 2. Satz 20. Sei X eine Zufallsvariable mit endlichem Erwartungswert, a, b R, dann gilt V ar(a + bx) = b 2 V ar(x). Bemerkung 3. Von einem Streuungsmaß würde man sich wünschen, dass es sich proportional zu X verhält, daher definiert man wie folgend die Standardabweichung. Ein praktischer Vorteil der Definition der Varianz, im vergleich zu einer möglichen Definition durch E[ X E[X] ] ist, dass gerade die störenden großen Abweichungen stärker bewertet werden. Definition 13. Die Standardabweichung (Streuung) einer Zufallsvariable X ist definiert durch SD(X) = V ar(x). Definition 14. Eine Zufallsvariable X heißt Binomial (n,p)-verteilt, falls P (X = k) = ( n k) p k (1 p) n k k = 1,..., n. Bemerkung 4. Eine Binomial (n,p)-verteilte Zufallsvariable ist die Summe von n Beroulli-p-verteilten Zufallsvariablen. Satz 21. Sei X Binomial (n,p)-verteilt, dann gilt E[X] = np und V ar(x) = np(1 p). Satz 22. Sei λ > 0 und X n eine Binomial (n, λ )-verteilte Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω n, F n, P n ) n N. Dann n gilt k N 0 lim n P n(x n = k) = e λ λk k!

6 6 PHILIP HERRMANN Definition 15. Eine Zufallsvariable X heißt Poisson (λ)-verteilt, falls λ λk P (X = k) = e, k N k! Bemerkung 5. Eine Poissonverteile Zufallsvariable kann also als Grenzwert einer Folge von Binomialverteilten Zufallsvariablen gesehen werden. Satz 23. Sei X eine Poisson (λ)-verteilte Zufallsvariable, dann gilt E[X] = λ und V ar(x) = λ. Definition 16. Eine Zufallsvariable X heißt geometrisch (p)-verteilt, falls P (X = k) = (1 p) k 1 p. Satz 24. Sei X geometrisch (p)-verteilt, dann gilt E[X] = 1 p V ar(x) = 1 p. p 2 7. Stetige Zufallsvariablen und Definition 17. Die Borelsche σ-algebra auch B(R n ) auf R n ist die kleinste σ-algebra auf Ω = R n, die alle offenen (oder abgeschlossenen, linkshalboffenen, rechtshalboffenen) Mengen enthält. Definition 18. Lebesguemaß/Lebesgueintegral. Definition 19. Eine Funktion f : R n [0, [ heißt Wahrscheinlichkeitsdichte, falls (1) {x R n : f(x) c} B(R n ), c R (2) R n fdx = 1 Jede Wahrscheinlichkeitsdichte f induziert ein Wahrscheinlichkeitsmaß P auf (R, B(R n )), durch P (A) = A f(x)dx, A B(Rn ). Definition 20. Sei (Ω, F, P ) ein Wahrscheinlichkeitsraum. Eine Funktion X : Ω R heißt stetige Zufallsvariable, falls (1) {ω Ω : X(ω) c} F, c R (2) es eine Wahrscheinlichkeitsdichte f : R [0, [ gibt, so dass P ({ω Ω : X(ω) A}) = f(x)dx, A B(R). A Definition 21. Die Verteilungsfunktion F : R [0, 1] einer Zufallsvariablen X ist gegeben durch F (x) = P ({ω Ω : X(ω) x}). Satz 25. Die Verteilungsfunktion besitzt folgende Eigenschaften: (1) F ist monoton und rechtsseitig stetig. (2) lim x F (x) = 0 und lim x F (x) = 1. (3) X besitzt genau dann eine Wahrscheinlichkeitsdichte f, wenn F (x) = x f(y)dy, x R gilt. Insbesondere besitzt f genau dann eine stetige Wahrscheinlichkeitsdichte, wenn F stetig differenzierbar ist. Es gilt dann F = f. Bemerkung 6. Sei X eine stetige Zufallsvariable. Dann gilt, anders als für diskrete Zufallsvariablen, a R:

7 (1) P (X = a) = 0 (2) P (X < a) = P (X a) STOCHASTIK A&B 7 Definition 22. Sei X eine stetige Zufallsvariable mit einer Wahrscheinlichkeitsdichte f. Der Erwartungswert von X ist definiert durch E[X] = xf(x)dx, falls x f(x)dx < oder P (X 0) = 1 oder P (X 0) = 1. Definition 23. Sei X eine Zufallsvariable mit endlichem Erwartungswert µ, dann ist die Varianz von X definiert durch V ar(x) = E[(X µ) 2 ]. Satz 26. Sei X eine stetige Zufallsvariable mit endlichem Erwartungswert, Dichte f und sei g : R R beliebig, dann ist (1) V ar(x) = E[X 2 ] E[X] 2 (2) E[g(X)] = g(x)f(x)dx Definition 24. Eine Zufallsvariable heißt Exponential (λ)-verteilt, falls ihre Wahrscheinlichkeitsdichte gegeben ist durch f(x) = λe λx I [0, [ (x) Satz 27. Sei X Exponential (λ)-verteilt, dann gilt E[X] = 1 λ und V ar(x) = 1 λ 2 Satz 28. Sei X Exponential (λ)-verteilt, dann gilt für alle 0 < s, t R P (X > s + t X > s) = P (X > t). Definition 25. Eine Zufallsvariable X heißt Cauchy-verteilt, falls ihre Wahrscheinlichkeitsdichte gegeben ist durch f(x) = 1 1 π 1+x 2 Bemerkung 7. Eine Cauchy-verteilte Zufallsvariable besitzt keinen Erwartungswert. 8. Die Chebyshev-Ungleichung Satz 29. (Markov-Ungleichung) Sei X eine reellwertige Zufallsvariable und sei f : [0, [ [0, [ eine monoton wachsende Funktion mit f(x) > 0 ( x > 0). Dann gilt P ( X a) E[f( X )], a > 0 f(a) Lemma 2. Seien X und Y Zufallsvariablen auf dem selben Wahrscheinlichkeitsraum (Ω, F, P ) mit (1) X(ω) Y (ω), ω Ω und (2) E[X] und E[Y ] sind wohldefiniert, so gilt E[X] E[Y ].

8 8 PHILIP HERRMANN Satz 30. (Chebyshev-Ungleichung) Sei X eine Zufallsvariable mit E[X 2 ] <, dann gilt für alle a > 0 P ( X E[X] a) V ar(x) a 2 Lemma 3. (Zur Vorbeitung für den Beweis von de Moivre-Laplace) (1) ( k {1,..., n}) gilt ( ) ( n k n ) n 2 (2) n! 2πn nn e n Definition 26. Eine Zufallsvariable mit der Wahrscheinlichkeitsdichte f(x) = 1 (x µ)2 e 2σ 2 2πσ heißt Normal (µ, σ 2 )-verteilt. 2 Satz 31. (de Moivre-Laplace) Seien S n Binomial (n, p)-verteilt und Sn := Sn E[Sn]. Dann existiert für alle a < b: V ar(sn) lim P (a n S n b) = 1 2π b a e x2 2 dx Bemerkung 8. Der Grenzwert ist also Normal (0,1)-verteilt. Der Satz von de Moivre-Laplace ist ein zentraler Grenzwertsatz und ein Spezialfall von dem zentralen Grenzwertsatz weiter unten in diesem Skript. Im Allgemeinen spricht man bei Aussagen über die Bedingungen dafür, dass der Grenzwert einer Summe von Zufallsvariablen normalverteilt ist, von zentralen Grenzwertsätzen. Satz 32. Sei X Normal (µ, σ 2 )-verteilt. Dann ist E[X] = µ und V ar(x) = σ Gemeinsame Verteilungen Definition 27. Seien X 1,..., X n : Ω R Zufallsvariablen auf dem selben Wahrscheinlichkeitesraum (Ω, F, P ), so definieren wir: (1) die gemeinsame (kumulative) Verteilungsfunktion von X 1,..., X n durch F : R n [0, 1], F (x 1,..., x n ) = P (X 1 x 1,..., X n x n ) (2) die gemeinsame Wahrscheinlichkeitsfunktion p : R n [0, 1] von X 1,..., X n durch p(x 1,..., x n ) = P (X 1 = x 1,..., X n = x n ), falls X 1,..., X n nur endlich viele Werte annehmen. (3) die gemeinsame Wahrscheinlichkeitsdichte f, falls es eine Funktion f : R n [o, [ gibt, so dass (a) {(x 1,..., x n ) R n : f(x 1,..., x n ) c} B(R n ), c R (b) P (X 1 A 1,..., X n A n ) = A 1... A n f(x)dx, A 1,..., A n B(R n ) Bemerkung 9. Seien X 1,..., X n diskrete ZV mit gemeinsamer Wahrscheinlichkeitsfunktion p. Dann ist die Wahrscheinlichkeitsfunktion p Xi

9 von X i gegeben durch p Xi (x) = STOCHASTIK A&B 9 x 1 S 1,...,x i 1 S i 1,x i+1 S i+1,...,x n S n p(x 1,..., x n ) Sei F die gemeinsame Verteilungsfunktion der zwei diskreten Zufallsvariablen X,Y, dann erhält man die Verteilungsfunktion von X folgendermaßen: F X (x) = P ( n N{X x, Y n} = }{{} lim n Stetigkeit von Unten F (x, n) Falls Zufallsvariablen X 1,..., X n eine gemeinsame Wahrscheinlichkeitsdichte besitzen, so sind sie stetig. Zur berechnung der Randdichte von X i ersetzt man das Summenzeichen in dieser Bemerkung oben, durch Integrale. 10. Unabhängigkeit von Zufallsvariablen Definition 28. Seien X 1,..., X n reellwertige Zufallsvariablen auf demselben Wahrscheinlichkeitsraum (Ω, F, P ). X 1,..., X n heißen unabhängig, falls n n P ( {X i A i }) = P ({X i A i }), A i B(R) i=1 Satz 33. Es gilt: i=1 (1) Diskrete Zufallsvariablen X 1,..., X n sind genau dann unabhängig, wenn p(x 1,..., x n ) = p X1 (x 1 ) p Xn (x n ), x 1,..., x n R (2) Stetige Zufallsvariablen X 1,..., X n sind genau dann unabhängig, wenn f(x 1,..., x n ) = f X1 (x 1 ) f Xn (x n ), für fast alle. x 1,..., x n R Summen von unabhängigen Zufallsvariablen. Satz 34. Seien X,Y stetige Zufallsvariablen mit Wahrscheinlichkeitsdichten f X, f Y. Dann ist X+Y eine stetige Zufallsvariable mit Wahrscheinlichkeitsdichte f X+Y (z) = f X (z y)f Y (y)dy, y R Satz 35. Seien X,Y unabhängige Poisson-verteilte Zufallsvariablen mit Parametern µ und λ. Dann ist X+Y Poisson-verteilt mit Parameter µ + λ. Satz 36. Seien X,Y unabhängige normalverteilte Zufallsvariablen mit Parametern µ 1, σ 2 1 bzw. µ 2, σ 2 2, dann ist X+Y Normal (µ 1 +µ 2, σ 2 1 +σ 2 2)- verteilt.

10 10 PHILIP HERRMANN Erwartungswert und Varianz von Summen. Satz 37. Seien X 1,..., X n reelwertige Zufallsvariablen auf demselben Wahrscheinlichkeitsraum. (1) Falls X 1,..., X n diskret sind, mit gemeinsamer Wahrscheinlichkeitsfunktion p, so gilt für jedes g : R n R E[g(X 1,..., X n )] = g(x 1,..., x n )p(x 1,..., x n ) (x 1,...,x n) S 1... S n, falls g 0, g 0 oder diese Summe absolut konvergiert. (2) Falls X 1,..., X n stetig sind, mit gemeinsamer Wahrscheinlichkeitsdichte f, so gilt für jede meßbare Funktion g : R n R E[g(X 1,..., X n )] =... g(x 1,..., x n )p(x 1,..., x n )dx 1... dx n R, falls g 0, g 0 oder g f <. Bemerkung 10. Dies liefert E[ n i=1 X i] = n i=1 E[X i]. R Satz 38. Seien X,Y unabhängige Zufallsvariablen, g, h : R R meßbare Funktionen mit der Eigenschaft E[ g(x)h(y ) ] <, E[ g(x) ] < und E[ h(y ) ] <. Dann gilt: E[g(X)h(Y )] < E[g(X)]E[h(Y )] Definition 29. Seien X,Y Zufallsvariablen auf demselben Wahrscheinlichkeitsraum, E[X 2 ], E[Y 2 ] < Die Kovarianz von X und Y ist definiert durch Cov(X, Y ) = E[(X E[X])(Y E[Y ])] Satz 39. Es gelten die folgenden Rechenregel: (1) Cov(X, X) = V ar(x) (2) Cov(X, Y ) = E[XY ] E[X]E[Y ] (3) Sind X und Y unabhängig, so gilt: Cov(X, Y ) = 0. Satz 40. Seien X 1,..., X n, Y 1,..., Y m Zufallsvariablen auf demselben Wahrscheinlichkeitsraum mit E[Xi 2 ], E[Yi 2 ] < i, dann gilt: (1) Cov( n i=1 X i, m j=1 Y i) = n m i=1 j=1 Cov(X i, Y j ) (2) V ar( n i=1 X i) = n i=1 V ar(x i) + 2 i<j Cov(X i, Y j (3) Sind X 1,..., X n unabhängig, so gilt: V ar( n i=1 X i) = n i=1 V ar(x i) Satz 41. (Schwaches Gesetz der großen Zahlen) Seien X 1,..., X n unabhängige, identisch verteilte Zufallsvariablen auf demselben Wahrscheinlichkeitsraum mit endlichem Erwartungswert µ und endlicher Varianz σ 2. Sei S n = n i=1 X i. Dann gilt ε > 0: lim P ( S n µ ε) = 0 n n

11 STOCHASTIK A&B Bedingte Verteilungen Definition 30. Seien X und Y diskrete Zufallsvariablen. Die bedingte Wahrscheinlichkeitsfunktion p X Y von X, gegeben Y = y ist definiert durch: p X Y (x, y) = P (X = x Y = y) y : P (Y = y) > 0. Für y : P (Y = y) > 0 nennen wir E[X Y = y] = x S X xp X Y (x, y) die bedingte Erwartung von X gegeben Y = y. Bemerkung 11. E[X Y ] ist eine Zufallsvariable, die von Y (ω) abhängt. Für unabhängige X,Y gilt jedoch E[X Y ] = E[X], falls E[ X ] <. Satz 42. Für diskrete Zufallsvariablen X,Y gilt: E[X] = E[E[X Y ]], falls E[X] <. Satz 43. Sei g : R R eine Funktion und X eine diskrete Zufallsvariable, so dass E[ g(x) ] <, dann gilt: E[g(X) X] = g(x). Definition 31. Eine Folge von Zufallsvariablen (X i ) i heißt unabhängig, wenn jede endliche Teilfamilie X n1,..., X nk, 1 n 1 <... < n k unabhängig ist. Satz 44. Seien (X i ) i unabhängige Zufallsvariablen mit derselben Verteilung und mit endlichem Erwartungswert µ. Sei N eine Zufallsvariable mit Werten in N, unabhängig von (X i ), dann gilt: E[ N i=1 X i] = E[N]µ. Hier sollte 21 Mehr zu bedingten Verteilungen aus der Vorlesung vom angefügt werden 12. Erzeugende Funktionen Definition 32. Sei X eine diskrete Zufallsvariable mit Werten in N 0. Die erzeugende Funktion von X ist definiert durch G(s) = E[s X ], für alle s R, für die dieser Erwartungswert wohldefiniert ist. Bemerkung 12. Es ist dann G(s) = P (X = n)s n n=0 Wegen N P (X = n) = 1 konvergiert diese Reihe für s 1. Die erzeugende Funktion bestimmt die Wahrscheinlichkeitsfunktion von X aufgrund der Eindeutigkeit der Potenzreihenentwicklung eindeutig: P (X = i) = G(i) (0) i! Satz 45. Sei G die erzeugende Funktion von X. Es gilt (1) G(0) = P (X = 0) und G(1) = 1. (2) E[X] = lim x 1 G (x) (3) E[X(X 1) (X k + 1)] = lim x 1 G (k) (x)

12 12 PHILIP HERRMANN Bemerkung 13. Auf diese Weise lässt sich die Varianz (oft leichter als direkt aus der Verteilung) berechnen: V ar(x) = E[X 2 ] E[X] 2 = E[X(X 1)] + E[X] E[X] 2 = G (2) (1 ) + G (1 ) (G (1 )) 2 wobei G(1 ) := lim x 1 G(x) gesetzt wird. Satz 46. Sind X und Y unabhängig, so gilt G X+Y (s) = G X (S)G Y (s) für s Ein starkes Gesetz der großen Zahlen Hier ist die Vorlesung vom einzufügen! Satz 47. Sei (X i ) i eine Folge von unabhängigen Zufallsvariablen mit derselben Verteilung. Es sei E[Xi 4 ] < und E[X i ] =: µ. Dann gilt: 1 n P ( lim X i = µ) = 1 n n i=1 Bemerkung 14. Schwaches und starkes Gesetz großer Zahlen unterscheiden sich durch den verwendeten Konvergenzbegriff. Das schwache Gesetz großer Zahlen verwendet stochastische Konvergenz, das starke Gesetz großer Zahlen die fast-sichere Konvergenz. Fast-sichere implizierte stochastische Konvergenz, die Umkehrung gilt nicht. Das schwache Gesetz sagt, dass für große n der das Mittel der Summe nahe beim Erwartungswert liegt, aber nicht, dass die Folge auch nur für ein einziges ω Ω konvergiert. Satz 48. (Zentraler Grenzwertsatz) Seien X i, i 1 unabhängige identisch verteilte Zufallsvariablen mit endlicher Varianz σ 2 > 0. Dann gilt: S n := X X n und S n := S n E[S n ] V ar(sn ) P (a S n b) = Φ(b) Φ(a) wobei Φ die Verteilungsfunktion der Standard-Normalverteilung ist. 14. Statistik Wahrscheinlichkeitstheorie Wahrscheinlichkeitsmaß bekannt. Ergebnis des Zufallsexperiments ist unbekannt. Berechnen oder abschätzen von Wahrscheinlichkeiten von Ereignissen. Statistik Wahrscheinlichkeitsmaß unbekannt. Ergebnis des Zufallsexperimens ist bekannt. Testen von Hypothesen für die unbekannte Verteilung und schätzen von Parametern.

13 STOCHASTIK A&B 13 Definition 33. Sei Ω ein Ergebnisraum und P := {P θ : θ Θ} eine Familie von Verteilungen auf Ω mit Parameter θ. Dann heißt (Ω, P) statistisches Modell. Ist Θ R k, so spricht man von einem parametrischen Modell. Wir betrachten im folgenden nur statistische Standardmodelle, dh entweder sind alle P θ diskret, mit einer Wahrscheinlichkeitsfunktion p(x, θ) oder alle P θ besitzen eine Wahrscheinlichkeitsdichte f(x, θ). Definition 34. Sei X : Ω R n ein Zufallsvektor. Hat ein Experiment das Ergebnis ω, so heißt X (ω) Beobachtungen oder Daten. Eine Funktion der Daten heißt Statistik. Definition 35. Sei (Ω, P := {P θ : θ Θ}) ein statistisches Modell mit der Eigenschaft P θ1 P θ2, θ 1 θ 2, dann heißt die Parametrisierung identifizierbar. Jede Abbildung ˆθ : Ω Θ heißt Schätzer für θ. Bemerkung 15. Da die Daten und damit auch jede Statistik zufällig sind, können Schätzer und Test zu falschen Entscheidungen führen. 15. Test von Hypothesen - Das Neyman-Pearson Lemma Definition 36. Sei (Ω, P) ein statistisches Modell. Eine Hypothese H ist eine Teilmenge von P. Falls H = {P } für genau ein P P, so heißt die Hypothese einfach, sonst zusammengesetzt. Beim Testen von Hypothesen wollen wir zwischen zwei Alternativen unterscheiden. Die Null-Hypothese H 0 P und die Alternative H 1 P, wobei H 0 H 1 =. Definition 37. Ein statistischer Test für die Hypothesen H 0, H 1 ist gegeben durch einen Ablehnungsbereich R Ω. Das Komplement Ω R heißt Annahmebereich. In Abhängigkeit vom beobachteten Wert ω treffen wir eine Entscheidung: ω R Wir lehnen die Null-Hypothese ab. ω Ω \ R Wir nehmen die Null-Hypothese an. Definition 38. Falls H 0 oder H 1 die zugrundeliegende Verteilung beschreibt, so gibt es zwei Arten von Fehlern: H 0 angenommen H 1 angenommen H 0 gilt Korrekte Entscheidung Fehler 1. Art H 1 gilt Fehler 2. Art Korrekte Entscheidung Bemerkung 16. Ein Ziel beim Design von Tests ist es, das Risiko für einen Fehler 1.Art (P 0 (R) P 0 H 0 )bzw einen Fehler 2.Art (P 1 (Ω R) P 1 H 1 ) möglichst klein zu halten. Diese beiden Forderungen widersprechen einander. Definition 39. Für einen Test mit Ablehnungsbereich R ist das Signifikanzniveau definiert durch α := sup P0 H 0 P 0 (R). Für ein festes

14 14 PHILIP HERRMANN P 1 H 1 ist die Macht des Test für die Alternative P 1 definiert durch (1 β) := P 1 (R). β bescheibt das Risiko eines Fehlers 2.Art. Definition 40. Der Likelihood-Quotient von P 1 gegen P 0 ist definiert durch R(ω) = P 1({ω}) P 0 ({ω}). Bemerkung 17. Gegeben ein festes Signifikanzniveau α, das wir bereit sind zu akzeptieren und für ein festes P 1 H 1 wollen wir die Macht von P 1 unter alles Tests mit Signifikanzniveau α α maximieren Design von optimalen Tests für einfache Hypothesen. Satz 49. (Neyman-Pearson-Lemma) In einem Standardmodell (Ω, {P 0, P 1 }) mit einfacher Hypothese und Alternative gilt für jedes Niveau 0 < α < 1: (1) Ein bester Test Ψ zum Niveau α hat notwendiger Weise die Gestalt Ψ(x) = { 1 falls R(x) < c 0 falls R(x) > c für eine geeignetes c = c(α) 0, wobei R(x) den Likelihoodquotienten bezeichnet. Jeder solche Test heißt Neyman-Pearson- Test. (2) Es gibt einen Neyman-Pearson-Test ϕ mit E 0 [ϕ] = α, der also der Niveau voll ausschöpft. (3) Jeder Neyman-Pearson-Test ϕ mit E 0 [ϕ] = α ist ein bester Test zum Niveau α. 16. Schätzer Gegeben ein statistisches Modell (Ω, P := {P θ : θ Θ}) wollen wir den Parameter θ oder eine Funktion q : Θ R schätzen. Wir werden Schätzer für θ bzw q häufig mit ˆθ, bzw ˆq bezeichnen. Definition 41. Sei (Ω, P := {P θ : θ Θ}) ein statistisches Modell. Ein Schätzer ˆθ für θ heißt erwartungstreu, falls θ Θ: E θ [ˆθ] = θ Um eine Aussage über die Qualität eines gegeben Schätzers ˆq zu bekommen, betrachtet man häufig den Definition 42. (Mittlerer quadratischer Fehler) R(θ, q) := E Pθ [(ˆq q(θ)) 2 ] Bemerkung 18. Es ergibt sich dadruch die folgende Darstellung des mittleren quadratischen Fehlers: E Pθ [(ˆq q(θ)) 2 ] = V ar Pθ (ˆq) + b(θ, ˆq) 2 Ist ˆq erwartungstreu, so ist b(θ, ˆq) = 0. b(θ, ˆq) wird Bais des Schätzers ˆq genannt. V ar Pθ (ˆq) mißt, wie die Verteilung von ˆq um ihren Erwartungswert streut und wird oft Präzision von ˆq genannt.

15 STOCHASTIK A&B 15 Definition 43. L(θ, x) := p θ (x) heißt Likelihood-Funktion und gibt an, wie die Wahrscheinlichkeit ist, x unter der Verteilung P θ zu beobachten. ˆθ(x) = argmax p }{{} θ (x) heißt Maximum-Likelihood-Schätzer. θ Θ Satz 50. Sei L(θ, x) = ln(l(θ, x)). Sei Θ R offen und sei θ L(θ, x) für jedes x Ω differenzierbar. Falls der Maximum-Likelihood- Schätzer ˆθ(x) existiert, so erfüllt er die Likelihood-Gleichung L(θ, x) = 0 θ 17. Markovketten Definition 44. Eine Folge von Zufallsvariablen auf demselben Wahrscheinlichkeitsraum heißt stochastischer Prozeß (in diskreter Zeit). Definition 45. Ein stochastischer Prozeß heißt Markovkette (in diskreter Zeit), falls (1) eine abzählbare Menge S existiert, so dass alle X n nur Werte in S annehmen. S heißt Zustandsraum. (2) ( n > 1) ( i 0,..., i n+1 SmitP (X 0 = i 0,..., X n = i n ) > 0) gilt P (X n+1 X 0 = i 0,..., X n = i n ) = P (X n+1 X n = i n ). (Markoveigenschaft) Definition 46. Eine Markovkette (X n ) n heißt homogen in der Zeit, falls eine Matrix (p(i, j)) i,j S existiert, so dass P (X n+1 = j X n = i) = p(i, j) für alle n 0 i, j S mit P (X n = i) > 0 gilt. In diesem Fall heißt p(i, j) die Übergangswahrscheinlichkeit von Zustand i nach Zustand j. Satz 51. Es sei (X n ) n ein stochastischer Prozeß mit folgenden Eigenschaften: (1) Es existiert ein abzählbarer Zustandsraum S. (2) Es existiert eine Matrix (p(i, j)) i,j S existiert, so dass P (X n+1 = j X n = i) = p(i, j) für alle n 0 i, j S mit P (X n = i) > 0 gilt. Dann ist (X n ) n bereits eine Markovkette. Satz 52. p(i, j) i, j S sind genau dann die Übergangswahrscheinlichkeiten einer Markovketten, wenn (1) p(i, j) 0 i, j S und (2) j S p(i, j) = 1 i S. Definition 47. Ist (X n ) n eine Markovkette, so heißt der Zeilenvektor P ((X 0 = i)) i S die Startverteilung der Markovkette.

16 16 PHILIP HERRMANN Satz 53. Sei (X n ) n eine Markovkette mit Zustandsraum S, Startverteilung µ (0) und Übergangsmartix p. Dann ist µ (n) = (µ (n) (i) = P (X n = i)) i S, die Verteilung der Markovkette zur Zeit n, gegeben durch µ (n) = µ (0) p n Bemerkung 19. Die Startverteilung und die Übergangswahrscheinlichkeiten bestimmen die Verteilung der Markovkette bereits eindeutig. Im folgenden schreiben wir für die Verteilung einer Markovkette mit Startverteilung µ meistens P µ. Satz 54. Für n 1, i 0,... i n S gilt: P µ (X m = i m 0 m n) = µ(i 0 ) n 1 m=0 p(i m, i m+1 ) Lemma 4. Für m, n N, i, j, k S mit P (X m = j X 0 = i) > 0, dann gilt: P (X m+n = j X m = k, X 0 = i) = P (X n = j X 0 = k). Satz 55. (Chapman-Kolmogorov-Gleichung) Für eine Markovkette (X n ) n gilt für alle m, n 1, i, j S: P (X m+n = j X 0 = i) = k S P (X m = k X 0 = i)p (X n = j X 0 = k) Definition 48. Seien i, j S. Man sagt i kommuniziert mit j, falls ein n N existiert mit P (X n = j X 0 = i) > 0 und schreibt dann i j. Falls i j und j i, so kommunizieren i und j miteinander und man schreibt j i. Definition 49. Eine Markovkette heißt irreduzibel, falls für alle i, j S gilt i j. Anderenfalls heißt die Markovkette reduzibel. Bemerkung 20. Eine Markovkette ist genau dann irreduzibel, wenn ( i, j S)( n N) : p (n) (i, j) > 0. Definition 50. Die Periode d(i) eines Zustands i S ist definiert durch: d(i) := ggt {n N : p (n) (i, i) > 0} Ist d(i) = 1, so heißt der Zustand i aperiodisch. Eine Markovkette heißt aperiodisch, wenn alle Zustände aperiodisch sind und periodisch sonst. Satz 56. Sei (X n ) n eine aperiodische Markovkette mit endlichem Zustandsraum S. Dann existiert ein N N, so dass für alle n N und alle i S gilt: p (n) (i, i) > 0. Lemma 5. Sei (X n ) n eine irreduzible aperiodische Markovkette mit endlichem Zustandsraum S. Dann existiert ein N N, so dass für alle i, j S und n N gilt p (n) (i, j) > 0.

17 STOCHASTIK A&B 17 Definition 51. Ein Wahrscheinlichkeitsmaß π auf S heißt stationäre Verteilung für eine Markovkette mit Übergangsmatrix p, falls π(i)p(i, j) = π(j) j S. i S Bemerkung 21. π ist eine stationäre Verteilung (1) πp = π, wobei π als Zeilenvektor ausgefasst wird. (2) π(i) 0 i S (3) i π(i) = 1 Ist π eine stationäre Verteilung, so gilt P π (X n = i) = π(i). Definition 52. Für einen Zustand i S heißt T i := min{n N : X n = i} die Treffzeit von i. Falls X n i n N, so setzen wir T i =. Falls die Markovkette in i startet, so heißt T i die erste Rückkehrzeit. Der Erwartungswert E[T i ] heißt mittlere Treff-/Rückkehrzeit Lemma 6. Sei (X n ) n eine aperiodische und irreduzible Markovkette mit endlichem Zustandsraum S. Dann gilt für alle i, j S: P i (T j < ) = 1. Darüber hinaus gilt E i [T j ] <. Bemerkung 22. Für eine nicht-negative Zufallsvariable T gilt: E[T ] < P (T < ) = 1. Die Umkehrung ist aber i.a. falsch. Satz 57. (Existenz der stationären Verteilung) Für jede irreduzible und aperiodische Markovkette mit endlichem Zustandsraum existiert eine stationäre Verteilung. Definition 53. Sind µ und ν Wahrscheinlichkeitsmaße auf S, so ist der Abstand von µ und ν in Totalvariation definiert durch d T V := 1 µ(s) ν(s) 2 s S Bemerkung 23. d T V ist eine Metrik auf dem Raum der Wahrscheinlichkeitsmaße auf S. Definition 54. Seien (ν n ) n, ν eine (Folge von) Wahrscheinlichkeitsmaßen auf S, so konvergiert ν n gegen ν in Totalvariation, falls lim d T V (ν n, ν) = 0 n Satz 58. (Eindeutigkeit der stationären Verteilung) Jede aperiodische und irreduzible Markovkette mit endlichem Zustandsraum besitzt genau eine stationäre Verteilung. Satz 59. (Konvergenzsatz für Markovketten) Sei (X n ) n eine aperiodische und irreduzible Markovkette mit endlichem Zustandsraum. Dann gilt für die stationäre Verteilung π von (X n ) n und für jede Startverteilung µ: lim n d T V (µ (n), π) = 0

18 18 PHILIP HERRMANN Definition 55. Eine Übergangsmatrix p heißt doppelt stochastisch, falls i S p(i, j) = 1 j S, dh falls die Zeilen und Spalten jeweils zu 1 summieren. Satz 60. Die Übergangsmatrix einer Markovkette mit endlichem Zustandsraum ist genau dann doppelt stochastisch, wenn die Gleichverteilung auf S eine stationäre Verteilung der Markovkette ist. Definition 56. Ein Wahrscheinlichkeitsmaß auf S heißt reversibel für die Übergangsmatrix p (oder für die Markovkette mit Übergangsmatrix p), falls π(i)p(i, j) = π(j)p(j, i) i, j S. Bemerkung 24. Interpretiert man den stationären Zustand einer Markovkette als globales Gleichgewicht, so ist eine Markovkette in reversiblem Zustand sogar lokal im Gleichgewicht. Satz 61. Jedes reversible Wahrscheinlichkeitsmaß ist stationär. Vorlesung vom Simulation von Markovketten Monte-Carlo-Simulation. Vorlesung von 18. und Der Poisson-Prozeß In diesem Abschnitt werden die Aussagen über die Exponentialverteilung aus der Stochastik A in besonderem Maße benötigt. Satz 62. Seien X 1,..., X n unabhängige, exponential (λ i )-verteilte Zufallsvariablen, dann gilt: (1) S n := X X n ist gamma(n,λ)-verteilt, dh. S n hat die Wahrscheinlichkeitsdichte f(t) = λn (n 1)! tn 1 e λt 1 [0, [ falls alle λ i gleich sind. (2) [min 1 i n T i ist eine exponential ( λ i )-verteilte Zufallsvariable. (3) P (T j = min 1 i n T i ) = λ j P λi Bemerkung 25. (Motivation zur Definition des Poisson-Prozesses) Wir möchten z.b. folgende Phänomene simulieren: Zeiten zu denen ein Anruf in einer Telefonzelle eingeht Zeiten zu denen eine Stadt von einem Erdbeben heimgesucht wird... Erwünschte Eigenschaften dabei sind: Stationarität in der Zeit: im Verlauf der Zeit sollten sich die propabilistischen Eigenschaften des Prozeßes nicht ändern.

19 STOCHASTIK A&B 19 Unabhängigkeit gewisser Ereignisse Der Prozeß soll kein Gedächtnis haben. In jedem endlichen Zeitintervall sollten nur endlich viele Ereignisse eintreten. Definition 57. Sei λ > 0 und seien X i, i 1 unabhängige exponential(λ)- verteilte Zufallsvariablen. Wir setzen S 0 := 0 und S n = n i=1 X i. S n heißt n-te Ankunftszeit, X i heißt i-te Wartezeit. Definition 58. Wir definieren N(0) := 0 und N(t) := max{n N 0 : S n t}, 0 < t R. Dann heißt (N(t)) t R Poisson-Prozeß mit Intensität λ. Man beachte, dass ein Poisson-Prozeß ein stochastischer Prozeß in kontinuierlicher Zeit ist. Bemerkung 26. Sei t > 0 fest. Falls N(t) = k, so ist (1) die letze Ankunftszeit vor Zeit t zur Zeit S k passiert. (2) die erste Ankunftszeit nach Zeit t zur Zeit S k+1 passiert. Also ist die letzte Ankunftszeit vor Zeit t gerade S N(T ). Falls keine Ankunft vor Zeit t stattfindet, so ist S N(t) = S 0 = 0. Die erste Ankunft zur Zeit t ist zur Zeit S N(t)+1. V t := S N(t)+1 t ist die Wartezeit bis zur nächsten Ankunft nach Zeit t. Satz 63. Für alle t > 0 ist N(t) Poisson (λt)-verteilt, dh. P (N(t) = n) = e λt (λt) n n!, n N 0. Bemerkung 27. Aus dem Satz folgt, dass P (N(t) < ) = 1 t 0. Damit ist die Anzahl der Ankunftszeiten in jedem Zeitintervall ]s, s+t], nämlich N(s + t) N(s) endlich. Satz 64. Sei t > 0 und seien V t := S N(t)+1 t und Z i := X N(t)+i für i = 1, 2,.... Dann sind die Zufallsvariablen V t, N(t), Z 1,..., Z m unabhängig für alle m. Ferner sind V t, Z 1,..., Z m alle exponential (λ)- verteilt. Bemerkung 28. Intuitiv würde man denken, dass V t kleiner ist als eine exponential (λ)-verteilte Zufallsvariable. Dies ist aber nicht der Fall. Satz 65. Für alle t > 0 ist N(s + t) N(t) Poisson (λs)-verteilt. Ferner sind N(s + t) N(t) und N(t) unabhängig. Bemerkung 29. Damit ist gezeigt, dass die Zuwächse stationär sind: ( s > 0) hat N(s + t) N(t) dieselbe Verteilung, nämlich die Poisson (λs)-verteilung. Satz 66. (Ein starkes Gesetz der großen Zahlen) Sei (N(t)) t 0 ein Poisson-Prozeß mit Intensität λ. Dann gilt P ( lim t N(t) t = λ) = 1

20 20 PHILIP HERRMANN 20. Martingale Dieses Kapitel ist stark zusammengefasst. Definition 59. Sei X eine diskrete Zufallsvariable auf einem Wahrscheinlichkeitsraum (Ω, F, P ) mit Werten in einer abzählbaren Teilmenge S R. Für A F mit P (A) > 0 definieren wir: E[X A] = i S falls die rechte Seite wohldefiniert ist. ip (X = i A) Definition 60. Sei (M n ) n 0 ein stochastischer Prozeß mit Werten in einer abzählbaren Menge S. Der Prozeß (M n ) n heißt Martingal, wenn gilt: (1) E[ M n ] < (2) E[M n+1 M 0 = m 0,..., M n = m n ] = m n, m 0,..., m n S mit P (M 0 = m 0..., M n = m n ) > 0 Bemerkung 30. Man kann die zweite Bedingung auch so schreiben: E[M n+1 M n M 0 = m 0,..., M n = m n ] = 0, m 0,..., m n S mit P (M 0 = m 0..., M n = m n ) > 0. Gilt statt der Gleichheit nur bzw., so heißt (M n ) n Supermartingal bzw. Submartingal. Satz 67. Sei (X n ) n eine Markovkette mit Übergangsmatrix p. Sei h : S N 0 R eine Funktion mit den folgenden Eigenschaften: (1) h(i, n) = j S p(i, j)h(j, n + 1), i S, n N 0 (2) E[ h(x n, n) ] < n N 0 Dann ist (M n := h(x n, n)) n ein Martingal. Satz 68. Ist (M n ) n ein Super- bzw. Submartingal, so ist n E[M n ] monoton fallend bzw. wachsend. Definition 61. Eine Zufallsvariable T mit Werten in N 0 { } heißt Stoppzeit bzgl. (ξ n ) n, falls {T = n} meßbar bezüglich der von den ξ i erzeugten σ-algebren ist, für alle i N. Satz 69. (Optional Stopping Theorem) Sei (M n ) n ein Martingal bgzl. (ξ n ) n und sei T eine Stoppzeit bzgl. (ξ n ) n mit P (T < ) = 1. Falls es eine Konstante c gibt, so dass M T n c für alle n, so gilt E[M T ] = E[M 0 ] Literatur [1] Krengel, U., Einfürhung in die Wahrscheinlichkeitstheorie, Vieweg [2] Georgii, H.O., Stochastik, de Gruyter [3] Ross, S., A First Course in Probability, Prentice Hall