Kapitel 5: Markovketten

Transkript

1 Kapitel 5: Markovketten

2 Definition 5.1 Bezeichnungen Bsp. 5.1 Definition 5.2 Eine Fam. (X i ) i I von ZV en X i : Ω E auf (Ω, F, P) mit Werten im messb. Raum (E, E) heißt Stochastischer Prozess. E Zustandsraum f : E R messbar Observable X n := n i=1 ξ i, n N, mit ξ i unabh. id. vert. reelle ZV en. E = R. X n ˆ= Sitzanordung der Studierenden im Hörsaal in der n-ten Sitzung. E ˆ= Menge aller möglichen Sitzanordungen. Sei I geordnete Menge und (X i ) i I stoch. Prozess mit abzählbaren Zustandsraum (E, E = 2 E ), s.d. für alle i 1 < i 2 < < i N i N+1 und A i E, e E P(X in+1 A N+1 X i1 A 1,...,, X in 1 A N 1, X in = e) so heißt (X i ) i I Markov-Prozess. = P(X in+1 A N+1 X in = e) Bemerkung (X i ) i I Markov : X in+1 ( künftiger Zustand ) hängt nur von X in ( Aktueller Zustand ) ab, nicht von der weiteren Vergangenheit.

3 Definition 5.3 Lemma 5.1 Markov-Lemma ) Bew: Bemerkung Vereinbarung Sei (Ω, F, P) und A, B, C F. Dann heißen A, B bedingt unabhängig gegeben C, falls P(A B C) = P(A C) P(B C). Die folgenden Aussagen sind äquivalent für A, B, C F 1) A, B bedingt unabhängig gegeben C 2) P(A B C) = P(A C) 3) P(A C B) = P(A C)P(C B) Übung. Markov Eigenschaft Zukunft und Vergangenheit bedingt unabh. gegeb. Gegenwart. Im folgenden ist stets (falls nicht anders bezeichnet) E abzählbar mit E = 2 E. I = N 0 (X k ) k N0 Markov-Kette.

4 Definition 5.4 Sei (X k ) k N0 eine Markov-Kette auf E. P (m,n) = P(X m = j X n = i), i, j E, m n 0, heißt (m, n)-übergangskern von (X k ). (X k ) heißt (zeitlich) homogen, falls P (m,n) = P (m+k,n+k) alle k N 0. λ := Vert(X 0 ) heißt Startverteilung von (X k ) k Satz 5.1 Eine Markov-Kette (X k ) k N0 ist homogen P (m,n) = (P m n ) ij (Matrixprodukt) mit P = P 1,0 (1-Schritt Übergangskern). Bew: Bemerkung klar. Beweis von durch Induktion nach t = m n. Falls t = 1 klar. Für t + 1: P (m,n) = P (m n,0) = P (t+1,0) = P(X t+1 = j X 0 = i) = o E P(X t+1 = j, X 1 = o X 0 = i) Markov-Lemma = o E P(X t+1 = j X 1 = o)p(x 1 = o X i ) = (P t P) ij. P =: (p ij ) i, E stochastische Matrix, d.h. p ij 0 und p ij = 1 i E. für

5 Endlich-Dimensionale Verteilungen Definition 5.5 Satz 5.2 Sei (X i ) i I ein stoch. Prozess mit Werten in E, dann heißt die Familie die W-Maße (P i1,...,i N ) i1 i 2, i N I P i1,...,i N (A 1,..., A N ) := P(X i1 A 1,..., X in A N ), A i E die endlich-dimensionalen Verteilungen von (X i ) i I. Die endlich dimensionalen Verteilungen einer homog. Markovkette (X k ) k N0 sind durch λ (Startverteilung) und P (Übergangskern) eindeutig bestimmt. Bew: P(X n = e n,..., X 0 = e 0 ) = P(X n = e n X n 1 = e n 1,..., X 0 = e 0 )P(X n 1 = e n 1,..., X 0 = e 0 ) = P en 1,e n P(X n 1 = e n 1,..., X 0 = e 0 ) = = n i=1 P e n,e n 1 P(X 1 = e 1, X 0 = e 0 ) = n i=1 P e n,e n 1 P(X 1 = e 1 X 0 = e 0 )P(X 0 = e 0 ) = n i=0 P e n,e n 1 λ(e 0 ). eind. bestimmt durch P und λ. Wegen P(X n A n,..., X 0 A 0 ) = (e n,...,e 0) A n...a 0 P(X n = e n,..., X 0 = e 0 ) folgt hieraus dann der allgemeine Fall.

6 Realisierung auf dem kanonischen Pfadraum Definition 5.6 Ω := E N0 = {ω = (ω i, i N 0 ) ω i E} heißt kanonischer Pfadraum, X i : Ω E, X i (ω) := ω i Koordinatenabbildung. Satz 5.3 Bew: Zu λ W-Maß auf E und P = (P ) i, E stochastische Matrix ex. genau ein Maß auf (Ω, 2 Ω ), s.d. (X k ) k 0 mit X k : Ω E, k-te Koordinatenabbildung eine Markov-Kette auf E definiert mit Übergangskern P und Startverteilung λ. Def. Inhalt P 0 (Z) auf Zylindermengen der Form Z = A 1... A N E E... durch P 0 (Z) = (e 0,...,e N ) A 1...A N λ(e 0 ) N 1 i=0 P e i,e i+1 P 0 is Prämaß auf Z = {Z Z Zylindermenge} P 0 eindeutig fortsetzbar als Maß auf σ(z) = 2 Ω. Bemerkung (X k ) k N0 mit X k : Ω = E N0 E heißt Koordinatenprozess. Satz 5.4 Zu λ und P gibt es eine im Sinne der endl. dimensionalen Verteilungen eindeutige homog. Markov-Kette (X k ) k N0 auf E mit Übergangsmatrix P und Startverteilung λ.

7 Ausblick: Messbarer Zustandsraum (E, E) Definition 5.7 Sei I eine geordnete Menge und (X i ) i I ein stochastischer Prozess mit Werten im messbaren Raum (E, E). Dann heißt (X i ) i Markov sch, falls f : E R messbar beschränkt, i j I, E[f (X i ) σ(x k, k j)] = E[f (X i ) σ(x j )]. Bemerkung Äquivalent zu Def. 5.2, falls E abzählbar (wähle f = 1 j ). Definition 5.8 Bemerkung Satz 5.5 Eine Familie (P x ) x E von W-Maßen auf (E, E), s.d. x P x (A) messbar für A E, heißt Markov-Kern auf (E, E). Interpretation P x (A) = P(X 1 A X 0 = x). Zu einem Markovkern (P x ) x E und einer W-Maß λ auf E ex. eine (im Sinne der endl. dim. Verteilungen) eind. Markov-Kette (X k ) k N0, so dass X 0 λ und für f : E R messbar E[f (X k+1 ) σ(x 1,..., X k )] = E f (z)p X k (dz) für alle k N 0.

8 Trefferzeiten und -wahrscheinlichkeiten Definition 5.9 Bsp. 5.2 (Ruinproblem) Sei (X k ) k 0 ein stoch. Prozess auf E und A E, dann heißt T A := inf{k 0 X k A} Trefferzeit von A. Für i E heißt h A i := E(T A < X 0 = i) Trefferwahrscheinlichkeit. (X k ) k Irrfahrt auf N 0 mit P ij = p falls j = i + 1, bzw. P ij = q falls j = i 1, p + q = 1 und i 1, sowie P 00 = 1, anonsten P ij = 0. Mit A = {0} T {0} ˆ= Ruinzeit. Satz 5.6 E i hi A [0, 1] ist die minimale nichtnegative Lösung von { hi A = 1 für i A = p ij kj A für i A c. h A i Bemerkung (h A i ) i E minimale nichtnegative Lösung : g i h A i für alle i E, falls g. 0 ebenfalls Lösung.

9 Lemma 5.2 Für (X k ) k eine Markov-Kette auf E und f : E N0 R messbar gilt E[f (X n, X n+1,... ) X 0 A 0,..., X n 1 A n 1, X n = i] = E[f (X n, X n+1,... ) X n = i). Bew: Bew: (von Satz 5.6) Für f = 1 Z mit Z = {e 1 }... {e N } E E Z ergibt sich Beh. durch Nachrechnen. Für allg. f durch Approximation. Für i A ist P(T A = 0 X 0 = i) = 1, also h A i = 1. Für i A c ist P(T A 1 X 0 = i) = 1 hi A = P(T A < X 0 = i) = P( n 1 : X n A X 0 = i) = P( n 1 : X n A, X 1 = j X 0 = i) = P( n 1 : X n A X 1 = j, X 0 = i)p(x 1 = j X 0 = 0) Lemma 5.2 = P( n 1 : X n A X 1 = j)p(x 1 = j X 0 = 0) (X k ) homog. = P( n 0 : X n A X 0 = j)p ij = hj A p ij.

10 Bew: (Satz 5.6, Forts.) Minimalität von h A i : Sei g i 0, i E weitere Lösung. Für i A ist 1 = h A i 1 = g i. Für i A c g i = g j p ij = p ij 1 + p ij g j j A j A c = p ij + p ij p jk g k j A j A c k E = p ij + p ij p jk + p ij p jk g k j A j A c k A j A c k A c = P(T A = 1 X 0 = i) + P(T A = 2 X 0 = i) + p ij j A c k A c p jk g k = P(T A = 1 X 0 = i) + P(T A = 2 X 0 = i) + + P(T A = N X 0 = i) + p ij1 p j1,j 2... p jn 1 j N g jn j 1 A c j 2 A c j N A c g 0 P(T A N X 0 = i) N N. Mit N und monton. Konvergenz g i P(T A < X 0 = i) = h A i.

11 Anwendung Ruinwahrscheinlichkeit Bsp. 5.2 (Forts.) h i = P(T {0} < X 0 = i), i N 0 ist die minimale nichtnegative Lösung von h 0 = 1 und h i = ph i+1 + qh i 1 für i N. Falls p q: h i = A + B( q p )i für i N 0. Falls p < q folgt aus h i [0, 1], dass B = 0 und wegen A = h 0 = 1, dass h i = 1, d.h. Ruin fast sicher in endlicher Zeit. Falls p > q, folgt wegen h 0 = 1 dass A + B = 1, d.h. h i = ( q p )i + A(1 ( q p )i ), und wegen h 0, dass A 0. Minimale Lösung gegeben durch h i = ( q p )i. D.h. Ruinwahrscheinlichkeit echt kleiner eins, eponentiell fallend mit dem Anfangskapital i. Falls p = q: h i = A + Bi, wobei wegen 0 h 1 gelten muss, dass B = 0 und A = 1 h i = 1 i.

12 Mittlere Trefferzeit Definition 5.10 Für A E heißt k A i := E(T A X 0 = i) mittlere Trefferzeit. Satz 5.7 ki A, i E ist die minimale nichtneg. Lösung von { ki A = 0 für i A = 1 + p ij kj A für i A c. k A i