Stochastische Prozesse

Transkript

1 Stochastische Prozesse Die Mitarbeiter von Dezember 2016

2

3 Inhaltsverzeichnis Inhaltsverzeichnis 3 Vorwort 5 I. Markov-Ketten mit diskretem Zeitparameter 7 1. Elementare Eigenschaften von Markov-Ketten Klassifikation von Zuständen, Rekurrenz und Transienz Stationäre Verteilungen Konvergenz gegen die stationäre Verteilung Markov-Ketten und Martingale Die starke Markov-Eigenschaft II. Markov-Ketten in stetiger Zeit Ein wichtiger Spezialfall: der Poisson-Prozess Der allgemeine Fall im Schnelldurchgang III. Die Brownsche Bewegung Definition und erste Eigenschaften Existenz Pfadeigenschaften Die Brownsche Bewegung als Markov-Prozess Die starke Markov-Eigenschaft mit Anwendungen Das Invarianzprinzip von Donsker Satz um Satz (hüpft der Has) 77 Stichwortverzeichnis 77 3

4

5 Vorwort Über dieses Skriptum Dies ist ein Mitschrieb der Vorlesung Stochastische Prozesse von Prof. Dr. Bäuerle im Sommersemester 08 an der Universität Karlsruhe (TH). Die Mitschriebe der Vorlesung werden mit ausdrücklicher Genehmigung von Prof Dr. Bäuerle hier veröffentlicht, Prof. Dr. Bäuerle ist für den Inhalt nicht verantwortlich. Wer Gestartet wurde das Projekt von Joachim Breitner. Weiter haben Felix Wellen und Michael Walter beim Mitschreiben geholfen. Wo Alle Kapitel inklusive L A TEX-Quellen können unter abgerufen werden. Dort ist ein von Joachim Breitner programmiertes Wiki, basierend auf http: //latexki.nomeata.de installiert. Das heißt, jeder kann Fehler nachbessern und sich an der Entwicklung beteiligen. Auf Wunsch ist auch ein Zugang über Subversion möglich. 5

6

7 I. Markov-Ketten mit diskretem Zeitparameter 1. Elementare Eigenschaften von Markov-Ketten Gegeben sei eine Folge von Zufallsvariablen (X n ) auf dem Wahrscheinlichkeitsraum (Ω, F, P ) mit X n : Ω S wobei S nicht leer, und endlich oder abzählbar unendlich ist. Definition Eine S S-Matrix P = (p ij ) heißt stochastische Matrix, falls p ij 0 ist und für alle i S die Zeilensumme j S p ij = 1 ist. Definition Sei P eine stochastische Matrix. Eine (endliche oder unendliche) Folge X 0, X 1, X 2,... von S- wertigen Zufallsvariablen heißt (homogene 1 ) Markov-Kette mit Übergangsmatrix P, falls für alle n N 2 und für alle Zustände i k S mit gilt P (X 0 = i 0,..., X n = i n ) > 0 P (X n+1 = i n+1 X 0 = i 0,..., X n = i n ) = P (X n+1 = i n+1 X n = i n ) := p ini n+1. Die p ij heißen Übergangswahrscheinlichkeiten und die Startverteilung ν der Kette ist definiert durch ν(i) := P (X 0 = i) für i S. Bemerkung: Jede Folge von unabhängigen Zufallsvariablen ist eine Markov-Kette. Satz 1.1 (Eigenschaften von Markov-Ketten) (X n ) ist genau dann eine Markov-Kette mit Übergangsmatrix P, falls gilt: n 1 P (X k = i k, 0 k n) = P (X 0 = i 0 ) k=0 p ik i k+1 n N 0 i k S genau dann wenn gilt: P (X k = i k, 1 k n X 0 = i 0 ) = n 1 k=0 p ik i k+1 n N 0 i k S mit P (X 0 = i 0 ) > 0 1 kurz für zeit-homogen. Die Übergangswahrscheinlichkeiten hängen nicht vom aktuellen Zeitpunkt ab. 2 Hier ist N = 1, 2,... 7

8 I. Markov-Ketten mit diskretem Zeitparameter genau dann wenn gilt: m+n 1 P (X k = i k, m k m + n) = P (X m = i m ) k=m p ik i k+1 m, n N 0 i k S Zur ersten Äquivalenz. Sei A k := [X k = i k ], k N 0. = Induktion über n: n = 0, n n + 1 : P (A 0 A 1... A n A n+1 ) = P (A 0... A n ) P (A n+1 A 0... A n ) = P (A 0... A n ) p inin+1 (Markov-Eigenschaft) n = P (X 0 = i 0 ) (I.V.) k=0 p ik i k+1 = P (A n+1 A 0... A n ) = P (A 0... A n A n+1 ) P (A 0... A n ) = p ini n+1 (Vor.) Die weiteren Äquivalenzen sind ähnlich zu beweisen. Konstruktion einer Markov-Kette. Seien (Y n ) Zufallsvariablen, unabhängig und identisch verteilt (u.i.v.), in Z. Weiter ist g : S Z S eine messbare Abbildung. Definiere die Folge (X n ) mit X 0 = c S, X n = g(x n 1, Y n ). Die so konstruierte Folge (X n ) ist eine Markov-Kette mit Werten in S und Übergangsmatrix P = (p ij ) mit p ij = P (g(i, Y n ) = j). Die Variablen X 0,..., X n hängen nur von X 0, Y 1,..., Y n ab, sind also unabhängig von Y n+1. P (X n+1 = i n+1 X k = i k, 0 k n) = P (X k = i k, 0 k n + 1) P (X k = i k, 0 k n) = P (X k = i k, 0 k n, g(i n, Y n+1 ) = i n+1 ) P (X k = i k, 0 k n) = P (X k = i k, 0 k n) P (g(i n, Y n+1 ) = i n+1 ) P (X k = i k, 0 k n) = P (g(i n, Y n+1 ) = i n+1 ) = P (g(i n, Y n+1 ) = i n+1 ) P (X n = i n ) P (X n = i n ) = P (g(i n, Y n+1 ) = i n+1, X n = i n ) P (X n = i n ) = P (g(i n, Y n+1 ) = i n+1 X n = i n ) = P (X n+1 = i n+1 X n = i n ) 8

9 1. Elementare Eigenschaften von Markov-Ketten Bemerkung: Umgekehrt kann zu jeder stochastischen Matrix P eine Markov-Kette (X n ) konstruiert werden mit X n = g(x n 1, Y n ), wobei (Y n ) u.i.v. und o.b.d.a. Y n U[0, 1]. Beispiel 1.1 (Lagerhaltung) Sei Y n die Nachfrage nach einem gelagerten Produkt im Zeitintervall (n 1, n]. (Y n ) sei u.i.v. und Y n N 0. Die Auffüll-Politik sei eine (z, Z)-Politik mit z Z, z, Z N, die wie folgt funktioniert: Falls der Lagerbestand zur Zeit n z ist, dann fülle auf Z auf, sonst tue nichts. Sei X n der Lagerbestand zum Zeitpunkt n, S = N 0. Es gilt { (Z Y n ) +, X n 1 z X n = (X n 1 Y n ) +, X n 1 > z Also ist (X n ) eine Markov-Kette mit Übergangsmatrix P = (p ij ) und p ij = { P ((Z Y n ) + = j), P ((i Y n ) + = j), i z i > z Beispiel 1.2 (Ruinspiel) Zwei Spieler mit Startkapital B N Euro spielen in Runden um jeweils einen Euro, etwa mit einem Münzwurf. Spieler I gewinnt dabei mit Wahrscheinlichkeit p. Sei Y n = 1, falls Spieler I die n-te Runde gewinnt, und Y n = 1, falls er die n-runde verliert. Wir nehmen an, dass Y n u.i.v. ist. Wir interessieren uns für das Kapital X n von Spieler I nach der n-ten Runde. Damit ist der Zustandsraum S = {0, 1,..., 2B}. Es gilt X 0 = B und 2B, X n 1 = 2B X n = X n 1 + Y n, 0 < X n 1 < 2B 0, X n 1 = 0. Es folgt aus der Konstruktion direkt dass (X n ) eine Markov-Kette ist mit Übergangsmatrix P = (p ij ), und p 00 = p 2B,2B = 1 sowie p ij = { p, j = i p, j = i 1 für 0 < i < 2B. 1 p p i 1 i i + 1 2B Beispiel 1.3 (Wartesystem) Zu jedem Zeitpunkt n = 0, 1,... können maximal m Kunden bedient werden. Y n sei die Anzahl der zufällig im Zeitintervall (n 1, n] eintreffenden Kunden und sei u.i.v. Sei X n die Anzahl der zur Zeit n wartenden Kunden, S = N 0. Es gilt X 0 = c und X n = (X n 1 m) + + Y n. Also ist (X n ) eine Markov-Kette mit Übergangsmatrix P = (p ij ) und p ij = P (Y n = j (i m) + ), i, j N 0. 9

10 I. Markov-Ketten mit diskretem Zeitparameter Definition Sei P eine stochastische S S-Matrix. Dann heißen die Elemente p (n) ij von P n die n-schritt- Übergangswahrscheinlichkeiten zu P. Wir definieren P 0 = E, also p (0) ij = δ ij. Satz 1.2 Sei (X n ) eine Markov-Kette mit Übergangsmatrix P. Dann gilt: a) P (X n+m = j X m = i) = p (n) ij für alle i, j S, m, n N 0 mit P (X m = i) > 0. b) P (X n = j) = i S P (X 0 = i)p (n) ij, j S, n N. a) b) P (X n+m = i n+m, X m = i m ) = i m+1,...,i n+m 1 S = P (X m = i m )p (n) i mi m+n P (X n = j) = i S P (X n = j, X 0 = i) m+n 1 P (X m = i m ) k=m p ik i k+1 = i S P (X n = j X 0 = i) P (X 0 = i) = i S P (X 0 = i)p (n) ij Bemerkung: i) Wegen P n+m = P n P m gilt: p (n+m) ij = k S p (n) ik p(m) kj für i, j S Dies ist die Chapman-Kolmogorov-Gleichung. ii) Ist X 0 ν, so gilt X n ν P n. Satz 1.3 (Existenzsatz für Markov-Ketten) Sei ν ein Wahrscheinlichkeitsmaß auf S und P eine stochastische S S-Matrix. Sei X n die n-te Projektion auf Ω := S N 0, also X n : Ω S, n N 0 mit X n (ω) = X n ((i 0, i 1,...)) = i n. Dann existiert ein Wahrscheinlichkeitsmaß P auf F = n=0 P(S), sodass (X n) eine Markov- Kette mit Übergangsmatrix P und Startverteilung ν ist, d.h: P (X 0 = i 0 ) = ν(i 0 ), i 0 S P (X n+1 = j X n = i) = p ij, i, j S, P (X n = i) > 0. 10

11 2. Klassifikation von Zuständen, Rekurrenz und Transienz Satz von Ionescu-Tulcea über die Fortsetzung von Maßen und die Existenz zufälliger Folgen. 2. Klassifikation von Zuständen, Rekurrenz und Transienz In diesem Paragraphen widmen wir uns Fragestellungen wie diesen: Welche Zustände in S werden von der Markov-Kette mit Sicherheit besucht und welche nicht? Wenn sie besucht werden, wie oft? Definition Sei (X n ) eine Markov-Kette mit Übergangsmatrix P = (p ij ). a) i S führt nach j S (kurz i j), falls es ein n N gibt mit p (n) ij > 0. b) i S kommuniziert mit j S (kurz i j) falls sowohl i j als auch j i gilt. Bemerkung: Für i, j S sei i j definiert als (i j) (i = j). Diese Relation ist eine Äquivalenzrelation auf S, da sie reflexiv, symmetrisch und transitiv ist. Dies liefert uns eine Partition von S mit den Äquivalenzklassen K(i) := {j S i j}. Die Äquivalenzklasse K(i) enthält i selbst und die mit i kommunizierenden Zustände. Definition Sei (X n ) eine Markov-Kette mit Übergangsmatrix P = (p ij ). a) J S heißt abgeschlossen, wenn es keine zwei Zustände j J und i S \ J gibt mit j i. b) Die Markov-Kette (X n ) beziehungsweise die Übergangsmatrix P heißen irreduzibel, falls S nur aus einer Klasse besteht, also für alle i, j S, i j, gilt i j. Beispiel 2.1 Skizze, hier ausgelassen Beispiel 2.2 (Ruinspiel) 1 p p i 1 i i + 1 2B K(0) K(i) K(2B) Lemma 2.1 J S ist genau dann abgeschlossen, wenn (p ij, i, j J) stochastisch ist. = : Klar. = : Es gilt: (p ij, i, j J) stochastisch (p (n) ij, i, j J) stochastisch für alle n N. 11

12 I. Markov-Ketten mit diskretem Zeitparameter Sei (X n ) eine Markov-Kette mit Übergangsmatrix P = (p ij ). Es sei T i := inf{n N X n = i} die (zufällige) Ersteintrittszeit der Markov-Kette in den Zustand i. Wir setzen dabei inf :=. Weiter sei für i, j S, n N: Offenbar ist f (1) ij f ij := n=0 f (n) ij := P (T j = n X 0 = i) = P i (T j = n) = P (X n = j, X ν j für 1 ν < n X 0 = i) f (0) ij := 0 = p ij. Weiter definieren wir f (n) ij = P i (T j = n) = P i (T j < ) = P i ( n N : X n = j) [0, 1] n=0 Definition Ein Zustand i S heißt rekurrent, falls fii = 1 und transient sonst. Lemma 2.2 Für alle n N, i, j S gilt: p (n) ij = n k=1 f (k) ij p(n k) jj (Methode des ersten Besuches) Unter Verwendung der Formel P (AB C) = P (B C) P (A BC) für Ereignisse A, B, C zeigen wir: p (n) ij = P i (X n = j) = = = n P (X n = j, X µ j, 1 µ < k, X k = j X 0 = i) k=1 n P i (X µ j, 1 µ < k, X k = j) k=1 n k=1 P (X n = j X 0 = i, X µ j, 1 µ < k, X k = j) }{{} =P (X n=j X k =j) f (k) ij p(n k) jj Satz 2.3 i S ist rekurrent genau dann, wenn gilt: n=0 p (n) ii = 12

13 Für s (0, 1) erhalten wir aus Lemma 2.2: n=0 2. Klassifikation von Zuständen, Rekurrenz und Transienz p (n) ii s n = 1 + Abkürzend schreiben wir F (s) := = 1 + = 1 + = 1 + k=1 f (k) ii n=1 n=1 k=1 k=1 p (n) ii s n = s n n k=1 f (k) ii s k f (k) ii s k f (k) ii p (n k) ii n=k n=0 p (n k) ii s n k p (n) ii s n s k und P (s) = P (s) = 1 + F (s) P (s). Nun sei s 1 (monotone Konvergenz!), und wir erhalten P (1) = 1 + f ii P (1). n=0 p(n) ii s n, also gilt Es folgt: Ist fii = 1, so gilt P (1) = 1 + P (1), also ist P (1) = n=0 p(n) ii =. Ist ansonsten fii 1 < 1, so gilt P (1) = 1 fii <. Bemerkung: Die im Satz 2.3 auftretende Reihe kann wie folgt interpretiert werden: n=0 p (n) ii = E i [1 [Xn=i]] = E i ( n=0 n=0 1 [Xn=i]) Sie bezeichnet also die erwartete Anzahl der Besuche des Zustandes i S. Satz 2.4 (Solidaritätsprinzip) Ist ein Zustand i S rekurrent (bzw. transient), so ist jeder Zustand in K(i) rekurrent (bzw. transient). Sei i rekurrent und j K(i), j i, das heißt es gibt n, m N, sodass p (m) ij Abschätzung k=0 p (k) jj k=0 p (m+n+k) jj k=0 p (n) ji p(k) ii p (m) ij = p (m) ij p (n) ji k=0 p (k) ii p (n) ji > 0. Mit der und Satz 2.3 ist k=0 p(k) jj = und j rekurrent. Bemerkung: Ist i S rekurrent (bzw. transient), so sagen wir K(i) ist rekurrent (bzw. transient). Ist (X n ) irreduzibel und ein i S ist rekurrent (bzw. transient), so sagen wir (X n ) ist rekurrent (bzw. transient). 13

14 I. Markov-Ketten mit diskretem Zeitparameter Beispiel 2.3 (Irrfahrt auf den ganzen Zahlen, Random Walk ) Es sei X n = n k=1 Y k = X n 1 + Y n und X 0 = 0, wobei (Y n ) u.i.v. mit ist (S = Z). P (Y n = 1) = p = 1 P (Y n = 1) = 1 q, p (0, 1) q p i 1 i i + 1 (X n ) ist nach Konstruktion eine irreduzible Markov-Kette. Ist (X n ) rekurrent oder transient? Wir wenden Satz 2.3 an und untersuchen o.b.d.a. i = 0. Es gilt für alle n N 0 : p (2n+1) 00 = 0 p (2n) 00 = p n q n ( 2n n ) = p n q n (2n)! (n!) 2 Mit der Stirling-Formel (n! ( n e )n 2πn) erhält man dann p (2n) 00 (pq) n ( 2n e )2n 4πn ( n e )2n 2πn = (4pq)n πn. Fall 1 Ist p = q = 1 2, so ist p(2n) 00 1 πn, also ist n=0 p(2n) 00 = und die Markov-Kette ist rekurrent. Fall 2 Ist dagegen p q, also pq < 1 4, so ist Markov-Kette transient. n=0 p(2n) 00 c n=0 (4pq)n <, also ist die Bemerkung: Betrachtet man die symmetrische Irrfahrt auf Z d, also p ij = 1 2d für i j = 1, mit der l 1 -Norm und i, j Z d, so ist die Irrfahrt rekurrent für d = 1, 2 und transient sonst. Lemma 2.5 Liegen i und j in der selben rekurrenten Klasse, so gilt f ij = f ji = 1. Lemma 2.6 Für alle i, j S gilt: Wenn j transient ist, dann gilt Insbesondere ist n=0 p (n) ij < lim n p(n) ij = 0. 14

15 Summiere die Gleichung in Lemma 2.2 über alle n: n=0 2. Klassifikation von Zuständen, Rekurrenz und Transienz p (n) ij = δ ij + = δ ij + n n=1 k=1 k=1 = δ ij + f ij f (k) ij f (k) ij p(n k) jj n=k n=0 p (n k) jj p (n) jj }{{} < da j transient < Satz 2.7 Ist eine Klasse K S rekurrent, so ist K abgeschlossen bzw. (p ij, i, j K) ist stochastisch. Wir zeigen: Ist i K rekurrent und i j, i j, dann gilt j i und damit j K. Angenommen, j i gelte nicht, also p (n) ji mit p (N) ij > 0. Es gilt nun für alle n N = 0 für alle n N, und sei N N die kleinste Zahl P i (X N = j, X n = i) = 0. Denn für n > N gilt: P i (X N = j, X n = i) = p (N) ij p (n N) ji = 0 und für n < N gilt: P i (X N = j, X n = i) = p (n) ii p (N n) ij = 0, da N n < N. Also ist P i (T i m, X N = j) = m n=1 P i(t i = n, X N = j) m n=1 P i(x n = i, X N = j) = 0 und damit m f (n) ii = P i (T i m) Für m folgt dann was ein Widerspruch ist. n=1 1 = f ii = = P i (T i m, X N j) P i (X N j) = 1 P i (X N = j) = 1 p (N) ij. n=1 f (n) ii 1 p (N) ij < 1, Satz 2.8 Ist die Klasse K endlich und abgeschlossen, so ist K rekurrent. 15

16 I. Markov-Ketten mit diskretem Zeitparameter Da (p ij, i, j K) stochastisch ist, folgt induktiv, dass (p (n) ij, i, j K) stochastisch für alle n N ist. Angenommen, K wäre transient. Sei dann j K, dann ist nach Lemma 2.6 p (n) ij 0 für n und alle i S. Für i K folgt also: 1 = j K p(n) ij 0 für n. Widerspruch. Bemerkung: Insbesondere gilt: Ist S endlich und P irreduzibel, so ist die Markov-Kette rekurrent. Beispiel 2.4 (Irrfahrt mit reflektierenden Grenzen) Die Irrfahrt ist irreduzibel und rekurrent nach Satz 2.8. Absorbtionswahrscheinlichkeiten Sei (X n ) n N eine Markov-Kette mit Zustandsraum S und Übergangsmatrix P = (p ij ). Aufgrund der bisherigen Ergebnisse können wir S zerlegen in rekurrente Klassen K 1, K 2,... und eine Menge von transienten Zuständen T, also S = T K 1 K Es sei τ := inf{n 0 X n / T } die Austrittszeit aus der Menge der transienten Zustände. Für i T, k T c interessiert uns u ik = P i (X τ = k), vorausgesetzt P i (τ < ) = 1. Wir unterteilen P = (p ij ) in P = ( ) Q R 0 P wobei Q die Einschränkung von P auf die transienten Zustände ist, also Q = (q ij ) = (p ij, i, j T ). Satz 2.9 Für i T, j T c gilt: u ij = k T q ik u kj + p ij. 16

17 3. Stationäre Verteilungen Sei i T, j T c. u ij = P i (X τ = j) = k S P i (X τ = j, X 1 = k) = P i (X τ = j, X 1 = k) + P i (X τ = j, X 1 = k) k T k T }{{}} c {{} =:A =p ij A = P i (τ = n, X n = j, X 1 = k) k T n 2 = P i (X 2 T,..., X n 1 T, X n = j, X 1 = k) k T n 2 = P i (X 2 T,..., X n 1 T, X n = j X 1 = k) P i (X 1 = k) k T n 2 = p ik P k (X 1 T,..., X n 2 T, X n 1 = j) k T n 2 = p ik P k (τ = n 1, X τ = j) k T n 2 = k T p ik P k (X τ = j) = k T p ik u kj Da für i, k T gilt: p ik = q ik, folgt die Behauptung. Bemerkung: Es sei U = (u ij ) i T,j T c. Dann lässt sich Satz 2.9 schrieben als U = QU + R bzw. U QU = R, also (I Q)U = R. Falls I Q invertierbar ist, ist U = (I Q) 1 R 3. Stationäre Verteilungen Sei (X n ) eine Markov-Kette mit Übergangsmatrix P und Startverteilung ν. Dann ist X n ν P n. Im Allgemeinen hängt diese Verteilung von n ab. Es gibt aber spezielle Verteilungen ν, sodass die mit dieser Verteilung gestartete Kette zu jedem Zeitpunkt n die selbe Verteilung ν besitzt. Man sagt dann, die Kette ist im Gleichgewicht bzw. stationär. Definition Eine Abbildung ν : S R 0 heißt Maß. NB: Ein Maß ν definiert ein Maß P(S) R 0, A a A ν(a) im gewöhnlichen Sinne. Falls ν(a) = 1, so definiert es sogar eine Verteilung. a S Definition Sei (X n ) eine Markov-Kette mit Übergangsmatrix P = (p ij ). Ein Maß ν heißt invariant für P, falls ν P = ν, d.h. falls gilt: ν(i) p ij = ν(j). i S 17

18 I. Markov-Ketten mit diskretem Zeitparameter Ist ν eine Verteilung und invariant, so nennt man ν auch stationäre Verteilung oder Gleichgewichtsverteilung. Bemerkung: a) Ist S endlich, so kann jedes (nichtdegenerierte) invariante Maß zu einer stationären Verteilung normiert werden. b) Ist ν invariant, so gilt ν P n = ν (n N 0 ). Ist ν eine stationäre Verteilung, so gilt P ν (X n = j) = i S ν(i) p (n) ij = ν(j), d.h. die mit ν gestartete Kette hat zu jedem Zeitpunkt die Verteilung ν. c) Ist P irreduzibel und ν 0 ein invariantes Maß, so ist ν(j) > 0 für jedes j S. Denn: ν 0, also existiert i 0 S mit ν(i 0 ) > 0. Wegen der Irreduzibilität gibt es ferner für jedes j S ein n N 0 mit p (n) i 0 j > 0. Zusammen: ν(j) = i S ν(i) p (n) ij ν(i 0 )p (n) i 0 j > 0 Gibt es immer ein invariantes Maß bzw. eine stationäre Verteilung? Ist es eindeutig? Im Folgenden sei P irreduzibel. Wir definieren für ein beliebiges k S das Maß γ k wie folgt: T k γ k (i) := E k [ n=1 1 [Xn=i]] Satz 3.1 Sei (X n ) irreduzibel und rekurrent, k S. Dann gilt: a) γ k ist ein invariantes Maß b) 0 < γ k < c) γ k ist das einzige invariante Maß mit γ k (k) = 1 (d.h. γ k ist eindeutig bis auf Vielfache). a) Zunächst gilt: T k γ k (i) = E k [ 1 [Xn=i]] = E k [ 1 [Xn=i,n Tk ]] = = Für j k erhält man n=1 n=1 j S,j k P k (X n = i, X n 1 = j, n T k ) n=1 P k (X n = i, X n 1 = j, n T k ) P k (X n = i, n T k ) n=1 =P (X n = i, X n 1 = j, X n 2 k,..., X 1 k, X 0 = k)/p (X 0 = k) =P (X n = i X n 1 = j, X n 2 k,..., X 1 k, X 0 = k) P k (X n 1 = j, X n 2 k,..., X 1 k) =p ji P k (X n 1 = j, n T k ) 18

19 3. Stationäre Verteilungen Die so erhaltene Identität gilt auch für j = k und es folgt γ k (i) = = P k (X n = i, X n 1 = j, n T k ) n=1 j S p ji P k (X n 1 = j, n T k ) n=1 j S p ji n=0 = j S = T k 1 p ji E k [ j S P k (X n = j, n + 1 T k ) n=0 T k = p ji E k [ j S 1 [Xn=j]] n=1 1 [Xn=j]] = j S γ k (j)p ji b) Nach Bemerkung c) oben gilt γ k > 0, denn γ k (k) = 1. Wegen γ k = γ k P n folgt 1 = γ k (k) γ k (j) p (n) jk für jedes j S. Es gibt allerdings mindestens ein p (n) jk irreduzibel; daran erkennt man γ k <. c) Sei λ ein weiteres, invariantes Maß mit λ(k) = 1. Es gilt also: λ(j) = λ(i) p ij + 1 p kj i S\{k} = i S\{k} = i,l S\{k} = i,l S\{k} l S\{k} Iterativ erhalten wir für n N: λ(j) = i 0,i 1,...,i n S\{k} r=1 λ(l) p li p ij + λ(l) p li + p ki p ij + p kj i S\{k} p ki p ij + p kj > 0, denn die Markov-Kette ist λ(l) p li p ij + P k (X 2 = j, T k 2) + P k (X 1 = j, T k 1) λ(i n ) n r=1 n+1 p irir 1 p i0 j + P k (X r = j, T k r) r=1 n+1 min(n+1,t k ) P k (X r = j, T k r) = E k [ r=1 1 [Xr=j]] n γ k (j). Es ist also λ γ k ebenfalls ein invariantes Maß mit (λ γ k )(k) = 0; nach Bemerkung c) folgt λ γ k = 0, d.h. λ = γ k. Bemerkung: a) Ist S endlich und P irreduzibel, so folgt aus Satz 3.1, dass eine stationäre Verteilung existiert. 19

20 I. Markov-Ketten mit diskretem Zeitparameter b) Ist (X n ) irreduzibel und transient, so kann keine stationäre Verteilung existieren, denn: Angenommen es existiert eine stationäre Verteilung π. Dann ist π(j) = i S π(i)p (n) ij. Für n wird daraus (mit majorisierter Konvergenz und der bekannten Eigenschaft transienter Übergangswahrscheinlichkeiten): Definition Für i S sei m i := E i [T i ] = = π(j) = π(i) lim n p(n) ij i S = i S π(i) 0 = 0 n P i (T i = n) + (1 fii) n=1 n=1 die mittlere Rückkehrzeit des Zustands i. n f (n) ii Bemerkung: Ist j transient, so folgt m j =. + (1 f ii) Definition Ein Zustand i S heißt positiv rekurrent, falls m i < und nullrekurrent, falls i rekurrent und m i = ist. Bemerkung: Jeder positiv rekurrente Zustand ist auch rekurrent. Satz 3.2 Sei (X n ) eine irreduzible Markov-Kette. Die folgenden Aussagen sind äquivalent: i) Es existiert eine stationäre Verteilung. ii) Es gibt einen positiv rekurrenten Zustand i S. iii) Alle Zustände in S sind positiv rekurrent. Sind diese Bedingungen erfüllt, so ist die stationäre Verteilung eindeutig und durch gegeben. π(i) = 1 m i 20

21 3. Stationäre Verteilungen (iii) = (ii) (ii) = (i) Sei k S mit m k <, dann ist (X n ) rekurrent und mit Satz 3.1 ist γ k ein invariantes Maß. Dann gilt: also ist γ k normierbar. j S γ k (j) = j S T k E k [ T k n=1 = E k [ n=1 j S T k = E k [ 1] n=1 1 [Xn=j]] 1 [Xn=j]] = E k [T k ] = m k < (i) = (iii) Sei π eine stationäre Verteilung und k S. Insbesondere sind π(j) > 0 für alle j S. Dann ist γ := π π(k) ein invariantes Maß mit γ(k) = 1. Nach Satz 3.1 c) folgt γ = γ k. Beachte dass im von 3.1 c) die Voraussetzung (X n ) rekurrent nicht verwendet wurde. Wie oben ist m k = j S γ k (j) = 1 π(k) j S Da k S beliebig ist, folgt die Behauptung (iii). π(j) = 1 π(k) <. Außerdem ist gezeigt, dass π(k) = 1 m k. Bemerkung: i) Es gilt also die folgende Trichotomie für irreduzible Markov-Ketten, das heißt eine irreduzible Markov-Kette gehört immer zu genau einem der folgenden Fälle: Die Markov-Kette ist transient, es gibt keine stationäre Verteilung. Die Markov-Kette ist nullrekurrent, insbesondere gilt für alle i, j S: P i (T j < ) = 1 und E i [T j ] = und es gibt ein (bis auf Vielfache) eindeutiges invariantes Maß, aber keine stationäre Verteilung. Die Markov-Kette ist positiv rekurrent, für alle i, j S ist E i [T j ] < und es gibt eine stationäre Verteilung. ii) Ist S endlich und die Markov-Kette irreduzibel, so ist sie automatisch positiv rekurrent. iii) Ist π eine stationäre Verteilung, so gilt: γ k (i) π(i) = j S γ k(j) = E k[ Tk n=1 1 [X n=i]]. E k [T k ] π(i) ist also der durchschnittliche Bruchteil der Zeit, den die Markov-Kette im Zustand i verbringt, während sie einen Zyklus durchläuft. 21

22 I. Markov-Ketten mit diskretem Zeitparameter Beispiel 3.1 Sei S = {1, 2}. Die Übergangsmatrix P sei gegeben durch ( ) 1 α α P =, α, β (0, 1]. β 1 β Also ist die Markov-Kette irreduzibel und positiv rekurrent. Die stationäre Verteilung ist die Lösung des linearen Gleichungssystems πp = π unter Berücksichtigung von π 0 und π(1) + π(2) = 1, also π(1) = β α + β, π(2) = α α + β. Beispiel 3.2 (Irrfahrt) Siehe Beispiel 2.3: Für p q ist die Markov-Kette transient. Existiert ein invariantes Maß? Ansatz: γ(j) = i Z γ(i)p ij = γ(j + 1) q + γ(j 1) p = γ(j + 1) γ(j) = p (γ(j) γ(j 1)) q Also: γ 1 (j) = 1 und γ 2 (j) = ( p q )j, j Z, sind verschiedene invariante Maße. Ist p = q = 1 2, so ist die Markov-Kette rekurrent. Ist sie nullrekurrent oder positiv rekurrent? Es gibt keine stationäre Verteilung (siehe oben), die Markov-Kette ist also nullrekurrent. Beispiel 3.3 (Geburts- und Todesprozess in diskreter Zeit) Es sei (X n ) eine Markov-Kette mit S = N 0 und Übergangsmatrix p 00 p 01 0 p 10 p 11 p P = 0 p 21 p 22 p p 32 p mit p 01 > 0, p i,i+1 > 0, p i,i 1 > 0 für alle i 1, also ist (X n ) irreduzibel. Wann ist (X n ) positiv rekurrent? Der Ansatz πp = π liefert: π(0) = p 00 π(0) + p 10 π(1) π(i) = p i 1,i π(i 1) + p ii π(i) + p i+1,i π(i + 1) p i,i 1 π(i) + p i,i+1 π(i) = p i 1,i π(i 1) + p i+1,i π(i + 1) p i+1,i π(i + 1) p i,i+1 π(i) = p i,i 1 π(i) p i 1,i π(i 1) =... = p 10 π(1) p 01 π(0) 22

23 4. Konvergenz gegen die stationäre Verteilung Aus der ersten Gleichung folgt p 01 π(0) = p 10 π(1) und damit: p i+1,i π(i + 1) p i,i+1 π(i) = 0 = π(i + 1) = p i,i+1 p i+1,i π(i) =... = π(0) i k=0 p k,k+1 p k+1,k. Für π(0) > 0 erhält man ein invariantes Maß. (X n ) ist positiv rekurrent, falls i i=1 k=0 p k,k+1 p k+1,k <. Im Spezialfall p k,k+1 = p, p k,k 1 = q = 1 p, k 1 und p 01 = p, p 00 = 1 p gilt (X n ) ist positiv rekurrent i=1 ( ) p i+1 < p < q. q 4. Konvergenz gegen die stationäre Verteilung Sei (X n ) eine Markov-Kette mit Übergangsmatrix P. Wir nehmen an, dass (X n ) bzw. P aperiodisch ist, das heißt: Für alle Zustände i S gilt: d i := ggt{n N p (n) ii > 0} = 1 Lemma 4.1 P ist genau dann irreduzibel und aperiodisch, wenn für alle i, j S eine Zahl n 0 N existiert, sodass für alle n n 0 gilt: p (n) ij > 0. (ohne ) Satz 4.2 (Konvergenzsatz) Es sei (X n ) irreduzibel, aperiodisch und positiv rekurrent mit stationärer Verteilung π. Dann gilt für alle i, j S: lim n p(n) ij = π(j) = 1 m j Wir benutzen ein sogenanntes Kopplungsargument. (1) Sei (Y n ) eine weitere Markov-Kette, unabhängig von (X n ) mit gleicher Übergangsmatrix und Startverteilung π, also Y n π für alle n N. Es sei T := inf{n N X n = Y n } 23

24 I. Markov-Ketten mit diskretem Zeitparameter die Treffzeit der Markov-Ketten. Wir zeigen zunächst: P (T < ) = 1. Offenbar ist (X n, Y n ) n N0 eine Markov-Kette auf S 2 mit Übergangsmatrix ˆP = (ˆp (ij)(kl) ), wobei ˆp (ij)(kl) = p ik p jl. Weiter ist ˆp (n) (ij)(kl) = p(n) ik p(n) jl und mit Lemma 4.1: Die Kette (X n, Y n ) ist irreduzibel und aperiodisch. Man kann nachrechnen: ˆπ(i, j) := π(i) π(j) ist eine stationäre Verteilung für (X n, Y n ), also ist sie nach Satz 3.2 positiv rekurrent. Sei X 0 = i und die Startverteilung ˆν von (X n, Y n ) gegeben durch ˆν(k, l) = δ i (k) π(l). Für b S sei T (b,b) := inf{n N (X n, Y n ) = (b, b)}. Offenbar ist T T (b,b) und Pˆν (T (b,b) < ) = 1. Daraus folgt, dass Pˆν (T < ) = 1. (2) Betrachte (Z n ) n N0 definiert durch Z n = { X n, für n T Y n, für n > T. Es ist (Z n ) eine Markov-Kette mit Übergangsmatrix P und Z 0 = i, denn: Nach Satz 1.1 genügt es zu zeigen, dass Es gilt n 1 n N, i k S : Pˆν (Z k = i k, 0 k n) = δ i (i 0 ) k=0 p ik,i k+1 mit Pˆν (Z k = i k, 0 k n) n = Pˆν (Z k = i k, 0 k n, T = r) r=0 + Pˆν (Z k = i k, 0 k n, T > n) n = Pˆν (X k = i k, 0 k r, Y k = i k, r + 1 k n, Y 0 i 0,..., Y r 1 i r 1, Y r = i r ) }{{} r=0 =:I + Pˆν (X k = i k, 0 k n, Y 0 i 0,..., Y n i n ) }{{} =:II I = Pˆν (X k = i k, 0 k r) Pˆν (Y k = i k, r + 1 k n Y 0 i 0,..., Y r 1 i r 1, Y r = i r ) Pˆν (Y 0 i 0,..., Y r 1 i r 1, Y r = i r ) = δ i (i 0 ) r 1 k=0 n 1 p ik,i k+1 k=r p ik,i k+1 Pˆν (Y 0 i 0,..., Y r 1 i r 1, Y r = i r ) n 1 = δ i (i 0 ) p ik,i k+1 Pˆν (Y 0 i 0,..., Y r 1 i r 1, Y r = i r ), k=0 n 1 II =... = δ i (i 0 ) p ik,i k+1 Pˆν (Y 0 i 0,..., Y n 1 i n 1, Y n i n ) k=0 24

25 5. Markov-Ketten und Martingale Tatsächlich gilt also n 1 Pˆν (Z k = i k, 0 k n) = δ i (i 0 ) k=0 p ik,i k+1 (3) Es gilt nun p (n) i,j = Pˆν(Z n = j) = Pˆν (Z n = j, T n) + Pˆν (Z n = j, T > n) π(j) = Pˆν (Y n = j) = Pˆν (Y n = j, T n) +Pˆν (Y n = j, T > n) }{{} =Pˆν (Z n=j,t n) p (n) i,j π(j) 2 Pˆν( T }{{ > n } ) 0 {T = } Satz 4.3 Seien i, j S Zustände sowie d j die Periode von j. Dann gilt: lim p(n d j+r) n i,j = d j m j k=0 f (k d j+r) i,j r = 1,..., d j Speziell: a) Ist j transient oder nullrekurrent (d.h. m j = ), so gilt p (n) i,j 0 b) Ist j aperiodisch (d.h. d j = 1), so gilt p (n) i,j 1 m j f i,j 5. Markov-Ketten und Martingale Erinnerung: (X n ) heißt Martingal, falls a) E X n < b) E[X n+1 X 1,..., X n ] = X n, bzw. b ) E[X n+1 F n ] = X n, wobei F n := σ(x 1,..., X n ) die natürliche Filtration bezeichnet. Erinnerung: Sei (Ω, F, P ) W-Raum, X Zufallsvariable mit E X <, G F Unter-σ- Algebra. Z := E[X G] heißt bedingter Erwartungswert von X bzgl. G, falls a) Z ist G-messbar b) A Z dp = A X dp A G Sei (X n ) eine Markov-Kette auf dem Zustandsraum S mit Übergangsmatrix P sowie F n := σ(x 1,..., X n ) die natürliche Filtration. Weiter sei h : S R und P : (S R) (S R) 25

26 I. Markov-Ketten mit diskretem Zeitparameter definiert durch (P h)(i) := j S p i,j h(j) i S NB: Ph macht Sinn im Sinne einer Matrix Vektor -Multiplikation. Lemma 5.1 Sei h : S R eine Funktion mit P h <. Dann gilt: (P h)(x n ) = E[h(X n+1 ) F n ] Wir prüfen nach, dass (P h)(x n ) ein bedingter Erwartungswert von h(x n+1 ) bzgl. F n ist. a) (P h)(x n ) ist F n -messbar, denn X n ist F n -messbar. b) Sei A := {X 0 = i 0,..., X n = i n } F n. Dann: (P h)(x n ) dp = 1 A (P h)(x n ) dp = A =(P h)(i n ) P (A) = j S p in,j h(j) P (X 0 = i 0 ) 1 {X0 =i 0,...,X n=i n}(p h)(i n ) dp n 1 k=0 = h(j) P (X 0 = i 0,..., X n = i n, X n+1 = j) = j S j S = 1 {Xn+1 =j}h(x n+1 ) dp LDC = h(x n+1 ) dp j S A A p ik,i k+1 A {X n+1 =j} h(x n+1 ) dp Da jedes A F n abzählbare Vereinigung solcher Elementarereignisse ist, folgt die Behauptung. Satz und Definition 5.2 Seien P eine Übergangsmatrix auf S und h : S R eine Funktion mit P h <. Gilt dann P h = h, so nennen wir h harmonisch. Im Fall P h h bzw. P h h heißt h sub- bzw. superharmonisch. Ist (X n ) eine Markov-Kette mit Übergangsmatrix P und h [sub-/super-]harmonisch, so ist (h(x n )) ein (F n )-[Sub-/Super-]Martingal. Nach Lemma 5.1 gilt E[h(X n+1 ) F n ] = P h(x n ) = h(x n ) + (P h h)(x n ) Behauptung. 26

27 5. Markov-Ketten und Martingale Bemerkung: Ist h : S R eine beschränkte Funktion, so wird durch n Zn h := h(x n) (E[h(X k ) F k 1 ] h(x k 1 )) k=1 n = h(x n ) (P h h)(x k 1 ) k=1 ein Martingal definiert, genannt Levi-Martingal zu (X n ). Die Markoveigenschaft lässt sich über Levi-Martingale charakterisieren: Satz 5.3 Es sei (X n ) n N0 ein stochastischer Prozess mit Werten in S und natürlicher Filtration (F n ), d.h. F n = σ(x 0,..., X n ), und P sei eine stochastische Matrix auf S. Ist dann für alle beschränkten h : S R der Prozess n Zn h := h(x n) (P h h)(x k 1 ) ein (F n )-Martingal, so ist X n eine homogene Markov-Kette mit Übergangsmatrix P. k=1 Aus E[Z h n+1 F n] = Z h n erhält man bzw. A E[h(X n+1 ) F n ] = (P h)(x n ) h(x n+1 )dp = A (P h)(x n )dp für alle A F n Es sei i 0, i 1,..., i n+1 S und A := {X 0 = i 0,..., X n = i n } und wir setzen h := 1 {in+1 }. Die linke Seite der letzten Gleichung ergibt dann h(x n+1 )dp = P (X 0 = i 0,..., X n = i n, X n+1 = i n+1 ) und die rechte Seite ergibt (P h)(x n )dp = A A = {X 0 =i 0,...,X n=i n} {X 0 =i 0,...,X n=i n} (P h)(i n )dp p ini n+1 dp = p ini n+1 P (X 0 = i 0,..., X n = i n ). Durch Teilen der rechten Wahrscheinlichkeit erhält man P (X n+1 = i n+1 X 0 = i 0,..., X n = i n ) = p ini n+1. 27

28 I. Markov-Ketten mit diskretem Zeitparameter Bemerkung: Es gilt: Ist (X n ) n N0 ein nicht-negatives Supermartingal, so gibt es eine Zufallsvariable X mit lim X n = X P f.s. n Beispiel 5.1 Jedem Feld eines schachbrettartigen N N-Gitters wird eine von L möglichen Farben zugewiesen. Diese Färbung wird mittels Zufallsexperimenten modifiziert: Eine Zelle wird gleichverteilt gewählt, daraufhin wird einer der vier Nachbarn (modulo N) zufällig gewählt und dessen Farbe dem zuerst gewählten Feld zugewiesen. Offensichtlich ist dies eine Markov-Kette und die monochromen Zustände sind die absorbierenden. Formal seien L, N N, L, N 2. I := {1,..., N} 2, S := {1,..., L} I = {f : I {1,..., L}}. Sei (X n ) die Markov-Kette in S, die die Zustandsfolge angibt. Wie verhält sich die Folge für n? Sei l {1,..., L} fest und Y n sei die Anzahl der Felder mit Farbe l (zum Beispiel: blau) im Zustand X n. Sei (A, B) ein Nachbarpaar im Gitter. Wäre dies die Wahl in einem Zustandsübergang, so gelte: Ist X n (A) = X n (B) oder X n (A) l, X n (B) l, so gilt auch Y n+1 = Y n. Ist dagegen X n (A) = l und X n (B) l, so ist Y n+1 = Y n 1. Ist letztlich X n (A) l und X n (B) = l, so ist Y n+1 = Y n + 1. Die Wahrscheinlichkeit, erst A, dann B zu wählen ist gleich der Wahrscheinlichkeit, erst B und dann A zu wählen. Damit ist E[Y n+1 X 1,..., X n ] = Y n. Sei F n := σ(x 0,..., X n ). Dann ist (Y n ) n N0 ein (F n )-Martingal. Nach der Bemerkung folgt: Y n Y für ein n P -fast-sicher. Da (Y n ) ganzzahlig ist, ist Y n (ω) konstant ab einem n n 0 (ω). Als Konstanten kommen nur 0 und N 2 in Frage, denn für k {1,..., N 2 1} gilt P (Y n+j = k Y n =... = Y n+j 1 = k) 1 1 N 2 4 = P (Y n =... = Y n+j = k) (1 1 N 2 4 )j = P (Y m = k, m n }{{} =:A n ) = 0 Es gilt {ω Ω n m n : Y m (ω) = k} = n=0 A n. Damit ist P ( lim Y n = k) = P ( n m n : Y n = k) P (A n ) = 0 n n=0 28

29 6. Die starke Markov-Eigenschaft und wir folgern, dass P (Y {0, N 2 }) = 1. Außerdem gilt noch, da Y n beschränkt ist: EY = lim n EY n = EY 0. Damit ist die Wahrscheinlichkeit, dass das Feld irgendwann komplett blau ist, gleich P (Y = N 2 ) = 1 N 2 EY = 1 N 2 EY 0 = 1 N 2 #{A I X 0(A) = l}. Anwendungen dieses Modells findet man in der Physik (Vielteilchensysteme), in der Biologie (Ausbreitung von Infektionen) oder in der Finanzmathematik (Kreditrisiken). 6. Die starke Markov-Eigenschaft Gegeben sei eine Markov-Kette (X n ) n N0 mit Zustandsraum S auf dem Wahrscheinlichkeitsraum (Ω = S N 0 0, F := n=0p(s), P ). Beachte, dass die Mengen Z(i 0, i 1,..., i n ) := {i 0 } {i 1 } {i n } S S... für n N 0, i 0,... i n S ein durchschnittsstabiles Erzeugendensystem für F bilden. Weiter sei (F n ) n N0 mit F n = σ(x 0,..., X n ) die natürliche Filtration von (X n ). τ : Ω N 0 sei eine (F n )-Stoppzeit, das heißt {τ n} F n und P (τ < ) = 1. Die gestoppte Markov-Kette X τ = (Xn) τ n N0 ist X τ n := X min(τ,n) für n N 0 und Y = (Y n ) n N0 definiert durch Y n := X τ+n heißt der Post-τ-Prozess. Satz 6.1 (Starke Markov-Eigenschaft) Mit den oben eingeführten Bezeichnungen gilt: a) Y ist eine Markov-Kette mit Übergangsmatrix P und Startverteilung ν, wobei X τ ν. b) X τ und Y sind unter X τ bedingt unabhängig. 29

30 I. Markov-Ketten mit diskretem Zeitparameter a.) Es gilt: P (Y 0 = i 0,..., Y n = i n, Y n+1 = i n+1 ) = P (τ = k, X k = i 0,..., X k+n+1 = i n+1 ) = k=0 P (X k+n+1 = i n+1 X k = i 0,..., X k+n = i n, τ = k) P (X k = i 0,..., X k+n = i n, τ = k) k=0 =p inin+1 P (X k = i 0,..., X k+n = i n, τ = k) k=0 =p ini n+1 P (Y 0 = i 0,..., Y n = i n ) = Behauptung. b.) Seien dann gilt: A := Z(i 0,..., i m ) = {i 0 } {i m } S S... B := Z(j 0,..., j n ), P (X τ A, Y B, X τ = j) = P (τ = k, X 0 k = i 0,..., X m k = i m, X k = j 0,..., X k+n = j n, X k = j) = k=0 P (X k = j 0,..., X k+n = j n X 0 k = i 0,..., X m k = i m, X k = j, τ = k) k=0 P (X 0 k = i 0,..., X m k = i m, X k = j, τ = k) =P (X 0 = j 0,..., X n = j n X 0 = j) P (X τ A, X τ = j) =P (Y B X τ = j) P (X τ A X τ = j) P (X τ = j) Teilen durch P (X τ = j) = Behauptung. 30

31 II. Markov-Ketten in stetiger Zeit 7. Ein wichtiger Spezialfall: der Poisson-Prozess Gegeben sei ein Wahrscheinlichkeitsraum (Ω, F, P ). Wir betrachten jetzt einen stochastischen Prozess N = (N t ) t 0 mit Zustandsraum N 0, d.h. (N t ) t 0 ist eine Familie von (F, P(N 0 ))- messbaren ZV, der bestimmte Ereignisse zählen soll (z.b. Emission von Partikeln beim radioaktiven Zerfall, Ankünfte von Kunden in einem Bediensystem, Schäden bei einer Versicherung). Wir nehmen an, dass mindestens ein Ereignis eintritt und die Anzahl der Ereignisse in einem kompakten Intervall soll endlich sein. Wir stellen folgende Forderungen an N: (A1) Alle Pfade t N(t, ω) liegen in D 0 := {f : [0, ) N 0 f(0) = 0, f, f stetig von rechts }. (A2) (N t ) t 0 hat unabhängige Zuwächse, d.h. für alle 0 t 0 t 1 t n, n N sind die Zufallsvariablen N t0, N t1 N t0,..., N tn N tn 1 stochastisch unabhängig. (A3) (N t ) t 0 hat stationäre Zuwächse, d.h. t > 0 hängt die Verteilung von N s+t N s nicht von s ab. (A4) Ereignisse treten einzeln auf, d.h. P (N h 2) = o(h) mit h 0. Bemerkung: Der stochastische Prozess kann als Zufallsgröße mit Werten in einem Funktionenraum aufgefasst werden, d.h. Als σ-algebra auf D 0 wählen wir N : Ω ω N(, ω) D 0 B(D 0 ) := σ({π t : t 0}), wobei π t : D 0 N 0, f f(t) die t-te Projektion ist. Es gilt: N : Ω D 0 ist (F, B(D 0 ))-messbar N t = π t N : Ω N 0 sind (F, P(N 0 ))- messbar t 0. (Stochastik II Übungsaufgabe 21) Die Mengen der Form A(t 1,..., t n, i 1,..., i n ) := {f D 0 f(t j ) f(t j 1 ) = i j für j = 1,..., n} mit 0 =: t 0 t 1 t n <, i 1,..., i n N 0 bilden ein durchschnittsstabiles Erzeugendensystem von B(D 0 ). 31

32 II. Markov-Ketten in stetiger Zeit Satz 7.1 Es sei N = (N t ) t 0 ein stochastischer Prozess, der den Bedingungen (A1)-(A4) genügt. Dann hat N mit Wahrscheinlichkeit 1 nur Sprünge der Höhe 1 und es existiert ein λ > 0, so dass: a) s, t 0 ist N s+t N s Poisson-verteilt mit Parameter λt. b) Die Zeiten zwischen aufeinanderfolgenden Sprüngen des Prozesses sind unabhängig und exponentialverteilt mit Parameter λ. Sprünge der Höhe 1: Es ist also zu zeigen: wobei N s der linksseitige Grenzwert ist. Für festes t > 0 gilt: P (N s N s 2 für ein s > 0) = 0 P (N s N s 2 für ein s (0, t]) P (N kt n n P (N t n (das letzte gilt wegen (A3)). Aus (A4) folgt: N (k 1)t n 2) lim n P (N t 2 für ein k {1,..., n}) n t n 2) t = 0. Weiter gilt mit Stetigkeit des Wahrscheinlichkeitsmaßes: P (N s N s 2 für ein s > 0) = lim t P (N s N s 2 für ein s (0, t]) = 0. a) Betrachte dazu Für alle s, t > 0 folgt: Φ : [0, ) [0, 1] mit Φ(t) := P (N t = 0). Φ(s + t) = P (N s = 0, N s+t N s = 0) = P (N s = 0) P (N t = 0) (nach (A3) und (A2)) = Φ(s) Φ(t). Daraus folgt, dass Φ( k n ) = (Φ( 1 n ))k und Φ(1) = Φ( 1 n n ) = (Φ( 1 n ))n für k, n N gilt. Das heißt, dass Φ( k n ) = (Φ(1)) k n. Da Φ fallend ist, folgt mit einem Einschachtelungsargument: Φ(t) = (Φ(1)) t für alle t > 0. Weiter ist Φ(1) (0, 1), da Φ(1) [0, 1] und falls Φ(1) = 1, dann wäre P (N t = 0 für alle t 0) = lim t Φ(t) = 1 32

33 7. Ein wichtiger Spezialfall: der Poisson-Prozess im Widerspruch zur Forderung, dass mindestens ein Ereignis eintritt, und wäre Φ(1) = 0, dann gälte für alle n N P (N 1 n) P (N k N k 1 1 für k = 1,..., n) n n ( = 1 Φ( 1 ) n n ) ((A2), (A3)) = 1 im Widerspruch zur Forderung, dass in kompakten Intervallen nur endlich viele Ereignisse eintreten. Sei jetzt λ := log Φ(1). Es ist 0 < λ < und P (N t = 0) = (Φ(1)) t = e λt. Weiter sei t > 0 und für n N definieren wir ( ) X nk := 1 N N kt N (k 1)t n n { 1, falls mindestens ein Ereignis in [ (k 1)t = n, kt ) n eintritt 0, sonst Wegen (A2) sind X n1,..., X nn unabhängig und wegen (A3) identisch verteilt mit B(1, 1 e λ t n ). Dann gilt n X nk B(n, 1 e λ t n ) k=1 d Po(λt) da n(1 e λ t n ) n λt. Aus (A4) folgt: n n P ( X nk N t ) = P ( k=1 und damit haben wir gezeigt, dass b) Sei der erste Sprungzeitpunkt. Wir erhalten {N kt n k=1 n P (N t n N t Po(λt). N (k 1)t n 2) T 1 := inf{t > 0 N t 0} 2}) n 0 P (T 1 > t) = P (N t = 0) = e λt mit t 0 und damit Die weiteren Aussagen werden später gezeigt. T 1 Exp(λ). Bemerkung: Der Prozess N = (N t ) t 0 in Satz 7.1 heißt Poisson-Prozess mit Parameter λ. 33

34 II. Markov-Ketten in stetiger Zeit Die Bedingungen (A2) und (A3) können etwas abstrakter gefasst werden: Für u 0 definiere S u : D 0 D 0, f f( u) Z u : D 0 D 0, wobei ( u) die Abbildung v min(v, u) darstellt. Beide Abbildungen sind (B(D 0 ), B(D 0 ))-messbar. f f(u + ) f(u) Wir können also auch stochastische Prozesse S u (N) = (N t u ) t 0 und Z u (N) = (N u+t N u ) t 0 als Zufallsgrößen mit Werten in (D 0, B(D 0 )) auffassen. Weiter gilt mit A(t 1,..., t n ; i 1,..., i n ) := {f D 0 f(t j ) f(t j 1 ) = i j für j = 1,..., n}, wobei 0 =: t 0 t 1 t n <, i 1,..., i n N 0, dass und {S u (N) A(t 1,..., t n ; i 1,..., i n )} = {N t1 u N t0 u = i 1,..., N tn u N tn 1 u = i n } {Z u (N) A(s 1,..., s l ; j 1,..., j l )} = {N u+s1 N u+s0 = j 1,..., N u+sl N u+sl 1 = j l } Wegen (A2) folgt: P ( S u (N) A(t 1,..., t n ; i 1,..., i n ), Z u (N) A(s 1,..., s l ; j 1,..., j l ) ) = P ( S u (N) A(t 1,..., t n ; i 1,..., i n ) ) P ( Z u (N) A(s 1,..., s l ; j 1,..., j l ) ) und daraus die Unabhängigkeit der Prozesse S u (N) und Z u (N). Analog folgt mit (A3): P ( Z u (N) A(s 1,..., s l ; j 1,..., j l ) ) = P ( N A(s 1,..., s l ; j 1,..., j l ) ) Also haben Z u (N) und N dieselbe Verteilung. Diese Aussagen können jetzt auf Stoppzeiten verallgemeinert werden. Es sei dazu F t := σ({n s, s t}) für t 0 und (F t ) t 0 die natürliche Filtration. Definition Sei τ eine (F t ) t 0 -Stoppzeit, das heißt {τ t} F t. Der Prozess heißt Prä-τ-Prozess und der Prozess heißt Post-τ-Prozess. S τ (N) = (N τ t ) t 0 Z τ (N) = (N τ+t N τ ) t 0 Lemma 7.2 Ist τ eine endliche Stoppzeit, so sind die Prozesse (N τ t ) t 0 und (N τ+t N τ ) t 0 stochastisch unabhängig. Außerdem hat (N τ+t N τ ) t 0 dieselbe Verteilung wie (N t ) t 0. 34

35 7. Ein wichtiger Spezialfall: der Poisson-Prozess Zunächst nehmen wir an, dass τ Werte in Q + annimmt. Für 0 =: s 0 s 1 s k <, 0 =: t 0 t 1 t l < und beliebige i 1,..., i k, j 1,..., j l N 0 gilt C := P ( ) S τ (N) A(s 1,..., s k ; i 1,..., i k ), Z τ (N) A(t 1,..., t l ; j 1,..., j l ) }{{}}{{} =:A =:B = P (τ = u, S u (N) A, Z u (N) B) u Q + Da {τ = u} F u kann dieses Ereignis durch S u (N) ausgedrückt werden. Da S u (N) und Z u (N) unabhängig sind, folgt: = P (τ = u, S u (N) A) P (Z u (N) B) }{{} u Q + = P (N B) P (S τ (N) A) Im Fall k = 1, s 1 = 0, i 1 = 0 folgt: also gilt Z τ (N) d = N und damit =P (N B) P (Z τ (N) B) = P (N B) P (S τ (N) A, Z τ (N) B) = P (Z τ (N) B) P (S τ (N) A) also sind Z τ (N) und S τ (N) unabhängig. Weiter sei τ beliebig. Betrachte die Folge τ n := 2n τ 2 n, n N, für die τ n Q + P -fast-sicher gilt und τ n τ für n. Mit (A1) folgt für alle t 0 P -fast-sicher und N τn t n N τ t, N τn+t n N τ+t P (S τ (N) A, Z τ (N) B) = lim n P (S τ n (N) A, Z τn (N) B) = lim n P (S τ n (n) A) P (Z τn (N) B) = P (S τ (N) A) P (Z τ (N) B) Analog kann man die Aussage Z τ (N) d = N auf beliebige τ erweitern. Damit können wir den von Satz 7.1 abschließen: Es seien T 1 := inf{t > 0 N t 0} S 1 := T 1 S k := inf{t > S k 1 N t N t }, k = 2, 3,... T k := S k S k 1, k = 2, 3,... 35

36 II. Markov-Ketten in stetiger Zeit Wir wissen bereits, dass T 1 exp(λ). Induktiv nehmen wir an, dass T 1,..., T k unabhängig und identisch exponential-verteilt seien. τ := T T k = S k ist eine Stoppzeit, da {τ t} = {N t k} F t. Da P (τ > t) = P (N t < k) 0 für t gilt, ist τ P -fast-sicher endlich. T k+1 ist die Zeit bis zum ersten Sprung im Post-τ-Prozess. Nach Lemma 7.2 ist T k+1 d = N1 d = N 1 N 0 d = T1 exp(λ) und T k+1 ist unabhängig von S τ (N), also auch von T 1,..., T k. Beispiel 7.1 (Bedingte Gleichverteilungseigenschaft) Es seien K, X 1, X 2,... unabhängige Zufallsvariablen mit K Po(λT ), T > 0, und X i U(0, T ). Wir definieren N t := #{1 i K X i t}, t 0. Es sei 0 =: t 0 t 1 t n = T eine Zerlegung des Intervalls [0, T ]. Betrachte für i 1,..., i n N 0 das Ereignis A := {N t1 N t0 = i 1,..., N tn N tn 1 = i n }. Für ω A folgt k := K(ω) = i i n. Man erhält (siehe Definition der Multinomialverteilung, Henze, Stochastik I, S. 121) λt (λt )k P (N t1 N t0 = i 1,..., N tn N tn 1 = i n ) = e k! = n l=1 k! i 1! i n! ( t1 t 0 T e λ(t l t l 1 ) (λ(t l t l 1 )) i l i l! }{{} =P (M l =i l ) ) i1 ( tn t ) n 1 in T wobei M l Po(λ(t l t l 1 )). Das zeigt: Die Zuwächse des Prozesses Ñ = (N t) 0 t T sind unabhängig und stationär und Poisson-verteilt mit Parameter λ Intervalllänge, und (A1), (A4) ist erfüllt, also ist Ñ ein bei T gestoppter Poisson-Prozess. Beispiel 7.2 (Das Inspektions-Paradoxon) Es seien X 1, X 2,... unabhängig und identisch verteilte Zufallsvariablen mit X k exp(λ), welche die Lebensdauer von Glühbirnen modellieren. Es sei S n := n k=1 X k der Zeitpunkt, an dem die n-te Birne kaputt geht und eine neue Birne eingesetzt wird, und N t die Anzahl der Erneuerungen bis zum Zeitpunkt t und damit ein Poisson- Prozess mit Parameter λ. In der Erneuerungstheorie interessiert man sich für V t := S Nt+1 t = Restlebensdauer W t := t S Nt = Alter L t := W t + V t = Gesamtlebensdauer der zum Zeitpunkt t in Gebrauch befindlichen Glühbirne. Es ist V t exp(λ), da die Exponentialverteilung gedächtnislos ist. Die Variable W t kann höchstens t sein, das heißt P (W t > s) = 0 für s > t. Für 0 s t gilt P (W t s) = P (N t N t s = 0) = e λs. Damit ist { 1 e λs, 0 s t F Wt (s) = 1, s t. 36

37 8. Der allgemeine Fall im Schnelldurchgang Außerdem sind nach der starken Markoveigenschaft die Zufallsvariablen W t und V t unabhängig. L t ergibt sich als Faltung dieser Variablen. Die Dichte f Lt für s t: und für s < t: f Lt (s) = = f Lt (s) = s 0 t 0 f Vt (s u)f Wt (du) λe λ(s u) λe λu du + λe λ(s t) e λt = λ(1 + λt)e λs s 0 = λ 2 se λs λe λ(s u) λe λu du Also ist L t nicht exp(λ)-verteilt! Für großes t gilt EL t 2EX i = 2 λ. Dieses Ergebnis lässt sich erklären: Inspiziert man zu einer zufälligen Zeit die aktuell leuchtende Glühbirne, so ist die Wahrscheinlichkeit, eine länger lebende zu erwischen, größer, als eine kurzlebige Birne anzutreffen. 8. Der allgemeine Fall im Schnelldurchgang Definition Ein stochastischer Prozess (X t ) t 0 mit abzählbarem Zustandsraum S heißt (homogene) Markov- Kette, falls gilt: Für alle n N und 0 t 0 < t 1 < < t n, t, h > 0 und i k S mit P (X tk = i k, 0 k n) > 0: P (X tn+h = i n+1 X tk = i k, 0 k n) = P (X tn+h = i n+1 X tn = i n ) Bemerkung: Definieren wir für alle i, j S und die Matrix p ij (t) := P (X t = j X 0 = i) P (t) = ( p ij (t) ) i,j S, = P (X t+h = i n+1 X t = i n ) so gelten analog zum diskreten Fall die Chapman-Kolmogorov-Gleichungen für alle i, j S, s, t > 0: p ij (t + s) = k S p ik (t)p kj (s) Mit P (0) = E wird {P (t) : t 0} zu einer Halbgruppe von stochastischen Matrizen. Diese nennen wir Übergangsmatrizenfunktion. Falls zusätzlich für i, j S lim t 0 p ij (t) = δ ij gilt, also P (t) rechtsseitig stetig in 0 ist, dann heißt sie Standardübergangsmatrizenfunktion. 37

38 II. Markov-Ketten in stetiger Zeit Satz und Definition 8.1 Sei {P (t) : t 0} eine Standardübergangsmatrizenfunktion. Dann ist jedes p ij (t) in 0 rechtseitig differenzierbar, das heißt es existiert für alle i, j S 1 q ij := lim t 0 t (p ij(t) δ ij ). Die Matrix Q := (q ij ) heißt Intensitätsmatrix oder infinitesimaler Erzeuger (Generator) zu {P (t) : t 0}. Beispiel 8.1 Es sei N = (N t ) t 0 ein Poisson-Prozess mit Intensität λ. Dann gilt für i n+1 i n : P (N tn+1 = i n+1 N t0 = i 0,..., N tn = i n ) = P (N tn+1 N tn = i n+1 i n ) Also ist N eine homogene Markov-Kette mit Übergangsmatrix weiter gilt p ij (t) = {e λt (λt) j i (j i)!, = e λ(t n+1 t n) (λ(t n+1 t n )) i n+1 i n (i n+1 i n )! falls j i 0, sonst 1 λ, falls j = i + 1 lim t 0 t (p ij(t) δ ij ) = λ, falls j = i 0, sonst. Lemma 8.2 Sei {P (t) : t 0} eine Standardübergangsmatrizenfunktion. Dann gilt für q ij := p ij (0): a) 0 q ij <, i j, q ii 0. b) j i q ij q ii =: q i. Falls S endlich ist, gilt für alle i S: q i = j i q ij. In diesem Fall heißt die Standardübergangsmatrizenfunktion konservativ. a) 0 q ij für i j und q ii 0 klar, da 0 p ij 1. Schwieriger ist zu zeigen, dass q ij <, hier wird auf die Literatur verwiesen. b) Es gilt für t 0: und damit mit Fatou j S,j i 1 p ii (t) q ii = lim t 0 t und Gleichheit für endliche S. p ij (t) t j S,j i = 1 p ii(t) t lim sup t 0 p ij (t) t = j S,j i q ij 38

39 8. Der allgemeine Fall im Schnelldurchgang Satz 8.3 Sei {P (t) : t 0} eine Standardübergangsmatritzenfunktion und S sei endlich. Dann gilt das sogenannte Kolmogorovsche Rückwärtsdifferentialgleichungssystem: Für t 0 ist das heißt für alle i, j S ist P (t) = QP (t) p ij(t) = q i p ij (t) + k S,k i q ik p kj (t). Wegen Chapman-Kolmogorov gilt für i, j S, t, h > 0: p ij (t + h) = k S p ik (h)p kj (t) = p ij(t + h) p ij (t) h = p ii(h) 1 h p ij (t) + k S,k i p ik (h) h p kj(t) Für h 0 geht die rechte Seite gegen q i p ij (t) + q ik p kj (t) k S,k i woraus die Behauptung folgt. Bemerkung: a) Unter milden Bedingungen ({P (t) : t 0} eine konservative Standardübergangsmatrizenfunktion und q i für alle i S endlich) gilt Satz 8.3 auch für abzählbares S. Weitere Bedingungen sind nötig für das Kolmogorovsche Vorwärtsdifferentialgleichungssystem P (t) = P (t)q. b) Falls S endlich ist, ist die Lösung von P (t) = QP (t), P (0) = E gegeben durch Beispiel 8.2 P (t) = e tq = (tq) n. n! n=0 S = {0, 1}, 0 < q 0, q 1 < ( ) q0 q Q = 0 q 1 q 1 Rückwärtsdifferentialgleichung P (t) = QP (t) ( p00 (t) p P (t) = 01 (t) p 10 (t) p 11 (t) ) 39

40 II. Markov-Ketten in stetiger Zeit (1) p 00(t) = q 0 p 00 (t) + q 0 p 10 (t) (2) p 01(t) = q 0 p 01 (t) + q 0 p 11 (t) (3) p 10(t) = q 1 p 10 (t) + q 1 p 00 (t) (4) p 11(t) = q 1 p 11 (t) + q 1 p 01 (t) Es gilt: p 01 (t) = 1 p 00 (t), p 11 (t) = 1 p 10 (t) Eingesetzt in (2): p 00 (t) = q 0 + q 0 p 00 (t) + q 0 q 0 p 10 (t) = (1) also ist (2) überflüssig. Analog: (4) ist überflüssig. Sei y(t) = ( p00 (t) p 10 (t) Zu lösen: y (t) = Qy(t), ( ) y(0) = ( (1, 0) ) T. Die Eigenwerte von Q sind: λ 1 = 0, λ 2 = (q 0 + q 1 ) 1 q0 Eigenvektoren: v 1 =, v 1 2 = q 1 = y(t) = α ( ) 1 y(0) = liefert α = q 1 0 q 0 +q 1, β = 1 q 0 +q 1 Insgesamt also: ( ) 1 + β 1 ) ( q0 q 1 ) e (q 0+q 1 )t p 00 (t) = q 1 q 0 + q 1 + q 0 q 0 + q 1 e (q 0+q 1 )t p 10 (t) = q 1 q 0 + q 1 q 1 q 0 + q 1 e (q 0+q 1 )t Hier fehlt ein kleines Bild, das zeigt, wie p 00 und p 10 so aussehen. Wir wollen weiter annehmen, dass die Pfade der Markov-Kette (X t ) t 0 in D(S) := {f : [0, ) S f(t+) = f(t) t 0, f(t ) existiert t > 0} liegen (diskrete Topologie auf S). Die Eigenschaft der f in D(S) wird auch mit RCLL oder càdlàg bezeichnet. Gegeben sei jetzt eine Intensitätsmatrix Q = (q ij ), q ij R mit (Q1) q ij 0 i, j S, i j, q ii 0 i S (Q2) j S q ij = 0 i S (Q3) 0 < sup i S q ii =: λ < 40

41 8. Der allgemeine Fall im Schnelldurchgang Satz 8.4 Für eine Matrix Q gelte (Q1)-(Q3). Es sei N = (N t ) t 0 ein Poisson-Prozess mit Intensität λ und Y = (Y n ) n N0 eine von N unabhängige Markov-Kette mit Start in i 0 S und Übergansmatrix P = ( p ij ) i,j S, P := E + 1 λq, also p ij = δ ij + q ij λ i, j S. Dann ist X = (X t ) t 0 mit X t := Y Nt D(S) und Intensitätsmatrix Q. t 0 eine Markov-Kette mit Start in i 0, Pfaden in Offenbar ist P eine stochastische Matrix, X 0 = i 0 und die Pfade in D(S). Für 0 t 0 < t 1 < < t n+1, i 0,..., i n+1 S gilt: P (X tm = i m, 0 m n + 1) = P (N tm = k m, Y km = i m, 0 m n + 1) k 0,...,k n+1 N 0 = P (N tm = k m, 0 m n + 1) P (Y km = i m, 0 m n + 1) k 0,...,k n+1 N 0 Betrachte die Faktoren: P (N tm = k m, 0 m n + 1) = P (N tn+1 t n = k n+1 k n ) P (N tm = k m, 0 m n) P (Y km = i m, 0 m n + 1) = P (Y km = i m, 0 m n) p (k n+1 k n) i ni n+1 Sei jetzt l := k n+1 k n, dann P (X tm = i m, 0 m n + 1) =P (X tm = i m, 0 m n) l=0 p (l) i ni n+1 P (N tn+1 t n = l) = X ist eine Markov-Kette in stetiger Zeit (und homogen) mit Übergangsmatrizenfunktion: p ij (t) = l=0 p (l) (λt)l ij e λt l! Bestimme Ableitungen p ij (0) = Q ist wie gewünscht. Eine Umkehrung des Satzes gilt: Dazu sei X = (X t ) t 0 eine Markov-Kette mit Zustandsraum S und Sprungzeiten: S 0 := 0 S 1 := inf{t 0 X t X 0 } S n := inf{t > S n 1 X t X Sn 1 }, n 2. 41