Einführung in die Theorie der Markov-Ketten. Jens Schomaker

Transkript

1 Einführung in die Theorie der Markov-Ketten Jens Schomaker

2 Markov-Ketten Zur Motivation der Einführung von Markov-Ketten betrachte folgendes Beispiel: 1.1 Beispiel Wir wollen die folgende Situation mathematisch formalisieren: Eine Person steht in einer der vier Ecken eines Raumes - in diesem Fall s 1 - und wirft eine faire Münze, um zu entscheiden, ob sie sich im Uhrzeigersinn oder gegen ihn bewegt. Dies wiederholt die Person beliebig oft. Man möchte also für alle Schritte des Experiments, die man anhand der natürlichen Zahlen abzählt, eine Zufallsvariable X n definieren, welche die Ecke angibt, in der sich die Person im n-ten Schritt befindet. D.h. man wählt einen (zeitdiskreten) stochastischen Prozess (X 0, X 1,...), der Werte in {s 1,..., s 4 } annimmt. Dass ein zugehöriger Produktraum mit Wahrscheinlichkeitsmaß P wie unten existiert, ist nicht klar, wird aber durch den Satz von Ionescu-Tulcea geliefert, der aufgrund seines Umfangs jedoch nicht behandelt wird. Um die Ausgangsbedingung, dass in s 1 gestartet wird, zu erfüllen, sollte gelten: P(X 0 s 1 ) 1. Die Entscheidungsregel für die Bewegung liefert zudem: und P(X 1 s 2 ) 1 /2 P(X 1 s 4 ) 1 /2. Um die Verteilungen der X n für n 2 zu berechnen, benötigt man nun jedoch bedingte Wahrscheinlichkeiten. Für den Fall X n s 2 ergibt sich z.b. aus der Entscheidungsregel für die Bewegung folgendes: und P(X n+1 s 1 X n s 2 ) 1 /2 P(X n+1 s 3 X n s 2 ) 1 /2. Genauer gilt sogar aufgrund der Entscheidungsregel, dass X n+1 nur von X n abhängt; für X n s 2 und beliebige i 0,..., i n 1 {1,..., 4} beispielsweise: und P(X n+1 s 1 X n s 2, X n 1 s in 1,..., X 0 s i0 ) 1 /2 P(X n+1 s 3 X n s 2, X n 1 s in 1,..., X 0 s i0 ) 1 /2. 1

3 Diese beispielhaften Überlegungen fasst man nun in einer Definition zusammen: 1.2 Definition Sei P eine k k-matrix mit Einträgen (P i,j ) i,j1,...,k. Ein (zeitdiskreter) stochastischer Prozess (X 0, X 1,...) mit endlichem Zustandsraum {s 1,..., s k } heißt (homogene) Markov-Kette mit Übergangsmatrix P genau dann, wenn für alle n N, alle i, j {1,..., k} und alle i 0,..., i n 1 {1,..., k} gilt: P(X n+1 s j X n s i, X n 1 s in 1,..., X 0 s i0 ) P(X n+1 s j X n s i ) P i,j. (1) Die Einträge der Übergangsmatrix P heißen Übergangswahrscheinlichkeiten und die Übergangswahrscheinlichkeit P i,j ist die bedingte Wahrscheinlichkeit sich zum Zeitpunkt n + 1 im Zustand s j zu befinden, gegeben, dass man zum Zeitpunkt n im Zustand s i ist. Die Homogenität der Markov-Kette ist dabei die Zeitunabhängigkeit, d.h zu allen Zeiten n liegen dieselben Übergangswahrscheinlichkeiten P i,j bzw. liegt dieselbe Übergangsmatrix P vor. Homogenität wird in der Regel nicht erwähnt, da man diese Eigenschaft voraussetzen möchte, wenn man Markov-Ketten betrachtet. Die Eigenschaft, die durch das erste Gleichheitszeichen in Gleichung 1 gegeben ist, wird dabei als Markov- Eigenschaft - kurz ME - oder auch Gedächtsnislosigkeit bezeichnet. Sie drückt aus, dass die bedingte Wahrscheinlichkeit von X n+1 unter (X 0,..., X n ) nur von X n abhängt und unabhängig von den vorhergehenden X 0,..., X n 1 ist. Mit dieser Definition ergeben sich direkt folgende Eigenschaften für die Übergangsmatrix: i) P i,j 0 für alle i, j {1,..., k}, da (bedingte) Wahrscheinlichkeiten nicht negativ sind. ii) P i,j 1 für alle i {1,..., k}, da {s 1,..., s k } der gesamte Wertebereich von X n+1 ist: j1 P i,j P(X n+1 s j X n s i ) 1. j1 j1 1.3 Beispiel Das oben eingeführte Beispiel 1.1 hat also als Zustandsraum {s 1,..., s 4 } und als Übergangsmatrix: 0 0 P Definition Eine einfache und nahezu selbsterklärende Möglichkeit die Übergangsmatrix darzustellen, ist ein Übergangsgraph. Der Übergangsgraph für Beispiel 1.1 sieht beispielsweise wie folgt aus: s 1 s 2 s 4 s 3 Die Zustände werden dabei mit den zugehörigen Übergangswahrscheinlichkeiten verbunden, sofern diese nicht Null sind. Die Summe der Wahrscheinlichkeiten, die von einem Zustand wegzeigen, ist dabei immer 1, was der spaltenweisen Aufsummierung zu 1 in der Übergangsmatrix entspricht (vgl. Definition 1.2, Eigenschaft ii). Um das Beispiel 1.1 komplett zu erfassen, benötigen wir noch eine weitere Eigenschaft einer Markov-Kette: 1.5 Definition Die Anfangsverteilung einer Markov-Kette (X 0, X 1,...) mit Zustandsraum {s 1,..., s k } wird durch einen 2

4 Zeilenvektor µ (0) wie folgt definiert: µ (0) (µ (0) 1,..., µ(0) k ) : (P(X 0 s 1 ),..., P(X 0 s k )). Da µ (0) eine Wahrscheinlichkeitsverteilung auf dem Zustandsraum {s 1,..., s k } ist, gilt: i1 µ (0) i 1. Ebenso definiert man µ (n) für n 1 als die Wahrscheinlichkeitsverteilung der Markov-Kette zum Zeitpunkt n als: µ (n) (µ (n) 1,..., µ(n) k ) : (P(X n s 1 ),..., P(X n s k )). Auch hier gilt analog: i1 µ (n) i Beispiel Das oben eingeführte Beispiel 1.1 hat also als Anfangsverteilung: µ (0) (1, 0, 0, 0). Es wird sich in folgendem Satz zeigen, dass man zur Berechnung der µ (n) lediglich die Anfangsverteilung µ (0) und die Übergangsmatrix P benötigt. 1.7 Satz Sei eine Markov-Kette (X 0, X 1,...) mit Zustandsraum {s 1,..., s k }, Übergangsmatrix P und Anfangsverteilung µ (0) gegeben. Dann gilt für alle n N: µ (n) µ (0) P n. Induktion über n: n 1: Sei µ (0) (µ (0) 1,..., µ(0) ), dann gilt für j 1,..., k: k µ (1) j Def. P(X 1 s j ) σ-add. bed. W.-keit Def. P(X 0 s i, X 1 s j ) i1 P(X 0 s i )P(X 1 s j X 0 s i ) i1 i1 µ (0) i P i,j (µ (0) P ) j. Dabei ist (µ (0) P ) j der j-te Eintrag des Zeilenvektors µ (0) P. Also gilt: n n + 1: µ (1) (µ (1) 1,..., µ(1) k ) ((µ(0) P ) 1,..., (µ (0) P ) k ) µ (0) P. 3

5 Sei also die Behauptung für n gezeigt. Zeige, dass sie auch für n + 1 gilt. Für j 1,..., k gilt analog: µ (n+1) j P(X n+1 s j ) P(X n s i, X n+1 s j ) i1 P(X n s i )P(X n+1 s j X n s i ) i1 i1 µ (n) i P i,j (µ (n) P ) j. Also gilt auch µ (n+1) µ (n) P und damit und der Induktionsvoraussetzung auch: µ (n+1) µ (n) P IV µ (0) P n P µ (0) P n Beispiel Für Beispiel 1.1 ergibt sich mit Anfangsverteilung µ (0) (1, 0, 0, 0) induktiv durch einfaches Nachrechnen: { µ (n) (0, 1 /2, 0, 1 /2), falls n 1 und n ungerade. ( 1 /2, 0, 1 /2, 0), falls n 1 und n gerade Mit Anfangsverteilung µ (0) (0, 1, 0, 0) vertauscht sich dagegen die Zuordnung von gerade und ungerade. Die Wahl der Anfangsverteilung bestimmt also das Verhalten des weiteren Verlaufs der Verteilungen µ (n), wie man hier sieht, und gehört zu einer vollständigen Charakterisierung einer Markov-Kette. Ein anderes Beispiel gegeben durch eine Markov-Kette (X 0, X 1,...) mit Zustandsraum {s 1, s 2 } und folgender Übergangsmatrix ( 0,75 ) 0,25 0,25 0,75 liefert induktiv für alle n N µ (n) In beiden Fällen gilt jedoch lim n µ (n) ( 1 /2, 1 /2). { ( 1 /2(1 + 2 n ), 1 /2(1 2 n )), falls µ (0) (1, 0) ( 1 /2(1 2 n ), 1 /2(1 + 2 n )), falls µ (0) (0, 1). 1.9 Lemma Sei {a 0,..., a n } N für n 2 so, dass a 0 < a 1 <... < a n 1 < a n. Dann gilt für alle i 0,..., i n {1,..., k}: P(X an s in,..., X a1 s i1 X a0 s i0 ) n 1 j0 P(X aj+1 s ij+1 X aj s ij ). Anschaulich: Die Wahrscheinlichkeit eines gegebenen Weges durch den Übergangsgraph mit gegebenen Zeiten ist gleich dem Produkt der einzelnen Wege mit den entsprechenden Zeiten. Induktion über n: n 2: 4

6 Sei {a 0, a 1, a 2 } N so, dass a 0 < a 1 < a 2 : n n + 1: P(X a2 s i2, X a1 s i1 X a0 s i0 ) bed. W.-keit P(X a2 s i2 X a1 s i1, X a0 s i0 )P(X a1 s i1 X a0 s i0 ) ME P(Xa2 s i2 X a1 s i1 )P(X a1 s i1 X a0 s i0 ) 1 P(X aj+1 s ij+1 X aj s ij ) j0 Sei {a 0,..., a n+1 } N so, dass a 0 < a 1 <... < a n < a n+1 : P(X an+1 s in+1, X an s in,..., X a1 s i1 X a0 s i0 ) bed. W.-keit P(X an+1 s in+1 X an s in,..., X a0 s i0 )P(X an s in,..., X a1 s i1 X a0 s i0 ) n 1 ME & IV P(X an+1 s in+1 X an s in ) P(X aj+1 s ij+1 X aj s ij ) j0 n P(X aj+1 s ij+1 X aj s ij ) j Lemma Seien i, j {1,..., k}. Dann gilt für alle m, n N: P(X m+n s j X m s i ) (P n ) i,j, insbesondere ist dies unabhängig von m. Sei m fest aber beliebig. Beweise die Behauptung durch Induktion über n: n 1: n 1 folgt direkt aus der Definition von Markov-Kette. n n + 1: Sei also die Behauptung für n gezeigt. Zeige, dass sie auch für n + 1 gilt. P(X m+n+1 s j X m s i ) σ-add. 1.9 IV & Def. P(X m+n s q, X m+n+1 s j X m s i ) q1 P(X m+n s q X m s i )P(X m+n+1 s j X m+n s q ) q1 (P n ) i,q P q,j q1 (P n P ) i,j (P n+1 ) i,j 1.11 Kolmogorov-Chapman-Gleichung Seien i, j {1,..., k}. Dann gilt für alle m, n N die Kolmogorov-Chapman-Gleichung: P(X m+n s j X 0 s i ) P(X m s q X 0 s i )P(X m+n s j X m s q ). q1 5

7 Anschaulich: Die Wahrscheinlichkeit aller Wege gegeben durch Anfangs- und Endpunkt durch den Übergangsgraph mit gegebenen Anfangs- und Endzeiten ist gleich der Summe aller möglichen Wege mit festem Zeitpunkt für einen festen Zwischenschritt. Insbesondere gilt damit auch für alle q {1,..., k}: P(X m+n s j X 0 s i ) P(X m s q X 0 s i )P(X m+n s j X m s q ) P(X m+n s j X 0 s i ) 1.10 (P m+n ) i,j (P m ) i,q (P n ) q,j 1.10 q1 P(X m s q X 0 s i )P(X m+n s j X m s q ) q1 6

8 Irreduzible und aperiodische Markov-Ketten In diesem Kapitel werden zwei grundlegende Eigenschaften von Markov-Ketten beschrieben. 2.1 Definition Man sagt, dass ein Zustand s i mit einem Zustand s j kommuniziert, in Zeichen s i s j, genau dann, wenn die Markov-Kette positive Wahrscheinlichkeit besitzt, innerhalb einer Zeit n von Zustand s i nach Zustand s j zu gelangen; d.h. wenn ein n N existiert, sodass: P(X m+n s j X m s i ) > 0. Nach Lemma 1.10 ist dies unabhängig von m und es gilt P(X m+n s j X m s i ) (P n ) i,j. Weiter sagt man, dass zwei Zustände s i und s j miteinander kommunizieren, in Zeichen s i s j, genau dann, wenn s i s j und s j s i. 2.2 Definition Eine Markov-Kette (X 0, X 1,...) mit Zustandsraum {s 1,..., s k } und Übergangsmatrix P heißt irreduzibel genau dann, wenn für alle i, j {1,..., k} gilt, dass s i s j. Ansonsten heißt die Markov-Kette reduzibel. Eine äquivalente Formulierung für Irreduzibilität ist, dass für alle i, j {1,..., k} ein n N mit (P n ) i,j > 0 existiert. 2.3 Beispiel Die Irreduzibilität lässt sich am Übergangsgraph leicht veranschaulich und auch überprüfen, indem man alle Paare von Zuständen darauf überprüft, ob es jeweils einen Weg von einem Zustand in den anderen gibt. Die Markov-Kette aus Beispiel 1.1 ist z.b. irreduzibel. Übergangsgraphen von reduzibelen Markov-Ketten sind z.b. wie folgt gegeben: s 1 2/3 s 2 s 4 s 2 3/4 1/3 1/4 1 1 oder s s 3 s 5 s 3 Man sieht hier auch die Rechtfertigung für die Bezeichnung reduzibel, da das Betrachten des Langzeitverhaltens einer reduzibelen Markov-Kette, d.h. das Verhalten der µ (n) für große n, sich auf das Betrachten einer Markov-Kette mit kleinerem Zustandsraum und entsprechend angepasster Übergangsmatrix vereinfachen lässt. 2.4 Definition Die Periode d(s i ) eines Zustandes s i definiert man als: d(s i ) : ggt({n 1 (P n ) i,i > 0}), wobei ggt( ) :. 7

9 In Worten bedeutet dies, dass die Periode von s i der größte gemeinsame Teiler der Menge von Zeiten ist, an denen die Markov-Kette wieder nach s i (mit positiver Wahrscheinlichkeit) zurückkehren kann, sofern die Markov-Kette in s i gestartet ist, d.h. X 0 s i. Ist d(s i ) 1, so heißt der Zustand s i aperiodisch (die Markov-Kette kann also unregelmäßig nach s i zurückkehren). 2.5 Definition Falls alle Zustände der Markov-Kette aperiodisch sind, so heißt auch die Markov-Kette aperiodisch. Andernfalls heißt sie periodisch. 2.6 Beispiel Betrachte nur den Teil der linken Markov-Kette aus Beispiel 2.3 bestehend aus den Zuständen {s 1, s 2, s 3 }, also den folgenden Übergangsgraph: s 1 2/3 s 2 3/4 1/3 1/4 Man sieht leicht mit den Aussagen aus 1.10 und 1.11, dass für jeden Zustand s i gilt: Also ist diese reduzierte Markov-Kette aperiodisch. s 3 (P 2 ) i,i > 0 und (P 3 ) i,i > 0, und damit auch d(s i ) 1. Das Beispiel 1.1 hingegen ist periodisch, da für jeden Zustand s i gilt: (P n ) i,i > 0 genau dann, wenn n {2k k N}. Also ist d(s i ) ggt({2k > 0 k N}) 2. Man sieht hier auch den Zusammenhang zu den in Beispiel 1.8 berechneten Verteilungen µ (n), da man sich in Abhängigkeit vom Startzustand immer alternierend zwischen den Zustandspaaren s 1, s 3 und s 2, s 4 bewegt. Vorbereitend für den nächsten Satz benötigt man folgendes Lemma: 2.7 Lemma Sei A {a 1, a 2, a 3,...} eine Menge positiver, natürlicher Zahlen mit folgenden Eigenschaften: i) ggt(a) 1, und ii) A ist abgeschlossen unter Addition, d.h. wenn a, b A gilt, dann gilt auch a + b A. Dann existiert ein N N so, dass n A für alle n N. siehe Appendix in Brémaud, Pierre (1998) Markov Chains: Gibbs Fields, Monte Carlo Simulation, and Queues, Springer, New York. 2.8 Satz Sei eine aperiodische Markov-Kette (X 0, X 1,...) mit Zustandsraum {s 1,..., s k } und Übergangsmatrix P gegeben. Dann existiert ein N N so, dass (P n ) i,i > 0 für alle i {1,..., k} und alle n N. Für jeden Zustand s i definiere A i : {n 1 (P n ) i,i > 0}. Nach Voraussetzung ist die Markov-Kette aperiodisch, d.h. alle Zustände sind aperiodisch und somit gilt ggt(a i ) 1. Zur Anwendung des Lemmas benötigt man nun die Abgeschlossenheit unter Addition für A i : 8

10 Seien a 1, a 2 A i, d.h. es gilt Hiermit folgt: (P a1 ) i,i 1.10 P(X a1 s i X 0 s i ) > 0 und (P a2 ) i,i 1.10 P(X a1+a 2 s i X a1 s i ) > 0. Also gilt auch a 1 + a 2 A i. (P a1+a2 ) i,i 1.10 P(X a1+a 2 s i X 0 s i ) P(X a1+a 2 s i, X a1 s i X 0 s i ) 1.9 P(X a1 s i X 0 s i )P(X a1+a 2 s i X a1 s i ) > 0 Mit dem Lemma angewandt auf A i folgt nun, dass ein N i N existiert, sodass (P n ) i,i > 0 für alle n N i. N : max{n 1,..., N k } liefert die Behauptung des Satzes. 2.9 Korollar Sei eine aperiodische und irreduzibele Markov-Kette (X 0, X 1,...) mit Zustandsraum {s 1,..., s k } und Übergangsmatrix P gegeben. Dann existiert ein M N so, dass (P n ) i,j > 0 für alle i, j {1,..., k} und alle n M. Aufgrund der Aperiodizität und Satz 2.8 existiert ein N N so, dass (P n ) i,i > 0 für alle i {1,..., k} und alle n N. Für zwei Zustände s i und s j existiert aufgrund der Irreduzibilität ein n i,j N so, dass (P ni,j ) i,j > 0. Sei M i,j : N + n i,j, dann gilt für jedes m M i,j : (P m ) i,j P(X m s j X 0 s i ) P(X m s j, X m ni,j s i X 0 s i ) P(X m ni,j s i X 0 s i ) P(X m s j X m ni,j s i ) }{{}}{{} >0, da m n i,j N >0, nach Wahl von n i,j > 0 M : max{m i,j i, j 1,..., k} liefert die Behauptung des Korollars Satz Sei eine irreduzibele Markov-Kette (X 0, X 1,...) mit Zustandsraum {s 1,..., s k } und Übergangsmatrix P gegeben. Wenn ein Zustand s i mit P i,i > 0 existiert, dann ist die Markov-Kette auch aperiodisch. Zu zeigen, dass die Markov-Kette aperiodisch ist, bedeutet für alle j {1,..., k}: 1 d(s j ) ggt({n 1 (P n ) j,j > 0}). Sei also j {1,..., k} beliebig und i {1,..., k} nach Voraussetzung so, dass P i,i > 0. Aufgrund der Irreduzibilität existieren m 1, m 2 N so, dass (P m1 ) i,j > 0 und (P m2 ) j,i > 0. Damit folgt für alle n N: (P m2+n+m1 ) j,j P(X m2+n+m 1 s j X 0 s j ) P(X m2+n+m 1 s j, X m2+n s i,..., X m2 s i X 0 s j ) 1.9 (P m2 ) j,i (P i,i ) n (P m1 ) i,j > 0 {n 1 (P n ) j,j > 0} N \ {0,..., m 2 + m 1 1} {n 1 (P n ) j,j > 0} enthält mindestens zwei Primzahlen. d(s j ) ggt({n 1 (P n ) j,j > 0}) 1. 9