Kapitel 4: Irreduzible und aperiodische Markov Ketten 1

Transkript

1 Matrielnummer: Projetseminar zur Stochasti Kapitel 4: Irreduzible und aperiodische Marov Ketten 1 Für einige besonders interessante Ergebnisse der Marov Theorie, werden zunächst bestimmte Annnahme über Marov Ketten betrachtet. Es ist eine wichtige Aufgabe in der Marov Theorie Bedingungen zu finden, die einerseits star genug sind, damit man hilfreiche Behauptungen erstellen ann, aber anderseits auch schwach genug für viele gute Beispiele sind. In diesem Kapitel geht es um zwei solcher Annahmen: Irreduzibilität und Aperiodizität. Diese beiden Bedingungen sind von zentraler Bedeutung in der Marov Theorie und insbesondere spielen sie in der Forschung über stationäre Verteilung eine wichtige Rolle. Wir beginnen mit Irreduziblität, was, einfach gesprochen, die Eigenschaft ist, dass alle Stadien der Marov Kette von allen anderen Stadien erreicht werden önnen. Um dies genauer zu beschreiben, betrachten wir eine Marov Kette (X 0, X 1,...) mit Zustandsraum S = {s 1,..., s } und Übergangsmatrix P. Wir sagen, dass der Zustand s i mit einem anderen Zustand s j ommuniziert (geschrieben: s i s j ), wenn die Wahrscheinlicheit, dass, beginnend bei s i, die Kette s j erreicht, positiv ist. In anderen Worten: s i und s j ommunizieren, wenn es ein n gibt, so dass P(X m+n =s j X m ) > 0 bzw. (P ij ) (n) > 0. Wenn s i s j und s j s i, dann sagt man die Zustände s i und s j sind verbunden, und schreibt: s i s j. Dies bringt uns gleich zu der Definition von Irreduzibilität: Definition 4.1 Eine Marov Kette (X 0, X 1,...) mit Zustandsraum S={s 1,...,s } und Übergangsmatrix P heißt irreduzibel, falls für alle s j, s i S gilt: s i s j. Sonst heißt die Marov Kette reduzibel. Oder anders gesagt: Die Kette ist irreduzibel, falls es für alle s j, s i S ein n gibt, so dass (P n ) i,j > 0. Um zu zeigen, dass eine Marov Kette irreduzibel ist, betrachtet man das Übergangsdiagramm und überprüft, ob man von jedem Zustand innerhalb endlich vieler Schritte zu jedem anderen Zustand gelangen ann. 1 Olle Häggström, "Finite Marov Chains and Algorithmic Applications", Cambridge 2002, S

2 Matrielnummer: Projetseminar zur Stochasti Beispiele: Die Marov Kette (X 0, X 1,...) mit Zustandsraum S = {1, 2, 3, 4} und Übergangsmatrix P = ist zum Beispiel reduzibel, denn beginnt die Kette mit Zustand 1 oder 2 ist sie eingeschränt auf Zustand 1 und 2. Dasselbe gilt für Zustand 3 und 4, einmal dort ann sie nicht zu Zustand 1 oder 2 wechseln. (Betrachtet man die Kette nur in Zustand 1 oder 2, dann verhält sie sich wie eine Marov Kette mit Zustandsraum {1,2} und Übergangsmatrix. Dies zeigt eine charateristische Eigenschaft für reduzible Marov Ketten, welches den Begriff reduzibel noch einmal erlärt: Wenn eine Marov Kette reduzibel ist, dann ann 2

3 Matrielnummer: Projetseminar zur Stochasti das Langzeitverhalten auf die Analyse von den Langzeitverhalten mehrerer Marov Ketten mit leineren Zustandsräumen reduziert werden.) Das Konzept der Aperiodizität Für eine endliche oder unendliche Menge positiver ganzer Zahlen {a 1, a 2,...}, schreiben wir ggt {a 1, a 2,...} für den größten gemeinsamen Teiler von a 1, a 2,.... Die Periode d (s i ) eines Zustandes s i S ist definiert als d (s i ) = ggt {n 1: (P n ) i,i > 0}. In Worten: Die Periode von s i ist der größte gemeinsame Teiler von der Menge der möglichen Rücehrzeiten zum Startpunt X 0. Wenn d (s i ), sagt man, der Zustand s i ist aperiodisch. Definition 4.2 Eine Marov Kette heißt aperiodisch, falls alle Zustände aperiodisch sind. Ansonsten heißt die Kette periodisch. Anschaulich ist eine Marov Kette periodisch, wenn man trotz der Zufälligeit des Gesamtsystems exate Voraussagen darüber treffen ann, in welcher Teilmenge der Zustandsmenge sich das System an einem bestimmten Zeitpunt befinden wird. Beispiel periodisch Random waler: Der Random Waler steht zum Zeitpunt 0 in der Ece v 1. Er muss also eine gerade Anzahl an Schritten nehmen um zurüc zu v 1 zu ommen. Das heißt (P n ) i,j > 0 nur für n = 2, 4, 6,... daraus folgt: ggt {n 1: (P n ) i,j > 0} = ggt {2, 4, 6,...} = 2 und die Kette ist also periodisch. 3

4 Matrielnummer: Projetseminar zur Stochasti Beispiel aperiodisch: Beispiel Gothenburger Wetter: Man nimmt an, dass es nur zwei verschiedene Zustände des Wetters gibt: Regen und Sonnenschein. In Gothenburg liegt die Wahrscheinlicheit, dass das Wetter morgen genauso ist wie heute, bei 75%. Dann ist das Wetter eine Marov Kette mit Zustandsraum S = {s 1, s 2 } (mit s 1 = Regen und s 2 = Sonnenschein ) und der Übergangsmatrix P = Es ist einfach zu erennen, dass, ohne Einschränungen ob es regnet oder die Sonne scheint, die Wahrscheinlicheit, dass wir das gleiche Wetter n Tage später haben, für alle n echt positiv ist. Also: (P n ) i,i > 0 für alle n und alle Zustände s i. Dies beinhaltet offensichtlich, dass die Marov Kette irreduzibel (s i s j ) und aperiodisch (ggt ) ist.. Theorem 4.1: Sei (X 0, X 1,... ) eine aperiodische Marov Kette mit dem Zustandsraum S = {s 1,...,s } und Übergangsmatrix P. Dann existiert ein N <, so dass (P n ) i,i > 0 für alle s i S und alle n N. In Worten: Für eine aperiodische Marov Kette existiert eine Schrittzahl N, so dass für alle darauffolgenden Schritte n N die Wahrscheinlicheit, dass der Zustand s i in den Ausgangszustand s i zurücehrt für alle s i S positiv ist. 4

5 Matrielnummer: Projetseminar zur Stochasti Um das Theorem zu beweisen, benötigt man folgendes Lemma aus der Zahlentheorie: Lemma 4.1: Sei A = {a 1, a 2,... } eine Menge positiver ganzer Zahlen für die gilt: (i) A ist teilerfremd, also ggt {a 1, a 2,... } (ii) A ist abgeschlossen bezüglich der Addition. Dann existiert ein positives ganzzahliges N <, mit n A für alle n N. (Beweis siehe Brémaud) 5

6 Matrielnummer: Projetseminar zur Stochasti Beweis von Theorem 4.1: Für s i S sei A i = {n 1: (P n ) i,i > 0 }, also ist A i die Menge der möglichen Rücehrzeitpunte zu s i, wenn die Marov Kette bei s i startet. Wir haben angenommen, dass die Marov Kette aperiodisch ist, dann ist auch der Zustand s i aperiodisch und A i ist teilerfremd (erste Bedingung von Lemma 4.1 erfüllt ). Des Weiteren ist A i abgeschlossen bezüglich der Addition, denn: Betrachte a, a A i (also 2 Schrittmöglicheiten vom Zustand s i zum Zustand s i zurüczuehren), dann gilt P(X a X 0 ) > 0 und P(X a+a X a ) >0. Wir wollen zeigen, dass P(X a+a X 0 ) > 0. Es gilt, dass: P(X a+a X 0 ) P(X a, X a+a X 0 ) = P(X a X 0 ) P(X a+a X a ) > 0 Die Summe aller a, a A i ist also auch Element der Menge A i, also a+a A i und somit ist A i abgeschlossen bezüglich der Addition (zweite Bedingung von Lemma 4.1 erfüllt ). A i erfüllt also die beiden Eigenschaften des Lemma 4.1, dass heißt es existiert eine ganze Zahl N i <, so dass (P n ) i,i > 0 mit n A für alle n N i. Theroem 4.1 folgt, indem man N = max {N 1,, N } wählt. q. e. d. Wenn man Aperiodizität und Irreduzibilität miteinander ombiniert, erhält man folgendes wichtiges Korollar: Korollar 4.1: Sei (X 0, X 1,...) eine irreduzible und aperiodische Marov Kette mit Zustandsraum S = {s 1,..., s } und Übergangsmatrix P. Dann existiert ein M <, so dass gilt (P n ) i,j > 0 für alle i, j {1,..., } und alle n M. In Worten: Es existiert eine Schrittzahl M, so dass für alle darauffolgenden Schritte n M die Wahrscheinlicheit, dass der Zustand s i zum Zustand s j geht, positiv ist. 6

7 Matrielnummer: Projetseminar zur Stochasti Beweis Korollar 4.1: Wir wissen aus Theorem 4.1: Es existiert ein N <, so dass (P n ) i,i > 0 für alle s i S und alle n N. Und aus der Irreduzibilität folgt: Es existiert ein n i,j, so dass (P ni,j ) i,j > 0. Wir suchen: M i,j, so dass für alle m M i,j gilt: P(X m = s j X 0 ) > 0 Dafür definieren wir M i,j = N+ n i,j Für alle m M i,j haben wir: P(X m = s j X 0 ) P(X m-ni,j, X m = s j X 0 ) = P(X m-ni,j X 0 ) P(X m = s j X m-ni,j ) *folgt durch Bedingung der Marov-Kette P(X m-ni,j X 0 ) > 0, da m-n i,j N (Theorem 4.1) und P(X m = s j X m-ni,j ) > 0, nach Definition von n i,j. P(X m = s j X 0 ) >0 für alle m M i,j. Das Korollar folgt, indem man M = max {M, M 1,2,,M 1,,M 2,1,, M, } wählt. q. e. d. 7

8 Matrielnummer: Projetseminar zur Stochasti Kapitel 5: Stationäre Verteilung 2 In diesem Kapitel geht es um das Langzeitverhalten von Marov Ketten. Was ann man über eine Marov Kette sagen, die sehr lange läuft? Gibt es interessante Limes Theoreme? Wenn man irgendeine nicht triviale Marov Kette (X 0, X 1,... ) betrachtet, wird der Wert von X n, selbst mit n, im Allgemeinen nicht gegen einen bestimmten Wert onvergieren. Wir hoffen jedoch, dass die Verteilung von X n sich bezüglich eines Grenzwertes annähert. Dies ist in der Tat der Fall, falls die Marov Kette irreduzibel und aperiodisch ist. Für die Verteilung der Wahrscheinlicheiten von X n lassen sich hingegen Aussagen über den Grenzwerte machen: µ=(µ 1,...,µ ) heißt Wahrscheinlicheitsverteilung µ i 0 für i,..., und µ i =1 Die Wahrscheinlicheitsverteilung gibt an, wie sich die Wahrscheinlicheiten auf die möglichen Zufallsergebnisse (Werte der Zufallsvariablen) verteilen. i=1 Definition 5.1: Sei (X 0, X 1,...) eine Marov Kette mit dem Zustandsraum S = {s 1,...,s } und Übergangsmatrix P. Ein Vetor π = (π 1,..., π ) heißt stationäre Verteilung der Marov Kette, wenn gilt: (i) π i 0 für alle,.., und π i (ii) π P = π, also π i P i, j = π j für j,..., Eigenschaft (i) bedeutet, dass π die mögliche Verteilung über {s 1,...,s } beschreibt. (ii) besagt, dass wenn die Anfangsverteilung µ (0) gleich π ist, dann entspricht die Verteilung µ (1) zum Zeitpunt 1 der Kette: µ (1) =µ (0) P = πp = π, und bei Wiederholung sehen wir, dass µ (n) = π für jedes n. 2 Olle Häggström, "Finite Marov Chains and Algorithmic Applications", Cambridge 2002, S

9 Matrielnummer: Projetseminar zur Stochasti Beispiel Wetter in Los Angeles: Man nimmt an, dass es nur zwei verschiedene Zustände des Wetters gibt: Regen und Sonnenschein. Dann ist das Wetter eine Marov Kette mit Zustandsraum S = {s 1, s 2 } (mit s 1 = Regen und s 2 = Sonnenschein ) und der Übergangsmatrix P= Wenn wir µ ( 0) 6,5 als Startposition wählen folgt µ ( 0) = µ n für alle n und µ ( 0) heiß t 6 stationare Verteilung der Marov Kette: = Theorem 5.1 (Existenz von stationären Verteilungen): Für jede irreduzible, aperiodische Marov Kette existiert mindestens eine stationäre Verteilung. Um dieses Theorem zu beweisen müssen wir zunächst ein Lemma beweisen, dass sich mit der Treffzeit von Marov Ketten beschäftigt. Hierfür definieren wir zunächst einmal Treffzeit: T i,j = min {n 1 X n = s j } heißt Treffzeit. Die Treffzeit, ist also die Zeit, die nach dem Start in s i vergeht bis das erste Mal s j besucht wird, wobei T i,j = falls s j niemals besucht wird. Des Weiteren definieren wir den Erwartungswert: τ i,j = E(T i,j ) ist der Erwartungswert von T i,j. Er gibt die erwartete Zeit an, die es braucht mit Startwert s i zu Zustand s j zu ommen. Für den Fall, dass i = j, wird τ i,j die mean return time für Zustand s i genannt. Lemma 5.1: Sei (X 0, X 1,...) eine irreduzible aperiodische Marov Kette mit dem Zustandsraum S = {s 1,...,s } und Übergangsmatrix P. Dann gilt für alle s i, s j S, dass, wenn die Marov Kette in s i startet: (i) P(T i, j < ), d.h. T i, j ist endlich (ii) E(T i, j ) <, d.h. der Erwartungswert von T i, j ist ebenfalls endlich 9

10 Matrielnummer: Projetseminar zur Stochasti Beweis Lemma 5.1: Laut Korollar 4.1 existiert für jede aperiodische irreduzible Marov Kette ein M > 0, sodass (P M ) i,j > 0 für alle i,j {1,..., }. Wir setzen { }, wobei α > 0 die minmalen Einträge der Matrix PM angibt. α = min (P M ) i, j i, j { 1,...,} Setze zwei Zustände s i und s j fest und starte die Marov Kette in s i. Es folgt: P(T i, j > M) P(X M s j ) P(X M = s j ) (P M ) i, j 1 α da { T i, j > M} { X M s i } = (P M ) i, j α Weiter muss betrachtet werden, was zum Zeitpunt 2M passiert: P(T i, j > 2M) = P(T i, j > M)P(T i, j > 2M T i, j > M) P(T i, j > M)P(X 2M s j T i, j > M) (1 α) (1- α) (1 - α) 2 Wir wiederholen dieses Problem für beliebiges l: P(T i, j > lm) = P(T i, j > M) P(T i, j > 2M T i, j > M) x... x P(T i, j > lm T i, j > (l 1)M) (1 α) l Mit l läuft (1-α) l gegen 0. Dies bedeutet P(T i,j = ) = 0 und deshalb ist auch P(T i,j < ) =1 - P(T i,j = ) -0, womit (i) bewiesen wäre. Um (ii) zu beweisen, wird die Definition des Erwartungswertes verwendet: [ ] = P(X ) E X =1 10

11 Matrielnummer: Projetseminar zur Stochasti [ ] = P(T i, j n) E T i, j = P(T i, j > n) n =0 (l +1)M 1 = P(T i, j > n) l =0 n =lm (l +1)M 1 P(T i, j > lm) = MP(T i, j > lm) l =0 n =lm l =0 M l =0 (1 α) l 1 = M 1 (1 α) = M α < q. e. d. Beweis Theorem 5.1: Gegeben sei eine Marov Kette (X 0, X 1,... ) mit dem Zustandsraum S = {s 1,...,s } und Übergangsmatrix P. Wir starten die Kette in s 1 und definieren: ρ i = P(X n > n) für i,..., n =0 ρ i ist dann also die erwartete Anzahl an Besuchen des Zustandes i bis zum Zeitpunt T - 1. Da der Erwartungswert von E [T 1, 1 ] = τ endlich ist, ist ρ i < τ ebenfalls endlich. Unser Kandidat für unsere stationäre Verteilung ist: π = (π 1,...,π ) = ρ 1, ρ 2,..., ρ. τ τ τ Zunächst müssen wir zeigen, dass die Wahl von π die Bedingungen (i) und (ii) von Definition 5.1 erfüllen: Zuerst müssen wir beweisen, dass die Relation π i P i, j = π j in Bedingung (ii) für j 1 gilt (der Fall j wird separat behandelt): Zur Erinnerung noch mal die zu erfüllenden Bedingungen: (i) π i 0 für alle i,.., und π i (ii) π P =π, also π i P i, j =π j für j,..., 11

12 Matrielnummer: Projetseminar zur Stochasti Da wir im Zustand s 1 starten und j 1 ist, ist P(X 0 = s j ) = 0: π j = ρ j P(X τ τ n = s j > n) P(X τ n = s j P(X τ n 1,X n = s j, T P(X τ n = s j X n 1 P(X n 1 P(X τ n = s j X n 1 ) P(X n 1 τ = P i, j P i, j P(X n 1 P τ i, j P(X n 1 P τ i, j P(X m > m) m=0 P τ i, j ρ i = P i, j ρ i = π τ i P i, j Als nächstes zeigen wir Bedingung (ii) für den Fall, dass j ist. Es gilt ρ 1, da für n = 0 : P(X 0 = s 1 > 0) für n > 0 : P(X n = s 1 > n) = P( ) = 0 ρ = P( 1 X n = s 1 > n) n =0 12

13 ρ 1 = P(T < ) = P(T = n) = P(X n 1 = n) = P(X n 1,X n = s 1 = P(X n = s 1 X n 1 ) P(X n 1 = P i,1 P(X n 1 = P i,1 P(X n 1 = P i,1 P(X m > m) m=0 = ρ i P i,1 Daraus folgt : π 1 = ρ 1 τ = = ρ i P i,1 ρ i = P i,1 π i τ Charlotte Bachmair Matrielnummer: Projetseminar zur Stochasti Also ist auch Bedingung (ii) für j erfüllt. Es bleibt also noch zu zeigen, dass auch Bedingung (i) gilt. Das π i 0 für i,..., ist offensichtlich. Um zu sehen, dass auch π i betrachte folgendes: τ = E T [ ] = P(T > n) n =0 = P(X n, T > n) n=0 = P(X n, T > n) i=1 n =0 = ρ i i=1 Damit ist auch Bedingung (i) gezeigt. π i i=1 τ ρ i i=1 q. e. d 13