16.3 Rekurrente und transiente Zustände Für alle n N bezeichnen wir mit f i (n) = P(X n = i,x n 1 i,...,x 1 i,x 0 = i) die Wahrscheinlichkeit, daß nach n Schritten erstmalig wieder der Zustand i erreicht wird. Es gilt: f i (0) = 0 und f i (1) = p ii. Sei i fest und seien k = 1,...,n B k = {X k = i,x ν i ν = 1,...,k 1 X 0 = i} B n+1 = {System befand sich während der ersten n Schritte nie im Zustand i}. 717 W.Kössler, Humboldt-Universität zu Berlin
Offenbar n+1 l=1 B l = Ω, B l B l = (l l ). Dann gilt p ii (n) = P(X n = i X 0 = i) = = n+1 k=1 P(X n = i B k ) P(B k ) n f i (k)p ii (n k) + P(X n = i B n+1 ) P(B n+1 ) k=1 718 W.Kössler, Humboldt-Universität zu Berlin
Wegen P(X n = i B n+1 ) = 0 folgt p ii (n) = n k=1 f i (k) p ii (n k) (n 1). Damit läßt sich f i (k) rekursiv berechnen: f i (0) = 0, f i (1) = p ii p ii (2) = f i (1) p ii (1) + f i (2) p ii (0) = p 2 ii + f i (2) f i (2) = p ii (2) p 2 ii ( pii (2) = p ik p ki pii) 2. k 719 W.Kössler, Humboldt-Universität zu Berlin
Wirbezeichnen mit F i := j=1 f i (j) die Wkt., daß man irgendwann in den Zustand i zurückkehrt. Def. 63 Ein Zustand i S heißt rekurrent, wenn F i = 1 gilt. Ist dagegen F i < 1, so heißt er transient. Bemerkung: Wir werden in der Vorlesung einige der folgenden Beweise weglassen. Satz 68 Zustand i rekurrent er wird unendlich oft erreicht mit Wkt. 1. Zustand i transient er kann höchstens endlich oft erreicht werden. 720 W.Kössler, Humboldt-Universität zu Berlin
Beweis: Sei r i (k) die Wkt., dass die MK mindestens k mal nach i zurückkehrt. r i (k) = P(k-1 mal zurück erstmals nach n Schritten zurück) = n=1 P(nach n Schritten das erste Mal nach i zurück) f i (n)r i (k 1) n=1 = r i (k 1) r i (k) = F k i = r i (k 1)F i f i (n) n=1 721 W.Kössler, Humboldt-Universität zu Berlin
Ist i rekurrent, also F i = 1, dann ist r i (k) = 1 k N. Sei i transient, d.h. F i < 1. Sei Z i die Anzahl der Besuche in i. P(Z i = k) = F k i (1 F i ) geometrische Verteilung mit Parameter (1 F i ). EZ i = 1 1 F i < 722 W.Kössler, Humboldt-Universität zu Berlin
Satz 69 Ein Zustand i ist genau dann rekurrent, wenn gilt: p ii (n) =. n=0 Er ist genau dann transient, wenn n=0 p ii (n) < ist. Beweis: (für einen anderen Beweis siehe z.b. Mathar/Pfeifer, Satz 3.2.1). Erinnerung: p ii (n) = n k=1 f i (k) p ii (n k) (n 1) Multiplizieren diese Gleichung mit z n und summieren über n: 723 W.Kössler, Humboldt-Universität zu Berlin
P i (z) := = p ii (n)z n n=1 ) f i (k) p ii (n k) n z n( n=1 k=1 = zf i (1) p ii (1 1) +z 2( f i (1) p ii (2 1) + f i (2) p ii (2 2) ) +z 3( f i (1) p ii (3 1) + f i (2) p ii (3 2) + f i (3) p ii (3 3) ) +... +z n( f i (1) p ii (n 1) +... + f i (n) p ii (0) +... 724 W.Kössler, Humboldt-Universität zu Berlin
( = zf i (1) 1 + = ( +z 2 f i (2) 1 + +... ( +z n f i (n) 1 + ν=1 ν=1 ) z ν p ii (ν) ν=1 ) z ν p ii (ν) ) z ν p ii (ν) +... z ν f i (ν) (1 + P i (z) ) ν=1 = F i (z) (1 + P i (z) ) 725 W.Kössler, Humboldt-Universität zu Berlin
wobei F i (z) := z ν f i (ν). ν=1 Die Fkt. F i (z) und P i (z) sind analytisch für z < 1. F i (z) = P i(z) 1 + P i (z), P i(z) = F i(z) 1 F i (z) lim F i(z) = F i (1) = F i = z 1 f i (ν) ν=1 ist die Wkt. für eine Rückkehr nach i. Sei lim P i(z) = P i = p ii (n) = z 1 n=1 726 W.Kössler, Humboldt-Universität zu Berlin
Daraus folgt d.h. i ist rekurrent. F i = lim z 1 P i (z) 1 + P i (z) = 1, Sei umgekehrt F i = 1. Dann folgt P i = lim z 1 P i (z) = 1 1 lim z 1 F i (z) =. Der zweite Teil des Satzes ist die Kontraposition des ersten Teils. Folg. 11 Sei i transient. dann F i = P i 1 + P i < 1. 727 W.Kössler, Humboldt-Universität zu Berlin
Diese beiden Aussagen können zum Beweis des folgenden Lemmas verwendet werden. Lemma 70 Ist ein Zustand i rekurrent (transient) und kommuniziert er mit einem Zustand j (i j), so ist auch der Zustand j rekurrent (transient). Beweis: 1. Sei i j. Dann existieren m,k > 0: p ij (k) > 0 und p ji (m) > 0. Für alle n N gilt: p jj (m + n + k) = ( p jk (m)p k l(n) ) p lj (k) l k = p jl (m + n)p lj (k) l p ji (m)p ii (n)p ij (k) (l = i). 728 W.Kössler, Humboldt-Universität zu Berlin
Daraus folgt (da i rekurrent) p jj (m + n + k) p ji (m)p ij (k) p ii (n) =. n=1 n=1 2. Sei i j. und i transient. Ang, j wäre rekurrent, dann wäre nach 1. auch i rekurrent. Wid. Folg. 12 Eine irreduzible MARKOFF sche Kette mit endlich vielen Zuständen hat nur rekurrente Zustände. Beweis: Mindestens ein Zustand muß rekurrent sein. Da alle Zustände miteinander kommunizieren, sind alle Zustände rekurrent. 729 W.Kössler, Humboldt-Universität zu Berlin
Bsp. 117 (Random walk, eindim. Fall) Der Zustandsraum ist S = Z. Die Übergangswahrscheinlichkeiten sind p i,i+1 p i,i 1 := p := 1 p p ij := 0, falls i j 1. D.h. Übergänge zwischen Zuständen, die einen Abstand ungleich Eins zueinander haben, sind nicht möglich. Die 730 W.Kössler, Humboldt-Universität zu Berlin
Übergangsmatrix M hat folgende Gestalt:.......... 0 p 0 0...... 1 p 0 p 0... M =... 0 1 p 0 p...... 0 0 1 p 0........... Offenbar kommunizieren alle Zustände miteinander. Ist somit ein Zustand rekurrent, so sind es alle. Und umgekehrt. 731 W.Kössler, Humboldt-Universität zu Berlin
Es genügt also zu untersuchen: n=1 p 00 (n). Dazu siehe den Abschnitt Irrfahrten! n=1 p 00(n) =, wenn p = 1 2. 732 W.Kössler, Humboldt-Universität zu Berlin
Bsp. 118 (Random walk, zwei- und dreidim. Fall) Im zweidimensionalen Fall haben wir in jedem Zustand vier mögliche Übergänge, denen die Wahrscheinlichkeiten p 1,p 2,p 3 und p 4 zugeordnet werden. DieZustände sind rekurrent, wenn p 1 = p 2 = p 3 = p 4 = 1 gilt. 4 Im dreidimensionalen Fall sind in jedem Punkt im dreidimensionalen ganzzahligen Gitter sechs Übergänge möglich. Auch wenn p 1 =... = p 6 = 1, so sind alle Zustände 6 transient. Dazu siehe den Abschnitt Irrfahrten! 733 W.Kössler, Humboldt-Universität zu Berlin
(die folgenden drei Seiten können überlesen werden.) Sei jetzt der Zustand i Startzustand (fest) und Y 1 = # Schritte bis zur ersten Rückkehr nach i Y 2 = # Schritte bis zur zweiten Rückkehr Y k = # Schritte bis zur k-ten Rückkehr P(Y 1 < ) = F i Y 1 = = Y 2 =, d.h. {Y 1 = } {Y 2 = } = P(Y 2 < Y 1 < ) = F i 734 W.Kössler, Humboldt-Universität zu Berlin
Sei jetzt F i < 1. = P(Y 2 < ) = P(Y 2 < Y 1 < ) P(Y 1 < ) = F 2 i P(Y k < ) = F k i k=1 P(Y k < ) = k=1 F k i < Folg. 13 i transient = nach unendlich vielen Schritten tritt i höchstens endlich oft mit Wkt. 1 ein. 735 W.Kössler, Humboldt-Universität zu Berlin
Beweis: Nach dem Lemma von Borel-Cantelli gilt k=1 P(A k ) < = P(lim sup A n ) = 0. Mit A k = {Y k < }, B n = k n A k folgt 0 = P(lim sup A n ) = P(limB n ) = lim P(B n ) = P(B) B = {unendlich viele der A k,k = 1, 2,...,treten ein} B = {endlich viele dera k,k = 1, 2,..., treten ein} P(B) = 1 736 W.Kössler, Humboldt-Universität zu Berlin
Folg. 14 Sei jetzt i rekurrent, d.h. F i = 1. = i wird unendlich oft erreicht. Beweis: Für beliebiges k gilt: P(Y k < ) = 1. Y = # der Rückkehren nach i bei unendlich vielen Schritten. {Y k < } {Y k} P(Y = ) = lim k P(Y k) = lim k P(Y k < ) = 1. 737 W.Kössler, Humboldt-Universität zu Berlin
16.4 Grenzverteilungen Def. 64 Ein Zustand i heißt periodisch mit der Periode d, falls d größter gemeinsamer Teiler aller der Zahlen n Z + ist, für die p ii (n) > 0 gilt. Ist d = 1, so heißt der Zustand i aperiodisch. Falls für alle Zahlen n Z + p ii (n) = 0 gilt, so setzen wir d :=. Satz 71 Es sei i S ein periodischer Zustand mit Periode d. Desweiteren kommuniziere er mit einem weiteren Zustand j (i j). Dann hat auch der Zustand j die Periode d. Beweis: Nach Voraussetzung ist i periodischer Zustand mit Periode d. Folglich lassen sich alle Zahlen k mit p ii (k) > 0 738 W.Kössler, Humboldt-Universität zu Berlin
durch k = k 0 d, für eine Zahl k 0, darstellen. Da die Zustände i und j miteinander kommunizieren, existieren weitere Zahlen n und m, so daß gilt: p ij (n) > 0 und p ji (m) > 0. Daraus folgt mit Hilfe der Rekursion von CHAPMAN KOLMOGOROFF: p ii (n + m) = l S p il (n) p li (m) p ij (n) p ji (m) > 0 Folglich ist d Teiler der Summe n + m. 739 W.Kössler, Humboldt-Universität zu Berlin
Es gelte nun p jj (r) > 0 für ein gewisses r. Dann gilt: p ii (n + m + r) = p il (n) p ls (r) p si (m) l,s S p ij (n) p jj (r) p ji (m) > 0 Wir stellen also fest: d teilt m + n + r d teilt m + n d teilt r. Folglich ist der Zustand j periodisch mit Periode d, wobei gilt: d d. Da die Relation symmetrisch ist, gilt auch: j i. 740 W.Kössler, Humboldt-Universität zu Berlin
Mit der gleichen Beweisführung wie oben können wir dann zeigen, daß gilt: d d. Daraus folgt: Die Zustände i und j haben die gleiche Periodenlänge. Es sei nun i ein Zustand aus dem Zustandsraum S. Wir betrachten die folgende Zufallsgröße: 1 2... n... Y :. f i (1) f i (2)... f i (n)... Wir definieren die mittlere Rückkehrzeit in den Zustand i: µ i := n=1 n f i (n) = EY. 741 W.Kössler, Humboldt-Universität zu Berlin
Def. 65 Es sei i ein Zustand aus dem Zustandsraum S. Der Zustand i heißt positiv rekurrent, falls µ i < gilt. Ist dagegen µ i =, so nennen wir den Zustand i Null rekurrent. Es gelten für einen beliebigen Zustand i die folgenden Zusammenhänge (ohne Beweis): µ i < genau dann, wenn lim n p ii (n) > 0; µ i = genau dann, wenn lim p ii (n) = 0. n Ist der Zustand i positiv rekurrent und aperiodisch, so gilt: 1 µ i = lim p ii(n). n 742 W.Kössler, Humboldt-Universität zu Berlin
Def. 66 Eine MARKOFF sche Kette {X t } t T heißt ergodisch, falls der Zustandsraum S nur aus positiv rekurrenten und aperiodischen Zuständen besteht. Satz 72 (Ergodensatz) Eine homogene MARKOFF sche Kette {X t } t T ist genau dann irreduzibel und ergodisch, wenn für alle Zustände i S gilt: p j := lim n p ij (n) > 0. Außerdem gilt µ j = 1 p j und {p j } ist eindeutig bestimmt durch: p j = i=1 p i p ij. 743 W.Kössler, Humboldt-Universität zu Berlin
{p i } heißt stationäre oder Finalverteilung. Die stationäre Verteilung kann also nach obiger Gleichung ermittelt werden. p = p 1. = M T... p 2 p j p 1 p 2 p j. Also gilt: M T p = p = λ p mit λ = 1. Eigenwertgleichung für den Eigenwert 1. p ist Eigenvektor zum Eigenwert 1. Bem. 28 M und M T haben dieselben Eigenwerte. 744 W.Kössler, Humboldt-Universität zu Berlin
Folg. 15 Sei M die Übergangsmatrix einer MARKOFF schen Kette mit endlich vielen Zuständen (in der Form, in der die Äquivalenzklassen ablesbar sind) Dann gilt: Die Vielfachheit des Eigenwertes 1 ist gleich der Anzahl der rekurrenten Äquivalenzklassen. Beweis: Jede Teilübergangsmatrix von Äquivalenzklassen hat den einfachen Eigenwert 1 (Finalverteilung eindeutig!) Bsp. 119 Wir betrachten eine MARKOFF sche Kette über einem dreielementigen Zustandsraum, die die folgende 745 W.Kössler, Humboldt-Universität zu Berlin
Übergangsmatrix M besitzt: M = 1 2 3 4 1 0 2 1 0 4 0 0 1. Äquivalenzklassen: {1, 2}, {3}. Wir ermitteln die Eigenwerte: 0 = det(m λ I) 1 λ 1 0 2 2 = 3 1 4 λ 0 4 0 0 1 λ = (1 λ) [( 1 2 λ) (1 4 λ) 3 8 ] 746 W.Kössler, Humboldt-Universität zu Berlin
Der erste Eigenwert: λ 1 = 1. Weiter: 0 = ( 1 2 λ) (1 4 λ) 3 8 = 1 8 3 4 λ + λ2 3 8 = λ 2 3 4 λ 1 4 λ 2,3 = 3 8 ± 9 64 + 16 64 = 3 8 ± 25 64 λ 2 = 3 8 + 5 8 = 1 λ 3 = 1 4 747 W.Kössler, Humboldt-Universität zu Berlin
Also: Eigenwerte: λ 1 = λ 2 = 1 und λ 3 = 1. Der Eigenwert 4 1 hat folglich die Häufigkeit 2, und somit gibt es zwei rekurrente Äquivalenzklassen. Folg. 16 Falls p ij = j p ij = 1 i so sind die stationären Verteilungen einer endlichen irreduziblen Markoffschen Kette Gleichverteilungen. 748 W.Kössler, Humboldt-Universität zu Berlin
Beweis: Es gilt für die stationäre Verteilung (p 1,...,p n ): p i p ij = p j = p j p ij i Daraus folgt j (p i p j )p ij = 0, insbesondere i i (p i p j0 )p ij0 = 0, j 0 = min j Wegen (p i p j0 ) 0 folgt p j0 = p i i, d.h. p i = 1 n. Folg. 17 Ist die Übergangsmatrix einer endlichen irreduziblen Markoffschen Kette symmetrisch so sind die stationären Verteilungen Gleichverteilungen. i p j 749 W.Kössler, Humboldt-Universität zu Berlin
Veranschaulichung von limp jj (n) = 1 µ j und des Ergodensatzes {X t }: homogene Markoffsche Kette j: rekurrenter Zustand, X 0 = j (j fest). 1, falls X k = j Y k = 0, sonst. P(Y k = 1) = p jj (k), EY k = p jj (k) 750 W.Kössler, Humboldt-Universität zu Berlin
Anzahl der Wiederkehrzeitpunkte im Zeitraum 1,...,N N k=1 Y k = k N. Beobachtete mittlere Anzahl der Wiederkehrpunkte pro Schritt (im Zeitraum 1,...,N) k N N Ek N N = 1 N E( N = 1 N N p jj (n) n=1 n=1 Y k ) = 1 N N n=1 EY k 751 W.Kössler, Humboldt-Universität zu Berlin
Mittlere beobachtete Wiederkehrzeit im Zeitraum 1,...,N N k N µ j = Andererseits: 1 N N n=1 p jj (n) N 1 µ j lim n p jj(n) = p j = 1 N N n=1 p jj (n) N p j = 1 µ j. 752 W.Kössler, Humboldt-Universität zu Berlin
Abschätzung der Konvergenzgeschwindigkeit c(n 0 ) := 1 1 2 sup i,j p im (n 0 ) p jm (n 0 ) m Für n n 0 gilt: c(n) > 0. Satz 73 Sei c(n 0 ) > 0 für ein gewisses n 0. dann existiert lim p j(n) = p j, j = 1, 2,... n und es gilt für alle Anfangsverteilungen {p 0 j}: p j (n) p j C e Dn, 753 W.Kössler, Humboldt-Universität zu Berlin
wobei C = 1 1 c(n 0 ), D = 1 n 0 ln 1 1 c(n o ) Beweis: Rosanov, Zufällige Prozesse p j (n) = P(X n = j) = i p 0 ip ij (n) 754 W.Kössler, Humboldt-Universität zu Berlin