DIPLOMARBEIT. Regenerative und Harris-rekurrente Markovketten. Veronika Huemer-Kals. Magistra der Naturwissenschaften (Mag.rer.nat.

Transkript

1 DIPLOMARBEIT Ttel der Dplomarbet Regeneratve und Harrs-rekurrente Markovketten Verfassern Veronka Huemer-Kals angestrebter akademscher Grad Magstra der Naturwssenschaften (Mag.rer.nat.) Wen, 203 Studenkennzahl lt. Studenblatt: A 405 Studenrchtung lt. Studenblatt: Dplomstudum Mathematk Betreuer: Prvatdozent Dr. Roland Zwemüller

2

3 Danksagung Menen herzlchsten Dank an Herrn Prvatdozent Dr. Roland Zwemüller für de groÿartge Betreuung, das rchtge Maÿ an hlfrecher Unterstützung und Freraum und für de Beretschaft, trotz räumlcher Dstanz de Betreuung zu übernehmen mene KollegInnen vom IBO, dafür, dass sch Studum und Arbet zetlch mmer verenbaren leÿen und auch sonst men Studenabschluss unterstützt wurde Herrn Dr. Hans-Peter Ammerer, ohne den ch ncht n der Lage gewesen wäre, dese Dplomarbet zu schreben Angelka Geroldnger und Marna Rehrl für de persönlche, fachlche und LateX-nsche Unterstützung Elsabeth Englmaer, Karna Fallent, Sonja Messertsch und vele wetere Freundnnen und Freunde für persönlches Antelnehmen am Fortschrtt der Dplomarbet mene Eltern Karl und Elfrede und mene Geschwster Kornela und Severn für alles.

4

5 Inhaltsverzechns Grundbegre. Enführung Kerne Wederholung aus Maÿtheore Markovketten Denton und grundlegende Egenschaften 3 2. Denton/Konstrukton ener Markovkette Varanten der Markov-Egenschaft Dskrete Markovketten 3. Rekurrenz und Transenz Langzetverhalten Markovketten auf allgemeneren Räumen Irreduzbltät Mnorserung Perodztät Rekurrenz und Harrs-Rekurrenz Lteraturverzechns 43 A Zusammenfassung 45 B Lebenslauf 47

6

7 Kaptel Grundbegre. Enführung Ene Markovkette st en stochastscher Prozess wr bewegen uns also n enem Wahrschenlchketsraum (Ω, F, P 0 ) und enem messbaren Raum (E, E), dem m enfachsten Fall endlchen oder abzählbaren Zustandsraum. Zufallsvarablen (X n ) n 0 blden zu jedem Zetpunkt n 0 ersteren auf letzteren ab. In welchem Zustand x E man sch zu Begnn des Prozesses bendet, st durch ene Startvertelung gegeben. De Wahrschenlchket, von x n ene Menge A E zu gelangen, wrd durch enen Kern ausgedrückt. Der Raum reellwertger E-B R -messbarer Funktonen wrd ebenso we de σ-algebra selber mt E bezechnet. M + (E) se der Raum der nchttrvalen Maÿe auf E..2 Kerne De folgenden grundlegenden Dentonen und Aussagen nden sch n deser oder ähnlcher Form etwa n Revuz [984], S. 8. oder Nummeln [984], S. f. Denton. Unter enem Kern auf E verstehen wr ene Abbldung κ : E E [0, ] mt den Egenschaften a) κ (., A) st messbar A E und b) κ (x,.) st en Maÿ x E. En Kern heÿt substochastsch oder ene Übergangswahrschenlchket, wenn κ(x, E) x E und stochastsch oder Markovkern, wenn κ(x, E) = x E En Kern κ und ene nchtnegatve messbare Funkton f deneren ene wetere nchtnegatve messbare Funkton durch κf(x) = κ(x, dy)f(y) E

8 Kaptel Grundbegre Das heÿt, κ wrkt als Operator auf E +, dem Raum der nchtnegatven messbaren Funktonen und ebenso erhält man aus enem Maÿ µ auf E durch µκ(a) = κ(x, A) µ(dx) E weder en Maÿ. Entsprcht f enem Kern κ 2 (., A) bzw. µ enem Kern κ (x,.), dann st das Produkt zweer (stochastscher) Kerne κ κ 2 (x, A) = κ (x, dy)κ 2 (y, A) E weder en (stochastscher) Kern. De Potenzen enes Kerns snd teratv denert durch κ n = κκ n n und κ 0 (x, A) = I (x, A) = A (x) Ihre Summe st der Potenzalkern G = n=0 κn. Im folgenden werden oft de Potenzen ener Übergangswahrschenlchket P betrachtet und dann mt P n statt P n bezechnet..3 Wederholung aus Maÿtheore Denton. Maÿe µ und ν auf (E, E) heÿen zuenander sngulär 2, wenn E = A B, A B =, µ (A) = 0 und ν (B) = 0. Schrebwese: µ ν. Satz.3. (Lebesgue-Zerlegung 3 ). Snd µ, ν zwe σ-endlche Maÿe, dann kann man ν endeutg zerlegen n σ-endlche Maÿe ρ und σ mt ρ µ und σ µ. Analog, wenn ν en sgnertes Maÿ st. De folgenden Konvergenzbegre für Maÿe werden n Hernández-Lerma und Lasserre [2003], S. 24, engeführt: Denton. Se {µ n } ene Folge n M + (E). {µ n } konvergert mengenwese gegen µ, wenn µ n (A) µ (A) A E Denton. De Totalvaraton. T V enes sgnerten Maÿes µ auf (E, E) st gegeben durch µ T V = (µ + + µ ) (E), wobe µ + (A) = sup {µ (B) B A} und µ (A) = nf {µ (B) B A}. Bemerkung. De Totalvaraton st ene Norm. Nummeln [984], S. 9 2 Elstrodt [2005], S Elstrodt [2005], S

9 Kaptel 2 Markovketten Denton und grundlegende Egenschaften 2. Denton/Konstrukton ener Markovkette Markovketten können auf verschedene Arten denert werden. Zunächst als Folge von Zufallsvarablen mt ener gewssen Egenschaft, der (elementaren) Markovegenschaft 4 : Denton. Se (X n ) n 0 ene Folge von Zufallsvarablen auf enem Wahrschenlchketsraum (Ω, F, P 0 ) mt Werten m messbaren Raum (E, E). (X n ) heÿt Markovkette, wenn P 0 (X n+ A X 0,..., X n ) = P 0 (X n+ A X n ) (2.) und homogen, wenn dese Wahrschenlchket ncht von n abhängt. Im folgenden werden wr ausschleÿlch homogene Markovketten betrachten. Durch P (x, A) := P 0 (X n+ A X n = x) st en stochastscher Kern auf E gegeben, da de bedngte Wahrschenlchket P 0 (. X n = x) de entsprechenden Egenschaften erfüllt. De Markovkette wrd also beschreben durch hren Übergangskern und hr Startmaÿ, das Wahrschenlchketsmaÿ ν (A) := P 0 (X 0 A) Man kann aber auch den Speÿ umdrehen und von enem stochastschen Kern P auf (E, E) ausgehend ene Markovkette konstrueren. 5 Als Wahrschenlchketsraum (Ω, F) wählen wr den unendlchen Produktraum Ω = n=0 E mt der Produkt-σ-Algebra F = n 0 E. Unsere Folge von Zufallsvarablen seen de Koordnatenprojektonen X n (ω) = ω n. Gewünscht st en Wahrschenlchketsmaÿ auf (Ω, F), das dese Folge zur Markovkette macht. 4 Hernández-Lerma und Lasserre [2003], S vgl. Revuz [984], S. 6. 3

10 Kaptel 2 Markovketten Denton und grundlegende Egenschaften Werfen wr enen genaueren Blck auf de Mengensysteme auf Ω: Für alle n enthält F = σ (X 0, X,...) de σ-algebra F n := σ (X 0,..., X n ) der n den ersten n Projektonen enthaltenen Informatonen und daher auch deren Verengung A = n=0 F n, de Informatonen aus endlch velen Projektonen. A st ene Algebra (we man enfach nachrechnet), aber kene σ-algebra so st etwa für en belebges A E de Menge {X n A oft} = n m n {X m A} }{{} F m A ncht n A enthalten. De von A erzeugte σ-algebra st schon F, denn enersets st A F und somt σ (A) σ (F) = F. De umgekehrte Inkluson st ebenfalls lecht zu zegen: X k E F k A k k 0 X k E A σ ( k 0 X k }{{ E) σ (A) } F Schleÿlch st n A der Halbrng der messbaren Rechtecke S = A F : n N n : A = A j E A j E enthalten. j=0 j=n+ Satz 2... Für alle x E exstert en endeutg bestmmtes Wahrschenlchketsmaÿ 6 P x auf (Ω, F), sodass für belebge Rechtecke A = n j=0 A j j=n+ E glt: P x (A) = A0 (x) P (x, dx ) P (x, dx 2 )... A A 2 (2.2) P (x n 2, dx n )P (x n, A n ) A n Bewes. De Mengenfunkton P x entsprcht, auf den messbaren Rechtecken der Dmenson n betrachtet, den n Klenke [2008] denerten Produkten 7 ɛ x n P = und nach Korollar 4.24 (ebd.) st deses Produkt en Wahrschenlchketsmaÿ auf dem endlchen Produktraum ( n =0 E, n =0 E). Letzteres st also de endeutg bestmmte 6 Revuz [984], S. 7, Theorem Klenke [2008], Satz 4.22 sowe Korollar

11 2. Denton/Konstrukton ener Markovkette Fortsetzung 8 von P x (n) P x auf de Produkt-σ-Algebra F n = n =0 E, welche ja auch von den messbaren Rechtecken erzeugt wrd. De Famle deser Maÿe st konsstent, das heÿt P (n+) x Fn = P (n) x. Somt st P x auf ganz A endeutg festgelegt. Fortsetzungssatz und Endeutgketssatz 9 garanteren, dass en σ-endlches Prämaÿ auf enem Halbrng endeutg auf de erzeugte σ-algebra (her σ (A) = F) fortgesetzt werden kann. Zuerst deneren wr, analog zu P x, de Mengenfunkton P(x m 0,...,x m) auf dem zu Ω somorphen Raum Ω (m) = k=m E. Für ene A-Menge A mt enem festgelegten Anfangsstück { ( A (x 0,..., x m ) := ω (m) Ω (m) : x 0,..., x m, ω (m)) } A st P m (x 0,...,x m) denert durch P m (x 0,...,x m) (A (x 0,..., x m )) = δ (x0,...,x m) (P... P ) (A) Falls A en messbares Rechteck st, lässt sch P x (A) schreben als P x (A) = A0 (x) P (x, dx ) A } {{} P (x, dx 2 )... A 2 P (x n, dx n ) = A n E P (x,dx ) A (x ) = E P (x, dx ) P (x,x ) (A(x)) (2.3) Für A A belebg glt dese Identtät ebenfalls: A st dann n ener σ-algebra F n enthalten. De lnke Sete n (2.3), P x (A), st we berets erwähnt für belebges x en Maÿ auf F n, ebenso de rechte Sete, was sch dank der σ-addtvtät von P(x,x ) lecht nachwesen lässt. Auf den messbaren Rechtecken { n j=0 A j } j=n+ E : A j E stmmen dese Mengenfunktonen überen, also auch auf der erzeugten σ-algebra F n. Es blebt de σ-addtvtät von P x auf A zu zegen. Im Fall ener Algebra mt ener endlch addtven Mengenfunkton, de dem ganzen Raum enen endlchen Wert zuwest, wrd de σ-addtvtät der Mengenfunkton durch hre Stetgket n charaktersert. 0 Wr nehmen nun ene Folge (A j ) n A mt (A j ) und Grenzwert lm j P x (A j ) > 0 an. Wegen (2.3) und aufgrund des Lemmas von Fatou glt 0 < lm P x (A j ) = lm P (x, dx ) P j j (x,x ) (A j(x)) E P (x, dx ) lm P E j (x,x ) (A j(x)) }{{} [0,] 8 sehe z.b. Elstrodt [2005], S. 6 9 ebd. 0 Elstrodt [2005], S. 32, Satz.0 5

12 Kaptel 2 Markovketten Denton und grundlegende Egenschaften woraus wr schleÿen, dass es en x E gbt mt lm j P (x,x ) (A j(x)) = nf j P (x,x ) (A j(x)) > 0 de Mengen A j (x) also für alle j ncht leer snd. Auf deselbe Wese können wr zu P (x,x ) (A j(x)) en x 2 nden mt lm j P 2 (x,x,x 2 ) (A j(x, x )) > 0. So konstrueren wr ene Folge (x, x 2, x 3,...) mt das heÿt A j (x, x, x 2, x 3,..., x n ) j n j ω (n+) Ω (n+) : (x, x, x 2, x 3,... x n, ω (n+) ) A j De Mengen A j stammen aus der Algebra A und hängen daher nur von endlch velen Eregnssen ab. Das bewrkt, dass für jedes j ab enem gewssen Index k j alle Folgen (x, x, x 2, x 3,... x kj, ω (k j+) ) n A j legen. Daher st (x, x, x 2, x 3,... x n,...) n allen A j enthalten en Wderspruch zur Annahme, der Schntt der Folge (A j ) wäre leer. Satz De Abbldung x P x (A) st E-messbar für alle A F. Bewes. Für den Bewes nützen wr den Satz über monotone Klassen. De Menge B := {A F : x P x (A) messbar} st ene solche 2 und damt dentsch mt der von hr erzeugten monotonen Klasse S(B). Messbare Rechtecke A = n j=0 A j j=n+ E snd n der monotonen Klasse B n := {A F n : x P x (A) messbar} enthalten. Oenschtlch st B n F n. Umgekehrt st nach dem Satz über monotone Klassen 3 und aufgrund der Durchschnttstabltät der messbaren Rechtecke de von hnen erzeugte σ-algebra F n glech der erzeugten monotonen Klasse. Deshalb glt auch F n B n für alle n und somt A B. Da A durchschnttstabl st, können wr nochmals den Satz über monotone Klassen anwenden und erhalten F = σ(a) = S(A) S(B) = B Zusammenfassend erhalten wr folgenden Satz Se (E, E) en messbarer Raum mt enem stochastschen Kern P und enem Wahrschenlchketsmaÿ ν. Dann exstert auf dem unendlchen Produktraum Revuz [984], S. 7, Theorem De denerenden Egenschaften aus Revuz [984], S. 4, Def. 3., snd enfach nachzuwesen. 3 Revuz [984], S. 4, Satz 3.2 6

13 2. Denton/Konstrukton ener Markovkette Ω = n=0 E mt der Produkt-σ-Algebra F ene homogene Markovkette, de endeutg bestmmte kanonsche Markovkette 4 mt Übergangswahrschenlchket P und Startmaÿ ν. Bewes. De gewünschte Markovkette erhalten wr, ndem wr für ν en wegen Satz 2..2 wohldenertes Maÿ P ν auf Ω festlegen durch P ν (A) = P x (A) ν (dx) E denn bezüglch P ν erfüllt de Folge der Koordnatenprojektonen (X n ) de Markovegenschaft P ν (X n+ A n+ X 0,..., X n ) }{{} E ν[ An+ (X n+ ) F n] Um des zu bewesen, zegen wr erst = P ν (X n+ A n+ X n ) }{{} E ν[ An+ (X n+ ) σ(x n)] P ν (X n+ A n+ X 0,..., X n ) = P (x n, A n+ ) O.B.d.A. se P ν = P x0 für en x 0 E. Für messbare Rechtecke glt ( ) n+ P x0 (A 0... A n+ ) = ɛ x0 P (A 0... A n+ ) = A 0... A n ( ɛ x0 = = ) n P (dx 0,..., dx n ) P ((x 0,..., x n ), A n+ ) = }{{} P (x n,a n+ ) P x0 (dx 0,..., dx n ) P (x n, A n+ ) = A 0... A n P (x n, A n+ ) P x0 (dx) wobe A = A 0... A n F n en messbares Rechteck und x = (x 0,..., x n ) st. Anders ausgedrückt, haben wr {Xn+ A n+ }dp x0 = P (x n, A n+ ) dp x0 A } {{ } A P x0 (A 0... A n+ ) Mttels des Fortsetzungssatzes kann man dese Egenschaft auf belebge A F n übertragen. Da P (x n, A n+ ) auch messbar bezüglch F n st, erfüllt es de Egenschaften der bedngten Erwartung, und de Behauptung st bewesen. A 4 Revuz [984], S. 8, Proposton 2.0 7

14 Kaptel 2 Markovketten Denton und grundlegende Egenschaften Nun st P (x n, A n+ ) sogar messbar bezüglch σ (X n ), und {Xn+ A n+ }dp x0 = P (x n, A n+ ) dp x0 A glt nsbesondere für A σ (X n ) F n. Daraus folgt P (x n, A n+ ) = P x0 (X n+ A n+ X n ) A De Übergangswahrschenlchket st we gewünscht durch den Kern gegeben und de Markovkette homogen. Schleÿlch glt noch P ν (X 0 A 0 ) = E P x (A 0 ) ν (dx) = ν (A }{{} 0 ) A0 (x) Ene alternatve Denton ener Markovkette ndet sch n Revuz [984] 5 und st äquvalent zu (2.) 6 : Denton. Der stochastsche Prozess X = (X n ) n 0 heÿt Markovkette, wenn für alle A F n = σ (X,..., X n ) und alle B σ (X m : m n) P 0 (A B X n ) = P 0 (A X n ) P 0 (B X n ) fast scher (f.s.) glt also de vergangene und de zukünftge Entwcklung der Kette unabhängg vonenander snd. Schleÿlch können Markovketten we n Hernández-Lerma und Lasserre [2003] 7 über ene Zustandsglechung denert werden: Denton. Ene Markovkette X = (X n ) n 0 st en dynamsches System, das ene zethomogene Zustandsglechung X n+ = F (X n, ψ n ) erfüllt. Her st F : E Y E messbar und {ψ n } ene Folge unabhängger, dentsch vertelter Y -wertger Zufallsvarablen, unabhängg vom Anfangszustand X 0, auf enem messbaren Raum Y. Bespel. a) En enfaches Bespel für ene Markovkette st en Prozess mt Werten n enem abzählbaren Raum 8 E, dessen Übergangswahrschenlchketen durch ene Matrx (p (x, y))gegeben snd: P (x, {y}) = p (x, y). 5 Revuz [984], S. 4, Denton 2. 6 Athreya und Lahr [2006], Proposton Hernández-Lerma und Lasserre [2003], S sehe Kaptel 3 8

15 2.2 Varanten der Markov-Egenschaft b) Se (z n ) ene Famle von endlchen, unabhänggen, dentsch vertelten Zufallsvarablen und Z 0 ene von (z n ) unabhängge, endlche Zufallsvarable. Der durch Z n = Z 0 + n k= z k denerte Prozess (Z n ) wrd ene Irrfahrt genannt und st ebenfalls ene homogene Markovkette. Bemerkung (Denton bezüglch allgemener Fltraton). Se (G n ) ene aufstegende Folge von Tel-σ-Algebren von F. Dann denert X = (X n ) mt den Egenschaften a) X st adaptert an (G n ) und b) P 0 (X n+ A G n ) = P 0 (X n+ A X n ) ene Markovkette bezüglch (G n ). 9 Bemerkung. Ist de Übergangswahrschenlchket P ncht stochastsch auf E, so erwetert man E um den Fredhofspunkt / E und setzt 20 P (x, { }) = P (x, E) x E P (, { }) = wodurch P zu enem stochastschen Kern auf (E, E ) = (E { }, σ (E, { })) wrd. 2.2 Varanten der Markov-Egenschaft Denton. Der Shft-Operator 2 st de Abbldung θ : Ω Ω mt (ω 0, ω,...) (ω, ω 2,...). Wr schreben θ n für θ}.{{.. θ}. n mal Satz 2.2. (Markov-Egenschaft, zwete Verson). Se Z ene nchtnegatve Zufallsvarable auf (Ω, F). Dann glt 22 E ν [Z θ n F n ] = E Xn [Z] P ν -f.s. Bemerkung. We schon m Bewes von Satz 2..3 verwenden wr de Schrebwese E ν für den Erwartungswert bezüglch P ν, nsbesondere E x für den Erwartungswert bezüglch P x. Bewes. Falls Z von der Form Z = {X0 A 0,...,X m A m} st, glt der Satz. Von desen Zufallsvarablen kann man das Ergebns lecht auf Treppenfunktonen erwetern und allgemene nchtnegatve messbare Funktonen we üblch durch letztere approxmeren. Denton. Ene Zufallszet st ene Zufallsvarable T : Ω N { }. Unter ener Stoppzet für de Markovkette (X n ) versteht man ene Zufallszet mt {T = n} F n für alle n Nummeln [984], Denton.2 20 Nummeln [984], S. 6 2 Revuz [984], S. 9, Denton Revuz [984], S. 20, Proposton Nummeln [984], S. 3 9

16 Kaptel 2 Markovketten Denton und grundlegende Egenschaften Zu T deneren wr 24 a) de σ-algebra F T := {A F : A {T = n} F n n}. b) de Zufallsvarable { X T, de de Poston zur Zet T angbt: Xn (ω) falls T (ω) = n X T (ω) = falls T (ω) = { θn (ω) falls T (ω) = n c) den zufällgen Pfad θ T : θ T (ω) = ω = {,,...} falls T (ω) = Bespel. Für A E st T A = nf {n : X n A}, de Entrttszet n A, ene Stoppzet (Konventon: nf = ). Satz (Starke Markovegenschaft 25 ). Se T ene Stoppzet für (X n ), Z ene nchtnegatve Zufallsvarable. Dann glt E ν [Z θ T F T ] = E XT [Z] P ν -f.s. auf {T < }. Bewes. Für alle A F T soll Z θ T {XT }dp ν = A oder äquvalent n 0 A E XT [Z] dp ν A {T =n} Z θ T {Xn }dp ν = n 0 A {T =n} E XT [Z] dp ν gelten. Da A F T, legt A {T = n} n F n, und es genügt zu zegen, dass für belebge B F n Z θ n {Xn E}dP ν = E Xn [Z] dp ν n 0 B was genau der Markovegenschaft aus Satz 2.2. entsprcht. B 24 Revuz [984], S. 23 f. 25 Revuz [984], S. 24, Theorem 3.5 0

17 Kaptel 3 Dskrete Markovketten In desem Abschntt halten wr enge Resultate über Markovketten mt endlchem oder abzählbarem Zustandsraum E fest. 26 De Übergangswahrschenlchketen entsprechen den Enträgen ener Matrx P = (p j ), wobe und j Zustände n E snd. Bemerkung. a) De Enträge der Matrx P snd Wahrschenlchketen, also nchtnegatv. De Zelensummen ergeben, denn j E p j = P (, j E {j}) = P (, E). Ene Matrx mt desen Egenschaften wrd als stochastsche Matrx bezechnet. b) Es glt P n (, {j}) = p (n) j, dem entsprechenden Entrag der Matrx P n. Bespel. a) Se E = N + mt den Übergangswahrschenlchketen { für j = p j = 0 sonst für alle > und p j gegeben durch ene belebge Wahrschenlchketsvertelung (p j ) j. De Markovkette sprngt von n enen Zustand j N + und wandert n Enserschrtten schleÿlch weder nach zurück. b) (Irrfahrt auf Z). Se (p 0j ) j Z ene belebge Wahrschenlchketsvertelung. De Übergangswahrschenlchketen p j = p 0,j beschreben ene Irrfahrt, dh. de Summe von unabhänggen, dentsch (gemäÿ (p 0j )) vertelten Zufallsvarablen. Denton. Der Zustand j heÿt vom Zustand aus errechbar (symbolsch j), wenn n : p (n) j > 0. Gelten j und j, so kommunzeren und j. Ene abgeschlossene Telmenge F st ene nchtleere E-Menge mt j für alle F, j F c. Wenn en abgeschlossenes F kene echte abgeschlossene Telmenge enthält, sprcht man von ener mnmalen Menge. Mt der Irreduzbltät ener dskreten Markovkette st gement, dass alle, j E kommunzeren, somt E de enzge abgeschlossene Menge st. Des entsprcht Irreduzbltät 26 De her verwendete Notaton und grundlegende Dentonen nden sch n Hofbauer [2002], Athreya und Lahr [2006] bzw. Hernández-Lerma und Lasserre [2003].

18 Kaptel 3 Dskrete Markovketten bezüglch des Zählmaÿes gemäÿ Abschntt 4.. De { Perode d enes } Zustands st der gröÿte gemensame Teler der Menge n : p (n) > 0. Alle Zustände ener mnmalen Telmenge haben de gleche Perode, nsbesondere haben alle Zustände de gleche Perode d, wenn P rreduzbel st. 27 De Besuchszeten m Zustand werden bezechnet mt T = T () T (k) = nf {n > 0 : X n = } bzw. { } = nf n > T (k ) : X n =, T (0) := 0 de Anzahl der Besuche bs zum Zetpunkt n mt N n () = # {k : 0 k n : X k = } und de Gesamtanzahl als N () = n 0 {} (X n ). Weters deneren wr f (n) j = P 0 (X n = j, X n j,..., X j X 0 = ) und deren Summe f j = n f (n) j. Des snd de Wahrschenlchketen, von ausgehend zum Zetpunkt n das erste Mal bzw. zu rgendenem Zetpunkt n n j zu landen das heÿt, dass T j < st. 3. Rekurrenz und Transenz Denton. Der Zustand heÿt rekurrent, wenn f = und transent, wenn f <. Äquvalent dazu kann man n 0 p(n) = für Rekurrenz bzw. n 0 p(n) < für Transenz verlangen. En rekurrenter Zustand heÿt nullrekurrent, wenn E [T ] = und postv rekurrent, wenn E [T ] <. Bemerkung. De n der Denton erwähnte Äquvalenz wrd n Satz 3..2 mthlfe der folgenden Proposton bewesen. De Summe n 0 p(n) entsprcht der erwarteten Anzahl an Besuchen n be Start n : 28 E [N ()] = n 0 E [ {} (X n ) ] = n 0 p (n) Proposton 3... Für belebge und j n E glt 29 ( ) P T (k) j < = f j fjj k k Bewes. Für k = glt de Aussage nach Denton von f j. Unter Verwendung der 27 Hofbauer [2002], S. 3, Satz 5 28 vgl. Hernández-Lerma und Lasserre [2003], S Klenke [2008], Satz

19 3. Rekurrenz und Transenz starken Markovegenschaft und der Induktonsannahme für k zegen wr den Induktonsschrtt nach k: ( ) [ ] [ ] P T (k) j < = E { } = E T (k) j < { } { } = T (k ) j < T (k) j < { } { T (k ) T (k) j < j < } dp = { T (k ) j < { } E [ { } θ T (k ) T () (k ) j < j < T F (k ) j T dp = j }{{} =E XT (k ) j { T () < j } ] } E [ { T (k) { T (k ) j < f jj P ( T (k ) j j < } F T (k ) j ] dp = ( ) } P j T () j < dp = }{{} =f jj ) < } {{ } f j f k 2 jj = f j f k jj Satz En E st rekurrent genau dann 30, wenn n 0 p(n) transent genau dann, wenn n 0 p(n) <. =, folglch Bewes. We schon für den Fall = j erwähnt gbt n 0 p(n) j de erwartete Gesamtanzahl der Besuche n j be Start n an: = E {j} (X n ) = P {j} (X n ) k = n 0 k n 0 P n 0 p (n) j k ( ({ { = j} k ( ) ( )) (P = j, T (k ) j <, T (k) j = + P T (k) j < = T (k ) j } < { T (k) j })) = + k } {{ } Ω {=j} + k ( ) P T (k) j < = ( ) P T (k) j < = {=j} + k f j f k jj wobe m letzten Schrtt de vorangegangene Proposton benützt wurde. Falls = j, 30 Klenke [2008], Satz

20 Kaptel 3 Dskrete Markovketten ergbt sch n 0 p (n) = + k f k = f und mt der Konventon 0 := folgt de Aussage. Proposton 3..3 (Soldartätsegenschaft). Se rekurrent und j. Dann st f j = und j ebenfalls rekurrent. Bewes. Sehe Athreya und Lahr [2006], Proposton Satz a) In ener mnmalen Telmenge kommunzeren alle Zustände. 3 b) Kommunzerende Zustände haben de gleche Klasskaton (transent, null- oder postv rekurrent). c) Mnmale Telmengen snd entweder paarwese dsjunkt oder glech. 32 d) Legt en Zustand n kener mnmalen Telmenge, so st er transent. 33 Bewes. Für den Bewes setzen wr E () := {j E : j}. Dese Menge st abgeschlossen, denn wäre j und j k für en k / E (), dann glt wdersprüchlcherwese auch k. Legt n ener abgeschlossenen Menge F, dann snd alle j E () auch n F enthalten (sonst j), also st E () de klenste abgeschlossene Menge, de enthält. Für Zustände und j n ener mnmalen Telmenge F mplzert E () = F = E (j), dass j und vce versa. Wegen der Soldartätsegenschaft (Proposton 3..3) snd zwe kommunzerende Zustände bede rekurrent oder bede transent. De entsprechende Aussage über Null- bzw. postve Rekurrenz folgt aus Proposton unten. Nehmen wr zwe mnmale Telmengen F und F 2 mt enem F F 2 an. Dann glt E () F F 2, da der Schntt ebenfalls ene abgeschlossene Menge st. Wegen der Mnmaltät glt aber auch F E () und F 2 E (), also Glechhet. Wenn en Zustand n kener mnmalen Telmenge legt, gbt es ene abgeschlossene echte Telmenge F E () mt / F. Für j F belebg glt j wegen F E () und j, wel F abgeschlossen st. Deshalb snd alle f (n) j p (n) j = 0, daraus folgt f j = 0. Aufgrund der Soldartätsegenschaft st transent. Man kann den Zustandsraum also n dsjunkte mnmale Telmengen (jewels transent, postv rekurrent oder nullrekurrent) sowe transente Zustände auÿerhalb mnmaler Telmengen entelen. Im Spezalfall ener rreduzblen Markovkette mt enem postv rekurrenten Zustand snd alle Zustände postv rekurrent; man nennt de Markovkette dann ergodsch. Ist 3 Hofbauer [2002], S. 8, Satz 8 32 Hofbauer [2002], S. 8, Satz 9 33 Hofbauer [2002], S. 2, Satz 4 4

21 3.2 Langzetverhalten der Zustandsraum endlch, so exstert zumndest en postv rekurrenter Zustand. 34 Ene rreduzble Markovkette auf enem endlchen Zustandsraum st daher ergodsch. 3.2 Langzetverhalten Denton. Wr fassen de Projektonen zwschen den Besuchszeten n enem Zustand zusammen und bezechnen de Mengen { } η k = X n : T (k) n T (k+) als Zyklen oder Exkursonen. Satz Se rekurrent. Unter dem Maÿ P snd de Zyklen (η k ) k 0 unabhängge und dentsch vertelte Zufallsvektoren mt zufällger Länge. 35 Das bedeutet für belebge Vektoren (x k,..., x kmk, m k ) n E m k N für alle n N ( ) P η k = (x k,..., x kmk ), T (k+) T (k) = m k, 0 k n = n ( ) P η 0 = (x k,..., x kmk ), T () = m k k=0 Bewes. Se n N belebg. Untertelen wr de Markovkette n den Tel vor und nach der n. Besuchszet n und setzen { } A := η k = (x kl ) m k l=, T (k+) T (k) = m k für 0 k n sowe Z := {X0 =x n,...,x mn =x nmn,x mn =} Da A F (n) T, folgt mt der starken Markovegenschaft P (η k = (x kl ) m k l=, T (k+) T (k) A ) = m k, 0 k n ) } P ({η n = (x nl ) mn l=, T (n+) T (n) = m n A = Z θ (n) T dp = E [Z]dP = P (η 0 = (x nl ) mn l=, T () = m n ) P (A) Genauso verfährt man mt A bzw. mt allen weteren Besuchszeten vor n. Satz 3.2. ermöglcht es, aus den Zyklen Schlüsse über das Verhalten der gesamten Markovkette zu zehen: Da dese unabhängg und dentsch vertelt snd, steht uns das A = 34 vgl. Hofbauer [2002], S. 8, Satz 9 35 Athreya und Lahr [2006], Theorem

22 Kaptel 3 Dskrete Markovketten Starke Gesetz der Groÿen Zahl zur Verfügung. En Bespel für ene solche Anwendung zegt der folgende Satz aus Athreya und Lahr [2006] 36 : Satz Se postv rekurrent und P 0 (X 0 = ) =. Der Antel der Besuche n j bs zur Zet n se L n (j) := Nn(j) n+. Dann glt fast scher L n (j) E [N T (j)] E [T ] =: π j Bewes. Betrachten wr ene belebge Realserung der Markovkette, so können wr zu jeder natürlchen Zahl n angeben, we oft bs zum Zetpunkt n besucht wurde: n k k (n) : T (k) n < T (k+). Klarerwese st N (k) T (j) N n (j) < N (k+) T (j). Nun zählen wr mt ξ r de Anzahl der Besuche n j während des r. Zyklus und formuleren de Unglechung als bzw. k ξ r N n (j) r=0 k r=0 ξ r k n k k r=0 ξ r N n (j) n k + n k + k ξ r (3.) r=0 Wr berechnen de Lmten von k k r=0 ξ r und k(n) n : Mengen der Form {ξ r = l r } lassen sch schreben als {ξ r = l r } = #{xrs: x rs=j, s m r}=l r {η r = (x r,..., x rmr )} Aus Satz 3.2. folgt, dass de Zufallsvarablen (ξ r ) unter P unabhängg und dentsch vertelt snd. Da der Erwartungswert E [ξ 0 ] = E [N T (j)] E [T ] < st, glt nach dem starken Gesetz der Groÿen Zahl k(n) ξ r E [ξ 0 ] k (n) r=0 f.s. Das starke Gesetz der Groÿen Zahl mplzert auch für de nach Satz 3.2. unabhänggen und dentsch vertelten Zufallsvarablen T (l+) T (l) (mt Erwartungswert 36 Athreya und Lahr [2006], Theorem

23 3.2 Langzetverhalten [ ] E T () T (0) = E [T ] < ), dass k (n) k(n) l=0 ( T (l+) ) T (l) } {{ } T (k(n)) E [T ] f.s. und wegen T (k) Mttels (3.) seht man, dass n < T (k+) konvergert auch n k(n) gegen E [T ]. L n (j) = n n + N n (j) n E [ξ 0 ] E [T ] = π j f.s. Satz a) De Aussage von Satz glt auch für ene belebge Anfangsvertelung µ mt P µ (T < ) =. b) De Aussage von Satz glt auch für nullrekurrentes und P µ we soeben, n desem Fall st E [N T (j)] < und lm L n (j) = 0 fast scher. 37 Bewes. Der Bewes von Satz 3.2. funktonert analog für en P µ we angegeben. Daher glt ( ) P µ η k = (x k,..., x kmk ), T (k+) T (k) = m k, 0 k n = n ( ) P η 0 = (x k,..., x kmk ), T () = m k k=0 Insbesondere snd de Zufallsvarablen (ξ r ) auch unter P µ unabhängg und dentsch vertelt mt E µ (ξ 0 ) = E (ξ 0 ) <, und de Aussage kann we für P bewesen werden. Falls nullrekurrent st, benötgen wr ene andere Form des Starken Gesetzes der Groÿen Zahl und behaupten: Für ene Folge von unabhänggen, dentsch vertelten Zufallsvarablen (X j ) j mt X j 0 und E [X j ] = glt fast scher lm n n n j= X j =. Dazu wählen wr en N sowe en M > 0 belebg und( betrachten ) de ntegrerbaren Zufallsvarablen Y (M) j := mn (X j, M). We (X j ) st Y (M) j ene Folge unabhängger, dentsch vertelter Zufallsvarablen. Lässt man M gegen unendlch ge- j hen, dann wächst Y (M) [ E Y (M) ] gegen X ; aus dem Satz von der monotonen Konvergenz [ ] folgt E [X ] = für M. Daher ndet man en M mt E N. Y (M) 37 Theorem 4.. n Athreya und Lahr [2006] enthält a) und b). 7

24 Kaptel 3 Dskrete Markovketten Aufgrund der Denton von Y (M) j glt für alle n n n X j n j= n j= Y (M) j und nach dem Starken Gesetz der Groÿen Zahl fast scher lm nf n n n j= X j lm n n n j= Y (M) j [ = E Y (M) Da N belebg gewählt war, folgt de Behauptung. ] N Nun kann man we m Bewes von Satz schleÿen, dass fast scher T (k(n)) k(n) gegen E [T ] bzw. gegen 0 konvergert. Benützen wr des m Fall j = : Zu jedem n st k T (k) k (n) so gewählt, dass T (k) N n () = k und daher (f.s.) 0 L n () = N n () n + = n < T (k+) und deshalb k n k T (k) k n + 0 was nsbesondere mt π = E [N T ()] E [T ] = E [T ] überenstmmt. 0. Anderersets st Se j belebg. Nach Voraussetzung st P µ (T < ) =. Der (endlche) Antel der Besuche n j vor T wrkt sch auf den Grenzwert von L n (j) ncht aus; es genügt, de Markovkette ab dem Zetpunkt T zu betrachten. Der Zustand st nach Voraussetzung nullrekurrent und legt n ener mnmalen Telmenge F. Ist j ken Element der abgeschlossenen Telmenge F, so wrd j von ausgehend ncht mehr besucht und L n (j) 0 = E [N T (j)] E [T ] fast scher. Hngegen st en j F ebenfalls nullrekurrent, und we soeben gezegt glt L n (j) E [ j NTj (j) ] = 0 E j [T j ] Es blebt zu zegen, dass auch E [N T (j)] E [T ] = 0 st: Deneren wr de Menge A := {, j} und deren Besuchszeten T (0) A := 0, T () A { } = nf {n > 0 : X n A}, T (k) A = nf n > T (k ) A : X n A ( ( we für enzelne Zustände. Ebenso we (X n ) st Xn )n 0 := X T (n) A ) n 0 ene Markovkette aber auf enem endlchen Zustandsraum. Nun snd und j postv rekurrent, 8

25 3.2 Langzetverhalten we man enfach nachrechnet. De Anzahl N T (j) verändert sch n der neuen Markovkette jedoch ncht, und deren Erwartungswert st E [N T (j)] E [T ] <. Mt der Nullrekurrenz von n (X n ) glt E [T ] = und E [N T (j)] E [T ] = 0. Korollar Se rekurrent und P µ (T < ) =. Es folgt 38 lm n n + n k=0 P µ (X k = j) = lm n E µ [L n (j)] = π j Bewes. Der Erwartungswert E µ [L n (j)] st glech [ ] Nn (j) E µ = n + n + n k=0 E µ [ {j} (X k ) ] = n + n P µ (X k = j) L n (j) ermöglcht, den Satz von der domnerten Konvergenz zu benützen: lm E µ [L n (j)] = lm L n (j)dp µ = lm L n (j) dp µ = π j n n n }{{} =π j k=0 Mt der folgenden Proposton st Satz 3..4 vollständg bewesen: Proposton Se rekurrent. a) st postv rekurrent genau dann, wenn 39 lm n E [L n ()] = lm n n n k=0 p(k) > 0. b) Wenn postv rekurrent und j von aus errechbar st, folgt, dass auch j postv rekurrent st. 40 Bewes. Nach Korollar st lm n E [L n ()] = E [T ]. Deser Wert st genau dann gröÿer als 0, wenn E [T ] <, also postv rekurrent st. Im zweten Tel mplzert de Soldartätsegenschaft erstens de Rekurrenz von j, zwetens P j (T < ) =. Wr verwenden weder Korollar und erhalten enersets lm E j [L n (j)] = π j = E [ξ 0 ] n E [T ] Anderersets glt, da auch j rekurrent st, lm E j [L n (j)] = π jj = n E j [T j ] 38 Athreya und Lahr [2006], Korollar Athreya und Lahr [2006], Korollar 4..0() 40 Athreya und Lahr [2006], S. 45 9

26 Kaptel 3 Dskrete Markovketten Deser Grenzwert st gröÿer als 0: Da j von aus errechbar st, gbt es en n mt > 0, und so glt p (n) j 0 < n 0 p (n) j = E [N (j)] = r 0 E [ξ r ] = r 0 E [ξ 0 ] E [ξ 0 ] > 0 Der Nenner erfüllt E [T ] < aufgrund der postven Rekurrenz von. Aus E j [T j ] > 0 folgt, dass j postv rekurrent st. Denton. Ene statonäre Vertelung bzw. en nvarantes Maÿ für ene Markovkette st ene Wahrschenlchketsvertelung (π j ) j E mt folgender Egenschaft: Ist X 0 gemäÿ (π j ) j E vertelt, dann auch alle X n (n ). Lemma Ene Wahrschenlchketsvertelung (π j ) j E genau dann, wenn π j = E π p j für alle j. st en nvarantes Maÿ Bewes. ( ): Für de Startvertelung π = (π j ) st P π (X n = j) = E π () P (X n = j) = π E n E p E 2 E... π p E E p 2... }{{} π p 2 } {{ } π 2 n E p n j =... p n j =... = π j ( ): Wenn (π j ) de Vertelung von X 0 st, dann auch von X π j = P π (X = j) = E π () P (X = j) = E π p j Satz Se postv rekurrent und π j := π j für alle j E. Dann st (π j ) j E ene statonäre Vertelung. Bewes. Sehe Athreya und Lahr [2006], Theorem Wr fassen zusammen: 4 Satz Se postv rekurrent, µ ene Startvertelung mt P µ (T < ) =, j en belebger Zustand und π j we bsher gegeben durch π j = E [N T (j)] E [T ]. a) (π j ) j E st en nvarantes Maÿ. 4 Athreya und Lahr [2006], Theorem

27 3.2 Langzetverhalten b) L n (j) = Nn(j) n+ π j (P µ -fast scher) c) n+ n k=0 P µ (X k = j) π j Bemerkung. Falls j = und P µ = P, bedeutet c) n + n k=0 p (k) π = E [T ] Der folgende Satz geht auf den Spezalfall ener ergodschen Markovkette en. 42 Satz Se (X n ) ene rreduzble Markovkette mt enem postv rekurrenten Zustand. a) Alle Zustände snd postv rekurrent. b) (π j ) j E st das endeutg bestmmte nvarante Maÿ, wobe π j = E j [T j ]. c) Für alle j und en belebges Startmaÿ µ gelten L n (j) = Nn(j) n+ π j (P µ -fast scher) und d) n+ n k=0 P µ (X k = j) π j Bewes. Punkt a) glt wegen der Irreduzbltät und Satz Alle Zustände kommunzeren, daher st für belebge µ und de Wahrschenlchket P µ (T < ) =. Nach Satz st (π j ) nvarant, nach Satz de (endeutge) Grenzvertelung von n+ n k=0 P µ (X k = j) sowe der Grenzwert von L n (j). Bespel. Auf ener reduzblen Markovkette kann es mehrere nvarante Maÿe geben, auch wenn alle Zustände postv rekurrent snd: Se E = {A, B, a, b, c} mt den Übergangswahrschenlchketen p AB = p BA = p ab = p bc = p ca = gegeben. Der Zustandsraum kann n de mnmalen Telmengen {A, B} und {a, b, c} zerlegt werden; alle Zustände snd oenschtlch postv rekurrent. Jedoch snd alle Wahrschenlchketsmaÿe der Form π = qπ + ( q) π 0 q wobe π = (δ A + δ B ) 2 und π = (δ a + δ b + δ c ) 3, nvarant: Für jedes j E st π (j) = q 2 {A,B} + q 3 {a,b,c} glech E π p j, denn n deser Summe hat nur en postve Übergangswahrschenlchket p j = und nmmt unter π den glechen Wert we j an. Umgekehrt zu Satz zegen wr Athreya und Lahr [2006], Theorem Athreya und Lahr [2006], Theorem

28 Kaptel 3 Dskrete Markovketten Satz Se (X n ) ene rreduzble Markovkette und (π j ) j E ene statonäre Vertelung. Dann gelten de Aussagen a) bs d) aus Satz Bewes. Nach Lemma glt π j = l E π lp lj und daher π j = π p l p lj = l E E E π p (2) j bzw. nduktv π j = E π p (k) j π j = n + n k=0 π j = n + für alle k 0. Es folgt für alle n n π p (k) j k=0 E = ( π n + E n k=0 p (k) j ) (3.2) Wenn j transent st, glt für ene belebge Startvertelung µ, dass P µ (N (j) < ) =. Somt konvergert L n (j) = Nn(j) n+ fast scher gegen 0, und mt dem Satz von der domnerten Konvergenz (we m Bewes von Korollar 3.2.4) auch E [L n (j)] für en belebges. Nochmalge Anwendung des Satzes von der domnerten Konvergenz lefert ( ) n π j = lm π p (k) n j = π 0 = 0 n + E k=0 E }{{} =E [L n(j)] Ist π j > 0, dann st j also rekurrent, und zwar postv rekurrent: De Rekurson p (k) j = k l=0 f (l) j p(k l) jj glt klarerwese. Wegen k 0 und lm n p n (k) jj k=0 n+ = lm n E j [L n (j)] = E j [T j ] < st lm n n + n lm f (k) n j k=0 n k=0 p (k) j lm n = lm n k=0 n + ( n k n k=0 l=0 f (l) j p (k l) jj n + ) p (k) jj = f j E j [T j ] = f (k) j Mt der Formel aus (3.2) und dem Satz von der domnerten Konvergenz folgt ( ) ( ) n 0 < π j = lm π p (k) n j = π f j n + E j [T j ] E k=0 E }{{} 0 Somt st E j [T j ] > 0 und E j [T j ] <. = f j < Wegen π j = gbt es en π j > 0, und wr können alle Aussagen aus Satz folgern. 22

29 Kaptel 4 Markovketten auf allgemeneren Räumen 4. Irreduzbltät Se (E, E) en belebger messbarer Raum. Zusätzlch nehmen wr enen abzählbaren Erzeuger der σ-algebra E an (dh. (E, E) st separabel 44 ). Denton. Ene Menge A E st vom Zustand x E aus errechbar 45, wenn n : P n (x, A) > 0 (Schrebwese: x A, andernfalls x A). Glt x F c für alle Elemente x ener nchtleeren E-Menge F, so heÿt F abgeschlossen 46. Denton (ϕ-irreduzbltät 47 ). Se ϕ en σ-endlches Maÿ n M + (E) und B E mt ϕ (B) > 0. B heÿt ϕ-kommunzerend, wenn von belebgem x B ausgehend jede Telmenge A B mt ϕ (A) > 0 errechbar st. Falls B = E, wrd der Kern P als ϕ-rreduzbel bezechnet. Ist P ϕ-rreduzbel für en Maÿ ϕ, so heÿt P rreduzbel und ϕ en Irreduzbltätsmaÿ für P. Mt ϕ st auch jedes absolutstetge Maÿ ρ ϕ en Irreduzbltätsmaÿ 48, denn ρ (A) > 0 mplzert ϕ (A) > 0 und damt de gewünschte Bedngung. Mthlfe der folgenden Lemmata können wr zegen, dass en maxmales Irreduzbltätsmaÿ ψ exstert: Damt st gement, dass alle Irreduzbltätsmaÿe absolutstetg bezüglch ψ snd. Lemma 4... ϕp ϕ mplzert für den Potenzalkern G, dass ϕg ϕ. 49 Bewes. (ϕg ϕ): Mttels vollständger Indukton zegt man ϕp n ϕ für alle n 0. Für n = 0 glt des trval, für n = nach Voraussetzung. Se ϕp n ϕ erfüllt und ϕ (A) = 0. Dann glt wegen ϕp n (A) = ϕ (dx) P n (x, A) = 0 44 Hernández-Lerma und Lasserre [2003], S Nummeln [984], S ebd. 47 Nummeln [984], S. 48 Nummeln [984], S Nummeln [984], Lemma 2.2 () 23

30 Kaptel 4 Markovketten auf allgemeneren Räumen dass de Menge {x : P n (x, A) > 0} ene ϕ- und daher nach Voraussetzung auch ene ϕp -Nullmenge st. Wr schleÿen ϕp n+ (A) = (ϕp ) (dx) P n (x, A) = 0 Somt st für ϕ-nullmengen A auch das Maÿ ϕg (A) = ϕ (dx) P n (x, A) = ϕp n (A) = 0 n 0 n 0 (ϕ ϕg): Aus der letzten Glechung seht man, dass m Fall ϕg (A) = 0 auch alle ϕp n (A) = 0 snd, nsbesondere für n = 0. Lemma Für jedes nchttrvale, σ-endlche Maÿ ϕ auf E gbt es en äquvalentes Wahrschenlchketsmaÿ ϕ ϕ. 50 Bewes. Da ϕ σ-endlch st, kann man ene Zerlegung von E = n E n mt jewels 0 < ϕ (E n ) < wählen. De Summe von Maÿen ϕ (A) = n ϕ (A E n ) 2 n ϕ (E n ) st weder en Maÿ, das de glechen Nullmengen we ϕ bestzt und erfüllt. ϕ (E) = n ϕ (E n ) 2 n ϕ (E n ) = 2 n = n Satz Se P ϕ-rreduzbel. Dann exstert en maxmales Irreduzbltätsmaÿ ψ, charaktersert durch ψp ψ und endeutg bs auf Äquvalenz von Maÿen. 5 Bewes. Erst zegen wr, dass en Irreduzbltätsmaÿ ψ genau dann maxmal st, wenn ψp ψ. ( ): Nach Voraussetzung st ϕ en belebges Irreduzbltätsmaÿ für P. Wr zegen ϕ ψ: ϕ (A) > 0 x A x E x n : P n (x, A) > 0 ψ (dx) n 0 P n (x, A) = ψg (A) > 0 ψ (A) > 0 De letzte Implkaton glt, da nach Lemma 4.. ψg absolutstetg bezüglch ψ st. 50 vgl. Nummeln [984], Lemma 2. 5 Nummeln [984], Proposton

31 4. Irreduzbltät ( ): Mt ψ st auch ψp en Irreduzbltätsmaÿ: 0 < ψp (A) = ψ (dx) P (x, A) ψ {x E : P (x, A) > 0} > 0 }{{} =:B y B y E, x A x B y A y E Wegen der Maxmaltät glt ψp ψ. Es blebt de Exstenz von ψ zu bewesen. Das Irreduzbltätsmaÿ ψ = 2 (n+) ϕ P n n=0 wobe ϕ ϕ en Wahrschenlchketsmaÿ st, erfüllt ψp ψ und st somt maxmal. Dass ψ en Irreduzbltätsmaÿ st, seht man folgendermaÿen: ψ (A) > 0 n : 2 (n+) ϕ P n (A) > 0 n : 2 (n+) ϕ (dx) P n (x, A) > 0 E ϕ ({x E : P n (x, A) > 0}) > 0 ϕ ({x E : P n (x, A) > 0}) > 0 y E : y {x E : P n (x, A) > 0} y E : y A Für de Absolutstetgket ψp ψ wählen wr ene Menge A mt 0 = ψ (A) = 2 (n+) ϕ (dx) P n (x, A) n : P n (., A) = 0 n 0 E ϕ-f.s. Dann st auch ψp (A) = ψ (dx) P (x, A) = E 2 (n+) ( ϕp n ) (dx) P (x, A) = n 0 E 2 (n+) ϕp n+ (A) = n 0 2 (n+) n 0 E ϕ (dx) P n+ (x, A) = 0 }{{} =0 f.s. 25

32 Kaptel 4 Markovketten auf allgemeneren Räumen 4.2 Mnorserung Se P rreduzbel mt dem maxmalen Irreduzbltätsmaÿ ψ. Denton. E + bezechnet de Telmenge von Funktonen 52 f n E + mt fdψ > 0. P erfüllt de Mnorserungsbedngung 53 M (m 0, β, s, ν), wenn es ene natürlche Zahl m 0, ene reelle Konstante β > 0, ene Funkton s E + sowe en Maÿ ν M + (E) gbt, sodass P m0 (x, A) βs (x) ν (A) x E A E Dann heÿt s ene klene Funkton, ν en klenes Maÿ und C E m Fall s = C ene klene Menge. De Menge der klenen Funktonen wrd mt S + bezechnet. Bemerkung (Zur Mnorserungsbedngung). 54 a) Jedes klene Maÿ ν st auch en Irreduzbltätsmaÿ, denn für belebges x E und ν-postves A E glt P m0 (x, A) β }{{} >0 s (x) ν (A) }{{} >0 Ist s (x) > 0, so glt oenschtlch x A. Ansonsten benützt man de Egenschaft s E + und de ψ-irreduzbltät, um von x n de ψ-postve Menge {s > 0} zu gelangen (und von dort nach A). b) Insbesondere st ν absolutstetg bezüglch ψ. c) Mest kann man annehmen, dass s dν > 0. d) O.B.d.A. kann man β = annehmen. Nach Nummeln [984], Theorem 2., glt: Satz Für enen rreduzblen Kern P st de Menge S + nchtleer. Der Bewes erfordert enge Vorüberlegungen und mehrere Lemmata: Wr haben vorausgesetzt, dass E abzählbar erzeugt werden kann, etwa durch G = {G, G 2,...} mt G E. Daraus konstrueren wr ene Folge von endlchen Parttonen des Zustandsraums E mttels E = { G, G C } E 2 = { G 2 G, G 2 G C, G C 2 G, G C 2 G C }. 52 Nummeln [984], S Nummeln [984], Denton Nummeln [984], Bemerkung 2. 26

33 4.2 Mnorserung Für de Partton E k werden also G k und G C k mt allen E k -Mengen geschntten, dadurch werden de Parttonen mmer fener, und es glt σ (E ) σ (E + ) für alle. Auÿerdem st σ ( E ) = σ (G) = E. Für alle x E und belebges legt x n enem endeutg bestmmten Tel der Partton E, den wr mt Ex bezechnen. 55 Wr benötgen den folgenden Derentatonssatz für Maÿe. Seen ab nun λ und ϕ endlche Maÿe auf E und λ = λ a + λ s de Lebesgue-Zerlegung von λ bezüglch ϕ (mt λ a ϕ und λ s ϕ). Lemma ( ) lm λ E x {ϕ(e x )>0} ϕ (Ex) = dλ a dϕ (x) für ϕ-fast alle x E. 56 Bewes. Das Lemma wrd n Doob [990], S. 343., mt Hlfe von Martngaltheore bewesen. Für belebg xes x st das Maÿ P (x,.) σ-endlch und bestzt somt ene Lebesgue- Zerlegung bezüglch ϕ: P (x, A) = µ x (A) + ν x (A) wobe ν x ϕ und µ x ϕ. Aufgrund der Absolutstetgket exstert ene Radon- Nkodým-Abletung k (x, y) = dµx P (x, A) = A dϕ : k (x, y) ϕ (dy) + ν x (A) Bespel. Ene klene Funkton exstert, falls auf Mengen X und Y postven Maÿes de Dchte k (x, y) gröÿer oder glech ener Konstanten c > 0 st: P (x, A) k (x, y) ϕ (dy) k (x, y) ϕ (dy) c ϕ (A Y ) x X A A Y P (x, A) c X (x) ϕ (A Y ) Lemma De Dchte k kann nchtnegatv und E E-messbar gewählt werden. 57 Bewes. De Funktonen k (x, y) := {ϕ(e y )>0} P ( x, Ey ) ϕ ( ) Ey 55 Nummeln [984], S Nummeln [984], Lemma Nummeln [984], Lemma

34 Kaptel 4 Markovketten auf allgemeneren Räumen snd nchtnegatv und als Produkt bzw. Quotent von E E-messbaren Funktonen selber messbar. Bespelswese st das Urbld ener Menge B B R unter der Funkton (x, y) P ( x, Ey ) { ( ) } (x, y) : P x, E y B = (x, y) : x P (., Ey ) (B) }{{} = y: x:p(x,e y) B E y: x:p(x,e y) B =:A y E { Ay E y} } {{ } E E n E E enthalten. Insgesamt st auch der Lmes für nchtnegatv und messbar, und nach dem Derentatonssatz von soeben entsprcht er der Dchte k. Ebenso können wr für de Kerne P n bzw. deren absolutstetgen Tel nchtnegatve, messbare Versonen der Dchten k (n) nden, de zusätzlch de folgende Unglechung erfüllen: Lemma k (m+n) (x, z) P m (x, dy) k (n) (y, z) k (m) (x, y) k (n) (y, z) ϕ (dy) für alle m, n und x, z E. 58 Bewes. Se für alle n und belebg gewähltes x P n (x, A) = µ (n) x (A) + ν x (n) (A) de Lebesgue-Zerlegung von P n (x,.). We m vorgen Lemma gbt es für alle µ x (n) (.) ene nchtnegatve, E E-messbare Dchte k (n) 0. De teratv denerten Funktonen k () = k () 0 k (n) = max blden ebenfalls ene Dchte: ( k (n) 0 (x, z), max m n ) P m (x, dy) k (n m) (y, z) n 2 Für k () = k () 0 st des klar. Nehmen ( wr ) an, dass alle k (n m) Dchten für µ x (n m) (.) snd. O.B.d.A. se k (n) = max k (n) 0, k(n), wobe k (n) = P m (x, dy) k (n m) (y, z) für en m < n. Wr deneren nun das Maÿ Q x (A) = A ϕ (dz) k(n) (x, z), welches wr 58 Nummeln [984], Lemma

35 4.2 Mnorserung mthlfe des Satzes von Fubn folgendermaÿen abschätzen können: Q x (A) = ϕ (dz) k (n) (x, z) = A ϕ (dz) P m (x, dy) k (n m) (y, z) = A E P m (x, dy) ϕ (dz) k (n m) (y, z) P n (x, A) E A } {{ } P n m (y,a) Aus der Denton von Q x (.) st erschtlch, dass Q x ϕ. Hngegen st µ x (n) n der Lebesgue-Zerlegung genau der maxmale bezüglch ϕ absolutstetge Antel von P n (x,.), deshalb glt Q x µ (n) x Maÿ µ (n) x : { A k (n) 0 k (n) { A k (n) 0 k (n). Damt st auch das Integral von k (n) klener oder glech dem } ϕ (dz) k (n) (x, z) + } ϕ (dz) k (n) 0 (x, z) + }{{} = µ (n) x ( { A k (n) 0 k (n) Umgekehrt st ϕ (dz) k (n) (x, z) A }) A { A { A k (n) 0 <k (n) k (n) 0 <k (n) A ϕ (dz) k (n) (x, z) = } ϕ (dz) k (n) (x, z) = } ϕ (dz) k (n) (x, z) }{{} µ (n) x ( { A ϕ (dz) k (n) 0 (x, z) = µ x (n) (A) k (n) 0 <k (n) }) µ (n) x (A) und nsgesamt k (n) we behauptet ene Dchte des absolutstetgen Tels von P n (x,.). Alle k (n) erfüllen k (n) 0 und de gewünschten Unglechungen de erste per dentonem. De zwete ergbt sch mt der Lebesgue-Zerlegung von P m (x,.) bezüglch ϕ: P m (x, A) = k (m) (x, y) ϕ (dy) + ν m,x (A) A P m (x, dy) k (n) (y, z) k (m) (x, y) k (n) (y, z) ϕ (dy) De E E-Messbarket von k (n) st mttels vollständger Indukton etwas aufwändger zu bewesen: De Funkton k () = k () 0 st E E-messbar. Nehmen wr nduktv an, dass für alle m n de Funktonen k (n m) E E snd. Wr zegen 59, dass das Integral ener 59 analog zum Bewes von Lemma 4.20 n Klenke [2008] 29

36 Kaptel 4 Markovketten auf allgemeneren Räumen nchtnegatven, E E-messbaren Funkton f bezüglch enes stochastschen Kerns P f (x, z) = P (x, dy) f (y, z) messbar st bezüglch E E. Aufgrund der Induktonsannahme st dann k (n) das Maxmum messbarer Funktonen, also selber E E-messbar. Ist f = A A 2 de Indkatorfunkton enes messbaren Rechtecks, dann glt de Behauptung: f (x, z) = P (x, dy) f (y, z) = P (x, dy) A (y) A2 (z) = P (x, A ) A2 (z) Messbare Rechtecke legen also n der Menge { } D := A E E : P (x, dy) A (y, z) E E D st en Dynkn-System: E E legt n D, da alle (x, z) auf P (x, dy) E E (y, z) = P (x, E) = abgebldet werden. Für A D st f (x, z) = P (x, A 2 (z)) messbar, wobe A 2 (z) = {y : (y, z) A} der z-schntt von A st. Daher st auch A c en Element von D, denn P (x, (A c ) 2 (z)) = P (x, (A 2 (z)) c ) = P (x, A 2 (z)) st E E-messbar. Schleÿlch legt de Verengung dsjunkter A n D weder n D, was man mt An = An und der Lneartät des Integrals enfach nachwest. De messbaren Rechtecke der Dmenson 2 snd en durchschnttstabler Erzeuger von D. Nach dem π-λ-theorem 60 stmmt de von hnen erzeugte σ-algebra E E mt dem erzeugten Dynkn-System überen. Daher glt E E D, und de Integrale aller f = A snd E E-messbar. Für Treppenfunktonen folgt de Messbarket von f (x, z) mt der Lneartät des Integrals. Allgemene messbare nchtnegatve Funktonen kann man durch Treppenfunktonen approxmeren; f (x, z) st dann als Lmes messbarer Funktonen messbar. Denton. Seen A und B Elemente aus E E. Wr schreben für de Schntte 6 A (x) := {y E : (x, y) A}, B 2 (z) := {y E : (y, z) B} und für de Zusammensetzung 62 A B := (A E) (E B) = {(x, y, z) E E E : (x, y) A, (y, z) B} Weters se ϕ n das n-fache Produktmaÿ ϕ... ϕ. 60 Elstrodt [2005], S. 25, Satz Nummeln [984], S Nummeln [984], S. 8 30

37 4.2 Mnorserung Lemma Se ϕ 3 (A B) > 0. Dann gbt es ϕ-postve Mengen C und D n E, sodass 63 γ := nf ϕ (A (x) B 2 (z)) > 0 x C,z D Bewes. Betrachte de Maÿe F ϕ 2 (A F ) und F ϕ 2 (F ) auf E E. Es st ϕ 2 (A.) absolutstetg bezüglch ϕ 2. De Lebesgue-Zerlegung besteht dann aus ϕ 2 (A.) selber und dem Maÿ, das trval den Wert 0 annmmt. De Radon- Nkodým-Abletung bezüglch ϕ 2 st oenschtlch A. Nach Voraussetzung glt ϕ 3 (A B) > 0, dh. es gbt en (x, y, z) mt (x, y) A und (y, z) B. Setzen wr nun E x,y = E x E y, dann glt nach Lemma lm ϕ 2 ( A E ) x,y {ϕ 2 (Ex,y)>0} ϕ ( ) 2 Ex,y = A (x, y) für ϕ 2 -fast alle (x, y). Somt gbt es ene ϕ 2 -Nullmenge N mt ϕ 2 ( A E ) x,y lm ϕ ( ) 2 Ex,y = für alle (x, y) n A \ N. Auf de gleche Art zegt man de Exstenz ener ϕ 2 -Nullmenge N 2, de ϕ 2 ( B E ) y,z lm ϕ ( ) 2 Ey,z = für alle (y, z) n B \ N 2 erfüllt. Wr wählen (u, v, w) aus der nchtleeren Menge (A \ N ) (B \ N 2 ). Se j groÿ genug, dass ) ( ) ϕ (A 2 Eu,v j ) ϕ (E 3 ϕ 2 B E j 2 u,v j 4 und v,w ϕ (Ev,w) 3 2 j 4 gelten. De lnke Unglechung st äquvalent zu ϕ ({ y : (x, y) A Eu,v j }) 3 dϕ (x) 4 ϕ ({ y : (x, y) E j u,v}) dϕ (x) und des bedeutet, dass auf ener ϕ-postven Telmenge von E j u ϕ ( A (x) Ev j ) 3 4 ϕ ( Ev j ) 63 Nummeln [984], Lemma 2.7 3

38 Kaptel 4 Markovketten auf allgemeneren Räumen glt. Auf dese Wese erhalten wr de gesuchten Mengen { C = x Eu j : ϕ ( A (x) Ev j ) 3 4 ϕ ( Ev j ) } D = { z Ew j : ϕ ( B 2 (z) Ev j ) 3 4 ϕ ( Ev j ) } für deren Elemente x C und z D glt: ϕ ( E j v) ϕ ( E j v (A (x) B 2 (z)) ) = ϕ ( A (x) Ev) j ( + ϕ B2 (z) Ev) j ( ϕ A (x) B 2 (z) Ev) j 3 4 ϕ ( Ev j ) ϕ ( Ev j ) ( ϕ A (x) B 2 (z) Ev j ) 2 ϕ ( Ev j ) ϕ ( A (x) B 2 (z) E j ) v }{{}}{{} >0 ϕ(a (x) B 2 (z)) 0 < ϕ (A (x) B 2 (z)) Nun können wr Satz 4.2. bewesen: Bewes. Se ψ das maxmale Irreduzbltätsmaÿ für P und o.b.d.a. en Wahrschenlchketsmaÿ. Aufgrund der Irreduzbltät st für belebge x E und für ψ-fast alle y E de Summe k (m) (x, y) > 0 m= Daher gbt es m und m 2 mt k (m) (x, y) k (m2) (y, z) ψ (dx)ψ (dy)ψ (dz) > 0 E E E Wr können nun en δ > 0 klen genug wählen, dass de Zusammensetzung der Mengen A := { (x, y) : k (m ) (x, y) δ } und B := { (y, z) : k (m 2) (y, z) δ } ψ 3 (A B) > 0 erfüllt. Nach Lemma exsteren Mengen C und D, für deren Elemente x C und z D wegen der Unglechungen aus Lemma und Lemma k (m +m 2 ) (x, z) k (m) (x, y) k (m2) (y, z) ψ (dy) E k (m) (x, y) k (m2) (y, z) ψ (dy) γδ 2 A (x) B 2 (z) 32

39 4.3 Perodztät glt. P erfüllt somt für alle x C P m +m 2 (x, A) k (m +m 2 ) (x, z) dψ (z) A k (m +m 2 ) (x, z) dψ (z) γδ 2 ψ (A D) A D also de Mnorserungsbedngung M ( m + m 2, γδ 2, C, ψ (. D) ). 4.3 Perodztät Se P en rreduzbler Kern mt maxmalem Irreduzbltätsmaÿ ψ, der de Mnorserungsbedngung M (m 0, β, s, ν) erfüllt (nach Satz 4.2. exstert ene klene Funkton). Denton. En Zyklus 64 der Länge m st ene Folge dsjunkter nchtleerer E-Mengen (E 0,..., E m ), sodass x E : P ( x, E c j ) = 0 wobe j + (mod m) und 0 m. Bemerkung. a) Von x n E snd also nur Zustände n E + (mod m) errechbar. De Verengung m =0 E st abgeschlossen, hr Komplement muss wegen der Irreduzbltät ene ψ-nullmenge sen. 65 ) b) Für de Kerne P n und x aus E ergbt sch P n (x, Ej c = 0 mt j = +n (mod m), nsbesondere P m (x, E c ) = 0.66 Se I de Menge der Indzes, für de de Mnorserungsbedngung glt: I := {m : M (m, β m, s, ν) für en β m > 0} und d hr gröÿter gemensamer Teler. Unter den angegebenen Umständen mt der Zusatzannahme s dν > 0 glt: 67 Satz Zum Kern P gbt es enen d-zyklus (E 0,..., E d ). De Zahl d hängt ncht von der Wahl von s und ν ab. Gbt es enen weteren Zyklus ( E 0,..., E d ), so telt d de Zahl d, und de Mengen E snd Verengungen der E. De Mengen E werden zyklsche Mengen genannt, d de Perode von P. Falls d =, heÿt P aperodsch, ansonsten perodsch. Bemerkung. Beschleungt man de Kette, ndem man nur Velfache enes gewssen m betrachtet, so erhält man ene Markovkette (X nm ) n 0 mt Übergangswahrschenlchket P m. Je nachdem, n welcher Zyklusmenge gestartet wrd, ergeben sch 64 Nummeln [984], S ebd. 66 ebd. 67 Nummeln [984], Theorem

40 Kaptel 4 Markovketten auf allgemeneren Räumen c m = ggt {m, d} verschedene Zustandsräume, n jedem Fall exstert en Zyklus der Länge d c m Rekurrenz und Harrs-Rekurrenz Wr ernnern uns an de Denton von T A als Entrttszet n ene Menge A E. We für dskrete Markovketten bezechnen wr de k. Besuchszet n A mt T (k) A und de Anzahl der Besuche mt N (A) = n A (X n ). ϕ-irreduzbltät bedeutet, dass für ϕ-postve Mengen A und für alle x en P n (x, A) > 0 st, also auch E x [N (A)] = n P n (x, A) > 0. Denton (Rekurrenz). Ene Markovkette heÿt rekurrent 69, wenn se ϕ-rreduzbel st und ϕ (A) > 0 E x [N (A)] = für alle x E, A E erfüllt. Denton (Harrs-Rekurrenz). Ene rreduzble Markovkette (X n ) mt maxmalem Irreduzbltätsmaÿ ψ st Harrs-rekurrent 70, wenn ψ (A) > 0 P x (T A < ) = x E (4.) Bemerkung. a) Alternatv kann man de Egenschaft (4.) für alle Irreduzbltätsmaÿe fordern: 7 Glt se für alle, dann nsbesondere für ψ. Se umgekehrt ϕ en belebges Irreduzbltätsmaÿ, ϕ (A) > 0. Dann st de gewünschte Implkaton erfüllt, wel ϕ ψ. b) Ene wetere Möglchket st, P x (T A < ) = durch P x (N (A) = ) = zu ersetzen. 72 Proposton P x (T A < ) = x E P x (N (A) = ) = x E. Bewes. ( ): Nach Voraussetzung glt P x (T A < ) = für alle x E. Nehmen wr des auch für T (k ) A de (k ). Besuchszet n A an, dann folgt mt der starken 68 Nummeln [984], S Hernández-Lerma und Lasserre [2003], Denton vgl. Athreya und Lahr [2006], S Tatsächlch st das Irreduzbltätsmaÿ n der Denton von Athreya und Lahr [2006], S. 463, belebg. 72 Nummeln [984], Denton 3.5., oder Hernández-Lerma und Lasserre [2003], Denton