BACHELORARBEIT. Markov-Ketten und ihre Greensche Funktion. Jasmin Riegler. Wien, Jänner 2013

Transkript

1 BACHELORARBEIT Markov-Ketten und ihre Greensche Funktion Jasmin Riegler Wien, Jänner 203 Studienkennzahl: A Studienrichtung: Mathematik Betreuer: Privatdoz. Dr. Mag. Bernhard Krön

2 Inhaltsverzeichnis Einleitung 2 Hauptteil 3 Markov-Ketten 4. Einführende Beispiele Definition von Markov-Ketten Übergangsmatrix und Anfangsverteilung Zufallsvariablen und Zufallszeiten Erzeugende Funktionen der Übergangswahrscheinlichkeiten 4 2. Greensche Funktion Eigenschaften der Greenschen Funktion Beispiele zur Greenschen Funktion Literaturverzeichnis 20

3 Einleitung Den Beginn der Arbeit bilden einige anschauliche Beispiele, die den Begriff der Markov-Ketten motivieren sollen und im Laufe der Arbeit gelöst werden. Daraufhin folgen im ersten Kapitel die Definitionen der Markov-Kette und der zugehörigen Übergangsmatrix mit wichtigen Eigenschaften, die für die Berechnung einfacher Übergangswahrscheinlichkeiten gebraucht werden. Im zweiten Kapitel diskutieren wir Theoreme und Anwendungen der Greenschen Funktion. Den Schluss bilden einige Sätze, mit denen die Beispiele vom Anfang der Arbeit gelöst werden. Bei der Disposition dieser Arbeit beziehe ich mich hauptsächlich auf das Buch Catene di Markov e teoria del potenziale nel discreto[] von Wolfgang Woess. Dazu habe ich ergänzend einige Abschnitte aus anderer Lektüre zum Verständnis hinzugefügt, welche entsprechend gekennzeichnet wurden. Alle Bezeichnungen sind geschlechterneutral zu verstehen. 3

4 Markov-Ketten. Einführende Beispiele Beispiel. Das Wetter in Salzburg Im Folgenden wird ein vereinfachtes Modell des Wetters in Salzburg behandelt, in dem keine zwei sonnigen Tage aufeinander folgen. Ist es an einem Tag sonnig, so sind die Wahrscheinlichkeiten für Regen oder Schnee am nächsten Tag dieselben. Regnet es, so wird es mit 50% am nächsten Tag wieder regnen, mit je 25% schneit es oder es scheint die Sonne. Wir bezeichnen sonniges Wetter mit s, Regen mit r und Schnee mit n. Diese Wahrscheinlichkeiten in einer Matrix geschrieben ergeben: s r n s r n 0 /2 /2 /4 /2 /4 /4 /4 /2 Aus der Matrix können wir ablesen, dass es nach einem sonnigen Tag mit Wahrscheinlichkeit /2 regnet, bzw. dass es nach einem verschneiten Tag mit Wahrscheinlichkeit /4 regnet. Wir werden uns einige Fragen stellen: (a) Heute regnet es. Mit welcher Wahrscheinlichkeit wird es nach zwei Wochen schönes Wetter geben? (b) Wie viele regnerische Tage in einem Monat können im Mittel erwartet werden? (c) Was ist die durchschnittliche Dauer einer Schlechtwetter-Periode? Diese Fragen aus dem Buch von Wolfgang Woess [] und andere Problematiken aus dem Skriptum [2] werden im Laufe der Arbeit beantwortet werden. Beispiel 2. Irrfahrt eines Betrunken Ein Betrunkener will aus dem Gasthaus heimkehren. Das Gasthaus liegt an einer geraden Straße, an welcher am einen Ende sein Zuhause und am anderen Ende ein See gelegen sind. In Richtung des Sees sind es 00 Schritte, während sein Haus vom Gasthaus 200 Schritte entfernt ist. Mit einer Wahrscheinlichkeit von 2 3 macht der Betrunkene einen Schritt in Richtung seines Zuhauses, während er mit einer Wahrscheinlichkeit von 3 in Richtung des Sees geht. Nach jedem Schritt zögert er und vergisst welche Richtung er davor gewählt hat. So macht er sich auf den Weg, ohne Erinnerung und in jede Richtung mit Wahrscheinlichkeiten von 2 3 und 3. Wenn der Betrunkene am See ankommt ertrinkt er, wenn er jedoch Zuhause ankommt, wird er seinen Rausch ausschlafen. (a) Mit welcher Wahrscheinlichkeit kommt der Betrunkene sicher nach Hause? Mit welcher Wahrscheinlichkeit ertrinkt er? (b) Wie viele Schritte braucht er durchschnittlich, wenn er zu Hause ankommt. 4

5 Beispiel 3. Ein einführendes Beispiel für die Definition der Markov-Ketten von [3] Schomaker Jens. Eine Person steht in einer von vier Ecken eines Raumes (hier s ), wirft eine Münze um zu entscheiden in welche Richtung sie gehen soll und wiederholt dies beliebig oft. s s 2 s 4 s 3 Wir definieren nun eine Zufallsvariable Z n für jeden Schritt des Experiments, welche uns die Ecke angibt in der die Person im n-ten Schritt ist. Es ergibt sich ein stochastischer Prozess (Z 0, Z,...), welcher die Werte in {s, s 2, s 3, s 4 } annimmt. Die Person startet in s. Also ist P(Z 0 s ). Durch das Werfen einer Münze bekommen wir für Z : P(Z s 2 ) 2. P(Z s 4 ) 2. Um die Verteilung von Z n für n 2 zu berechnen, werden bedingte Wahrscheinlichkeiten verwendet. Wir bekommen für den Fall Z n s 2 : P(Z n+ s Z n s 2 ) 2. P(Z n+ s 3 Z n s 2 ) 2. Aufgrund der Entscheidungsregel hängt Z n+ nur von Z n ab und ist völlig unabhängig von den vorhergehenden Werten. So gilt für Z n s 2 und beliebige i 0,..., i n {,..., 4} P(Z n+ s Z n s 2, Z n s in,..., Z 0 s i0 ) 2. P(Z n+ s 3 Z n s 2, Z n s in,..., Z 0 s i0 ) 2. 5

6 .2 Definition von Markov-Ketten Für die wahrscheinlichkeitstheoretische Definition der Markov-Kette verwenden wir den Wahrscheinlichkeitsraum (Λ, A, P) und die abzählbare Menge X als Zustandsraum. Wobei Λ eine Menge ist, mit einer σ-algebra A von Teilmengen von Λ und P ein Wahrscheinlichkeitsmaß in A ist. Eine σ-algebra A ist definiert durch:. Die Grundmenge Λ ist in A enthalten. 2. Wenn A eine Teilmenge A von Λ enthält, dann auch deren Komplement A c Λ \ A. 3. Wenn für jede natürliche Zahl n die Menge A n in A ist, so ist auch die abzählbare Vereinigung aller A n in A. Definition. Eine Markov-Kette ist eine Folge von Zufallsvariablen Z n, n 0,, 2..., Z n : Λ X mit folgenden Eigenschaften:. (Markov-Eigenschaft) Für x 0, x,..., x n, x n+ X mit P[Z n x n, Z n x n,... Z 0 x 0 ] > 0, gilt: P[Z n+ x n+ Z n x n, Z n x n,..., Z 0 x 0 ] P[Z n+ x n+ Z n x n ]. (.) 2. (Homogenität der Zeit) Für x, y X und m, n N 0 mit P[Z m x] > 0 und P[Z n x] > 0 gilt: P[Z m+ y Z m x] P[Z n+ y Z n x]. (.2) Die Markov-Eigenschaft bedeutet, dass kein Erinnerungsvermögen vorhanden ist: Die Zukunft (Zustand n + ) hängt nur von der Gegenwart (n) und nicht von der Vergangenheit ab..2. Übergangsmatrix und Anfangsverteilung Definition 2. Setzt man p(x, y) P[Z k+ y Z k x] erhalten wir die Übergangsmatrix P (p(x, y)) x,y X von Z n mit den Einträgen p(x, y). Für die Übergangsmatrix ergeben sich durch die Definition folgende Eigenschaften:. Für die Einträge der Matrix gilt p(x, y) > 0 für alle x, y {,..., k}, da Wahrscheinlichkeiten nicht negativ sind. 2. Die Zeilen der Übergangsmatrix summieren sich auf : k p(x, y) für alle x {,..., k}. y Definition 3. (vgl. Definition.5 [3]) Die Anfangsverteilung einer Markov-Kette (Z n ) mit Zustandsraum {x 0, x,..., x k } wird durch einen Zeilenvektor µ (0) definiert: µ (0) (µ (0),..., µ(0) k ) (P[Z 0 x 0 ],..., P[Z 0 x k ]). 6

7 Da µ (0) eine Wahrscheinlichkeitsverteilung auf dem Zustandsraum X bildet, gilt: k µ (0) i. i Ebenso ist µ (n) für n als Wahrscheinlichkeitsverteilung der Markov-Kette zum Zeitpunkt n definiert als: µ (n) (µ (n),..., µ(n) k ) (P[Z n x 0 ],..., P[Z n x k ]). Die Anfangsverteilung von Z n repräsentiert ein Anfangsexperiment, wie zum Beispiel bei einem Spiel die Ausgangsposition durch Würfeln zu entscheiden. Wir schreiben auch oft µ statt µ (0) für die Anfangsverteilung. Satz.. Sei P die Übergangsmatrix einer Markov-Kette mit der Anfangsverteilung µ. Die Wahrscheinlichkeit den Zustand x j nach n Schritten zu erreichen, ist genau der j-te Eintrag im Vektor µ (n) µ (0) P n. Beweis. Die Beweisführung ist aus [3] auf Seite 3f. Induktion über n: n : Sei µ (0) (µ (0),..., µ(0) n ), dann gilt für j,..., n : µ () j Def. P[Z x j ] ( ) Def. k P[Z 0 x i ]P[Z x j Z 0 x i ] i k i (µ (0) i P ) j. µ (0) i p(i, j) Unter der Verwendung des Satzes für totale Wahrscheinlichkeit in ( ): P(B) N P[A j ]P[B A j ]. Dabei ist (µ (0) i P ) j der j-te Eintrag des Zeilenvektors µ (0) P. n n+: Sei also die Behauptung für n gezeigt. Für j,..., k gilt: µ (n+) j P[Z n+ x j ] k P[Z n x i ]P[Z n+ x j Z n x i ] i k i µ (n) i p(i, j) (µ (n) i P ) j. Es gilt µ (n+) µ (n) P und laut Induktionsvoraussetzung folgt: µ (n+) µ (n) P I.V. µ (0) P n P µ (0) P n+. j 7

8 Übergangswahrscheinlichkeit in n Schritten Was ist die Wahrscheinlichkeit in einer Markov-Kette (X, P) von y nach x in n Schritten zu kommen? Die Übergangswahrscheinlichkeit dafür entspricht: p (n) (x, y) P[Z n y Z 0 x] P x [Z n y], für n 0, x, y X. (.3) Es hängt p (n) (x, y) weder vom Startzustand noch von der Anfangsverteilung ab. Für die Anfangsverteilung µ und k N 0, mit P µ [Z k x] > 0, folgt Es gilt: P µ [Z k+n y Z k x] p (n) (x, y). (.4) p (0) (x, x), p (0) (x, y) 0 für x y, und p () (x, y) p(x, y). Wie in dem Skriptum [2] auf Seite 406f beschrieben, ist die quadratische Matrix im Beispiel eine Übergangsmatrix. Die Einträge in der ersten Spalte sind die Wahrscheinlichkeiten für Sonne nach den verschiedenen Wetterzuständen, in der zweiten und dritten Spalte jeweils für Regen und Schnee. Die Wahrscheinlichkeit bezüglich der Markov-Kette vom Zustand x in zwei Tagen beim Zustand y zu sein, ist genau gegeben durch p (2) (x, y). Aus dem Beispiel ergibt sich, dass das Ereignis, dass es nach einem regnerischen heutigen Tag in zwei Tagen schneit, genau die disjunkte Vereinigung dreier Ereignisse ist:. es regnet morgen und schneit in zwei Tagen, 2. es ist ein sonniger Tag morgen und schneit am Tag darauf, 3. oder es folgen zwei verschneite Tage. Die Wahrscheinlichkeit des ersten Ereignisses ist das Produkt der bedingten Wahrscheinlichkeiten, dass es morgen regnet unter der Bedingung heute zu regnen und eines verschneiten Wetters in zwei Tagen bedingt, dass es morgen regnet. Unter Verwendung der Übergangsmatrix P bekommen wir das Produkt p(2, 2)p(2, 3), so können auch die anderen Wahrscheinlichkeiten als Produkt von Einträgen der Matrix geschrieben werden und es ergibt sich p (2) (2, 3) p(2, 2)p(2, 3) + p(2, )p(, 3) + p(2, 3)p(3, 3). Diese Gleichung erinnert an das innere Produkt zweier Vektoren, der zweiten Zeile von P mit der dritten Spalte von P. Im Allgemeinen gilt für eine Matrix mit r Zustände: Lemma p (2) (x, y) r p(x, k)p(k, y). k (i) Für die Übergangswahrscheinlichkeit gilt p (n+) (x, y) w X p(x, w)p (n) (w, y). Dies ist das Element an der Stelle (x, y) der n-ten Potenz P n der Übergangsmatrix P. (ii) In mehreren Schritten gilt: p (m+n) (x, y) p (m) (x, w)p (n) (w, y) (Chapman-Kolmogorov-Gleichung). w X 8

9 (iii) Die n-te Potenz P n der Übergangsmatrix P ist eine stochastische Matrix. Beweis. (i) Die Werte p (n+) (x, y) lassen sich wie folgt berechnen: Der erste Weg führt von x zu einem bestimmten w X mit der Wahrscheinlichkeit p(x, w). Die verbleibenden n Schritte müssen mit der Wahrscheinlichkeit p (n) (w, y) von w nach y führen, unabhängig von den vergangenen Schritten. Aufsummiert über alle möglichen Punkte w ergibt sich: p (n+) (x, y) w X p(x, w)p (n) (w, y). (.5) Für den Beweis dieser Formel verwenden wir vollständige Induktion. Es sind (.4) und (.5) für n 0 und n gezeigt. Wir nehmen an, dass sie für n erfüllt sind und P µ [Z k 0] > 0. Seien A, B, C A, { P µ [A C]/P µ [C] für P µ [C] > 0, P µ [A C] 0 für P µ [C] 0; P µ [A B C] P µ [B C] P µ [A B C]; für A B, Aus der Definition der Markov-Ketten erhalten wir: p (n+) (x, y) P µ [Z k+n+ y Z k x] P µ [A B C] P µ [A C] + P µ [B C]. P µ [ w X : (Z k+n+ y und Z k+ w) Z k x] w X P µ [Z k+n+ y und Z k+ w Z k x] w X P µ [Z k+ w Z k x] P µ [Z k+n+ y Z k+ w und Z k x] (Es ist P µ [Z k+ w und Z k x] > 0 wenn P µ [Z k+ w Z k x] > 0) w X P µ [Z k+ w Z k x] P µ [Z k+n+ y Z k+ w] w X p(x, w)p (n) (w, y). Für die Einträge der Übergangsmatrix P gilt laut Definition p () (x, y) P[Z k+ y Z k x], folgend bilden die Werte p (n) (x, y) P µ [Z k+n y Z k x] die Einträge der n-ten Potenz P n der Übergangsmatrix. (ii) Für die Übergangswahrscheinlichkeiten in mehreren Schritten folgt für die entsprechenden Matrizen P m+n P m P n aus dem Potenzieren von Matrizen. (iii) Ausgehend von x X wird nach n Schritten sicher ein Element in X erreicht, d.h.: P x [Z n X] y X P x [Z n y] y X p (n) (x, y). 9

10 Beispiel 4. Fortsetzung von Beispiel mittels [2]. Wir werden uns nun mit den ersten sechs Potenzen der Übergangsmatrix des Wetters in Salzburg beschäftigen. Die Wettervorhersage von sechs Tagen ist, auf drei Dezimalstellen gerundet, unabhängig vom heutigen Wetter P P P P P P In sechs Tagen sind die Wahrscheinlichkeiten für die Wetterzustände Sonne, Regen und Schnee ungefähr 0.2, 0.4 und 0.4, unabhängig von der Anfangsverteilung. Definition 4. (Definition.5, [2], S.433) Eine Markov-Kette heißt regulär, wenn eine Potenz der Übergangsmatrix nur positive Elemente besitzt. In anderen Worten, für n N ist es möglich von einem Zustand zu einem anderen Zustand in genau n Schritten zu kommen. Beispiel 5. Es sei in Beispiel die Anfangsverteilung µ (0) (/3, /3, /3). Wir berechnen die Verteilung der Zustände nach drei Tagen mittels der vorigen Berechnung von P 3 und dem Satz.: µ (3) µ (0) P 3 (/3, /3, /3) (0.98, 0.40, 0.40) In drei Tagen, bei gleicher Anfangswahrscheinlichkeit für alle Wetterzustände, wird es mit einer Wahrscheinlichkeit von knapp 20% sonnig, beziehungsweise mit je ungefähr 40% regnen oder schneien. 0

11 .2.2 Zufallsvariablen und Zufallszeiten In diesem Abschnitt werden einige Zufallsvariablen definiert, die die Berechnung diverser Probleme vereinfachen. Ein Beispiel für Zufallsvariablen von Markov-Ketten in R sind die Besuche in einer Menge W X: { v W Z n (λ) W ; n (λ) 0 sonst. v W n Wobei λ einen Weg der Zufallsvaraiable Z n beschreibt und für W {x} schreiben wir v W n v x n. Die Zufallsvariable v W k + vw k vw n (k n) ist die Anzahl der Besuche in W in der Zeitspanne zwischen den Zuständen k und n. Es ist v W die Gesamtanzahl der Besuche in W. Der Erwartungswert der Besuche in W in diesem Zeitraum unter Berücksichtigung der Anfangsverteilung µ ist E µ (v W k + vw k vw n ) x X n µ(x)p (i) (x, y). ik y W Eine Zufallszeit ist eine Zufallsvariable t: Λ N 0 { }, für die gilt [t n] : {λ Λ t(λ) n} A n N 0. Eine Zufallszeit t heißt Stoppzeit, wenn P µ [t ] 0, diese Eigenschaft hängt im Allgemeinen von der Anfangsverteilung µ ab. Für W X, definieren wir die Zufallsvariablen s W min{n 0 Z n W } und t W min{n Z n W }. Die Zufallsvariable s W ist der Zeitpunkt des ersten Besuchs von Z n in W, während t W der Moment des ersten Besuchs in W nach dem Start ist. Wieder schreiben wir s x und t x falls W {x}. Dazu definieren wir einige hilfreiche Größen: G(x, y) E x (v y ), U(x, y) P x [s y < ] und F (x, y) P x [t y < ], für x, y X. Die Größe G(x, y) ist die erwartete Anzahl der Besuche von (Z n ) in y, ausgehend von x, während U(x, y) die Wahrscheinlichkeit von x ausgehend y zu erreichen ist, und F (x, y) die Wahrscheinlichkeit y zu erreichen, nachdem man von x gestartet ist. Insbesondere ist F (x, x) die Wahrscheinlichkeit von x auskehrend nach x zurückzukehren. Es folgt Wir schreiben U(x, x) und U(x, y) F (x, y) für x y. f (n) (x, y) P x [t y n] P x [Z n y, Z i y für i,..., n ]

12 mit f (0) (x, y) 0 und bekommen F (x, y) f (n) (x, y) und G(x, y) p (n) (x, y). Beispiel 6. Jetzt können wir die Fragen von Beispiel beantworten. (a) Wenn es heute regnet entspricht die Wahrscheinlichkeit für schönes Wetter nach 2 Wochen genau der Übergangswahrscheinlichkeit in 4 Schritten von Regen zu Sonne zu kommen. Nach der Definition der Übergangswahrscheinlichkeit ist dies p (4) (r, s). Diese Zahl lässt sich berechnen, indem man die 4. Potenz der Übergangsmatrix berechnet und das Element (r, s) daraus nimmt. Eine Matrix zu potenzieren kann sehr umfangreich sein, daher sind wir an einer einfacheren Lösung interessiert, wofür die Greensche Funktion definiert wird. (b) Wenn es heute regnet, so ist der Erwartungswert der Anzahl der regnerischen Tage im Laufe des nächsten Monats (30 Tage) genau der Erwartungswert über alle möglichen Übergangswahrscheinlichkeiten ( 30 ) 30 E r p (n) (r, r). v r n Wir werden auch diese Lösung mittels der Greenschen Funktion berechnen. (c) Eine Schlechtwetterperiode beginnt nach und endet vor einem schönen Tag. Die Dauer von genau n Tagen hat folgende Wahrscheinlichkeit P[Z, Z 2,... Z n {r, n}, Z n+ s Z 0 s] P s [Z, Z 2,... Z n {r, n}, Z n+ s] P s [t s n + ] f (n+) (s, s). Eine Schlechtwetterperiode hält nicht für immer an, es gilt P s [t s ] 0. Der Erwartungswert der Dauer einer Schlechtwetterperiode ist E rn nf (n+) (s, s). n Zur Berechnung dieser Zahl können wir die Markov-Kette vereinfachen. Es gilt p(r, s) p(n, s) /4, auf einen Tag mit schlechtem Wetter (r oder n) folgt ein schöner Tag (s) mit Wahrscheinlichkeit /4 und ein anderer Schlechtwettertag (r oder n) mit 3/4, unabhängig von der Art des schlechten Wetters (r oder n) am Vortag. Auf einen Tag mit schönem Wetter (s) folgt mit Wahrscheinlichkeit schlechtes Wetter (r oder n). Die Zustände r und n können in einen einzigen Schlechtwetter-Zustand rn zusammengefasst werden und es ergibt sich ein neuer Zustandsraum X {s, rn} mit der neuen Übergangsmatrix P : p(s, s) 0, p(s, rn), p(rn, s) /4, p(rn, rn) 3/4. P s rn ( s rn ) 0 /4 3/4 2

13 Wahrscheinlichkeiten, die r von n nicht unterscheiden, können nun mittels der neuen Markov-Kette ( X, P ) und der Wahrscheinlichkeitsverteilung P x, x X berechnet werden. P s [t s n + ] P s [t s n + ] p(s, rn)( p(rn, rn)) n p(rn, s) ( ) 3 n 4 4. Und P s [t s ] P s [t s n + ] 0. Die zu erwartende Dauer einer Schlechtwetterperiode ist daher E rn ( ) 3 n n 4 4. Um diese Summe zu berechnen, verwenden wir einen Trick: [ Für die Ableitung der analytischen Potenzreihe gilt: nz n n Die geometrische Reihe z n besitzt den Wert Daraus folgt [ ] nz n n z ( z) 2. Eingesetzt in unser Beispiel ergibt sich: z n für z <. ] z n. ( ) 3 n n ( )2 n Die durchschnittliche Dauer einer Schlechtwetterperiode ist 4 Tage. 3

14 2 Erzeugende Funktionen der Übergangswahrscheinlichkeiten Für eine Folge von reellen oder komplexen Zahlen (a n ) n N heißt die Potenzreihe erzeugende Funktion von (a n ) n N. Die erzeugende Funktion kann oft nützliche Informationen über die Zahlenfolge liefern und hilft uns einige Problemstellungen leichter zu lösen. 2. Greensche Funktion a n z n Definition 5. Die Greensche Funktion einer Markov-Kette (X, P ) ist definiert als Ihr Konvergenzradius ist G(x, y z) p (n) (x, y)z n, x, y X, z C. (2.) r(x, y) / lim sup(p (n) (x, y)) /n. n Für z r(x, y) kann die Folge konvergieren oder nach divergieren. In beiden Fällen schreiben wir G(x, y r(x, y)) für den entsprechenden Wert. Nun ist r inf{r(x, y) x, y X} und z < r. Wir bilden die sogenannte Greensche Matrix G(z) (G(x, y z)) x,y X. 2.. Eigenschaften der Greenschen Funktion Das Element p (n) (x, y) ist an der Stelle (x, y) der Matrix P n. Daraus folgt für die Greensche Matrix G(z) z n P n, wobei jede Koordinate dieser Matrix eine Potenzreihe ist, die jedenfalls für alle z mit z < r konvergiert. Da P 0 I gilt, können wir die Matrix G(z) umformen: G(z) I + z n P n I + zp n z n P n I + zp G(z). 4

15 Für die Berechnung der Elemente der Greenschen Matrix gilt mittels.5 auch G(x, y z) p (0) (x, y) + p(x, w)p (n ) (w, y)z n n w X ( ) p (0) (x, y) + w X zp(x, w) p (n ) (w, y)z n n Def p (0) (x, y) + w X zp(x, w)g(w, y z). Die Vertauschung der Summanden in ( ) ist durch die absolute Konvergenz erlaubt. Wir erhalten (I zp )G(z) I, woraus für die Berechnung der Greenschen Matrix folgt G(z) (I zp ). Für die weiteren Beispiele legen wir für X fest, dass es endlich ist, wodurch die Matrizen endliche Dimension haben und es sich um die üblichen inversen Matrizen handelt. Beispiel 7. Aus dem Beispiel auf Seite 4 bekommen wir die Greensche Matrix: z/2 z/2 G(z) z/4 z/2 z/4 z/4 z/4 z/2 (4 3z)(4 z) 2z(4 z) 2z(4 z) z(4 z) 2(8 4z z 2 ) 2z(2 + z) ( z)(4 z)(4 + z) z(4 z) 2z(2 + z) 2(8 4z z 2 ) Wir können nun die Antworten auf die Fragen a) und b) vervollständigen: a) Die Wahrscheinlichkeit für schönes Wetter nach zwei Wochen entspricht der Übergangswahrscheinlichkeit in 4 Schritten von Regen nach Sonne zu kommen: p (4) (r, s). Der Eintrag (r, s) der Matrix G(z) ist G(r, s z) z ( z)(4 + z) z 5 ( z + ). 4 + z Ergibt in eine Reihe entwickelt 5 ( ( )n 4 n ) z n. Die Koeffizienten ergeben genau die Übergangswahrscheinlichkeiten p (n) (r, s) In unserem Fall folgt für n4 Tage also p (4) (r, s) 5 5 ( ( )n 4 n ). ( )

16 Die Wahrscheinlichkeit für Sonne nach zwei Wochen ist ungefähr 20%. Betrachtet man die 4. Potenz der Übergangsmatrix (gerundet) P 4 s r n s r n , kann man dasselbe Ergebnis ablesen. b) Der Erwartungswert für regnerische Tage im Laufe eines Monats (30 Tage) ist E r 30 p (n) (r, r), Dafür nehmen wir den Eintrag (r, r) der Matrix G(z) dies ergibt die Potenzreihe G(r, r z) 2(8 4z z 2 ) ( z)(4 z)(4 + z), z n 5 (2 2n (5 ( ) n + 4 +n )). Für unseren Erwartungswert gilt: 30 E r p (n) (r, r) 30 5 (2 2n (5 ( ) n + 4 +n )). Satz 2.. Wenn X endlich ist, so ist G(x, y z) eine rationale Funktion in z. Beweis. Erinnern wir uns daran, dass für endliche invertierbare Matrizen A (a i,j ) gilt A det(a) (a i,j) mit a i,j ( ) i j det(a j, i), wobei det(a j, i) die Determinante der Matrix bezeichnet, die von A durch Löschen der j-ten Zeile und der i-ten Spalte erzielt wird. Dann ist der Quotient zweier Polynome. G(x, y z) (I zp xy ) ± det(i zp xy) det(i zp ) und Für die erzeugenden Funktionen gilt U(x, y z) F (x, y z) f (n) (x, y)z n P x [s y n]z n { F (x, y z) y x; y x. (2.2) 6

17 Satz 2. a) G(x, x z) F (x, x z) b) G(x, y z) F (x, y z)g(y, y z), wenn x y c) F (x, y z) p(x, y)z + p(x, w)zf (w, y z); w y Beweis. a) Zuerst zeigen wir den Zusammenhang von f (n) (x, x) und p (n) (x, x). Wenn Z 0 x und Z n x, mit n, gibt es einen Zustand dazwischen mit Z k x, aber Z i x für i,..., k. Unter Verwendung der in Abschnitt.2.2 definierten Zufallsvariablen gilt: [Z k x, Z i x für i 2,..., k ] [t x k], k,..., n. Diese Ereignisse sind paarweise disjunkt. Mittels der Markov-Eigenschaft und der Formel (.4) bekommen wir p (n) (x, x) n P x [Z n x; t x k] k n P x [Z n x Z k x, Z i x für i,..., k ]P x [t x k] k n P x [Z n x Z k x]p x [t x k] k n p (n k) (x, x)f (k) (x, x) k n p (n k) (x, x)f (k) (x, x). k0 In der letzten Gleichung haben wir verwendet, dass f (0) (x, x) 0. Für n 0 gilt p (0) (x, x) 0, wobei p (n k) (x, x)f (k) (x, x) 0. Es folgt: k0 G(x, x z) p (n) (x, x)z n p (n) (x, x)z n n n k0 k0 n f (k) (x, x)p (n k) (x, x)z n n f (k) (x, x)p (n k) (x, x)z n + F (x, x z)g(x, x z). 7

18 Die letzte Identität folgt aus der Cauchyschen Produktformel für Reihen, welche besagt, dass für zwei Potenzreihen f(z) a i z i und g(z) b k z k, welche im Punkt z absolut konvergieren, gilt k i0 k0 ( n ) f(z) g(z) a k b n k z n. k0 b) Für x y, ist p (0) (x, y) 0. Analog zu (a) folgt: n n p (n) (x, y) f (k) (x, y)p (n k) (y, y) f (k) (x, y)p (n k) (y, y) n 0, G(x, y z) p (n) (x, y) n n k0 k0 n f (k) (x, y)p (n k) (y, y) F (x, y z)g(y, y z). c) Es gilt f () (x, y) p(x, y). Wenn n > und t y n, so muss gelten Z y. Die Ereignisse [t y n; Z w], w X \ {y}, sind paarweise unabhängig. Es folgt f (n) (x, y) P x [t y n; Z w] w y w y P x [Z w]p x [t y n Z w] w y P x [Z w]p w [t y n ] w y p(x, w)f (n ) (w, y). Nun gilt F (x, y z) f (n) (x, y)z n n p(x, w)f (n ) (w, y)z n n w y p(x, y)z + p(x, w)f (n ) (w, y)z n n2 w y p(x, y)z + w y p(x, w)z f (n) (w, y)z n n p(x, y)z + w y p(x, w)zf (w, y z). 8

19 2..2 Beispiele zur Greenschen Funktion Für die Lösung von Beispiel 2 auf Seite 4 über den Betrunkenen betrachten wir erst den verallgemeinerten Fall einer Irrfahrt auf X mit zwei absorbierenden Zustände. Es ergibt sich die Markov-Kette mit Zustandsraum X {0,,..., N}, N > 0, und den Übergangswahrscheinlichkeiten p(0, 0) p(n, N) für die absorbierenden Schranken, p(i, i + ) p, p(i, i ) q für i,..., N und p(i, j) 0 in allen anderen Fällen, wobei 0 < p < und q p. Dieses Beispiel ist auch bekannt als der Ruin des Spielers. Die gesuchten Wahrscheinlichkeiten vom Punkt j entweder den Zustand 0 oder N zu erreichen entsprechen genau P j [s 0 < n] U(j, 0), beziehungsweise U(j, N) aus Abschnitt.2.2. Der Erwartungswert der nötigen Schritte von j nach N zu kommen, unter der Annahme dass N erreicht wird, ist E j (s N s N < ) n P j [s N n s N < ] n n n P j[s N n] (2.2) P j [s N U (j, N ) < ] U(j, N ). Es bezeichnet U (j, N z) n P j [s N n] die Ableitung von U(j, N z) mit z. Sei nun n U(j, N) die Wahrscheinlichkeit beim Zustand N anzukommen, so gilt für die absorbierenden Zustände U(0, N z) 0 und U(N, N z). Für j zwischen und N führt der erste Schritt mit Wahrscheinlichkeit q zum Zustand j- und mit p zu j+, wobei gilt, dass p + q. Daraus folgt die Gleichung U(j, N) qu(j, N) + pu(j +, N), j,... N. Diese Rekursion ist mit den Anfangswerten U(0, N z) 0 und U(N, N z) schnell zu lösen. Um U(j, N z) zu finden, kommen wir zu einer linearen Differentialgleichung in j von zweiter Ordnung. Das charakteristische Polynom ist pzλ 2 λ + qz 0 mit Nullstellen λ (z) ( ) 4pqz 2pz 2, λ 2 (z) 2pz ( + 4pqz 2 ). Untersucht man den Fall z < /2 pq, bekommt man verschiedene Nullstellen und U(j, N z) a λ (z) j + b λ 2 (z) j. 9

20 Die Konstanten a und b lassen sich aus den Werten für j 0 und j N finden: Es folgt a + b 0 und a λ (z) N + b λ 2 (z) N. U(j, N z) λ 2(z) j λ (z) j λ 2 (z) N λ (z) N, z < 2 pq. Für p 2, ρ q p gilt < /2 pq, λ () λ (2) p q 2p + p q 2p {, p < /2, ρ, p > /2, { ρ, p < /2,, p > /2. Daraus folgt für die Berechnung der Wahrscheinlichkeit Weiters berechnet man U (j, N ) So folgt für p /2 Im Fall p /2 ist einfach zu zeigen, dass P j [s N < ] U(j, N ) ρj ρ N. (q p)(ρ N ) 2 ( N(ρ j )(ρ N + ) j(ρ j + )(ρ N ) ). E j (s N s N < ) ( ) N ρn + q p ρ N j ρj + ρ j. U(j, N ) N. Beispiel 8. Im Beispiel 2 auf Seite 4 über den Betrunkenen haben wir N 300 Schritte als Gesamtlänge der Strecke, die Wahrscheinlichkeiten p 2/3, q /3, mit ρ /2 und j 200 (Schritte vom Gasthaus nach Hause). Wir wollen nun die Wahrscheinlichkeit für den Betrunkenen nach Hause zu kommen, bzw. im See zu ertrinken, berechnen. Er startet bei 00 Schritten und die Wahrscheinlichkeit heim zu kommen entspricht P 00 [s 300 < ] Die durchschnittliche Anzahl von Schritten entspricht dem Erwartungswert ( ) E 00 (s 300 s 300 < ) q p Die Wahrscheinlichkeit, dass der Betrunkene nicht nach Hause zurückkehrt, ist quasi Null. Um nach Hause zu kommen, braucht er im Durchschnitt 600 Schritte, also das Dreifache des erforderlichen Minimums

21 Literaturverzeichnis [] Woess, Wolfgang. Catene di Markov e teoria del potenziale nel discreto. Quaderni dell Unione Matematica Italiana, 996. [2] Dartmouth. Chapter. Markov Chains. Online verfügbar unter book/chapter.pdf [3] Schomaker, Jens. Einführung in die Theorie der Markov-Ketten. Online verfügbar unter Vortraege/Schomaker.pdf Weitere Literatur: [4] Held, Leonhard. Stochastik fur Bioinformatiker.Markov-Ketten. Online verfügbar unter stobio2006/script/script-kap7.pdf [5] Weingessel, Andreas. Statistik in der Finanzwirtschaft. Markoff-Ketten in diskreter Zeit. Online verfügbar unter [6] Penz, Markus. Markov-Ketten. Online verfügbar unter L