1 Einleitung 3. 3 Die Methode der Pfadregeln Drei Pfadregeln Anwendungen von drei Pfadregeln... 6

Transkript

1 Mrkow-Ketten JUAN LU AUSARBEITUNG ZUM VORTRAG IM Blockseminr Stochstik (WINTERSEMESTER 28/9, LEITUNG PD DR. GUDRUN THÄTER) Zusmmenfssung: Eine Mrkow-Kette ist eine spezielle Klsse von stochstischen Prozessen. Ds Spezielle einer Mrkow-Kette ist die Eigenschft, dss durch Kenntnis einer begrenzten Vorgeschichte ebensogute Prognosen über die zukünftige Entwicklung möglich sind wie bei Kenntnis der gesmten Vorgeschichte des Prozesses. In diesem Vortrg werden die Mittelwertsregeln eingeführt, mit deren Hilfe viele Probleme, die ls bsorbierende Mrkov-Kette gesehen werden, einfch gelöst werden können.

2 Inhltsverzeichnis 1 Einleitung 3 2 Wichtige Definitionen Abzählbr unendliche Whrscheinlichkeitsräume Mrkow-Ketten Anwendung nhnd eines Beispiels Bestimmung des Zustndsrums Übergngswhrscheinlichkeit Anfngsverteilung Absorbierende Mrkow-Kette Die Methode der Pfdregeln Drei Pfdregeln Anwendungen von drei Pfdregeln Die Mittelwertsregeln Die Mittelwertsregeln Anwendungen von Mittelwertsregeln Resümee 12 Abbildungsverzeichnis 2.1 Wegnetz Ds Glücksrd Ds kühne Spiel Die Lplce-Münze Irrfhrt Irrfhrt Die Lplce-Münze Die Lplce-Münze Würfe

3 1 Einleitung In der Whrscheinlichkeitsrechnung versucht mn oft mittels stochstischer Modelle Vorhersgen über zukünftige Entwicklungen zu treffen. Dbei knn es vorkommen, dss sich der stochstische Prozess zyklisch verhält. Eine vergleichsweise einfche Beschreibung solcher Zusmmenhänge ist dem russischen Mthemtiker Andrei Andrejewitsch Mrkow ( ) gelungen. Mit sogennnten Mrkow-Ketten können bestimmte stochstische Prozesse ohne größeren Aufwnd über einen längeren Zeitrum betrchtet werden, ws sie für Berechnungen über zukünftige Entwicklungen sehr interessnt mcht. 2 Wichtige Definitionen 2.1 Abzählbr unendliche Whrscheinlichkeitsräume Ein bzählbr unendlicher Whrscheinlichkeitsrum ist ein Pr (Ω, P), wobei Ω eine bzählbr unendliche Menge und P eine uf den Teilmengen von Ω definierte reellwertige Funktion mit folgenden Eingenschften ist: ) (Nichtnegtivität) P(A) für lle A Ω b) (Normiertheit) P(Ω) = 1 c) (Additivität) P(A + B) = P(A) + P(B), wenn A B = φ 2.2 Mrkow-Ketten Mrkow-Ketten sind besondere stochstische Prozesse. Mn betrchtet sie nur mit diskreten Zeitprmetern und meistens ist uch der Zustndsrum diskret. Mrkow-Ketten in stetiger Zeit werden meistens ls Mrkow-Prozess bezeichnet. Die Besonderheit der Mrkow-Kette liegt drin, dss die Whrscheinlichkeit eines Übergngs zum Zustnd X n+1 nur vom vorherigen Zustnd X n bhängt und nicht von den früheren Zuständen. Ein stochstischer Prozess {X t, t X } mit bzählbrem Zustndsrum E heisst Mrkow- Kette genu dnn, wenn P(X n+1 = k X = e, X 1 = e 1,..., X n = e n ) = P(X n+1 = k X n = e n ) für lle n N und lle k, e,..., e n E. Eine Mrkow-Kette wird durch ihren Zustndsrum, ihre Anfngsverteilung und ihre Übergngswhrscheinlichkeiten bestimmt. Diese Begriffe werden im folgenden Beispiel erklärt. 2.3 Anwendung nhnd eines Beispiels Ein Käfer kriecht durch ds in Abbildung 2.1 drgestellte Wegnetz. Er entscheidet sich n jeder Weggbelung zufällig für einen Weg in Pfeilrichtung, stehen bleiben drf er nicht Bestimmung des Zustndsrums Mn knn dieses Beispiel wie die meisten Mrkow-Ketten überhupt uf unterschiedliche Art und Weise drstellen. Zuerst muss ber immer die Frge geklärt werden, welche Zustände es gibt, lso welche Elemente der Zustndsrum M enthält. In Abbildung 2.1 knn mn 3

4 Abbildung 2.1: Wegnetz vier Knotenpunkte erkennen, die mn dnn ls Zustände definiert, dher ist M = {e 1, e 2, e 3, e 4 }. Mn muss immer dfür sorgen, dss die Zustände unbhängig sind. Dies ist gewährleistet, d der Käfer sich immer nur n einem Punkt befinden knn. Die Reihenfolge der Zustände knn mn selbst festlegen: e 1 sei der linke, e 2 der untere, e 3 der obere und e 4 der rechte Punkt Übergngswhrscheinlichkeit Als nächstes müssen nun die Übergngswhrscheinlichkeiten gesucht werden. Die Übergngswhrscheinlichkeit P(e 1 e k ) = P(e k e i ) = p ik ist die Whrscheinlichkeit für den Übergng us dem Zustnd e i in den Zustnd e k, lso eine bedingte Whrscheinlichkeit, weil ds System sich zunächst im Zustnd e i befinden muss. Wenn ein Übergng von e i nch e k nicht möglich, ist p ik =. In diesem Beispiel können die Übergngswhrscheinlichkeiten leicht bestimmt werden, denn wenn der Käfer sich zufällig entscheidet, sind sie der Kehrwert der Anzhl der möglichen Wege. Drus ergibt sich: p 11 = p 21 = 1 3 p 12 = 1 2 p 22 = p 13 = 1 2 p 23 = 1 3 p 14 = p 24 = 1 3 usw. Die Summe der Übergngswhrscheinlichkeiten von einem Zustnd us, muss genu eins ergeben, weil irgendein Zustnd eintreten muss. Es gilt lso für jedes i: N p ik = 1 4

5 2.3.3 Anfngsverteilung Wie bereits erwähnt, benötigt mn neben dem Zustndsrum und der Übergngswhrscheinlichkeit die Anfngsverteilung, um eine Mrkow-Kette zu betrchten. Es empfiehlt sich die Anfngsverteilung ls Zeilenvektor p() zu schreiben, lso in der Form p() = ((p 1 (), p 2 (), p 3 (),...), wenn p j die die Whrscheinlichkeit dfür ist, dss die Mrkow-Kette im Zustnd e j beginnt. Die Summe der Elemente des Anlufvektors ist nch der Überlegung im Abschnitt genu eins. Allgemein bezeichnet mn bei Mrkow-Ketten einen Vektor (p 1, p 2, p 3,...) mit p i und p i = 1 ls Anfngsverteilung. Wenn mn bei dem Beispiel mit dem Käfer eine zufällige Anfngsverteilung möchte, ist p() = ( 1 4, 1 4, 1 4, 1 4 ), weil die Whrscheinlichkeit für den Beginn der Mrkow-Kette in einem Zustnd e j (mit j = 1,..., N) bei einer zufälligen Anfngsverteilung 1 ist. N Möchte mn hingegen in einem bestimmten Zustnd e j beginnen, so ist p j = 1 und lle nderen Anfngswhrscheinlichkeiten sind Null. Wenn der Käfer in e 1 strten sollte, wäre 2.4 Absorbierende Mrkow-Kette p() = (1,,, ). Ein Zustnd e i heißt bsorbierend, wenn er nicht mehr verlssen werden knn, lso wenn p ii = 1. Die Menge R ller bsorbierenden Zustände wird ls Rnd von M bezeichnet. Als innere Zustände werden lle nicht-bsorbierende Zustände bezeichnet. Die Menge I der inneren Zustände ist dher I = M \ R. Eine Mrkow-Kette heißt bsorbierend, wenn R nicht leer ist und wenn mn von jedem inneren Zustnd R erreichen knn. 3 Die Methode der Pfdregeln Jede Mrkow-Kette lässt sich ls Irrfhrt uf einem gerichteten Grphen deuten. Ein Teilchen bewegt sich uf dem Zustndsrum M mit dem Rnd R. Wenn es in e i M ist, dnn entscheidet ds Glücksrd in Abbildung 3.1 wohin der nächste Schritt geht. Sobld ds Teilchen den Rnd trifft, wird die Irrfhrt gestoppt. 5 i 1

6 Abbildung 3.1: Ds Glücksrd 3.1 Drei Pfdregeln Es gibt drei Pfdregeln, die wir vorher schon geknnt hben. (1) Die Whrscheinlichkeit eines Pfdes ist gleich dem Produkt ller Whrscheinlichkeiten längs des Pfdes. (2) Die Whrscheinlichkeit p i von e i us irgendeine Teilmenge T des Rndes R zu treffen ist gleich der Summe der Whrscheinlichkeiten ller Pfde, die von e i nch T führen. (3) Die mittlere (erwrtete) Duer m i der Irrfhrt von einem Zustnd i nch R ist ds gewichtete Mittel der Längen ller Pfde von e i nch R. Jede Pfdlänge x k wird mit ihrer Whrscheinlichkeit q k gewichtet, d.h. m i = x k q k. k Die Regeln sind uf endliche W-Räum zugeschnitten. Bei Mrkow-Ketten sind die Pfdregeln unbequem, d es von einem Zustnd bis zur Absorption unendlich viele Pfd geben knn. Die beiden nächsten Beispiele zeigen die Art der uftretenden Schwierigkeiten. 3.2 Anwendungen von drei Pfdregeln 1. Beispiel: Ds kühne Spiel. (Ds ist ein Wettspiel. Gewinnt mn eine Runde bekommt mn seinen Einstz doppelt zurück, verliert mn ist er weg.) Ich besitze 1 Euro und ich bruche dringend 5 Euro. Mein Ziel knn ich durch ein fires Glücksspiel erreichen. Ich entscheide mich für die Kühne Strtegie : In jeder Runde setze ich soviel von meinem Geld ein, dss ich im Fll eines Gewinns möglichst nhe n mein Ziel komme. Wie groß ist die Gewinnwhrscheinlichkeit? Ds kühne Spiel übersetzen wir in einen Grphen (Abbildung 3.2). Jedem möglichen Spielbluf entspricht ein Pfd, der in e 1 beginnt und uf dem Rnd R = {e, e 5 } endet. 6

7 Abbildung 3.2: Ds kühne Spiel Strt 1 11 Abbildung 3.3: Die Lplce-Münze 1 Lösung. Wegen des Zyklus e 1 e 2 e 4 e 3 e 1 gibt es unendlich viele Pfde von e 1 nch e 5. Die 1. und 2. Pfdregeln liefern p 1 = ( ) ( ) ( ) 3 + = = = 1 5 Die Gewinnwhrscheinlichkeit ist dnn Beispiel: Wir wollen eine Lplce-Münze mit den Seiten und 1 solnge werfen, bis eines der Wörter 1111 oder 11 ufgetreten ist. Sie gewinnen, wenn 1111 zuerst uftritt, sonst gewinne ich. Ds Spiel ist fir, d beide Wörter die Whrscheinlichkeit 1 hben. Hbe ich recht? 16 Jedem Spielbluf entspricht ein Pfd in Abbildung 3.3, der bei START beginnt und bei 1111 oder 11 endet. Der Grph enthält eine Schleife und vier Zyklen. Mit den Pfdregeln kommen wir nicht weit. Dher ersetzen wir sie durch zwei einfchere und mächtigere Regeln. 7

8 i i1 i2 i3 in n n Abbildung 4.1: Irrfhrt 1 4 Die Mittelwertsregeln 4.1 Die Mittelwertsregeln Wir hben eine bsorbierende Mrkow-Kette mit dem Zustndsrum M = {e 1, e 2,..., e n }. Uns interessiert die Whrscheinlichkeit in einer bestimmten Teilmenge T des Rndes R bsorbiert zu werden (T R), und die mittlere Duer der Irrfhrt bis zur Absorption. In der Regel wird T us einem einzigen bsorbierenden Zustnd bestehen. Um dieses Problem für jeden Strtzustnd zu lösen, definieren wir uf M eine Whrscheinlichkeitsfunktion e i p i und eine Mittelwertsfunktion e i m i : p i = Whrscheinlichkeit von e i us in T R bsorbiert zu werden. m i = mittlere Duer der Irrfhrt von e i us bis zur Absorption in R. Durch Anwendung der 2. Pfdregel uf Abbildung 4.1 erhlten wir: (1) für lle e i M \ R: n p i = p ik p k, (2) p i = 1 für lle e i T ; p i = für lle e i R \ T. Wir wollen (1) in Worte fssen ls 1. Mittelwertsregel: Whrscheinlichkeit eines inneren Zustnds = gewichtetes Mittel der Whrscheinlichkeiten seiner Nchbrn. Eine Funktion mit der Mittelwertseigenschft (1) heisst hrmonische Funktion. Sie ist durch ihre Rndwerte eindeutig bestimmt. Die Mittelwertsfunktion e i m i ist bestimmt durch (3) für lle e i M \ R: n m i = 1 + p ik m k, 8

9 i 1 2 k n Abbildung 4.2: Irrfhrt 2 (4) m i = für lle e i R. Die Eigenschft (3) fssen wir in Worte ls 2. Mittelwertsregel: Erwrtungswert eines inneren Zustnds = 1 + gewichtetes Mittel der Erwrtungswerte seiner Nchbrn. Beweis. Nch der 3. Pfdregel ist m i gleich dem gewichteten Mittel der Längen ller Pfde, die von e i nch R führen. Wir betrchten zuerst den Beitrg M k der über e k führenden Pfde (Abbildung 4.2). Die Pfd von e k nch R seien durch die folgende Tbelle beschrieben: Länge x 1 x 2 x 3 Whrscheinlichkeit p 1 p 2 p 3 mit Die mittlere Lufzeit von e k zum Rnd ist p n = 1. n 1 m k = x 1 p 1 + x 2 p 2 + x 3 p 3 + Die von e i über e k nch R führenden Pfde sind durch die folgende Tbelle gegeben: Länge 1 + x x x 3 Whrscheinlichkeit p ik p 1 p ik p 2 p ik p 3 Der Beitrg dieser Pfd zu m i ist M k = (1 + x 1 )p ik p 1 + (1 + x 2 )p ik p 2 + (1 + x 3 )p ik p 3 + = p ik + p ik m k = p ik (1 + m k ) 9

10 Strt b Abbildung 4.3: Die Lplce-Münze 2 Dmit ist m i = n M k = n p ik + n p ik m k Nch der Definition der Übergngswhrscheinlichkeit ist n p ik = 1 und dher m i = 1 + n p ik m k. 4.2 Anwendungen von Mittelwertsregeln () Wir nehmen ds 2. Beispiel im Abschnitt 2.2 wieder uf. Abbildung 4.3 stimmt mit Abbildung 3.3 überein. Lösung. In jedem Kreis steht die Whrscheinlichkeit, dss ich von dort us gewinne. Die Rndwerte sind p 1111 =, p 11 = 1. Ich führe zwei Unbeknnten und b ein und setze m =, m = b. und b sollen bestimmt werden. Die übrigen Kreise wurden mit Hilfe der 1. Mittelwertsregel usgefüllt. Wendet mn dieselbe Regel uf die Zustände und n, so ergibt sich b = 1 2 b ( ) = b mit der Lösung = 4, b = D. h. vom Strt gewinne ich mit Whrscheinlichkeit = Ds Spiel ist nicht fir! In Abbildung 4.4 steht in jedem Kreis die mittlere Duer des Spiels, wenn mn dort strtet. Die Rndwerte sind m 1111 = m 11 =. Ich führe zwei unbeknnten und b ein und setze m =, m = b. und b sollen bestimmt werden. Die übrigen Kreis wurden mit Hilfe der 2. Mittelwertsregel usgefüllt. Wendet mn dieselbe Regel uf die Zustände und n, so ergibt sich b = b ( 2 + 1) 1

11 Strt b Abbildung 4.4: Die Lplce-Münze 3 Abbildung 4.5: Würfe 11

12 = b ( ) mit der Lösung = 54. Die mittlere Spielduer vom Strt ist (b) Ein Würfel wird wiederholt geworfen. Wie groß ist die Whrscheinlichkeit, dss 1 und 3 vor 2 oder 4 oder 6 erscheinen? Lösung. Wir übersetzen ds Spiel in einen Grphen (Abbildung 4.4). Ds zuerst uftretende Element der Menge {1, 3} wurde mit bezeichnet. Ds ndere Element ist dnn 4. Denn für = 1 ist 4 = 3, für = 3 ist 4 = 1. Unter jedem Zustnd steht seine Gewinnwhrscheinlichkeit. Die 1. Mittelwertsregel liefert y = y x = x 6 + y 3 mit den Lösungen y = 1, x = 1. D.h. im Strt ist die Gewinnwhrscheinlichkeit, Resümee In diesem Vortrg wurden drei Pfdregeln und deren Anwendungen erläutert und drus die Mittelwertsregeln bgeleitet. Ds Beispiel der Lplce-Münze ht uns gezeigt, dss viele Probleme, die ls bsorbierende Mrkov-Ketten gesehen werden, durch Mittelwertsregeln einfcher gelöst werden können. Für mich lg die Schwierigkeit des Vortrgs bei der Übersetzung der relistischen Probleme in nschuliche Grphen. Es ist klr, dss Mrkow-Ketten sowieso ein schwieriges Them ist. Wer Zeit und Interesse dfür ht, mehr über ds Them zu studieren, empfehle ich ihm ds Buch "Whrscheinlichkeitsrechnung und Sttistik"von A. Engel. Litertur [1] Arthur Engel: Whrscheinlichkeitsrechnung und Sttistik (Bnd 2). Klett Verlg, [2] Alle Abbildungen direkt übernommen bzw. ngepsst nch Ideen us [1] und [2] 12