Diskrete Wahrscheinlichkeitstheorie

Transkript

1 SS 2013 Diskrete Wahrscheinlichkeitstheorie Javier Esparza Fakultät für Informatik TU München Sommersemester 2013

2 Teil VI Markov-Ketten

3 Markov-Ketten Markov-Ketten modellieren mehrstufige Experimente mit unendlich vielen Stufen. Der Ausgang einer Stufe bestimmt welches Experiment in der nächsten Stufe ausgeführt wird.

4 Erinnerung: Markov-Diagramme Definition 173 Ein (verallgemeinertes) Markov-Diagramm D = (Q, T, δ) besteht aus

5 Erinnerung: Markov-Diagramme Definition 173 Ein (verallgemeinertes) Markov-Diagramm D = (Q, T, δ) besteht aus einer (nicht notwendigerweise endlichen) Menge Q von Zuständen,

6 Erinnerung: Markov-Diagramme Definition 173 Ein (verallgemeinertes) Markov-Diagramm D = (Q, T, δ) besteht aus einer (nicht notwendigerweise endlichen) Menge Q von Zuständen, einer Menge T Q Q von Transitionen, und

7 Erinnerung: Markov-Diagramme Definition 173 Ein (verallgemeinertes) Markov-Diagramm D = (Q, T, δ) besteht aus einer (nicht notwendigerweise endlichen) Menge Q von Zuständen, einer Menge T Q Q von Transitionen, und einer W keitsfunktion δ : T (0, 1], die Folgendes erfüllt für jeden Zustand q: δ(q, q ) = 1. (q,q ) T

8 Definition einer Markov-Kette Definition 174 Eine W keitsverteilung oder Verteilung für ein Markov-Diagramm mit Zustandsmange Q ist eine Funktion v : Q [0, 1] mit der Eigenschaft v(q) = 1. q Q Definition 175 Eine Markov-Kette ist ein Tuple M = (Q, T, δ, π 0 ), wobei:

9 Definition einer Markov-Kette Definition 174 Eine W keitsverteilung oder Verteilung für ein Markov-Diagramm mit Zustandsmange Q ist eine Funktion v : Q [0, 1] mit der Eigenschaft v(q) = 1. q Q Definition 175 Eine Markov-Kette ist ein Tuple M = (Q, T, δ, π 0 ), wobei: (Q, T, δ) ist ein Markov-Diagramm und

10 Definition einer Markov-Kette Definition 174 Eine W keitsverteilung oder Verteilung für ein Markov-Diagramm mit Zustandsmange Q ist eine Funktion v : Q [0, 1] mit der Eigenschaft v(q) = 1. q Q Definition 175 Eine Markov-Kette ist ein Tuple M = (Q, T, δ, π 0 ), wobei: (Q, T, δ) ist ein Markov-Diagramm und π 0 : Q [0, 1] ist die Anfangsverteilung.

11 Definition einer Markov-Kette Definition 174 Eine W keitsverteilung oder Verteilung für ein Markov-Diagramm mit Zustandsmange Q ist eine Funktion v : Q [0, 1] mit der Eigenschaft v(q) = 1. q Q Definition 175 Eine Markov-Kette ist ein Tuple M = (Q, T, δ, π 0 ), wobei: (Q, T, δ) ist ein Markov-Diagramm und π 0 : Q [0, 1] ist die Anfangsverteilung. Eine Markov-Kette ist endlich bzw. abzählbar, wenn Q endlich bzw. abzählbar ist.

12 Die ménàge a trois von Armand, Bertrand und Cécile I Beispiel 176 (Heute im Theatiner, 18:00)

13 Die ménàge a trois von Armand, Bertrand und Cécile II Fragen von Armand an Denis, der sich in W keitstheorie auskennt:

14 Die ménàge a trois von Armand, Bertrand und Cécile II Fragen von Armand an Denis, der sich in W keitstheorie auskennt: Heute Morgen (Donnerstag) ist Cécile zu Bertrand gegangen. Mit welcher W keit wird sie den Sonntag mit mir verbringen?

15 Die ménàge a trois von Armand, Bertrand und Cécile II Fragen von Armand an Denis, der sich in W keitstheorie auskennt: Heute Morgen (Donnerstag) ist Cécile zu Bertrand gegangen. Mit welcher W keit wird sie den Sonntag mit mir verbringen? Wenn Cécile mich verlässt, wie lange dauert es im Schnitt, bis Sie zurückkommt?

16 Die ménàge a trois von Armand, Bertrand und Cécile II Fragen von Armand an Denis, der sich in W keitstheorie auskennt: Heute Morgen (Donnerstag) ist Cécile zu Bertrand gegangen. Mit welcher W keit wird sie den Sonntag mit mir verbringen? Wenn Cécile mich verlässt, wie lange dauert es im Schnitt, bis Sie zurückkommt? Wenn diese Situation für immer so weiter geht, wieviel Prozent der Tage wird Cécile mit mir verbringen?

17 Die ménàge a trois von Armand, Bertrand und Cécile II Fragen von Armand an Denis, der sich in W keitstheorie auskennt: Heute Morgen (Donnerstag) ist Cécile zu Bertrand gegangen. Mit welcher W keit wird sie den Sonntag mit mir verbringen? Wenn Cécile mich verlässt, wie lange dauert es im Schnitt, bis Sie zurückkommt? Wenn diese Situation für immer so weiter geht, wieviel Prozent der Tage wird Cécile mit mir verbringen? Wir untersuchen Methoden, um diese Fragen zu beantworten.

18 W keitsraum einer Markov-Kette I Definition 177 Ein Pfad einer Markov-Kette M = (Q, T, δ, Q 0 ) ist eine endliche oder unendliche Sequenz σ = q 0 q 1... q k... von Zuständen mit k 0 und (q i, q i+1 ) T für alle q i q i+1 in σ.

19 W keitsraum einer Markov-Kette I Definition 177 Ein Pfad einer Markov-Kette M = (Q, T, δ, Q 0 ) ist eine endliche oder unendliche Sequenz σ = q 0 q 1... q k... von Zuständen mit k 0 und (q i, q i+1 ) T für alle q i q i+1 in σ. Π bzw. Π ω bezeichnen die Menge aller endlichen bzw. unendlichen Pfaden von M.

20 W keitsraum einer Markov-Kette I Definition 177 Ein Pfad einer Markov-Kette M = (Q, T, δ, Q 0 ) ist eine endliche oder unendliche Sequenz σ = q 0 q 1... q k... von Zuständen mit k 0 und (q i, q i+1 ) T für alle q i q i+1 in σ. Π bzw. Π ω bezeichnen die Menge aller endlichen bzw. unendlichen Pfaden von M. σ(k) bezeichnet den Zustand q k, d.h. σ = σ(0) σ(1)... σ(k)....

21 W keitsraum einer Markov-Kette I Definition 177 Ein Pfad einer Markov-Kette M = (Q, T, δ, Q 0 ) ist eine endliche oder unendliche Sequenz σ = q 0 q 1... q k... von Zuständen mit k 0 und (q i, q i+1 ) T für alle q i q i+1 in σ. Π bzw. Π ω bezeichnen die Menge aller endlichen bzw. unendlichen Pfaden von M. σ(k) bezeichnet den Zustand q k, d.h. σ = σ(0) σ(1)... σ(k).... Die Konkatenation von σ Π und σ Π Π ω wird mit σ σ oder σ σ bezeichnet. Sei σ Π ein endlicher Pfad. Die von σ generierte Zylindermenge Cyl(σ) ist die Menge aller unendlichen Pfaden σ Π ω mit σ als Präfix.

22 W keitsraum einer Markov-Kette II Definition 178 Der W keitsraum einer abzählbaren Markov-Kette M mit Anfangsverteilung Q 0 ist die Triple (Ω, A, Pr) mit

23 W keitsraum einer Markov-Kette II Definition 178 Der W keitsraum einer abzählbaren Markov-Kette M mit Anfangsverteilung Q 0 ist die Triple (Ω, A, Pr) mit Ω = Π ω.

24 W keitsraum einer Markov-Kette II Definition 178 Der W keitsraum einer abzählbaren Markov-Kette M mit Anfangsverteilung Q 0 ist die Triple (Ω, A, Pr) mit Ω = Π ω. A enthält die von den Zylindermengen generierten Borel sche Mengen, d.h.: Cyl(σ) A für jedes σ Π. Wenn A A, dann Ω \ A A. Wenn A 1, A 2,... A, dann i=1 A i A.

25 W keitsraum einer Markov-Kette II Definition 178 Der W keitsraum einer abzählbaren Markov-Kette M mit Anfangsverteilung Q 0 ist die Triple (Ω, A, Pr) mit Ω = Π ω. A enthält die von den Zylindermengen generierten Borel sche Mengen, d.h.: Cyl(σ) A für jedes σ Π. Wenn A A, dann Ω \ A A. Wenn A 1, A 2,... A, dann i=1 A i A. Die W keitsfunktion Pr ist die einzige Funktion, die n 1 Pr [Cyl(q 0 q 1... q n )] = Q 0 (q 0 ) δ(q i, q i+1 ) und die Kolmogorov-Axiome erfüllt. i=0

26 Zufallsvariablen einer Markov-Kette Definition 179 Sei M = (Q, T, δ, Q 0 ) eine abzählbare Markov-Kette. Für jedes t N 0 bezeichnet X t die Zufallsvariable X t : Ω Q mit X t (σ) = σ(t).

27 Zufallsvariablen einer Markov-Kette Definition 179 Sei M = (Q, T, δ, Q 0 ) eine abzählbare Markov-Kette. Für jedes t N 0 bezeichnet X t die Zufallsvariable X t : Ω Q mit X t (σ) = σ(t). X t gibt den Zustand der Kette zum Zeitpunkt t.

28 Zufallsvariablen einer Markov-Kette Definition 179 Sei M = (Q, T, δ, Q 0 ) eine abzählbare Markov-Kette. Für jedes t N 0 bezeichnet X t die Zufallsvariable X t : Ω Q mit X t (σ) = σ(t). X t gibt den Zustand der Kette zum Zeitpunkt t. X t ist wohldefiniert: Man kann leicht zeigen, dass für jeden Zustand q Q die Menge X t = q Borel ist.

29 Zufallsvariablen einer Markov-Kette Definition 179 Sei M = (Q, T, δ, Q 0 ) eine abzählbare Markov-Kette. Für jedes t N 0 bezeichnet X t die Zufallsvariable X t : Ω Q mit X t (σ) = σ(t). X t gibt den Zustand der Kette zum Zeitpunkt t. X t ist wohldefiniert: Man kann leicht zeigen, dass für jeden Zustand q Q die Menge X t = q Borel ist. Für alle t 0 gilt: Pr[X t+1 = q X t = q] = δ(q, q ) Pr[X t+1 = q t+1 X t = q t,..., X 0 = q 0 ] = δ(q, q ).

30 25. Übergangswahrscheinlichkeiten

31 Übergangsw keiten I: Ubergangsmatrix Definition 180 Sei M = (Q, T, δ, Q 0 ) eine endliche Markov-Kette mit Q = {q 1,..., q n }. Die n n Matrix P = (p ij ) 0 i,j<n mit p ij = δ(q i, q j ) = Pr[X t+1 = q j X t = q i ] ist die Übergangsmatrix von M.

32 Übergangsw keiten I: Ubergangsmatrix Definition 180 Sei M = (Q, T, δ, Q 0 ) eine endliche Markov-Kette mit Q = {q 1,..., q n }. Die n n Matrix P = (p ij ) 0 i,j<n mit p ij = δ(q i, q j ) = Pr[X t+1 = q j X t = q i ] ist die Übergangsmatrix von M. Beispiel 181 Die Matrix der Armand-Bertrand-Cécile-Kette (mit q 1 := Armand und q 2 := Bertrand) ist: ( ) P =

33 Übergangsw keiten II: Berechnung Sei Q t = ( Pr[X t = q 1 ],... Pr[X t = q n ] )

34 Übergangsw keiten II: Berechnung Sei Q t = ( Pr[X t = q 1 ],... Pr[X t = q n ] ) Es gilt Pr[X 0 = q k ] = Q 0 (q k ) n Pr[X t+1 = q k ] = Pr[X t+1 = q k X t = q i ] Pr[X t = q i ] = i=1 n p ik Pr[X t = q i ] i=1

35 Übergangsw keiten II: Berechnung Sei Q t = ( Pr[X t = q 1 ],... Pr[X t = q n ] ) Es gilt Pr[X 0 = q k ] = Q 0 (q k ) n Pr[X t+1 = q k ] = Pr[X t+1 = q k X t = q i ] Pr[X t = q i ] = i=1 n p ik Pr[X t = q i ] i=1 also n (Q t+1 ) k = p ik (Q t ) i i=1

36 Übergangsw keiten II: Berechnung Sei Q t = ( Pr[X t = q 1 ],... Pr[X t = q n ] ) Es gilt Pr[X 0 = q k ] = Q 0 (q k ) n Pr[X t+1 = q k ] = Pr[X t+1 = q k X t = q i ] Pr[X t = q i ] = i=1 n p ik Pr[X t = q i ] i=1 also (Q t+1 ) k = und in Matrixschreibweise n p ik (Q t ) i i=1 Q t+1 = Q t P

37 Übergangsw keiten III: Berechnung Mit der Matrixschreibweise erhalten wir für alle t, k N Q t = Q 0 P t Q t+k = Q t P k

38 Übergangsw keiten III: Berechnung Mit der Matrixschreibweise erhalten wir für alle t, k N Q t = Q 0 P t Q t+k = Q t P k Beispiel 182 (Erste Frage von Armand) Heute Morgen (Donnerstag) ist Cécile zu Bertrand gegangen. Mit welcher W keit wird sie den Sonntag mit mir verbringen?

39 Übergangsw keiten III: Berechnung Mit der Matrixschreibweise erhalten wir für alle t, k N Q t = Q 0 P t Q t+k = Q t P k Beispiel 182 (Erste Frage von Armand) Heute Morgen (Donnerstag) ist Cécile zu Bertrand gegangen. Mit welcher W keit wird sie den Sonntag mit mir verbringen? Modellierung: Sei Q 0 = (0, 1). Gesucht wird Q 3 (q 1 ) = Pr[X 3 = q 1 ].

40 Übergangsw keiten III: Berechnung Mit der Matrixschreibweise erhalten wir für alle t, k N Q t = Q 0 P t Q t+k = Q t P k Beispiel 182 (Erste Frage von Armand) Heute Morgen (Donnerstag) ist Cécile zu Bertrand gegangen. Mit welcher W keit wird sie den Sonntag mit mir verbringen? Modellierung: Sei Q 0 = (0, 1). Gesucht wird Q 3 (q 1 ) = Pr[X 3 = q 1 ]. Q 3 = Q 0 P 3 = (0, 1) ( ) = (0.219, 0.781)

41 Übergangsw keiten III: Berechnung Mit der Matrixschreibweise erhalten wir für alle t, k N Q t = Q 0 P t Q t+k = Q t P k Beispiel 182 (Erste Frage von Armand) Heute Morgen (Donnerstag) ist Cécile zu Bertrand gegangen. Mit welcher W keit wird sie den Sonntag mit mir verbringen? Modellierung: Sei Q 0 = (0, 1). Gesucht wird Q 3 (q 1 ) = Pr[X 3 = q 1 ]. Q 3 = Q 0 P 3 = (0, 1) Die W keit beträgt somit ( ) = (0.219, 0.781)

42 Übergangsw keiten IV: Exponentiation von Matrizen Wenn P diagonalisierbar ist, so existiert eine Diagonalmatrix D und eine invertierbare Matrix B mit P = B D B 1

43 Übergangsw keiten IV: Exponentiation von Matrizen Wenn P diagonalisierbar ist, so existiert eine Diagonalmatrix D und eine invertierbare Matrix B mit und somit P = B D B 1 P k = B D k B 1 wobei D k sehr leicht zu berechnen ist.

44 Übergangsw keiten IV: Exponentiation von Matrizen Wenn P diagonalisierbar ist, so existiert eine Diagonalmatrix D und eine invertierbare Matrix B mit und somit P = B D B 1 P k = B D k B 1 wobei D k sehr leicht zu berechnen ist. Die Diagonale von D enthält die Eigenwerte von P, d.h., die λ-lösungen der Gleichung P v = λv

45 Übergangsw keiten IV: Exponentiation von Matrizen Wenn P diagonalisierbar ist, so existiert eine Diagonalmatrix D und eine invertierbare Matrix B mit und somit P = B D B 1 P k = B D k B 1 wobei D k sehr leicht zu berechnen ist. Die Diagonale von D enthält die Eigenwerte von P, d.h., die λ-lösungen der Gleichung P v = λv Die Spalten von B sind die Eigenvektoren von P, d.h., die v-lösungen derselben Gleichung.

46 Übergangsw keiten IV: Berechnung von D und B Beispiel 183 P = ( 0.8 )

47 Übergangsw keiten IV: Berechnung von D und B Beispiel 183 P = ( 0.8 ) Eigenwerte: Nullstellen des charakteristischen Polynoms P λ I = 0.8 λ λ

48 Übergangsw keiten IV: Berechnung von D und B Beispiel 183 P = ( 0.8 ) Eigenwerte: Nullstellen des charakteristischen Polynoms P λ I = 0.8 λ λ = λ2 1.7λ Wir erhalten: λ 1 = 0.7 und λ 2 = 1.

49 Übergangsw keiten IV: Berechnung von D und B Beispiel 183 P = ( 0.8 ) Eigenwerte: Nullstellen des charakteristischen Polynoms P λ I = 0.8 λ λ = λ2 1.7λ Wir erhalten: λ 1 = 0.7 und λ 2 = 1. Dazugehörige Eigenvektoren: ( ) 2 ν 1 = und ν 1 2 = ( ) 1. 1

50 Übergangsw keiten V: Berechnung von D und B Damit gilt D = ( ) B = 0 1 ( 1 1 B 1 = ( ) )

51 Übergangsw keiten V: Berechnung von D und B Damit gilt D = ( ) B = 0 1 ( 1 1 B 1 = Es ergibt sich z.b. ( ) ( ) ( P = ( ) ) ) ( )

52 Übergangsw keiten V: Berechnung von D und B Damit gilt D = ( ) B = 0 1 ( 1 1 B 1 = Es ergibt sich z.b. ( ) ( ) ( P = ( ) ) ) ( ) Wir berechnen die W keit, dass Cécile am 10. Juli bei Armand bzw. Bertrand ist, wenn sie den 1. Juli bei Bertrand verbringt: ( ) Q 10 = (0, 1) = (0.324, 0.676)

53 26. Ankunftsw keiten und Übergangszeiten

54 Ankunftsw keiten und Übergangszeiten Wir untersuchen Fragestellungen auf, die sich auf zwei bestimmte Zustände q i und q j beziehen: Wie wahrscheinlich ist es, von q i irgendwann nach q j zu kommen? Wie viele Schritte benötigt die Kette im Mittel, um von q i nach q j zu gelangen?

55 Ankunftsw keiten und Übergangszeiten Wir untersuchen Fragestellungen auf, die sich auf zwei bestimmte Zustände q i und q j beziehen: Wie wahrscheinlich ist es, von q i irgendwann nach q j zu kommen? Wie viele Schritte benötigt die Kette im Mittel, um von q i nach q j zu gelangen? Bemerkung: Die zweite Frage wurde schon im Wesentlichen im Abschnitt Markov-Diagramme betrachtet.

56 Übergangszeiten Definition 184 Sei T j die Zufallsvariable { min{n 0 Xn (σ) = q T j (σ) := j } wenn Menge nichtleer sonst

57 Übergangszeiten Definition 184 Sei T j die Zufallsvariable { min{n 0 Xn (σ) = q T j (σ) := j } wenn Menge nichtleer sonst Die bedingte Zufallsvariable T ij := T j X 0 = q i nennen wir die Übergangszeit (engl. hitting time) von q i nach q j.

58 Übergangszeiten Definition 184 Sei T j die Zufallsvariable { min{n 0 Xn (σ) = q T j (σ) := j } wenn Menge nichtleer sonst Die bedingte Zufallsvariable T ij := T j X 0 = q i nennen wir die Übergangszeit (engl. hitting time) von q i nach q j. T ij zählt die Anzahl der Schritte, die für den Weg von q i nach q j benötigt werden. Notation: h ij := E[T ij ] (falls der bedingte Erwartungswert existiert).

59 Rückkehrzeiten Im Fall q i = q j gilt T ii = 0 weil die Kette schon in q i ist. Wir untersuchen auch, wie lange es dauert, bis Zustand q i zu einem späteren Zeitpunkt wieder besucht wird.

60 Rückkehrzeiten Im Fall q i = q j gilt T ii = 0 weil die Kette schon in q i ist. Wir untersuchen auch, wie lange es dauert, bis Zustand q i zu einem späteren Zeitpunkt wieder besucht wird. Definition 185 Sei T j die Zufallsvariable { T j(σ) min{n 1 Xn (σ) = q := j } wenn Menge nichtleer sonst

61 Rückkehrzeiten Im Fall q i = q j gilt T ii = 0 weil die Kette schon in q i ist. Wir untersuchen auch, wie lange es dauert, bis Zustand q i zu einem späteren Zeitpunkt wieder besucht wird. Definition 185 Sei T j die Zufallsvariable { T j(σ) min{n 1 Xn (σ) = q := j } wenn Menge nichtleer sonst Die bedingte Zufallsvariable T i := T i X 0 = q i ist die Rückkehrzeit (engl. recurrence time) von q i. Notation: h i := E[T i ] (falls der bedingte Erwartungswert existiert).

62 Ankunfts- und Rückkehrw keiten Definition 186 Die Ankunftsw keit f ij, vom Zustand q i nach beliebig vielen Schritten in den Zustand q j zu gelangen ist definiert durch f ij := Pr[T j < X 0 = q i ]. Die Rückkehrw keit f i, vom Zustand q i nach beliebig vielen Schritten (mindestens 1) zurück zum Zustand q i zu kehren ist definiert durch f i := Pr[T i < X 0 = q i ].

63 Ein Beispiel Beispiel 187 1,0 1,0 0,5 0, ,5 0,5

64 Ein Beispiel Beispiel 187 1,0 1,0 0,5 0, ,5 Für alle σ Π ω gilt 0,5 T 0 (σ) = 1 T 01 (σ) = T 02 (σ) = T 03 (σ) = { 1 falls X 1 (σ) = 0 T 10 (σ) = falls X 1 (σ) = 2

65 Ein Beispiel Beispiel 187 1,0 1,0 0,5 0, ,5 Für alle σ Π ω gilt 0,5 Es gilt auch T 0 (σ) = 1 T 01 (σ) = T 02 (σ) = T 03 (σ) = { 1 falls X 1 (σ) = 0 T 10 (σ) = falls X 1 (σ) = 2 f 10 = 0.5, f 32 = 1, f 2 = 1 und h 10 =, h 32 = 2

66 Berechnung von f ij und h ij I Lemma 188 Für die erwarteten Übergangs-/Rückkehrzeiten gilt h ij = 1 + k j p ik h kj für alle q i, q j Q, q i q j h j = 1 + k j p jk h kj für alle q j Q sofern die Erwartungswerte h ij und h kj existieren.

67 Berechnung von f ij und h ij I Lemma 188 Für die erwarteten Übergangs-/Rückkehrzeiten gilt h ij = 1 + k j p ik h kj für alle q i, q j Q, q i q j h j = 1 + k j p jk h kj für alle q j Q sofern die Erwartungswerte h ij und h kj existieren. Für die Ankunfts-/Rückkehrwahrscheinlichkeiten gilt analog f ij = p ij + k j p ik f kj für alle q i, q j Q, q i q j f j = p jj + k j p jk f kj für alle q j Q

68 Berechnung von f ij und h ij II Beweis für f ij : Sei q i q j. Es gilt Pr[T ij < X 1 = q k ] = Pr[T kj < ] für q k q j Pr[T ij < X 1 = q j ] = 1

69 Berechnung von f ij und h ij II Beweis für f ij : Sei q i q j. Es gilt Pr[T ij < X 1 = q k ] = Pr[T kj < ] für q k q j Pr[T ij < X 1 = q j ] = 1 und damit f ij = Pr[T ij < ] =

70 Berechnung von f ij und h ij II Beweis für f ij : Sei q i q j. Es gilt Pr[T ij < X 1 = q k ] = Pr[T kj < ] für q k q j Pr[T ij < X 1 = q j ] = 1 und damit f ij = Pr[T ij < ] = Pr[T ij < X 1 = q k ] p ik q k Q

71 Berechnung von f ij und h ij II Beweis für f ij : Sei q i q j. Es gilt Pr[T ij < X 1 = q k ] = Pr[T kj < ] für q k q j Pr[T ij < X 1 = q j ] = 1 und damit f ij = Pr[T ij < ] = Pr[T ij < X 1 = q k ] p ik q k Q = p ij + k j Pr[T kj < ] p ik

72 Berechnung von f ij und h ij II Beweis für f ij : Sei q i q j. Es gilt Pr[T ij < X 1 = q k ] = Pr[T kj < ] für q k q j Pr[T ij < X 1 = q j ] = 1 und damit f ij = Pr[T ij < ] = Pr[T ij < X 1 = q k ] p ik = p ij + k j q k Q Pr[T kj < ] p ik = p ij + k j p ik f kj

73 Berechnung von f ij und h ij II Beweis für f ij : Sei q i q j. Es gilt Pr[T ij < X 1 = q k ] = Pr[T kj < ] für q k q j Pr[T ij < X 1 = q j ] = 1 und damit f ij = Pr[T ij < ] = Pr[T ij < X 1 = q k ] p ik = p ij + k j q k Q Pr[T kj < ] p ik = p ij + k j p ik f kj Die Ableitung für f j ist analog.

74 Berechnung von f ij und h ij III Beweis für h ij : Sei q i q j. Es gilt E[T ij X 1 = q k ] = 1 + E[T kj ] für q k q j E[T ij X 1 = q j ] = 1

75 Berechnung von f ij und h ij III Beweis für h ij : Sei q i q j. Es gilt und damit E[T ij X 1 = q k ] = 1 + E[T kj ] für q k q j E[T ij X 1 = q j ] = 1 h ij = E[T ij ]

76 Berechnung von f ij und h ij III Beweis für h ij : Sei q i q j. Es gilt E[T ij X 1 = q k ] = 1 + E[T kj ] für q k q j E[T ij X 1 = q j ] = 1 und damit h ij = E[T ij ] = E[T ij X 1 = q k ] p ik q k Q

77 Berechnung von f ij und h ij III Beweis für h ij : Sei q i q j. Es gilt E[T ij X 1 = q k ] = 1 + E[T kj ] für q k q j E[T ij X 1 = q j ] = 1 und damit h ij = E[T ij ] = E[T ij X 1 = q k ] p ik q k Q = p ij + k j(1 + E[T kj ]) p ik

78 Berechnung von f ij und h ij III Beweis für h ij : Sei q i q j. Es gilt E[T ij X 1 = q k ] = 1 + E[T kj ] für q k q j E[T ij X 1 = q j ] = 1 und damit h ij = E[T ij ] = E[T ij X 1 = q k ] p ik q k Q = p ij + (1 + E[T kj ]) p ik = 1 + h kj p ik k j k j

79 Berechnung von f ij und h ij III Beweis für h ij : Sei q i q j. Es gilt E[T ij X 1 = q k ] = 1 + E[T kj ] für q k q j E[T ij X 1 = q j ] = 1 und damit h ij = E[T ij ] = E[T ij X 1 = q k ] p ik q k Q = p ij + k j (1 + E[T kj ]) p ik = 1 + k j h kj p ik Die Ableitung für h j analog.

80 Berechnung von f ij und h ij IV Beispiel 189 1,0 0,5 0,5 1, ,5 0,5

81 Berechnung von f ij und h ij IV Beispiel 189 1,0 0,5 0,5 1, ,5 0,5 Für die Übergangszeiten für die Zustände 2 und 3 erhalten wir die Gleichungen h 23 = 1 h 32 = h 32 h 2 = 1 + h 32 h 3 = h 23

82 Berechnung von f ij und h ij IV Beispiel 189 1,0 0,5 0,5 1, ,5 0,5 Für die Übergangszeiten für die Zustände 2 und 3 erhalten wir die Gleichungen mit Lösung h 23 = 1 h 32 = h 32 h 2 = 1 + h 32 h 3 = h 23 h 23 = 1 h 32 = 2 h 2 = 3 h 3 = 1.5

83 Berechnung von f ij und h ij V Beispiel 190 (Zweite Frage von Armand) Wenn Cécile mich verlässt, wie lange dauert es im Schnitt, bis sie zurückkommt?

84 Berechnung von f ij und h ij V Beispiel 190 (Zweite Frage von Armand) Wenn Cécile mich verlässt, wie lange dauert es im Schnitt, bis sie zurückkommt? Armand interessiert sich für h 21 für die Kette mit ( ) P =

85 Berechnung von f ij und h ij V Beispiel 190 (Zweite Frage von Armand) Wenn Cécile mich verlässt, wie lange dauert es im Schnitt, bis sie zurückkommt? Armand interessiert sich für h 21 für die Kette mit ( ) P = Wir erhalten das Gleichungssystem h 12 = 1 + p 11 h 12 = h 12 h 21 = 1 + p 22 h 21 = h 21 h 1 = 1 + p 12 h 21 = h 21 h 2 = 1 + p 21 h 12 = h 12

86 Berechnung von f ij und h ij V Beispiel 190 (Zweite Frage von Armand) Wenn Cécile mich verlässt, wie lange dauert es im Schnitt, bis sie zurückkommt? Armand interessiert sich für h 21 für die Kette mit ( ) P = Wir erhalten das Gleichungssystem h 12 = 1 + p 11 h 12 = h 12 h 21 = 1 + p 22 h 21 = h 21 h 1 = 1 + p 12 h 21 = h 21 h 2 = 1 + p 21 h 12 = h 12 mit Lösung h 12 = 5 h 21 = 10 h 1 = 3 h 2 = 1.5

87 Das Gamblers Ruin Problem I Beispiel 191 Cécile entscheidet, Armand und Bertrand sollen Poker spielen, bis einer von ihnen bankrott ist. Sie zieht dann endgültig beim Gewinner ein. Frage 2: Wieviele Runden müssen im Schnitt gespielt werden?

88 Das Gamblers Ruin Problem I Beispiel 191 Cécile entscheidet, Armand und Bertrand sollen Poker spielen, bis einer von ihnen bankrott ist. Sie zieht dann endgültig beim Gewinner ein. Armand und Bertrand verfügen jeweils über Kapital a und m a.

89 Das Gamblers Ruin Problem I Beispiel 191 Cécile entscheidet, Armand und Bertrand sollen Poker spielen, bis einer von ihnen bankrott ist. Sie zieht dann endgültig beim Gewinner ein. Armand und Bertrand verfügen jeweils über Kapital a und m a. In jeder Pokerrunde setzen beide jeweils eine Geldeinheit.

90 Das Gamblers Ruin Problem I Beispiel 191 Cécile entscheidet, Armand und Bertrand sollen Poker spielen, bis einer von ihnen bankrott ist. Sie zieht dann endgültig beim Gewinner ein. Armand und Bertrand verfügen jeweils über Kapital a und m a. In jeder Pokerrunde setzen beide jeweils eine Geldeinheit. Armand gewinnt jedes Spiel mit W keit p und Bertrand mit W keit q := 1 p.

91 Das Gamblers Ruin Problem I Beispiel 191 Cécile entscheidet, Armand und Bertrand sollen Poker spielen, bis einer von ihnen bankrott ist. Sie zieht dann endgültig beim Gewinner ein. Armand und Bertrand verfügen jeweils über Kapital a und m a. In jeder Pokerrunde setzen beide jeweils eine Geldeinheit. Armand gewinnt jedes Spiel mit W keit p und Bertrand mit W keit q := 1 p. Frage 1: Mit welcher W keit zieht Cécile bei Armand ein?

92 Das Gamblers Ruin Problem I Beispiel 191 Cécile entscheidet, Armand und Bertrand sollen Poker spielen, bis einer von ihnen bankrott ist. Sie zieht dann endgültig beim Gewinner ein. Armand und Bertrand verfügen jeweils über Kapital a und m a. In jeder Pokerrunde setzen beide jeweils eine Geldeinheit. Armand gewinnt jedes Spiel mit W keit p und Bertrand mit W keit q := 1 p. Frage 1: Mit welcher W keit zieht Cécile bei Armand ein? Frage 2: Wieviele Runden müssen im Schnitt gespielt werden?

93 Das Gamblers Ruin Problem II Frage 1: Mit welcher W keit zieht Cécile bei Armand ein? Wir modellieren das Spiel durch die Markov-Kette ½ Ô Ô Ô Ô ½ Ñ ½ Ñ Õ Õ Õ Õ Die Zustände modellieren das aktuelle Kapital von Armand.

94 Das Gamblers Ruin Problem II Frage 1: Mit welcher W keit zieht Cécile bei Armand ein? Wir modellieren das Spiel durch die Markov-Kette ½ Ô Ô Ô Ô ½ Ñ ½ Ñ Õ Õ Õ Õ Die Zustände modellieren das aktuelle Kapital von Armand. Die W keit, mit der Armand Bertrand in den Ruin treibt is f a,m.

95 Das Gamblers Ruin Problem II Frage 1: Mit welcher W keit zieht Cécile bei Armand ein? Wir modellieren das Spiel durch die Markov-Kette ½ Ô Ô Ô Ô ½ Ñ ½ Ñ Õ Õ Õ Õ Die Zustände modellieren das aktuelle Kapital von Armand. Die W keit, mit der Armand Bertrand in den Ruin treibt is f a,m. Wir erhalten f 0,m = 0 f i,m = p f i+1,m + q f i 1,m für 1 i < m 1 f m 1,m = p + q f m 2,m f m,m = 1

96 Das Gamblers Ruin Problem III Die Gleichungen können umgeschrieben werden zu f 0,m = 0 f 1,m = ξ f i+1,m = (1/p) f i,m (q/p) f i 1,m für 1 i < m

97 Das Gamblers Ruin Problem III Die Gleichungen können umgeschrieben werden zu f 0,m = 0 f 1,m = ξ f i+1,m = (1/p) f i,m (q/p) f i 1,m für 1 i < m mit ξ so gewählt, dass f m,m = 1 erfüllt ist.

98 Das Gamblers Ruin Problem III Die Gleichungen können umgeschrieben werden zu f 0,m = 0 f 1,m = ξ f i+1,m = (1/p) f i,m (q/p) f i 1,m für 1 i < m mit ξ so gewählt, dass f m,m = 1 erfüllt ist. Es ergibt sich für p 1/2 (Fall p = 1/2 analog): ( f i,m = p ξ ( ) ) i 1 p 2p 1 1 ξ = p ( p 1 2p 1 ) m ) ( 1 p p

99 Das Gamblers Ruin Problem III Die Gleichungen können umgeschrieben werden zu f 0,m = 0 f 1,m = ξ f i+1,m = (1/p) f i,m (q/p) f i 1,m für 1 i < m mit ξ so gewählt, dass f m,m = 1 erfüllt ist. Es ergibt sich für p 1/2 (Fall p = 1/2 analog): ( f i,m = p ξ ( ) ) i 1 p 2p 1 1 ξ = p ( p 1 2p 1 ( 1 p p ) m ) und insgesamt 1 f a,m = 1 ( ) a 1 p p ( ) m 1 p p

100 Das Gamblers Ruin Problem IV Frage 2: Wieviele Runden müssen im Schnitt gespielt werden? Wir betrachten die Zufallsvariable U i := Anzahl der Schritte von q i nach q 0 oder q m

101 Das Gamblers Ruin Problem IV Frage 2: Wieviele Runden müssen im Schnitt gespielt werden? Wir betrachten die Zufallsvariable U i := Anzahl der Schritte von q i nach q 0 oder q m Mit d i := E[U i ] gilt d 0 = 0 d i = q d i 1 + p d i für 1 i < m d m = 0

102 Das Gamblers Ruin Problem IV Frage 2: Wieviele Runden müssen im Schnitt gespielt werden? Wir betrachten die Zufallsvariable U i := Anzahl der Schritte von q i nach q 0 oder q m Mit d i := E[U i ] gilt d 0 = 0 d i = q d i 1 + p d i für 1 i < m d m = 0 Der Speziallfall p = q = 1/2 ist besonders einfach: d i = i (m i) für alle i = 0,..., m womit unabhängig vom Startzustand das Spiel im Mittel nach höchstens m 2 Schritten beendet ist.

103 27. Stationäre Verteilung

104 Stationäre Verteilung I: Motivation Die Übergangsmatrix der ABC-Kette erfüllt für alle t N: P t = B D t B 1 = ( ) ( ) ( 0.7 t 0 1/3 1/3 0 1 t 1/3 2/3 )

105 Stationäre Verteilung I: Motivation Die Übergangsmatrix der ABC-Kette erfüllt für alle t N: P t = B D t B 1 = ( ) ( ) ( 0.7 t 0 1/3 1/3 0 1 t 1/3 2/3 ) Für t erhalten wir ( ) ( ) ( lim P t /3 1/3 = t /3 2/3 ) = ( 1/3 2/3 1/3 2/3 )

106 Stationäre Verteilung I: Motivation Die Übergangsmatrix der ABC-Kette erfüllt für alle t N: P t = B D t B 1 = ( ) ( ) ( 0.7 t 0 1/3 1/3 0 1 t 1/3 2/3 ) Für t erhalten wir ( ) ( ) ( lim P t /3 1/3 = t /3 2/3 ) = ( 1/3 2/3 1/3 2/3 ) und so gilt für eine beliebige Anfangsverteilung Q 0 = (a, 1 a) ( 1/3 2/3 lim Q t = lim Q 0 P t = (a, 1 a) t t 1/3 2/3 ) = ( 1 3, 2 ) 3

107 Stationäre Verteilung II: Motivation Das System konvergiert also unabhängig von der Anfangsverteilung in die feste Verteilung π = (1/3, 2/3). (3) Stimmt die intuitive Antwort auf Armands dritte Frage? Wie kann die Frage überhaupt formalisiert werden?

108 Stationäre Verteilung II: Motivation Das System konvergiert also unabhängig von der Anfangsverteilung in die feste Verteilung π = (1/3, 2/3). Intuitive Antwort auf Armands dritte Frage: Die Verteilung der Zeit, die Cécile bei Armand und Bertrand verbringt, konvergiert gegen: 1/3 der Zeit bei Armand, 2/3 bei Bertrand.

109 Stationäre Verteilung II: Motivation Das System konvergiert also unabhängig von der Anfangsverteilung in die feste Verteilung π = (1/3, 2/3). Intuitive Antwort auf Armands dritte Frage: Die Verteilung der Zeit, die Cécile bei Armand und Bertrand verbringt, konvergiert gegen: 1/3 der Zeit bei Armand, 2/3 bei Bertrand. Offene Punkte:

110 Stationäre Verteilung II: Motivation Das System konvergiert also unabhängig von der Anfangsverteilung in die feste Verteilung π = (1/3, 2/3). Intuitive Antwort auf Armands dritte Frage: Die Verteilung der Zeit, die Cécile bei Armand und Bertrand verbringt, konvergiert gegen: 1/3 der Zeit bei Armand, 2/3 bei Bertrand. Offene Punkte: (1) Konvergiert jede Kette in eine feste Verteilung unabhängig von der Anfangsverteilung?

111 Stationäre Verteilung II: Motivation Das System konvergiert also unabhängig von der Anfangsverteilung in die feste Verteilung π = (1/3, 2/3). Intuitive Antwort auf Armands dritte Frage: Die Verteilung der Zeit, die Cécile bei Armand und Bertrand verbringt, konvergiert gegen: 1/3 der Zeit bei Armand, 2/3 bei Bertrand. Offene Punkte: (1) Konvergiert jede Kette in eine feste Verteilung unabhängig von der Anfangsverteilung? (2) Wenn so, wie kann diese Verteilung berechnet werden?

112 Stationäre Verteilung II: Motivation Das System konvergiert also unabhängig von der Anfangsverteilung in die feste Verteilung π = (1/3, 2/3). Intuitive Antwort auf Armands dritte Frage: Die Verteilung der Zeit, die Cécile bei Armand und Bertrand verbringt, konvergiert gegen: 1/3 der Zeit bei Armand, 2/3 bei Bertrand. Offene Punkte: (1) Konvergiert jede Kette in eine feste Verteilung unabhängig von der Anfangsverteilung? (2) Wenn so, wie kann diese Verteilung berechnet werden? (3) Stimmt die intuitive Antwort auf Armands dritte Frage? Wie kann die Frage überhaupt formalisiert werden?

113 Stationäre Verteilung III: Motivation Wenn eine Kette immer in eine Verteilung π konvergiert, dann muss sie mit π als Anfangsverteilung in π bleiben.

114 Stationäre Verteilung III: Motivation Wenn eine Kette immer in eine Verteilung π konvergiert, dann muss sie mit π als Anfangsverteilung in π bleiben. Wir erwarten also π P = π d.h., π soll Eigenvektor von P zum Eigenwert 1 sein (bezüglich Multiplikation von links). In der Tat gilt: π P = (1/3, 2/3) ( ) = (1/3, 2/3) = π

115 Stationäre Verteilung IV: Definition Definition 192 Sei P die Übergangsmatrix einer Markov-Kette. Einen Zustandsvektor π mit π = π P nennen wir stationäre Verteilung der Markov-Kette.

116 Stationäre Verteilung IV: Definition Definition 192 Sei P die Übergangsmatrix einer Markov-Kette. Einen Zustandsvektor π mit π = π P nennen wir stationäre Verteilung der Markov-Kette. Umformulierung der Frage (a): Besitzen alle Markov-Ketten die Eigenschaft, dass sie unabhängig von der Anfangsverteilung in eine bestimmte stationäre Verteilung konvergieren?

117 Stationäre Verteilung IV: Definition Definition 192 Sei P die Übergangsmatrix einer Markov-Kette. Einen Zustandsvektor π mit π = π P nennen wir stationäre Verteilung der Markov-Kette. Umformulierung der Frage (a): Besitzen alle Markov-Ketten die Eigenschaft, dass sie unabhängig von der Anfangsverteilung in eine bestimmte stationäre Verteilung konvergieren? Nein!

118 Stationäre Verteilung IV: Definition Definition 192 Sei P die Übergangsmatrix einer Markov-Kette. Einen Zustandsvektor π mit π = π P nennen wir stationäre Verteilung der Markov-Kette. Umformulierung der Frage (a): Besitzen alle Markov-Ketten die Eigenschaft, dass sie unabhängig von der Anfangsverteilung in eine bestimmte stationäre Verteilung konvergieren? Nein! ½ ½ Õ Diese Kette hat unendlich viele zwei stationäre Verteilungen: (a, 0, 1 a) für alle a [0, 1] Ô

119 Stationäre Verteilung V: Irreduzible Ketten Definition 193 Eine Markov-Kette heißt irreduzibel, wenn es für alle Zustandspaare q i, q j eine Zahl n N gibt, so dass (P n ) ij > 0. Wir bezeichen p (n) ij := (P n ) ij. Äquivalente Definition: Eine Markov-Kette heißt irreduzibel, wenn ihr Markov-Diagramm stark zusammenhängend ist.

120 Stationäre Verteilung V: Irreduzible Ketten Definition 193 Eine Markov-Kette heißt irreduzibel, wenn es für alle Zustandspaare q i, q j eine Zahl n N gibt, so dass (P n ) ij > 0. Wir bezeichen p (n) ij := (P n ) ij. Äquivalente Definition: Eine Markov-Kette heißt irreduzibel, wenn ihr Markov-Diagramm stark zusammenhängend ist. Lemma 194 Für irreduzible endliche Markov-Ketten gilt für alle Zustände q i, q j Q: (a) f ij = Pr[T ij < ] = 1, und (b) der Erwartungswert h ij = E[T ij ] existiert.

121 Stationäre Verteilung VI: Irreduzible Ketten Beweis: Zu (b): Sei q k Q beliebig. Es gibt n k mit p (n k) kj > 0. Sei n := max k {n k } und p := min k {p (n k) kj }.

122 Stationäre Verteilung VI: Irreduzible Ketten Beweis: Zu (b): Sei q k Q beliebig. Es gibt n k mit p (n k) kj > 0. Sei n := max k {n k } und p := min k {p (n k) kj }. Wir unterteilen die Zeit in Phasen zu n Schritten. Wir nennen eine Phase erfolgreich, wenn während dieser Phase ein Besuch bei q j stattfindet.

123 Stationäre Verteilung VI: Irreduzible Ketten Beweis: Zu (b): Sei q k Q beliebig. Es gibt n k mit p (n k) kj > 0. Sei n := max k {n k } und p := min k {p (n k) kj }. Wir unterteilen die Zeit in Phasen zu n Schritten. Wir nennen eine Phase erfolgreich, wenn während dieser Phase ein Besuch bei q j stattfindet. Die Anzahl von Phasen bis zur ersten erfolgreichen Phase können wir durch eine geometrische Verteilung mit Parameter p abschätzen. Die erwartete Anzahl von Phasen ist somit höchstens 1/p.

124 Stationäre Verteilung VI: Irreduzible Ketten Beweis: Zu (b): Sei q k Q beliebig. Es gibt n k mit p (n k) kj > 0. Sei n := max k {n k } und p := min k {p (n k) kj }. Wir unterteilen die Zeit in Phasen zu n Schritten. Wir nennen eine Phase erfolgreich, wenn während dieser Phase ein Besuch bei q j stattfindet. Die Anzahl von Phasen bis zur ersten erfolgreichen Phase können wir durch eine geometrische Verteilung mit Parameter p abschätzen. Die erwartete Anzahl von Phasen ist somit höchstens 1/p. Es folgt h ij (1/p) n und f ij = Pr[T ij < ] = 1.

125 Stationäre Verteilung VII: Irreduzible Ketten Satz 195 Eine irreduzible endliche Markov-Kette besitzt eine eindeutige stationäre Verteilung π und es gilt π(q j ) = 1/h j für alle q j Q.

126 Stationäre Verteilung VII: Irreduzible Ketten Satz 195 Eine irreduzible endliche Markov-Kette besitzt eine eindeutige stationäre Verteilung π und es gilt π(q j ) = 1/h j für alle q j Q. Beweis: (a) Z.z.: Es gibt einen Vektor π 0 mit π = π P.

127 Stationäre Verteilung VII: Irreduzible Ketten Satz 195 Eine irreduzible endliche Markov-Kette besitzt eine eindeutige stationäre Verteilung π und es gilt π(q j ) = 1/h j für alle q j Q. Beweis: (a) Z.z.: Es gibt einen Vektor π 0 mit π = π P. Sei e := (1,..., 1) T und sei I die Einheitsmatrix. Es gilt P e = e. (Einträge einer Zeile von P addieren sich zu 1).

128 Stationäre Verteilung VII: Irreduzible Ketten Satz 195 Eine irreduzible endliche Markov-Kette besitzt eine eindeutige stationäre Verteilung π und es gilt π(q j ) = 1/h j für alle q j Q. Beweis: (a) Z.z.: Es gibt einen Vektor π 0 mit π = π P. Sei e := (1,..., 1) T und sei I die Einheitsmatrix. Es gilt P e = e. (Einträge einer Zeile von P addieren sich zu 1). Daraus folgt 0 = P e e = (P I)e. Damit ist die Matrix P I singulär.

129 Stationäre Verteilung VII: Irreduzible Ketten Satz 195 Eine irreduzible endliche Markov-Kette besitzt eine eindeutige stationäre Verteilung π und es gilt π(q j ) = 1/h j für alle q j Q. Beweis: (a) Z.z.: Es gibt einen Vektor π 0 mit π = π P. Sei e := (1,..., 1) T und sei I die Einheitsmatrix. Es gilt P e = e. (Einträge einer Zeile von P addieren sich zu 1). Daraus folgt 0 = P e e = (P I)e. Damit ist die Matrix P I singulär. Es gibt also π 0 mit (P T I) π = 0.

130 Stationäre Verteilung VIII: Irreduzible Ketten (b) Z.z.: Wenn π = π P für π 0, dann π(q j ) = 1/h j für alle q j Q. Wir betrachten zwei Fälle:

131 Stationäre Verteilung VIII: Irreduzible Ketten (b) Z.z.: Wenn π = π P für π 0, dann π(q j ) = 1/h j für alle q j Q. Wir betrachten zwei Fälle: Fall 1. q i Q π(q i ) 0.

132 Stationäre Verteilung VIII: Irreduzible Ketten (b) Z.z.: Wenn π = π P für π 0, dann π(q j ) = 1/h j für alle q j Q. Wir betrachten zwei Fälle: Fall 1. q i Q π(q i ) 0. O.B.d.A. sei q i Q π(q i) = 1.

133 Stationäre Verteilung VIII: Irreduzible Ketten (b) Z.z.: Wenn π = π P für π 0, dann π(q j ) = 1/h j für alle q j Q. Wir betrachten zwei Fälle: Fall 1. q i Q π(q i ) 0. O.B.d.A. sei q i Q π(q i) = 1. Für jeden Zustand q j Q gilt (Lemma 194 und 188) π(q i )h ij = π(q i ) 1 + p ik h kj k j für q i q j π(q j )h j = π(q j ) 1 + p jk h kj k j

134 Stationäre Verteilung IX: Irreduzible Ketten Addition der Gleichungen ergibt π(q j )h j + π(q i )h ij = π(q i ) + π(q i )p ik h kj q i q j q i Q q i Q q k q j

135 Stationäre Verteilung IX: Irreduzible Ketten Addition der Gleichungen ergibt π(q j )h j + π(q i )h ij = π(q i ) + π(q i )p ik h kj q i q j q i Q q i Q q k q j Mit q i Q π(q i) = 1 folgt π(q j )h j + π(q i )h ij = 1 + π(q i )p ik h kj q i q j q i Q q k q j

136 Stationäre Verteilung IX: Irreduzible Ketten Addition der Gleichungen ergibt π(q j )h j + π(q i )h ij = π(q i ) + π(q i )p ik h kj q i q j q i Q q i Q q k q j Mit q i Q π(q i) = 1 folgt π(q j )h j + π(q i )h ij = 1 + π(q i )p ik h kj q i q j q i Q q k q j = 1 + π(q i )p ik h kj q k q j q i Q

137 Stationäre Verteilung IX: Irreduzible Ketten Addition der Gleichungen ergibt π(q j )h j + π(q i )h ij = π(q i ) + π(q i )p ik h kj q i q j q i Q q i Q q k q j Mit q i Q π(q i) = 1 folgt π(q j )h j + π(q i )h ij = 1 + π(q i )p ik h kj q i q j q i Q q k q j = 1 + π(q i )p ik = 1 + h kj q k q j q i Q q k q j h kj π(q k )

138 Stationäre Verteilung IX: Irreduzible Ketten Addition der Gleichungen ergibt π(q j )h j + π(q i )h ij = π(q i ) + π(q i )p ik h kj q i q j q i Q q i Q q k q j Mit q i Q π(q i) = 1 folgt π(q j )h j + π(q i )h ij = 1 + π(q i )p ik h kj q i q j q i Q q k q j = 1 + π(q i )p ik und so π(q j )h j = 1. = 1 + h kj q k q j q i Q q k q j h kj π(q k )

139 Stationäre Verteilung X: Irreduzible Ketten Fall 2. q i Q π(q i ) = 0.

140 Stationäre Verteilung X: Irreduzible Ketten Fall 2. q i Q π(q i ) = 0. Dieselbe Rechnung ergibt nun π(q j )h j + π(q i )h ij = 0 + π(q i )p ik h kj q i q j q i Q q k q j = h kj π(q k ) q k q j

141 Stationäre Verteilung X: Irreduzible Ketten Fall 2. q i Q π(q i ) = 0. Dieselbe Rechnung ergibt nun π(q j )h j + π(q i )h ij = 0 + π(q i )p ik h kj q i q j q i Q q k q j = h kj π(q k ) q k q j Es folgt π(q j ) = 0 für alle q j Q, im Widerspruch zu π 0.

142 Stationäre Verteilung X: Irreduzible Ketten Fall 2. q i Q π(q i ) = 0. Dieselbe Rechnung ergibt nun π(q j )h j + π(q i )h ij = 0 + π(q i )p ik h kj q i q j q i Q q k q j = h kj π(q k ) q k q j Es folgt π(q j ) = 0 für alle q j Q, im Widerspruch zu π 0. Dieser Fall ist also eigentlich nicht möglich.

143 Stationäre Verteilung XI: Aperiodische Ketten Auch wenn eine Markov-Kette eine eindeutige stationäre Verteilung besitzt, so muss sie nicht für jede Anfangsverteilung in diese Verteilung konvergieren.

144 Stationäre Verteilung XI: Aperiodische Ketten Auch wenn eine Markov-Kette eine eindeutige stationäre Verteilung besitzt, so muss sie nicht für jede Anfangsverteilung in diese Verteilung konvergieren. Beispiel: ½ 0 1 ½

145 Stationäre Verteilung XI: Aperiodische Ketten Auch wenn eine Markov-Kette eine eindeutige stationäre Verteilung besitzt, so muss sie nicht für jede Anfangsverteilung in diese Verteilung konvergieren. Beispiel: ½ 0 1 Als Anfangsverteilung nehmen { wir π 0 = (1, 0) an. Es gilt: (1, 0) falls t gerade, π t = (0, 1) sonst. Die Kette pendelt also zwischen den beiden Vektoren (1, 0) und (0, 1) hin und her. ½

146 Stationäre Verteilung XI: Aperiodische Ketten Auch wenn eine Markov-Kette eine eindeutige stationäre Verteilung besitzt, so muss sie nicht für jede Anfangsverteilung in diese Verteilung konvergieren. Beispiel: ½ 0 1 Als Anfangsverteilung nehmen { wir π 0 = (1, 0) an. Es gilt: (1, 0) falls t gerade, π t = (0, 1) sonst. Die Kette pendelt also zwischen den beiden Vektoren (1, 0) und (0, 1) hin und her. Die eindeutige stationäre Verteilung ist (1/2, 1/2). ½

147 Stationäre Verteilung XII: Aperiodische Ketten Definition 196 Die Periode eines Zustands q j ist die größte Zahl ξ N, so dass gilt: {n N 0 p (n) jj > 0} {i ξ i N 0 }

148 Stationäre Verteilung XII: Aperiodische Ketten Definition 196 Die Periode eines Zustands q j ist die größte Zahl ξ N, so dass gilt: {n N 0 p (n) jj > 0} {i ξ i N 0 } Ein Zustand mit Periode ξ = 1 heißt aperiodisch. Eine Markov-Kette ist aperiodisch, wenn alle Zustände aperiodisch sind.

149 Stationäre Verteilung XIII: Aperiodische Ketten Lemma 197 Ein Zustand q i Q ist genau dann aperiodisch, wenn es ein n 0 N gibt mit p (n) ii > 0 für alle n n 0.

150 Stationäre Verteilung XIII: Aperiodische Ketten Lemma 197 Ein Zustand q i Q ist genau dann aperiodisch, wenn es ein n 0 N gibt mit p (n) ii > 0 für alle n n 0. Beweis: ( ) Aus p (n 0) ii > 0 und p (n 0+1) ii > 0 folgt ξ = 1.

151 Stationäre Verteilung XIII: Aperiodische Ketten Lemma 197 Ein Zustand q i Q ist genau dann aperiodisch, wenn es ein n 0 N gibt mit p (n) ii > 0 für alle n n 0. Beweis: ( ) Aus p (n 0) ii > 0 und p (n 0+1) ii > 0 folgt ξ = 1. ( ) Wenn q i aperiodisch ist, dann gibt es teilerfremde a, b N mit p (a) ii > 0 und p (b) ii > 0.

152 Stationäre Verteilung XIII: Aperiodische Ketten Lemma 197 Ein Zustand q i Q ist genau dann aperiodisch, wenn es ein n 0 N gibt mit p (n) ii > 0 für alle n n 0. Beweis: ( ) Aus p (n 0) ii > 0 und p (n 0+1) ii > 0 folgt ξ = 1. ( ) Wenn q i aperiodisch ist, dann gibt es teilerfremde a, b N mit p (a) ii > 0 und p (b) ii > 0. Ein bekannter Fakt der elementaren Zahlentheorie besagt: Da a, b N teilerfremd gibt es n 0 N, so dass für alle n n 0 es nichtnegative Zahlen x, y N 0 gibt mit n = xa + yb.

153 Stationäre Verteilung XIII: Aperiodische Ketten Lemma 197 Ein Zustand q i Q ist genau dann aperiodisch, wenn es ein n 0 N gibt mit p (n) ii > 0 für alle n n 0. Beweis: ( ) Aus p (n 0) ii > 0 und p (n 0+1) ii > 0 folgt ξ = 1. ( ) Wenn q i aperiodisch ist, dann gibt es teilerfremde a, b N mit p (a) ii > 0 und p (b) ii > 0. Ein bekannter Fakt der elementaren Zahlentheorie besagt: Da a, b N teilerfremd gibt es n 0 N, so dass für alle n n 0 es nichtnegative Zahlen x, y N 0 gibt mit n = xa + yb. Es folgt p (n) ii > 0 für alle n n 0 und wir sind fertig.

154 Stationäre Verteilung XIV: Aperiodische Ketten > 0 gilt genau dann, wenn das Markov-Diagramm einen Pfad von q i nach q i der Länge n hat. p (n) ii

155 Stationäre Verteilung XIV: Aperiodische Ketten > 0 gilt genau dann, wenn das Markov-Diagramm einen Pfad von q i nach q i der Länge n hat. p (n) ii Es folgt: Wenn q i eine Schleife hat (d.h. p ii > 0 gilt), dann ist q i aperiodisch.

156 Stationäre Verteilung XIV: Aperiodische Ketten > 0 gilt genau dann, wenn das Markov-Diagramm einen Pfad von q i nach q i der Länge n hat. p (n) ii Es folgt: Wenn q i eine Schleife hat (d.h. p ii > 0 gilt), dann ist q i aperiodisch. Damit kann eine Kette folgendermaßen durch eine aperiodische Kette simuliert werden: Füge an jedem Zustand eine Schleife an mit W keit 1/2. Halbiere die W keiten an allen übrigen Kanten. ¼ ½ ¼ ¼ ¼ ¼ ¼ ¼ ¼ ½ ¼ ¼ ½ ¼

157 Stationäre Verteilung XIV: Aperiodische Ketten > 0 gilt genau dann, wenn das Markov-Diagramm einen Pfad von q i nach q i der Länge n hat. p (n) ii Es folgt: Wenn q i eine Schleife hat (d.h. p ii > 0 gilt), dann ist q i aperiodisch. Damit kann eine Kette folgendermaßen durch eine aperiodische Kette simuliert werden: Füge an jedem Zustand eine Schleife an mit W keit 1/2. Halbiere die W keiten an allen übrigen Kanten. ¼ ½ ¼ ¼ ¼ ¼ ¼ ¼ ¼ ½ ¼ ¼ ½ ¼ Bei irreduziblen Ketten genügt es, eine einzige Schleife einzuführen.

158 Stationäre Verteilung XV: Ergodische Ketten

159 Stationäre Verteilung XV: Ergodische Ketten Definition 198 Irreduzible, aperiodische Markov-Ketten nennt man ergodisch.

160 Stationäre Verteilung XV: Ergodische Ketten Definition 198 Irreduzible, aperiodische Markov-Ketten nennt man ergodisch. Satz 199 (Fundamentalsatz für ergodische Markov-Ketten) Für jede ergodische endliche Markov-Kette M = (Q, T, δ, Q 0 ) gilt lim Q n = π, n wobei π die eindeutige stationäre Verteilung von M bezeichnet.

161 Stationäre Verteilung XV: Ergodische Ketten Definition 198 Irreduzible, aperiodische Markov-Ketten nennt man ergodisch. Satz 199 (Fundamentalsatz für ergodische Markov-Ketten) Für jede ergodische endliche Markov-Kette M = (Q, T, δ, Q 0 ) gilt lim Q n = π, n wobei π die eindeutige stationäre Verteilung von M bezeichnet. Bemerkung: π ist unabhängig von der Anfangsverteilung!

162 Stationäre Verteilung XVI: Ergodische Ketten Beweis: (Skizze.) Wir zeigen, dass für beliebige q i, q k gilt Daraus folgt die Behauptung, da π n (q k ) = q i Q Q 0 (q i ) p (n) ik lim n p(n) ik = π k. π(q k) Q 0 (q i ) = π(q k ). q i Q

163 Stationäre Verteilung XVI: Ergodische Ketten Beweis: (Skizze.) Wir zeigen, dass für beliebige q i, q k gilt Daraus folgt die Behauptung, da π n (q k ) = q i Q Q 0 (q i ) p (n) ik lim n p(n) ik = π k. π(q k) Q 0 (q i ) = π(q k ). q i Q Wir betrachten das Produkt zweier Kopien der Kette mit Zuständen (q i, q j ) und Übergangsw keiten δ((q i, q j ), (q i, q j )) = p ii p jj Diese Produktkette ist ebenfalls ergodisch.

164 Stationäre Verteilung XVII: Ergodische Ketten Sei H die Zufallsvariable, die die kleinste Zeit angibt, an die sich die Kette in einen Zustand der Gestalt (q, q) befindet.

165 Stationäre Verteilung XVII: Ergodische Ketten Sei H die Zufallsvariable, die die kleinste Zeit angibt, an die sich die Kette in einen Zustand der Gestalt (q, q) befindet. Aus Lemma 194 und der Endlichkeit der Markov-Kette folgt Pr[H < ] = 1 und E[H] < unabhängig von der Anfangsverteilung.

166 Stationäre Verteilung XVII: Ergodische Ketten Sei H die Zufallsvariable, die die kleinste Zeit angibt, an die sich die Kette in einen Zustand der Gestalt (q, q) befindet. Aus Lemma 194 und der Endlichkeit der Markov-Kette folgt Pr[H < ] = 1 und E[H] < unabhängig von der Anfangsverteilung. Seien X t, Y t Zufallsvariablen, die den Zustand der ersten bzw. der zweiten Komponente angeben.

167 Stationäre Verteilung XVII: Ergodische Ketten Sei H die Zufallsvariable, die die kleinste Zeit angibt, an die sich die Kette in einen Zustand der Gestalt (q, q) befindet. Aus Lemma 194 und der Endlichkeit der Markov-Kette folgt Pr[H < ] = 1 und E[H] < unabhängig von der Anfangsverteilung. Seien X t, Y t Zufallsvariablen, die den Zustand der ersten bzw. der zweiten Komponente angeben. Für ein festes t gilt Pr[X t = q t H] = Pr[Y t = q t H] und somit auch Pr[X t = q, t H] = Pr[Y t = q, t H].

168 Stationäre Verteilung XVIII: Ergodische Ketten Wir wählen ein q i Q und setzen für die Anfangsverteilung Q 0 der Produktkette { Q 0 (q, q π(q ) = ) wenn q = q i 0 sonst Intuition: die erste Komponente startet im Zustand q i, die zweite startet (und bleibt) in der stationären Verteilung π.

169 Stationäre Verteilung XVIII: Ergodische Ketten Wir wählen ein q i Q und setzen für die Anfangsverteilung Q 0 der Produktkette { Q 0 (q, q π(q ) = ) wenn q = q i 0 sonst Intuition: die erste Komponente startet im Zustand q i, die zweite startet (und bleibt) in der stationären Verteilung π. Wir erhalten für alle q k Q und n 1 p (n) ik π(q k) = Pr[X n = q k ] Pr[Y n = q k ]

170 Stationäre Verteilung XVIII: Ergodische Ketten Wir wählen ein q i Q und setzen für die Anfangsverteilung Q 0 der Produktkette { Q 0 (q, q π(q ) = ) wenn q = q i 0 sonst Intuition: die erste Komponente startet im Zustand q i, die zweite startet (und bleibt) in der stationären Verteilung π. Wir erhalten für alle q k Q und n 1 p (n) ik π(q k) = Pr[X n = q k ] Pr[Y n = q k ]

171 Stationäre Verteilung XVIII: Ergodische Ketten Wir wählen ein q i Q und setzen für die Anfangsverteilung Q 0 der Produktkette { Q 0 (q, q π(q ) = ) wenn q = q i 0 sonst Intuition: die erste Komponente startet im Zustand q i, die zweite startet (und bleibt) in der stationären Verteilung π. Wir erhalten für alle q k Q und n 1 p (n) ik π(q k) = Pr[X n = q k ] Pr[Y n = q k ] = Pr[X n = q k, n H] + Pr[X n = q k, n < H] Pr[Y n = q k, n H] Pr[Y n = q k, n < H]

172 Stationäre Verteilung XIX: Ergodische Ketten Mit Pr[X t = q, t H] = Pr[Y t = q, t H] gilt p (n) ik π(q k) = Pr[X n = q k, n < H] Pr[Y n = q k, n < H]

173 Stationäre Verteilung XIX: Ergodische Ketten Mit Pr[X t = q, t H] = Pr[Y t = q, t H] gilt p (n) ik π(q k) = Pr[X n = q k, n < H] Pr[Y n = q k, n < H] und wegen Pr[A B] Pr[A C] Pr[A] folgt p (n) ik π(q k) Pr[n < H]

174 Stationäre Verteilung XIX: Ergodische Ketten Mit Pr[X t = q, t H] = Pr[Y t = q, t H] gilt p (n) ik π(q k) = Pr[X n = q k, n < H] Pr[Y n = q k, n < H] und wegen Pr[A B] Pr[A C] Pr[A] folgt p (n) ik π(q k) Pr[n < H] Da Pr[H < ] = 1, gilt lim Pr[n < H] = 0, d.h. n für alle q i, q k Q. lim n p(n) ik = π(q k)

175 Stationäre Verteilung XX: Ergodische Ketten Sei q Q und k 0. Seien X k q und B q die Zufallsvariablen mit X k q (σ) = B q (σ) = { 1 falls σ(k) = q 0 sonst Xq Xq n lim n n wenn der Grenzwert existiert sonst Satz 200 (Ergodischer Satz (ohne Beweis)) Für jeden Zustand q einer ergodischen endlichen Kette mit stationärer Verteilung π gilt Pr[B q = π(q)] = 1.

176 Stationäre Verteilung XXI: Ergodische Ketten Beispiel 201 (Armands dritte Frage) Wenn unsere ménàge a trois für immer so weiter geht, wieviel Prozent der Tage wird Cécile mit mir verbringen?

177 Stationäre Verteilung XXI: Ergodische Ketten Beispiel 201 (Armands dritte Frage) Wenn unsere ménàge a trois für immer so weiter geht, wieviel Prozent der Tage wird Cécile mit mir verbringen? Armand fragt nach der Verteilung von B q1.

178 Stationäre Verteilung XXI: Ergodische Ketten Beispiel 201 (Armands dritte Frage) Wenn unsere ménàge a trois für immer so weiter geht, wieviel Prozent der Tage wird Cécile mit mir verbringen? Armand fragt nach der Verteilung von B q1. Der ergodische Satz zeigt, dass B q1 den Wert 1/3 mit W keit 1 nimmt.

179 Stationäre Verteilung XXI: Ergodische Ketten Beispiel 201 (Armands dritte Frage) Wenn unsere ménàge a trois für immer so weiter geht, wieviel Prozent der Tage wird Cécile mit mir verbringen? Armand fragt nach der Verteilung von B q1. Der ergodische Satz zeigt, dass B q1 den Wert 1/3 mit W keit 1 nimmt. Cécile wird auf langer Sicht mit W keit 1 ein drittel der Tage mit Armand verbringen.