77 Markowketten 77 Motivation Der Zustand eines Systems zur Zeit n N werde durch eine Zufallsvariable X n beschrieben und soll nur von X n abhängen (nicht jedoch von früheren Zuständen X n, X n 3, ) Wir möchten das zeitliche Verhalten dieses Systems studieren, insbesondere das Langzeitverhalten für n Prozesse dieser Art sind in der Informatik zb bei der Untersuchung der Auslastung von Servern wichtig (Warteschlangenmodelle) 77 Definition: (Markowkette, Stochastischer Prozess) Ein stochastischer Prozess ist eine Familie (X t ) von Zufallsvariablen mit t R oder t N Wir interpretieren t als Zeitparameter, der kontinuierlich oder diskret ist Ein diskreter stochastischer Prozess (X n ), n N heißt Markowkette, wenn die Verteilung von X n bei gegebenen X n nicht von der früheren Verteilungen X k, k < n abhängt: P (X n = i n X n = i n, X n = i n, ) = P (X n = i n X n = i n ) Bemerkung: Wichtig sind insbesondere Markowketten, die nur endlich viele Zustände annehmen: P (X n {,, k}) = 773 Beispiel mit Definitionen Jedes Jahr ziehen 0 % der Bevölkerung außerhalb Kaliforniens nach Kalifornien, und 0 % der Bevölkerung Kaliforniens zieht aus Eine Person befindet sich im Jahr n in einem von Zuständen: { (Person wohnt in Kalifornien) X n := (Person wohnt nicht in Kalifornien) Der Zustand im Jahr n läßt sich dann durch ein graphisches Modell mit Übergangswahrscheinlichkeiten beschreiben: Abbildung 9: Sei p n ij die Wahrscheinlichkeit, dass ein Zustand j zur Zeit n in den Zustand i zur Zeit n übergeht (zb p n = 0, ): p n ij = P (X n = i X n = j) 6
Wir definieren die Matrix der Übergangswahrscheinlichkeiten (Übergangsmatrix) durch M n := ( ) p n ij R k k (bei k Zuständen) Im Beispiel: M n = ( 0, 8 0, 0, 0, 9 ) Die Verteilung von X n auf die Zustände i =,, k werde durch einen Vektor u n R k beschrieben u n = Dann berechnet sich u n aus u n durch: u n u nk R k u n = M n u n Sind im Beispiel zur Zeit n 60 % der Bevölkerung außerhalb Kaliforniens, gilt: ( ) 0, u n = 0, 6 ( ) ( ) ( ) 0, 8 0, 0, 0, 38 u n = = 0, 0, 9 0, 6 0, 6 Im Jahr n sind somit 6 % außerhalb Kaliforniens 77 Definition: (Kette mit stationären Übergangswahrscheinlichkeiten) Eine Markowkette (X n ) heißt homogen, oder Kette mit stationären Übergangswahrscheinlichkeiten, wenn die Übergangsmatrix M n unabhängig von der Zeit n ist: M n = M n N 775 Bemerkungen a) Beispiel 773 beschreibt eine homogene Markowkette b) Wir nennen eine Marix A = (a ij ) R k k eine stochastische Matrix, wenn alle Einträge nichtnegativ sind und die Spaltensummen sind: a ij 0 i, j {,, n} k a ij = j {,, n} i= Übergangsmatrizen sind Beispiele für stochastische Matrizen 7
c) In der Stochastikliteratur werden oft Zeilenvektoren u n betrachtet, und man definiert p n ij als die Übergangswahrscheinlichkeit von Zustand i nach Zustand j Dann ist u n = u n M n und stochastische Matrizen haben Zeilensumme 776 Zustandsbeschreibung endlicher homogener Markowketten Abbildung 30: Definition: (transient, rekurrent, periodisch) Sei (X n ) eine endliche homogene Markowkette Ein Zustand i heißt a) transient, wenn P (X m i m > n X n = i) > 0 (kann verlassen werden) b) rekurrent, wenn P (X m i m > n X n = i) = 0 (mit Wahrscheinlichkeit kehren wir zurück) c) periodisch mit Periode l, wenn P (X n+l = i X n = i) = Eine Menge I heißt absorbierend, wenn P (X n+ I X n I) = Um das Zeitverhalten von Markowketten zu verstehen, müssen wir stochastische Matrizen näher untersuchen 8
777 Satz: (Eigenwerte stochastischer Matrizen) Sei M = (p ij ) R k k eine stochastische Matrix Dann gilt: a) λ = ist Eigenwert von M b) λ für alle Eigenwerte λ von M und M c) λ = ist einziger Eigenwert von M mit λ =, falls min j p jj > 0 Beweis: a) Ist M stochastisch, so hat A = M Zeilensumme a j j A = = a kj Somit ist Eigenvektor von A zum Eigenwert λ = b) Betrachte die Spaltensummennorm M s := max j j ( k ) p ik = Dann gilt nach Satz 508 für jeden Eigenwert λ von M: i= λ M s = Für M betrachtet man die Zeilensummennorm c) Nach dem Satz von Gerschgorin (500) gibt es zu jedem Eigenwert λ von M = (a ij ) ein p ii = a ii mit λ p ii k a ij = p ii j= j i Also liegt λ in dem Kreis mit Mittelpunkt p ii und Radius p ii Er berührt den Einheitskreis von innen in (, 0): Aus λ = folgt somit: λ = 9
Abbildung 3: Bemerkung: Aussage 777(c) gilt auch für M statt M 778 Bedeutung des Eigenwerts λ = Wir interessieren uns für das Verhalten einer endlichen homogenen Markowkette (X n ) für n Für einen Anfangszustand u 0 und eine Übergangsmatrix M = (p ij ) gilt: u = Mu 0 u = Mu = M u 0 u n = M n u 0 Ist u Eigenvektor von M zum Eigenwert λ =, gilt: u n = M n u = λu = u n N, dh der Zustand u ist stabil Darüberhinaus kann man Folgendes zeigen: 779 Satz: (Potenzen stochastischer Matrizen) Sei M eine stochastische Matrix Genau dann existiert lim M n, wenn der einzige Eigenwert von M mit Betrag ist Beweis eines Teilresultats: Wir zeigen: Sei λ ein Eigenwert von M mit λ = Falls lim M n existiert, ist einziger Eigenwert von M vom Betrag Sei v 0 ein Eigenvektor von M zum Eigenwert λ mit λ = : Würde lim M n existieren, hätten wir Mv = λv M n v = λ n v n N ( ) ( ) lim M n v = lim (M n v) = lim (λ n v) = lim λn v 0
Also würde auch lim λ n = µ existieren Dann wäre auch µ = lim λ n+ = λ lim λ n = λµ Wegen λ = ist auch λ n = n N und somit µ = 0 Aus µ = λµ folgt dann (nach Division durch µ): λ = 770 Gegenbeispiel Wir betrachten eine stochastische Matrix, die Eigenwert λ mit λ =, aber λ besitzt: 0 M = Rk k 0 Sie beschreibt eine zyklische Vertauschung von Vektorelementen Sei α := e πi/k = cos π k + i sin π k ( α k = e πi = ) Setzen wir so folgt wegen α k = : v j := α j α j α (k )j Mv j =, 0 j k, α j α j α kj = αj v j Also sind, α, α,, α k C sämtliche Eigenwerte von M Alle haben Betrag 77 Markowketten im Gleichgewicht Eine endliche homogene Markowkette (X n ) ist im Gleichgewicht, falls zu ihrer Übergangsmatrix M = (p ij ) ein Zustand u existiert mit Mu = u, dh u ist Eigenvektor von M zum Eigenwert, und es gilt: k u i =, u i 0 für i =,, k i=
77 Beispiel Im Beispiel 773 war die Übergangsmatrix gegeben durch ( ) 0, 8 0, M = 0, 0, 9 Berechnung der Eigenwerte:! 0 = 0, 8 λ 0, 0, 0, 9 λ = (0, 8 λ)(0, 9 λ) 0, 0 = 0, 7 0, 8λ 0, 9λ + λ 0, 0 = λ, 7λ + 0, 7 λ / =, 7 ±, 7 0, 7 =, 7 ± 0, 3 λ =, λ = 0, 7 =, 7 ±, 89, 8 Eigenvektor zu λ = : ( 0, 0, 0, 0, ) ( x y ) = v = ( ) 0 0 ( ) α α 0, x + 0, y = 0, α 0 x = y Da v eine Verteilung auf die Zustände beschreiben soll, muss gelten: v i 0, v = ( /3 /3 n v i = i= ) Dies beschreibt den Gleichgewichtszustand 3 der Personen wohnt in Kalifornien, 3 außerhalb Wann ist es möglich, bei einer Markowkette von einem Zustand in einen beliebigen anderen zu gelangen? 773 Definition: (irreduzibel) Eine stochastische Matrix M = (p ij ) R k k heißt transitiv (irreduzibel), wenn man von jedem Zustand n zu jedem anderen Zustand m mit positiver Wahrscheinlichkeit in endlich vielen Schritten gelangen kann: Es gibt ein r, so dass für M r = B = (b ij ) gilt: b mn 0
77 Praktisches Kriterium für Irreduzibilität Man zeichnet zur Übergangsmatrix M = (p ij ) einen gewichteten Graphen: Ist p ij > 0, zeichnet man einen Pfeil von j nach i Falls man von jedem Zustand längs solcher Pfeile zu jedem anderen Zustand gelangt, ist M transitiv, andernfalls nicht 775 Beispiele a) M = 0 irreduzibel: Es gibt von jedem Punkt einen Weg zu jedem anderen Punkt Beachte: Der Weg darf mehrere Pfeile umfassen Daher führt auch ein Weg von nach b) M = 3 0 0 0 0 0 0 3 irreduzibel c) M = 5 0 5 0 5 reduzibel: Es führt zb kein Weg von nach 3