Stochastische Prozesse

Stochastische Prozesse Prof. Dr. N. Bäuerle SS 2004

Korrekturexemplar! Fehler bitte an sirtobi@unix-ag.uni-hannover.de mitteilen! Download-URL: http://www.sirtobi.com/uni script.shtml Stand: 22. November 2004 Anmerkung: Diese Vorlesung wurde 4+2 stündig gehalten. Sie endete aber aus persönlichen Gründen von Frau Bäuerle schon Mitte Mai. Es kann also sein, daß zukünftige Vorlesungen 2+1 stündige gelesen werden, oder ein größerer Themenbereich erfaßt wird. Vielen Dank an Heike Opitz für die vielen Mitschriften zu früher Stunde und gelegentliches Antreiben wenn mein innerer Schweinehund wieder zu gewinnen drohte... Dieses Dokument ist meine Mitschrift der Vorlesung Stochastische Prozesse von Prof. Dr. N. Bäuerle im Sommersemester 2004. Für eventuelle Fehler aller Art übernehme ich keine Verantwortung! Tobias Müller 2

Inhaltsverzeichnis Inhaltsverzeichnis Vorlesungsankündigung 4 I. Markov-Ketten mit diskretem Zeitparameter 4 1. Elementare Eigenschaften von Markov-Ketten (MK)............ 4 2. Klassifikation von Zuständen, Rekurrenz und Transienz.......... 7 3. Gleichgewichtsverteilungen.......................... 12 4. Konvergenz gegen die Gleichgewichtsverteilung............... 17 II. Zeitstetige Markov Ketten 20 5. Definition elementarer Eigenschaften..................... 20 6. Eigenschaften von ÜMF............................ 21 7. Die Kolmogoroffschen Vorwärts-Rückwärts-Dgl............... 23 8. Grundlegende Struktur einer MK....................... 24 9. Beispiele..................................... 25 9.1. Der Poisson-Prozess.......................... 25 9.2. Geburts- und Todesprozess...................... 27 10. Invariante Maße und Grenzwertsätze..................... 28 11. Warteschlangentheorie............................. 33 11.1. M M 1-Modell............................. 33 11.2. M M -Modell............................ 33 11.3. Erlangs loss system........................... 34 11.4. Jackson-Netzwerk........................... 34 12. Reversibilität.................................. 37 III. Literatur zur Vorlesung 39 IV. Abkürzungen 40 3

I. Markov-Ketten mit diskretem Zeitparameter Vorlesungsankündigung: In der Vorlesung werden sogenannte Markov-Ketten in diskreter und stetiger Zeit behandelt, die eine der wichtigsten Klassen von stochastischen Prozessen darstellen. Sie sind dadurch charakterisiert, dass das zukünftige Verhalten des Prozesses nur vom aktuellen Zustand abhängt und nicht von der Vergangenheit. Markov-Ketten werden zur Modellierung von zufälligen Abläufen in den verschiedensten Gebieten verwendet, wie z.b. der Informationsverarbeitung und Telekommunikation, der Produktionsplanung, Biologie und Physik. In der Vorlesung werden einige Anwendungsbeispiele aus der Warteschlangentheorie behandelt. (13.4.2004) I. Markov-Ketten mit diskretem Zeitparameter 1. Elementare Eigenschaften von Markov-Ketten (MK) Gegeben sei eine Folge von ZV (X n ) auf dem W-Raum (Ω, F, P) mit X n : Ω S, S endlich oder abzählbar unendlich. Definition: Eine S S Matrix P = (p ) heißt stochastische Matrix, falls p 0, j S p = 1 i, j S. Definition: Sei P eine stochastische Matrix. Eine (endliche oder unendliche) Folge X, X 1, X 2,... von S-stetigen ZV heißt (homogene) Markov-Kette mit Übergangsmatrix P, falls n N und i k S mit P (X 0 = i 0,..., X n = i n ) > 0 gilt: P (X n+1 = i n+1 X 0 = i 0,..., X n = i n ) = P (X n+1 = i n+1 X n = i n ) = p ini n+1 Die p heißen Übergangswahrscheinlichkeiten und die Startverteilung ν der Kette ist definiert durch ν(i) = P (X 0 = i) für i S. Bemerkung: Jede Folge von unabhängigen ZV ist eine MK. Satz 1.1 (X n ) ist ein MK mit Übergangsmatrix (ÜM) P P (X k = i k, 0 k n) = P (X 0 = i) n 1 k=0 p i k i k+1 n N, i k S P (X k = i k, 1 k n X 0 = i 0 ) = n 1 k=0 p i k i k+1 n N, i k S mit P (X 0 = i) > 0 P (X k = i k, m k m + n) = P (X m = i n ) m+n 1 k=m p i k i k+1 m, n N 0, i k S Beweis: zum ersten : Sei A k := [X k = i k ] = {ω Ω, X k (ω) = i k }, k N 0. Induktion: n = 0 n n + 1 : P (A 0 A 1... A n+1 ) = P (A 0... A n )P (A n+1 A 0... A n ) MK = P (A n+1 A n ) = = p ini n+1 IA = P (X0 = i 0 ) n k=0 p i k i k+1 4

I. Markov-Ketten mit diskretem Zeitparameter P (A n+1 A 0... A n ) = P (A 0...A n+1 ) V or. P (A 0...A n) = p ini n+1 Konstruktion einer MK Seien (Y n ) iid mit Werten in Z. g : S Z S. Definiere (X n ) mit X 0 c, X n = g(x n 1, Y n ) Behauptung: (X n ) ist eine MK mit Werten in S und ÜM P = (p ), p = P (g(i, Y n ) = j), i, j S. Beweis: P (X n+1 = i n+1 X n = i n, X k = i k, 0 k n 1) = P (X k=i k,0 k n+1) P (X k =i k,0 k n) = P (X k =i k,0 k n,g(i n,y n+1 )=i n+1 ) P (X k =i k,0 k n) = 1 P (g(i n, Y n+1 ) = i n+1 ) = P (g(in,y n+1)=i n+1,x n,i n) P (X n=i n) = P (X n+1 = i n+1 X n = i n ) Bemerkung: Umgekehrt kann zu jeder stochastischen Matrix P eine MK (X n ) konstruiert werden mit X n = g(x n 1, Y n ), wobei (Y n ) iid und o.b.d.a. Y n U[0, 1] ( ˆ=unif[0, 1]) Beispiel 1.1 (Lagerhaltung) Sei Y n Nachfrage im Zeitintervall (n 1, n]. (Y n ) iid mit Y n N 0. Auffüll-Politik: (z, Z), z Z, z, Z N, falls Lagerbestand zur Zeit n z, dann fülle auf Z auf. Sonst tue nichts. Sei X n der Lagerbestand { zur Zeit n, S = N 0. (Z Yn ) Es gilt: X n = +, X n 1 z (X n 1 Y n ) +, X n 1 > z Also ist { (X n ) eine MK mit ÜM P = (p ). P ((Z Yn ) p = + = j), X n 1 z P ((i Y n ) + = j), i > z Beispiel 1.2 (Ruinspiel) Zwei Spieler mit Startkapital B N. Spieler I gewinnt mit W. p. Einsatz pro Spiel: 1. Sei Y n = 1 ( 1), falls Spieler I das n-te Spiel gewinnt (verliert). (Y n ) iid. Sei X n das Kapital von Spieler I zur Zeit n. S = {0, 1,..., 2B}. Es gilt: X 0 B 2B, X n 1 = 2B X n = 0, X n 1 = 0 X n 1 + Y n, 0 < X n 1 < 2B Also ist { (X n ) eine MK mit ÜM P = (p ), P 00 = 1, P 2B,2B = 1, p, j = i + 1 p = 0 < i < 2B 1 p, j = i 1 1 (X 0,..., X n), Y n+1 unabhängig 5

I. Markov-Ketten mit diskretem Zeitparameter 1 0 0 1 p 0 p 0 0..... P =..... (Spalten und Zeilen jeweils von 0... 2B)..... 0 0 1 p 0 p 0 0 0 1 1 1 p p 1 0 i 1 i i+1 2B (19.4.2004) Definition: Sei P eine stochastische S S-Matrix. Dann heißen die Elemente p (n) von P n die n-schritt-übergangswahrscheinlichkeit zu P. Wir definieren P 0 := E, d.h. p (n) = δ i, j S. Satz 1.2 Sei (X n ) eine Markov-Kette mit Übergangsmatrix P. Dann gilt: a) P (X n+m = j X m = i) = p (n), i, j S, n, m N 0 mit P (X m = i) > 0 b) P (X n = j) = i S P (X 0 = i)p (n), j S Beweis: a) Mit Satz 1.1 ( S. 4) gilt: P (X n+m = j X m = i) = i m+1,...,i n+m 1 P (X m = i m ) m+n 1 k=m p i k i k+1 = = P (X m = i m )p (n) i mi m+n b) P (X n = j) = i S P (X n = j, X 0 = i) = = i S P (X n = j X 0 = i)p (X 0 = i) (a) = i S P (X 0 = i)p (n). Bemerkung: (i) Wegen p n+m = p n p m gilt: p (n+m) = k S p(n) ik p(m) kj für i, j S die sogenannten Chapman-Kolmogorow-Gleichungen (ii) X 0 ν X n νp n 6

I. Markov-Ketten mit diskretem Zeitparameter Satz 1.3 (Existenzsatz für MK) Sei ν ein WMaß auf S und P eine stochastische S S-Matrix. Seien X n die n-te Projektion auf Ω := S N 0, d.h. X n : Ω S, n N 0, X n (ω) = X n ((i 0, i 1, i 2,... )) = i n. Dann existiert ein WMaß P auf F := n=0 P(S), so daß (X n) eine MK mit ÜM P ist und ν die Startverteilung von X 0 ist, d.h. P (X 0 = i 0 ) = ν(i 0 ) i 0 S P (X n+1 = j X n = i) = p i, j S, P (X n = i) > 0 Beweis: Satz von Ionescu-Tulcea über die Fortsetzung von Maßen und die Existenz zufälliger Folgen. 2. Klassifikation von Zuständen, Rekurrenz und Transienz Welche Zustände in S werden von der Markov-Kette mit Sicherheit besucht und welche nicht? Wenn sie besucht werden, wie oft? Definition: Sei (X n ) eine MK mit ÜM P = (p ). a) i S führt nach j S (i j), falls n N mit p (n) p (m) p (n) ji > 0. > 0 d.h. n, m N mit b) i S kommuniziert mit j S(i j), falls (i j) (j i) d.h. n, m N mit p (m) p (n) ji > 0. Bemerkung: Für i, j S sei i j := (i j) (i = j) n, m N 0 mit p (m) p (n) ji > 0. ist eine Äquivalenzrelation auf S (reflexiv, symmetrisch, transitiv) impliziert eine Partition von S. K(i) := {j S j i} sind zugehörige Äquivalenzklassen. Definition: a) J S heißt abgeschlossen, wenn es keine zwei Zustände j J und i S\J gibt mit j i. b) Die MK (X n ) bzw. die ÜM P heißen irreduzibel, falls S nur aus einer einzigen Klasse besteht, d.h. i, j S mit i j gilt: i j. 7

I. Markov-Ketten mit diskretem Zeitparameter Beispiel 2.1 K(2) und K(7) sind abgeschlossen. K(2) 3 2 1 K(1) K(7) 4 K(5) 5 6 7 Beispiel 2.2 (Ruinspiel) 1 p p 0 i 1 i i+1 K(0) = {0}), K(2B) = {2B}, K(1) = {1, 2,..., 2B 1} K(0) und K(2B) sind abgeschlossen. 2B Lemma 2.1 J S ist abgeschlossen (p, i, j J) ist stochastisch. J S\J P= { { J S\J { { ( ) Beweis: : klar. : offenbar gilt: (p, i, j J) stochastisch (p i,j, i, j J) sotchastisch n N. ( ) p Behauptung. P n = k j Im Folgenden sei (X n ) eine MK mit ÜM P = (p ). Es sei T i := inf{n N X n = i} die Ersteintrittszeit der MK in den Zustand i S. (inf( ) := ) Weiter sei für i, j S, n N : f (n) := p i (T j = n) = P (T j = n X 0 = i) = P (X n = j, X ν j, 1 ν < n X 0 = i) f (0) := 0 Offenbar ist f (1) = p f = n=0 f (n) = n=0 p i(t j = n) = p i (T j < ) = p i ( n N mit X n = j) [0, 1]. 8

I. Markov-Ketten mit diskretem Zeitparameter (20.4.2004) Lemma 2.2 Für alle n N, i, j S gilt: = n p(n k) p (n) k=1 f (k) jj Beweis: Methode des 1. Besuchs: P (n) = P i (X n = j) = A B C n k=1 P ( { }} { { }} { { }} { X n = j, X µ j, 1 µ < k, X k = j X 0 = i) [P (AB C) = P (B C)P (A BC)] = n k=1 P i(x µ j, 1 µ < k, X k = j) P (X n = j X 0 = i, X µ j, 1 µ < k, X n = j) } {{ } =MK P (X n=j X k =j) = n P (n k) k=1 f (k) jj Definition: Ein Zustand i S heißt rekurrent, falls fii = 1 und transient, sonst. Satz 2.3 i S ist rekurrent n=0 p(n) ii = Beweis: Für s (0, 1) erhalten wir aus Lemma 2.2: n = 0 P (n) ii s n = 1 + n=1 p(n) ii s n = 1 + n=1 (sn n k=1 f (k) ii p (n k) ii ) = 1 + (k) k=1 (f ii s k n=k p(n k) ii s (n k) ) = 1 + k=1 f (k) ii s k n=0 p(n) ii s n. Es sei P (s) := n=0 p(n) ii s n, F (s) := k=1 f (k) ii s k. Also P (s) = 1 + P (s)f (s). Nun s 1 (monotone Konvergenz): P (1) = 1 + P (1)fii. Es folgt: fii = 1 P (1) = n=0 p(n) ii = fii < 1 P (1) = 1 1 fii < Bemerkung: Die in Satz 2.3 auftretende Reihe kann man wie folgt interpretieren: n=0 p(n) ii = n=0 E i[1 [Xn=i]] = E i [ n=0 1 [X n=i]] Satz 2.4 (Solidaritätsprinzip) Wenn i S rekurrent (transient) jeder Zustand in K(i) ist rekurrent (transient). Beweis: Sei i S rekurrent, j K(i), j i. m, n N mit p (m) p (n) ji > 0. k=0 p(m+n+k) jj CK k=0 p(n) ji p(k) ii p (m) = p (n) ji p(m) } {{ } j ist rekurrent. =. k=0 p (k) ii Bemerkung: Ist i S rekurrent (transient), so sagen wir K(i) ist rekurrent (transient). Ist (X n ) irreduzibel, so sagen wir (X n ) ist rekurrent (transient). 9

I. Markov-Ketten mit diskretem Zeitparameter Beispiel 2.3 (Irrfahrt auf Z) Es sei X n := n k=1 Y k = X n 1 + Y n, X 0 = 0, wobei (Y n ) iid mit P (Y k = 1) = p = 1 P (Y k = 1) = 1 q, p (0, 1), S = Z. q q p p...... p i 1 i i+1 (X n ) ist nach Konstruktion eine irreduzible MK. Ist die MK rekurrent oder transient? Wir wenden Satz 2.3 an. Sei o.b.d.a. i = 0. Es gilt: p (2n+1) 00 = 0 n N 0, p (2n) 00 = ( ) 2n n p n q n = (2n)! p n q n (n!) 2 P (2n) 00 2 ( 2n e ) 2n 4πn ( n e ) 2n 2πn (pq)n = (4pq)n πn. Fall 1: p = q = 1 2 (symmetrische Irrfahrt) p 00 1 πn n p(2n) 00 = MK rekurrent Fall 2: p q ( pq < 1 4 ) n p(2n) 00 const n=0 (4pq)n < MK transient. q Bemerkung: betrachtet man die symmetrische Irrfahrt auf Z d, d.h. p = 1 2d für i j = 1 ( = l 1 -Norm), i, j Z d. z.b. d = 2 Z 1/4 1/4 1/4 1/4 (jeweils mit Wahrscheinlichkeit 1 4 ) dann ist sie rekurrent für d {1, 2} und transient für d 3. Lemma 2.5 Liegen i und j in der selben rekurrenten Klasse, so gilt f = f ji = 1 Beweis: Übung. 2 Stirling-Formel: n! ` n e n 2πn 10

I. Markov-Ketten mit diskretem Zeitparameter Lemma 2.6 Für alle i, j S gilt: j transient n=0 p(n) <. Insbesondere ist lim n p (n) = 0. Beweis: Summiere die Gleichung in Lemma 2.2 über alle n. ( Satz 2.3, Seite 9) n=0 p(n) = δ + n n=1 f (k) p(n k) jj = δ + k=1 f (k) n=0 p(n) jj = = δ + f <. n=0 p (n) jj } {{ } <, da j transient Satz 2.7 Ist eine Klasse K S rekurrent, so ist K abgeschlossen bzw. (p, i, j K) ist stochastisch. Beweis: Wir zeigen: ist i K rekurrent und i j (i j), dann gilt j i (d.h. j K) ( Behauptung, denn angenommen (p, i, j K) ist nicht stochastisch, i K, j K mit p > 0, also i j j K ) (26.4.2004) Wir zeigen: ist i K, i rekurrent und i j (j i), dann gilt j i (d.h. j K). ( Behauptung, angenommen (P, i, j K) ist nicht stochastisch i K, j K mit P > 0, also i j. j K ) Angenommen: j i, d.h. p (n) ji = 0 n N 0. Sei N N die kleinste Zahl n mit p (n) > 0. Es gilt n N : P i (X N = j, X N = i) = 0, denn sei n > N: P i (X N = j, X n = i) = P (N) p (n N) ji = 0 Sei n < N : P i (X N = j, X n = i) = P (n) ii p (N n) = 0, da N n < N P i (T i m, X N = k) = m n=1 P i(t i = n, X N = j) m n=1 P i(x n = i, X N = j) = 0 m n=1 f (n) ii = P i (T i m) = P i (T i m, X N j) P i (X N j) = 1 P i (X N = j) = = 1 p (N) Für m folgt: 1 = jii = n=1 f (n) ii 1 p (N) < 1 Satz 2.8 Ist K S endlich und K abgeschlossen, so ist K rekurrent. Beweis: Da (P, i, j K) stochastisch, folgt induktiv (p, i, j K) ist sotchastisch n N. Annahme: K transient. Sei j K p (n) 0 für n i S (Lemma 2.6, Seite 11) für i K: 1 = j K p(n) 0 für n (Da K endlich ist, sind lim und vertauschbar.) 11

I. Markov-Ketten mit diskretem Zeitparameter Beispiel 2.4 (Irrfahrt mit reflektierenden Grenzen) 1 p p 1 p p 1 p p 0 1 2... i 1 i i+1... B 2 B 1 B 1 (mit p (0, 1)) Die Irrfahrt ist irreduzibel und rekurrent nach Satz 2.8 p (0, 1). 3. Gleichgewichtsverteilungen Sei (X n ) eine MK mit Übergangsmatrix P und Startverteilung ν. Dann ist die Verteilung der MK zur Zeit n: X n νp n Im Allgemeinen hängt diese Verteilung von ν und n ab. Es gibt aber spezielle Verteilungen ν, so daß die mit dieser Verteilung gestartete Markov-Kette zu jedem Zeitpunkt n dieselbe Verteilung besitzt, nämlich ν. Man sagt, die Kette ist dann im Gleichgewicht, bzw. sie ist stationär. 1 Bezeichnung: Eine Abbildung ν : S R + heißt Maß. Ein Maß falls i S ν(i) = 1. ν ist eine Verteilung, Definition: Es sei (X n ) eine MK mit ÜM P. Ein Maß ν heißt invariant (stationär) für P, falls νp = ν, d.h. j S gilt: i S ν(i)p = ν(j). Falls ν eine Verteilung und invariant ist, nennt man ν auch eine Gleichgewichtsverteilung für P. Bemerkung: a) Ist S endlich, so kann jedes invariante Maß zu einer Gleichgewichtsverteilung normiert werden. b) Ist ν invariant, so gilt: νp n = νp P n 1 = νp n 1 = = ν n N. Ist ν eine Gleichgewichtsverteilung, so gilt also n N, j S : P ν (X n = j) = i S ν(i)p(n) = ν(j), d.h. die mit Verteilung ν gestartete Kette hat zu jedem Zeitpunkt die gleiche Verteilung ν. c) Ist P irreduzibel und ν 0 ein invariantes Maß, so ist ν(i) > 0 i S. Denn: ν 0 i 0 S : ν(i 0 ) > 0. Für i S beliebig, n N p (n) i 0 i > 0. ν(i) ν(i 0)p (n) i 0 i > 0. Gibt es immer ein invariantes Maß /Gleichgewichtsverteilung? Wenn ja, wie sieht sie aus? Ist sie eindeutig? 12

I. Markov-Ketten mit diskretem Zeitparameter Für den Rest des Abschnitts sei P irreduzibel. Wir definieren für ein beliebeiges k S das Maß ν k wie folgt: ν k (i) := E k [ T k n=1 1 [X n=i]] Satz 3.1 Sei (X n ) irreduzibel und rekurrent, k S. Dann gilt: a) ν k ist ein invariantes Maß b) i S gilt: 0 < ν k (i) < c) ν k ist das einzige invariante Maß mit ν k (k) = 1. (d.h. ν k ist bis auf ein Vielfaches eindeutig.) Beweis: b) ν k (i) > 0 i S folgt aus Teil a) und der letzten Bemerkung c) (Beachte: ν k (k) = 1). Wegen: ν k = ν k P n n folgt ebenso: 1 = ν k (k) ν k (j)p (n) jk j S, n N P irreduzibel j S, n N : p (n) jk > 0 ν k (j) <. (27.4.2004) a) Es gilt: ν k (i) = E k [ n=1 1 [X n=i,n T k ]] = n=1 P k(x n = i, n T k ) = n=1 j S P k(x n = i, X n 1 = j, n T k ) Betrachte (j k): P k (X n = i, X n 1 = j, n T k ) = P (Xn=i,X n 1=j,X n 1 k,...,x 1 k,x 0 =k) P (X 0 =k) = P (X n = i X n 1 = j, X n 1 k,..., X 1 k, X 0 = k)p k (X n 1 = j, X n 1 k,..., X 1 k) = p ji P k (X n 1 = j, n T k ) Oben einsetzen: ν k (i) = j S p ji n=1 P k(x n 1 = j, n T k ) = j S p ji n=0 P k(x n = j, n T k 1 ) = j S p jie k [ T k 1 n=0 1 [X n=j]] = j S p jie k [ T k n=1 1 [X n=j]] = j S p jiν k (j) c) Sei λ ein invariantes Maß mit λ(k) = 1. j S folgt: λ(j) = i S\{k} λ(i)p + p kj λ(j) = i S\{k} ( l S\{k} λ(l)p li + p ki )p + p kj = i,l S\{k} λ(l)p lip + p ki p + p kj = i,l S\{k} λ(l)p lip + p k (X 2 = j, T k 2) + P k (X 1 = j, T k 1) Durch Iteration erhalten wir n N: λ(j) = i 0,i 1,...,i λ(i n S\{k} n) n r=1 p i ri r 1 p i0 j + n+1 r=1 p k(x r = j, T k r) n+1 r=1 P k(x r = j, T k r) = E k [ min{n+1,t k } r=1 1 [Xr=j]] n ν k (j) Insgesamt: λ(j) ν k (j) j S. Bem. c) λ ν k ist ebenfalls ein invariantes Maß mit λ(k).ν k (k) = 0 = λ ν k 13

I. Markov-Ketten mit diskretem Zeitparameter Bemerkung: Ist S endlich und P irreduzibel, so folgt aus Satz 3.1, daß eine Gleichgewichtsverteilung existiert. Definition: Für i S sei m i := E i [T i ] = n=1 np i(t i = n) + (1 f ii ) = n=1 die mittlere Rückkehrzeit im Zustand i, mit 0 =: 0. Anmerkung: Hier wurde in der Folgevorlesung nachgebessert, ursprünglich fehlten die ()-Terme. nf (n) ii + (1 f ii ) Bemerkung: Ist j transient, so folgt m j =. Definition: Ein Zustand i S heißt positiv rekurrent, falls m i < und nullrekurrent, falls i rekurrent und m i = ist. Bemerkung: Jeder positiv rekurrente Zustand ist auch rekurrent. i transient f ii < 1 rekurrent f ii = 1 nullrekurrent m i = positiv rekurrent m i < Satz 3.2 Sei (X n ) eine irreduzible MK. Die folgenden Aussagen sind dann äquivalent: i) Es existiert eine Gleichgewichtsverteilung. ii) Es gibt einen positiv rekurrenten Zustand i S. iii) Alle Zustände in S sind positiv rekurrent. Sind diese Bedingungen erfüllt, so ist die Gleichgewichtsverteilung π eindeutig bestimmt und durch π(i) = 1 m i gegeben. Beweis: (iii) (ii): klar (ii) (i): Sei k S mit m k < (X n ) ist rekurrent. Satz 3.1 ν k ist ein invariantes Maß. Es gilt: j S ν k(j) = j S E k[ T k n=1 1 [X n=j]] = E k [ T k n=1 =1 { }} { 1 [Xn=j]] = E k [T k ] = m k <. j S 14

I. Markov-Ketten mit diskretem Zeitparameter ν k ist normierbar. (i) (iii): Sei π eine Gleichgewichtsverteilung und k S ( π(k) > 0 k S). Dann ist ν := π π(k) ein invariantes Maß mit ν(k) = 1. s.o. ν = ν k m k = j S ν k(j) = j S ν(j) = 1 π(k) π(j) = 1 π(k) <. Da k beliebig, folgt die Behauptung. Außerdem ist gezeigt, daß π(k) = 1 m k. j S } {{ } =1 Bemerkung: (i) Es gibt also folgende Trichotomie für irreduzible MK, d.h. eine irreduzible MK gehört genau zu einem der folgenden Fälle: die MK ist transient, es gibt keine Gleichgewichtsverteilung. die MK ist nullrekurrent, i, j S gilt P i (T j < ) = 1 und E i [T j ] = und es gibt ein (bis auf Vielfache) eindeutiges, invariantes Maß, aber keine Gleichgewichtsverteilung. die MK ist positiv rekurrent, i, j S gilt E i [T j ] < und es gibt eine Gleichgewichtsverteilung. (ii) Ist S endlich und die MK irreduzibel, so ist die MK automatisch positiv rekurrent. (iii) Ist π die Gleichgewichtsverteilung, so gilt: π(i) = P ν k(i) j S ν k(j) = E P Tk k[ n=1 1 [Xn=i]] E k [T k ] Beispiel 3.1 ( 1 α α S = {1, 2}. Die ÜM sei gegeben durch P = β 1 β Die MK ist irreduzibel und positiv rekurrent. ), α, β [0, 1], α + β > 0. Gleichgewichtsverteilung: πp = π, π(1) + π(2) = 1, π(1), π(2) 0 Lösung: π(1) = β α+β, π(2) = α α+β Zusammenfassung νp = ν, ν 0 πp = π, π 0 i S π(i) = 1 ( Gleichgewichtsverteilung oder stationäre Verteilung ) π(j) = E k[ P T k n=1 1 [Xn=j]] E k [T k ], k S. (3.5.2004) 15

I. Markov-Ketten mit diskretem Zeitparameter Beispiel 3.2 (Irrfahrt auf Z) q p i 1 i i+1 p i i+1 = p, p i i 1 = q Z p (0, 1), q = 1 p Für p q ist die MK transient ( Beispiel 2.3, Seite 10). Existiert ein invariantes Maß? Ansatz:.................. 0 q 0 p 0... P =... 0 q 0 p 0...... 0 q 0 p 0.................. j te ν(j) = i Z ν(i)p = 1 ν(j) = (p + q)ν(j) = ν(j 1)p + ν(j + 1)q j Z ν(j + 1) ν(j) = p q (ν(j) ν(j 1)) j Z Also: ν 1 1, ν 2 (j) = ( p q ) j sind verschiedene invariante Maße. Beispiel 3.3 (Geburts- und Todesprozess in diskreter Zeit) Es sei (X n ) eine MK mit S = N 0 und Übergansmatrix p 00 p 01 0 0 0... p 10 p 11 p 12 0 0... p 20 p 21 p 22 p 23 0....... mit p 01 > 0, p ii 1 > 0, p ii+1 > 0 i 1 (X n ) irreduzibel Wann ist (X n ) positiv rekurrent? Ansatz: π = πp π(0) = p 00 π(0)+p 10 π(1) Erweitern mit 1 = (p 00 + p 01 ) π(i) = p i 1,i π(i 1) + p ii π(i) + p i+1,i π(i + 1), i 1 Erweitern mit 1 := (p i,i 1 + p ii + p i,i+1 ) p i+1,i π(i + 1) p i,i+1 π(i) = p ii 1 π(i) p i 1,i π(i 1) = rekursiv = p 10 π(1) p 01 π(0) = 0 16

I. Markov-Ketten mit diskretem Zeitparameter 1. Gleichung: p 01 π(0) = p 10 π(1) p i+1,i π(i + 1) = p i,i+1 π(i) π(i + 1) = p i,i+1 p i+1,i π(i) = = p k,k+1 p k+1,k, i 0 = = π(0) i k=0 Für π(0) > 0 erhält man ein invariantes Maß. p k,k+1 p k+1,k (X n ) ist positiv rekurrent, falls i i=1 k=0 < Spezialfall: p k,k+1 = p, p k,k 1 = q = 1 p, p k,k = 0, k 1, p (0, 1) p 01 = p, p 00 = 1 p (X n ) positiv rekurrent q p p p i=1 ( p q ) i+1 < p < q (geom. Reihe) q 1 2 3 4 q q 4. Konvergenz gegen die Gleichgewichtsverteilung X n νp n n? πp n = π Beispiel 4.1 S = {1, 2} 1 1 2 ( ) 1 0 1 P =, πp = π, π(1) = π(2) 1 1 0 2, (1, 0)P n Interpretation: Die Hälfte der Zeit in Zustand 1, die andere Hälfte in Zustand 2 Sei (X n ) eine MK mit ÜM P. Wir nehmen an, daß (X n ) bzw. P aperiodisch ist, d.h. i S gilt: d i := ggt {n N p (n) ii > 0} = 1 Lemma 4.1 P ist genau dann irreduzibel und periodisch, wenn i, j S, n 0 N mit P (n) > 0 n n 0. Beweis: ohne Beweis! Satz 4.2 Es sei (X n ) irreduzibel, aperiodisch und positiv rekurrent mit Gleichgewichtsverteilung π. Dann gilt i, j S: lim n p(n) = π(j) = 1 m j 17

I. Markov-Ketten mit diskretem Zeitparameter Beweis: Wir benutzen ein sogenanntes Kopplungsargument: Sei (Y n ) eine zweite MK, unabhängig von (X n ) mit derselben ÜM P und Startverteilung π, d.h. Y n π n N. Es sei T := inf{n N 0 X n = Y n } die Treffzeit der MK. Wir zeigen zunächst: P (T < ) = 1. Offensichtlich ist (X n, Y n ) n N0 eine MK auf S 2 mit ÜM ˆP, wobei ˆp (i,j)(k,l) = 3 p ik p jl. Weiter ist ˆp (n) (i,j)(k,l) = p(n) ik p(n) jl. Aus Lemma 4.1 folgt dann, daß (X n, Y n ) irreduzibel und aperiodisch ist. Man rechnet leicht nach, daß ˆπ(i, j) = π(i)π(j) eine Gleichgewichtsverteilung für (X n, Y n ) ist. 4 (X n, Y n ) ist positiv rekurrent. Es sei jetzt X 0 i und die Startverteilung ˆν von (X n, Y n ) gegeben durch ˆν(k, l) = δ i (k)π(l), für b S sei T T (b,b) und Pˆν (T (b,b) < ) = 1 Pˆν (T < ) = 1 Als nächstes sei { die Folge (Z n ) n N0 definiert durch: Xn, für n T Z n := Y n, für n > T Wir zeigen: (Z n ) ist eine MK mit ÜM P und Z 0 i. Nach Satz 1.1 ( Seite 4) genügt z.z. n N, i k S: Pˆν (Z k = i k, 0 k n) = δ i (i 0 ) n 1 k=0 p i k i k +1 n N, i k S. (4.5.2004) Es gilt: Pˆν (Z k = i k, 0 k n) = n r=0 Pˆν(Z k = i k, 0 k n, T > n) = n r=0 Pˆν(Z k = i k, 0 k n, T > n) + Pˆν (Z k = i k, 0 k n, T > n) = n r=0 Pˆν(X k = i k, 0 k r, Y k = i k, r + 1 k n, Y 0 i 0,..., Y r 1 i r 1, Y r = i r ) } {{ } =:I + Pˆν (X k = i k, 0 k n, Y 0 i 0,..., Y n i n ) } {{ } =:II Da (X n ), (Y n ) unabhängig, gilt: I = Pˆν (X k = i k, 0 k r) P π (Y k = i k, r + 1 k n X 0 i 0,..., Y r 1 i r 1, Y r = i r ) P π (Y 0 i 0,..., Y r 1 i r 1, Y r = i r ) = δ i (i 0 ) n k=0 p i k i k+1 P π(y 0 i 0,..., Y r 1 i r 1, Y r = i r ) II = δ i (i 0 ) n k=0 p i k i k+1 P π(y 0 i 0,..., Y n i n ) 3 stochastisch unabhängig 4 Satz 3.2, Seite 14 18

I. Markov-Ketten mit diskretem Zeitparameter Insgesamt: Pˆν (Z k = i k, 0 k n) = I + II = δ i (i 0 ) n n k=0 p i k i k+1 ( P π(y 0 i 0,..., Y r 1 i r 1, Y r = i r ) + P π (Y 0 i 0,..., Y n i n )) r=0 } {{ } =1 Nun folgern wir daraus die Aussage des Satzes: Es gilt: p (n) = Pˆν (Z n = j) = Pˆν (Z n = j, T n) + Pˆν (Z n = j, T > n) π(j) = P π (Y n = j) = Pˆν (Z n = j, T n) + Pˆν (Y n = j, T > n) p (n) π(j) = Pˆν (Z n = j, T > n) Pˆν (Y n = j, T > n) 2 Pˆν (T > n) n 0, da Pˆν (T < ) = 1. Satz 4.3 Seien i, j S, d j die Periode von j. Dann gilt für 1 r d j : Speziell: lim n p (nd j+r) = d j m j k=0 f (kd j+r) (i) j transient oder null-rekurrent (d.h. m j = ) p (n) 0 (ii) j aperiodisch (d j = 1) p (n) f m j trans trans rek rek S rek (transiente Klassen führen irgendwann in eine rekurrente Klasse (falls vorhanden)) 19

II. Zeitstetige Markov Ketten II. Zeitstetige Markov Ketten Eine Familie von ZV X t : Ω S über einen gemeinsamen WR (Ω, F, P ) und einen gemeinsamen Zustandsraum (meßbar) (S, L), die von einem Parameter t abhängen, mit t T (T überabzählbar, z.b. T = [a, b], T = [0, )) heißt stochastischer Prozess. Für jedes ω Ω heißt die (nicht zufällige) Funktion X(ω) : T S Realisierung oder Trajektorie von (X t ). 5. Definition elementarer Eigenschaften Definition: Ein stochastischer Prozess (X t, t 0) mit höchstens abzählbarem Zustandsraum S heißt (stationäre) Markov-Kette (MK), falls gilt: n, 0 t 0 < t 1 < < t n, t, h > 0, i k S mit P (X tk = i k, o k n) > 0 : P (X tn+h = i n+1 X tk = i k, 0 k n) = P (X tn+h = i n+1 X tk = i n ) = P (X t+h = i n+1 X t = i) Definition: Eine Familie von stochastischen S S-Matrizen, (p(t), t 0) mit den Eigenschaften: (i) p(0) = (δ ) = E (ii) p(s + t) = p(s) p(t), s, t 0 ( Halbgruppeneigenschaft ) heißt Übergangsmatrizenfunktion (ÜMF). Satz 5.1 Sei (X t ) eine MK, dann gibt es eine ÜMF (p(t), t 0) mit P (X t+h = j X t = i) = p (h) t, h 0, i, j S, P (X t = i) > 0 Beweis: Sei M := {i S P (X t = i) > 0 für ein t 0} i M : p (h) := P (X t+h = j X t = i) für geeignetes t. i M : p (h) := δ, h 0 Dann gilt: i M : p (s + t) = P (X r+s+t = j, X r+s = k X r = i) für geeignetes t. = k S P (X r+s+t = j, X r+s = k X r = i) mit P (X r+s = k, X r = i) > 0 = k S P (X r+s = k X r = i)p (X r+s+t = j X r = i, X r+s = k) = k S P ik(s)p kj (t), da (X t ) MK Chapman-Kolmogoroff-Gleichung und p (0) = δ i M : klar.. Satz 5.2 Sei (X t ) eine MK mit ÜMF (p(t), t 0). Dann gilt n, i k S, k = 0,..., n: P (X tk = i k, 0 k n) = P (X t0 = i 0 ) n k=1 p i k 1 i k (t k t k 1 ) Beweis: Induktion nach n ( Satz 1.1, Seite 4) 20

II. Zeitstetige Markov Ketten Satz 5.3 (Existenzsatz für MK) Seit (p(t), t 0) eine ÜMF, ν eine Startverteilung auf S. Sei Ω := S R + (d.h. die Menge aller Abbildungen g : R + S). F := t 0 P(S), X t := pr t. Dann existiert genau ein WMaß P auf F, so daß (X t ) eine MK ist und daß (p(t), t 0) eine ÜMF von (X t ) ist und P (X 0 = i 0 ) = ν(i 0 ), i 0 S. Beweis: Satz von Kolmogoroff Problem: Unter welchen Voraussetzungen kann man die ganze ÜMF aus einfachen Daten bestimmen? (10.5.2004) 6. Eigenschaften von ÜMF Definition: Erfüllt die ÜMF (p(t), t 0) zusätzlich die Bedingung lim t 0 p (t) = δ, i, j S d.h. p(t) ist rechtsseitig stetig in 0, dann heißt sie Standard-ÜMF!Standard (SÜMF). (p(t) i.a. nicht stetig in 0 Chung (67), S. 129) Lemma 6.1 Sei (p(t), t 0) eine SÜMF. Dann gilt: a) p (t) ist gleichmässig stetig in t i, j S b) p ii (t) > 0 t > 0, i S c) p (t) 0 oder > 0 t > 0, i j Beweis: a) i, j S, t 0, h > 0 gilt: p (t + h) p (t) = k i p ik(h)p kj (t) + p (t) (p ii (h) 1) } {{ } P k i p ik(h) 1 p ii (h), da p kj (t) p (t) 1 unabhängig von t gleichmäßig stetig in t b) p ii (t) = k S p ( t ( t ik 2) pki 2) (pii ( t 2 ))2 t 0 Induktion: p ii (t) (p ii ( t 2n ) ) 2n n N } {{ } n n 0 wegen Stetigkeit in 0. c) o.b. ( Chang S. 126) 21

II. Zeitstetige Markov Ketten Satz 6.2 Sei (p(t), t 0) eine SÜMF. a) p (t) ist in 0 (rechtssitig) differenzierbar, d.h. es existiert p (0) = lim t 0 p (t) δ t i, j S. b) Für q := p (0) gilt: 0 q <, i j q ii 0 (q i := q ii ) 0 j i q q i 1 p (t) ii p (t) t Beweis: S o.b. (Chang Theorem II.2.4, Theorem II.12.8) Bemerkung: S endlich, dann gilt: q i = j i q i S q heißen Übergangsintensitäten und Q = (q ) heißt Intensitätsmatrix. Interpretation der Ü bergangsintensitäten i j: P (X t+h = j X t = i) = p (h) = 5 q r h + o(h) i = j: P (X t+h = i X t = i) = p ii (h) = 1 q i h + o(h) Definition: a) i S heißt stabil 0 < q i < instabil q i = absorbierend q i = 0 b) Eine SÜMF (p(t), t 0) heißt konservativ j i q = q i < i S Bemerkung: a) S endlich SÜMF konservativ b) Man kann zeigen: i instabil s > 0: P (X t+h = i, h (0, s] X t = i) = 0,d.h. Zustand i wird sofort verlassen. i absorbierend P (X t+h = i X t = i) = 1 h > 0 i stabil P (X t+h = i h (0, s] X t = i) = e q is,d.h. die Verweilzeit ist exp(q i )-verteilt. c) Ist sup i S q i < fast alle Pfade t X t (ω) sind rechtsseitig stetig. 5 Taylor 22

II. Zeitstetige Markov Ketten 7. Die Kolmogoroffschen Vorwärts-Rückwärts-Dgl Aus der Intensitätsmatrix Q kann unter Regularitätsvoraussetzungen die ganze SÜMF (p(t), t 0) gewonnen werden. Satz 7.1 Die SÜMF (p(t), t 0) sei konservativ. Dann sind p (t), t 0 differenzierbar und erfüllen das sogenannte Kolmogoroffsche Rückwärts-Dgl-System: p (t) = Qp(t), t 0, d.h. p (t) = q ip (t) + k i q ikp kj (t), i, j S. Beweis: (heuristisch 6 ): p(s + t) = p(s) p(t) s, t 0 (Ableitung nach S) p (s + t) = p 8s) p(t) s 0 p (t) = Q p(t) Formale Lösung: p(t) = e tq = n=0 tn n! Qn S endlich Reihe konvergiert S abzählbar (unendlich) Reihe konvergiert im Allgemeinen nicht. Bemerkung: Unter weiteren Annahmen (z.b. sup i S q i < ) gilt auch das Kolmogoroffsche-Vorwärts-Dgl-System: p (t) = p(t)q, t 0 ( ) q0 q Beispiel 7.1 S = {0, 1}, 0 < q 0, q1 <, Q = 0 q 1 q 1 (Zeilensumme= 0, da konservativ, konservativ, da S endlich) Rückwärts-Dgl: p (t) = Qp(t), p(0) = E (1) p 00 (t) = q 0p 00 (t) + q 0 p 10 (t) (2) p 01 (t) = q 0p 01 (t) + q 0 p 11 (t) (3) p 10 (t) = q 1p 10 (t) + q 1 p 00 (t) (4) p 11 (t) = q 1p 11 (t) + q 1 p 01 (t) Es gilt: p 01 (t) = 1 p 00 (t) p 11 (t) = 1 p 10 (t) Eingesetzt in (2) liefert: P 00 (t) = q 0 + q 0 p 00 (t) + q 0 q 0 p 10 (t) = q 0 p 00 (t) q 0 p 10 (t) also (2)=-(1), also (2) überflüssig. Analog (4) überflüssig. ( p00 (t) p 10 (t) ). Sei y(t) = ( ) 1 Zu lösen ist y (t) = Qy(t), y(0) = Eigenwerte von Q: 0 q 0 λ q 0 q 1 q 1 λ = ( q 0 λ)( q 1 λ) q 0 q 1 = λ(q 0 + q 1 + λ) λ 1 = 0, λ 2 = (q 0 ( + q 1 ) ( ) 1 q0 Eigenverktoren: ν 1 =, ν 1 2 = 6 meint hier: schlampig q 1 23

( 1 also: y(t) = α 1 ) ) e 0 t }{{} 1 ( 1 y(0) = 0 Insgesamt: p 00 (t) = q 1 q 0 +q 1 + q 0 q 0 +q 1 e (q 0+q 1 )t II. Zeitstetige Markov Ketten ( q0 +β q 1 ) e (q 0+q 1 )t liefert: α = q 1 q 0 +q 1, β = 1 q 0 +q 1 p 10 (t) = q 1 q 0 +q 1 q 1 q 0 +q 1 e (q 0+q 1 )t (11.5.2004) 8. Grundlegende Struktur einer MK Voraussetzung: (R) (i) (p(t), t 0) SÜMF (ii) Intensitätsmatrix Q konservativ (iii) Pfade von (X t ) sind rechtsseitig stetig (z.b. erfüllt bei sup i S q i < ) Sprungzeiten: σ 0 := 0, σ 1 := inf{t > 0 X t X 0 }, σ n := inf{t > σ n 1 X t X σn 1 }, n 2 Verweildauern: { σn σ n 1 τ n := n 1, falls σ n 1 <, falls σ n 1 = Zustand zur Zeit σ n : { Xσn, falls σ Y n := n <, falls σ n = Y n 1 X t Y 3 Y 4 Y 0 Y 2 σ1 σ2 σ3 σ4 }τ4 t Satz 8.1 Unter der Voraussetzung (R) gilt: a) (Y n ) ist eine (zeitdiskrete) MK mit ÜM P = (p ), { q wobei p = q i, falls i j, falls 0 < q i < 0, falls i = j p = δ, falls q i = 0. b) τ 1, τ 2,... sind bedingt unter (Y n ) stochastisch unabhängig mit τ n exp(q yn 1 ), d.h. P (Y n+1 = j, τ n+1 > t F σn ) = i S p e q it 1 [Yn=i] fast sicher. 24

II. Zeitstetige Markov Ketten Bemerkung: a) Insbesondere läßt sich (X t ) aus der Beziehung X t = Y n, falls t [σ n, σ n+1 ) leicht simulieren. b) Umgekehrt: wird (X t ) wie in a) konstruiert, so ist (X t ) eine (zeitstetige) MK. Beweis: (teilweise): Wir zeigen: P i (σ 1 > t) = e qit, i s, t 0 t > 0 gilt: P i (σ 1 > t) = P i (X s = i, 0 s t) = lim n P i (X kt = i, 0 k 2n ) 2 n = lim n (p ii ( t n ))n Taylor: p ii ( t n = p ii(0) + p ii (0) t n + o( t n = 1 q it n + o( t n ) für n P i (σ 1 > t) = lim n (1 q it+n o( t n ) n ) n = e q it Rest: rechnen mit bedingten Wahrscheinlichkeiten. 9. Beispiele 9.1. Der Poisson-Prozess Definition: Eine MK (X t ) mit S = N 0 heißt Poisson-Prozess mit Parameter λ > 0, falls gilt t 0, i S mit P (X t = i) > 0: (i) P (X t+h = i + 1 X t = i) = λh + o(h) (ii) P (X t+h {i, i + 1} X t = i) = o(h) (iii) P (X t+h = j X t = i) = 0, 0 j < i (iv) X 0 0 Bemerkung: a) (X t ) ist also eine MK mit Intensitätsmatrix λ λ 0 0... 0 λ λ 0 Q = 0 0 λ λ...... b) lim h 0 p (h) = δ, also stetig in 0. c) sup i q i = λ <. Also Pfade von (X t ) rechtsseitig stetig. 5 4 3 2 1 ~exp( ) λ X t Zählprozess σ σ σ σ 1 2 3 4 25

II. Zeitstetige Markov Ketten Satz 9.1 Sei (X t ) ein Poisson-Prozess mit Parameter λ > 0. Dann gilt: { e a) p (t) = λt (λt) j i (j i)!, j i 0, j < i b) P (X t = i) = e λt (λt) i i!, i S, t 0 (also X t P oisson(λt)) c) (X t ) hat stationäre Zuwächse, d.h. für 0 s t : P (X t X s = i) = P (X t s = i) d) (X t ) hat unabhängige Zuwächse, d.h. für 0 t 1 < t 2 < < t n sind X t2 X t1, X t3 X t2,..., X tn X tn 1 Beweis: unabhängig. a) Da (p(t), t 0) offensichtlich eine SÜMF ist und sup i q i < gilt das Vorwärts-Dgl-System: p (t) = p(t)q Also: p ii (t) = λp ii(t), p (t) = λp (t) + λp 1, j i (p (t) = 0, j < i) Die Lösung des Vorwärts-Dgl. System ist wie folgt: p ii (t) = e λt, p (t) = λe λt t 0 eλs p 1 (s)ds j i + 1, j < i Insbesondere ergibt sich jetzt durch Induktion nach j = i, i + 1, : p (t) = e λt (λt) j i (j i)!, 0 i j j = i: klar! j j + 1: p +1 (t) = λe λt t 0 eλs (e λs }{{} = λe λt t 0 ( (λs)j i (j i)! )ds = e λt λ I.H. j+1 i tj+1 i (j+1 i)! b) P (X t = i) = P oisson(t) a) Behauptung. (λs) j i (j i)! )ds c) P (X t X s = i) = j S P (X s = j) P (X t = i + j X s = j) } {{ } P ji+j (t s)=p oisson(t s) = P oisson(t s) = P (X t s = i) d) Nachrechnen. Bemerkung: Erfüllt ein beliebiger Prozess (X t ) mit Zustandsraum S = N 0 die Bedingungen b),c),d) und ist X 0 0, so ist (X t ) notwendig ein Poisson-Prozess. 26

II. Zeitstetige Markov Ketten 9.2. Geburts- und Todesprozess Definition: Eine MK (X t ) mit S = N 0 heißt Geburts- und Todesprozess (GTP) mit Parameterfolgen (λ i ), (µ i ), λ i 0, µ i 0, µ 0 = 0, falls t 0, i S mit P (X t = i) > 0 gilt: (i) P (X t+h = i + 1 X t = i) = λ i h + o(h) (ii) P (X t+h = i 1 X t = i) = µ i h + o(h) (iii) P (X t+h {i 1, i, i + 1} X t = i) = o(h) Bemerkung: a) (X t ) ist eine MK mit Intensitätsmatrix λ 0 λ 0 0 µ 1 (µ 1 + λ 1 ) λ 1 0 Q = 0 µ 2 (µ 2 + λ 2 ) λ 2......... S = N 0, (λ i ), (µ i ) b) lim n 0 p (n) = δ, also stetig in 0. c) (X t ) erfüllt das Vorwärts-Rückwärts-Dgl-System: p (t) = p(t )Q, p (t) = Qp(t) (17.5.2004) Beispiel 9.1 (linearer Geburts- und Todesprozess) Gegeben: Population mit Anfangsbestand X 0 = a Individuen. Individuen teilen sich unabhängig voneinander in (t, t + h] mit Wahrscheinlichkeit λh + o(h) und sterben unabhängig voneinander in (t, t + h] mit Wahrscheinlichkeit µh + o(h) (λ, µ > 0). X t ˆ= der Individuen zur Zeit t 0. X 0 = a. P (X t+h = i + 1 X t = i) = ( i) 1 (λh + o(h))(1 (λ + µ)h + o(h)) (i 1) + ( i) 2 (λh + o(h)) 2 ( i 2) 1 (µh + o(h))(1 (λ + µ)h + o(h)) i 3 + = iλh + o(h) Analog: P (X t+h i + 2 X t = i) = o(h) P (X t+h = i 1 X t = i) = iµh + o(h) P (X t+h i 2 X t = i) = o(h) (X t ) ist ein Geburts- und Todesprozess mit Parameter λ i = λ i, µ i = µ i, ein sogenannter linearer GTP. 27

II. Zeitstetige Markov Ketten Beispiel 9.2 (M M - Warteschlange) Unendlich viele Bediener. Im Zeitintervall (t, t + h] kommt ein neuer Job mit Wahrscheinlichkeit λh + o(n) an. Die Jobs in Bedienung werden unabhängig voneinander mit Wahrscheinlichkeit µh + o(h) in (t, t + h] abgefertigt. X t ˆ= der Jobs im System zur Zeit t 0 (X t ) ist ein GTP mit Parametern λ i λ, µ i = µi, i N 0 Beispiel 9.3 (M M 1 - Warteschlange) 1 Bediener, Bedienstrategie: FCFS (First Come First Serve) Ankünfte wie oben. (X t ) ist ein GTP mit Parametern λ i λ, µ 0 = 0, µ i µ, i N 10. Invariante Maße und Grenzwertsätze Für die MK (X t ) seien folgende Regularitätsvoraussetzungen erfüllt: (R) (i) (p(t), t 0) sei eine SÜMF (ii) Q konservativ (iii) sup i S q i < (oder andere Bedingung, die Explosion verhindert [also nicht unendlich viele Zustandswechsel in endlichem Intervall]) Bedingung (iii) garantiert, daß der Prozess (X t ) nicht explodiert, d.h. bei der Konstruktion in 8 fast sicher nicht unendlich viele Sprünge in endlicher Zeit statt finden. Wie in 8 sei (Y n ) die eingebettete MK mit ÜM P = (p ) Definition: Die MK (X t ) heißt irreduzibel, falls die EMK (Y n ) irreduzibel ist. Bemerkung: (i) (X t ) irreduzibel p (t) > 0 t > 0, i, j S Da i, j S entweder p (t) > 0 oder p (t) 0, t 0 ( Lemma6.1, Seite 21) (ii) Eine Periode kann bei (X t ) nicht auftreten. ( Lemma6.1, Seite 21) (iii) Ist (X t ) irreduzibel, so kann (X t ) nur stabile Zustände besitzen. Die Begriffe rekurrent und transient werden in Kapitel I definiert. Es sei T i := inf{t 0 X t = i}, V i := inf{t 0 X t i}, T (1) i := inf{t > V i X t = i}, m i := E i [T (1) i ] und f = P i(t (1) j < ). i T i (1) 28

II. Zeitstetige Markov Ketten Definition: Ein stabiler Zustand j S heißt a) rekurrent, falls fjj = 1, sonst transient b) positiv rekurrent, falls j rekurrent und m j < c) null rekurrent, falls j rekurrent und m j = Lemma 10.1 Ein stabiler Zustand ist genau dann rekurrent für (X t ), wenn dies für (Y n ) der Fall ist. Beweis: folgt sofort aus der Definition Bemerkung: (i) Lemma 10.1 gilt nicht für die Begriffe positiv-/null- rekurrent. (ii) Ist (X t ) irreduzibel, so sind alle Zustände transient oder rekurrent Definition: Sei (X t ) eine MK mit SÜMF (p(t), t 0). Ein Maß µ : S R +, µ 0 heißt invariantes Maß falls t 0 : µ = µp(t), d.h. j S : µ i = i S µ ip (t). Gilt i S µ i = 1, so heißt µ Gleichgewichtsverteilung oder stationäre Verteilung. Bemerkung: (i) Ist P (X 0 = j) = µ j, so gilt P (X t = j) = µ j j S, denn: P (X t = j) = i S µ ip (t) = µ j (ii) Ist (X t ) irreduzibel und µ ein invariantes Maß, so ist µ j > 0 j S. Lemma 10.2 Sei (X t ) eine reguläre MK, d.h. (R) ist erfüllt. Es gilt: a) µ ist ein invariantes Maß für (X t ) µq = 0 b) Ist (X t ) irreduzibel, so gilt: ist ν ein invariantes Maß für die EMK (Y n ), so ist Beweis: µ = ( νi q i )i S ein invariantes Maß für (X t). Umgekehrt: ist µ ein invariantes Maß für (X t ), so ist µ = (q i µ i ) i S ein invariantes Maß für (Y n ). a) Unter (R) gelten die Vorwärts- und Rückwärts-Dgl.: p (t) = p(t)q, p (t) = Qp(t) Dann gilt (komponentenweise): p(t) = I + t 0 p (s)ds ( ) = I + t ( ) 0 p(s)dsq = I + Q t 0 p(s)ds Sei µ ein invariantes Maß für (X t ) µ = µp(t) t 0 29

II. Zeitstetige Markov Ketten ( ) µ = µ + µqt t 0, also µqt = 0 t 0 µq = 0 Falls µq = 0 ( ) µp(t) = µ t 0 Behauptung. b) Alle Zustände sind stabil: 0 < q i < i S. q 1 0 0 0 q 2 0 Es sei diag(q) = 0 q 3 0 obda S = N.... Q = diag(q)(p I) (nach Satz 8.1, Seite 24, wobei P die ÜM der EMK (Y n ) ist). Aus a) folgt: µ ist invariantes Maß für (X t ) 0 = µq = µ diag(q)(p I) = (µ i q i ) i S (P I) (µ i q i ) i S ist ein invariantes Maß für (Y n ). (18.5.2004) Bemerkung: Aus Satz 3.1 7 folgt: ist (X t ) irreduzibel und rekurrent, so gibt es ein (bis auf Vielfache) eindeutiges invariantes Maß. T 0 j = inf{t 0 X t = j} 8 V 0 j := inf{t > T j 0 X t j}, T j := inf{t > Vj 0 X t = j} f = P i(t j < ) m i = E i [T i ] Satz 10.3 Sei (X t ) eine reguläre MK. Für alle i, j S gilt: lim t p (t) = P i(t 0 j < ) m j q j, wobei für absorbierendes j (q j = 0, m j = ), m j q j := 1. Beweis: (teilweise) Sei j absorbierend: p (t) = P i (Tj 0 t) t 0 lim t Behauptung. Sei j stabil: 1. Fall: j transient: wegen m j = E j [T j ] = z.z. lim t p (t) = 0. Für ε > 0 ist (X εn ) n N0 eine diskrete MK mit ÜM P (ε). j ist transient für (X εn ) lim n p (εn) = 0. Nach Lemma 6.1 9 a) ist p (t) gleichmäss ig stetig in t. behauptung mit ε 0. 2. Fall: j rekurrent. o.b. (schwieriger). 7 Seite 13 8 Nicht mit den Formeln von gestern verwechseln! 9 Seite 21 30

II. Zeitstetige Markov Ketten Satz 10.4 Sei (X t ) eine reguläre irreduzible, rekurrente MK. Dann gilt: a) lim t p (t) = 1 m j q j i, j S, unabhängig von i. b) (X t ) besitzt eine Gleichgewichtsverteilung µ = (µ i ). S j S, j ist positiv rekurrent. In diesem Fall ist µ i = 1 m j q j > 0 j S und alle Zustände sind positiv rekurrent. Beweis: a) (X t ) irreduzibel 0 < q j < j S. Bleibt z.z. P i (Tj 0 < ) = 1 i, j S. P i (Tj 0 < ) = 1 P i(tj 0 = ) = 1 P i(y n j, n N) = 1, da (Y n ) irreduzibel. b) Sei µ eine Gleichgewichtsverteilung von (X t ), d.h. µ = µp(t), t 0. µ j = lim t i S µ ip (t) = 10 i S µ i lim t p (t) = 1 } {{ } m j q j 1 m j q j m j = 1 µ j q j. Da 0 < q j < und 0 < µ j < 1 nach Voraussetzung, folgt m j <, also j positiv rekurrent j S. Umgekehrt: Sei j S positiv rekurrent. Definiere µ j := 1 m j q j > 0 i S, t 0 gilt: µ i = lim s p ii (s + t) C.K. = lim s j S p (s)p ji (t) 11 j S (lim s p (s))p ji (t) = j S µ jp ji (t) Da p ji (t) > 0 i, j S, t > 0 folgt µ i > 0 i S und i S µ i j S µ j p ji (t) } {{ } =1 = j S µ j, also µ = µp(t) t 0. Außerdem gilt: j S µ j = j S lim t p (t) lim t j S p (t) = 1 und µ j = lim t µ i p (t) = 12 i S µ i lim t p (t) = µ j i S } {{ } µ i =µ j i S µ i = 1 Bemerkung: (i) Sei (X t ) positiv rekurrent. Dann ist die EMK (Y n ) positiv rekurrent j S 1 m j <, da (q j µ j ) j S = ( 1 m j ) j S ein invariantes Maß für (Y n ). (ii) Sei die EMK (Y n ) positiv rekurrent j S π j q j < i S 10 majorisierende Konvergenz 11 Fatou 12 majorisierende Konvergenz 31

II. Zeitstetige Markov Ketten (iii) Ist (X t ) eine reguläre, irreduzible rekurrente MK, so ist ein invariantes Maß µ für (X t ) gegeben durch µ j := E i [ T j 0 1 [Xt=j]dt] j S, i S beliebig. Beispiel 10.1 (GTP) (X t ) sei ein allgemeiner GTP mit Geburtsraten λ j > 0 und Sterberate µ j > 0 (X t ) ist irreduzibel. (X t ) sei regulär ( n=0 Wann ist (X t ) positiv rekurrent? Löse πq = 0! Q = 1 λ nξ n j=0 ξ j =, mit ξ 0 = 1, ξ n = λ 0 λ n 1 µ 1 µ n, n N) λ 0 λ 0 0 µ 1 (µ 0 + λ 1 ) λ 1 0 0 µ 2 (µ 1 + λ 2 ) λ 2 0... 0 = λ 0 π + µ 1 π 1 0 = λ 0 π 0 (λ 1 + µ 1 )π 1 + µ 2 π 2. 0 = λ i π i (λ i+1 + µ i+1 )π i+1 + π i+2 µ i+2, i 1 π 1 = λ 0 µ 1 π ( 0 ) π 2 = 1 (λ1 +µ 1 )λ 0 µ 2 µ 1 π 0 λ 0µ 1 µ 1 π 0 = λ 0λ 1 µ 1 µ 2 π 0 Vermutung: π i+1 = λ 0 λ i µ 1 µ i+1 π 0, i 0 Beweis: Einsetzen: λ 0 = λ 0 λ i 1 i µ 1 µ i π 0 (λ i+1 + µ i+1 ) λ 0 λ i λ µ 1 µ i+1 π 0 + µ 0 λ i+1 i+2 µ 1 µ i+2 π 0 λ = λ 0 λ i 1 i µ 1 µ i (λ i+1 + µ i+1 ) λ 0 λ i λ µ 1 µ i+1 + µ 0 λ i+1 i+2 µ 1 µ i+2 = (λ i+1 ) λ 0 λ i λ µ 1 µ i+1 + µ 0 λ i+1 i+2 µ 1 µ i+2 = λ 0 λ i+1 µ 1 µ i+1 + λ 0 λ i+1 µ 1 µ i+1 = 0 13 (X t ) positiv rekurrent n=1 λ 0 λ n µ 1 µ n+1 < Die stationäre Verteilung ist π i+1 = λ 0 λ i µ 1 µ i+1 π 0, i 0 13 ohne Gewähr! 32

II. Zeitstetige Markov Ketten (24.5.2004) 11. Warteschlangentheorie Wir machen nun die folgenden Annahmen: Jobs kommen stets einzeln an. Die Zwischenankunftszeiten seinen iid und exp(λ), λ > 0. (d.h. Ankunftsprozess=Poisson-Prozess) Jobs werden einzeln abgefertigt nach der FCFS Bedienstrategie. Die Bedienzeiten seien unabhängig und exponential verteilt. X t sei stets die Anzahl der wartenden Jobs zur Zeit t. 11.1. M M 1-Modell 1 ˆ=1 Bediener Bedienzeiten iid exp(µ) (X t ) ist ein GTP mit Parameter λ i λ, µ 0 = 0, µ i µ, i N. Es sei ρ := λ µ die sogenannte Verkehrsintensität ((X t) ist regulär!) Satz 11.1 Das M M 1-Modell ist positiv rekurrent ρ < 1 In diesem Fall ist die Gleichgewichtsverteilung π geometrisch; π i = (1 ρ)ρ i, i N 0 Beweis: siehe Beispiel 10.1 14 : (X t ) positiv rekuirrent n=1 λ 0 λ n µ 1 µ n+1 = 15 n=1 λn+1! < λ < µ µ n+1 ( i Als Lösung von πq = 0 ergab sich: π i = λ µ) π0, i N 0 i=0 π i = π 0 i=0 ρi = π 0! = 1 π 0 = 1 ρ 1 ρ Behauptung. Insbesondere gilt im Gleichgewicht : 16 P (X = 0) = π 0 = 1 ρ: Wahrscheinlichkeit, daß der Bediener unbeschäftigt ist. EX = ρ 1 ρ : durchschnittliche Anzahl von Jobs im System 11.2. M M -Modell ˆ= viele Bediener vorhanden (X t ) ist ein GTP mit Parametern λ i λ, µ i = iµ, i N 0 Es sei η := λ µ. ((X t) ist regulär!) 14 Seite 32 15 gemoetrische Reihe 16 X t konvergiert in Verteilung gegen X 33

II. Zeitstetige Markov Ketten Satz 11.2 Das M M -Modell ist stets positiv rekurrent. Die Gleichgewichtsverteilung ist eine Poisson-Verteilung mit Erwartungswert η. Beweis: (X t ) positiv rekurrent ( ) 1 λ n+1 n=1 (n+1)! < η R µ } {{ } =η ) ( λ Gleichgewichtsverteilung: π i = µ i=0 } {{ } =η i 1 i! π 0 η i i! = π 0 e η! = 1 π 0 = e η 11.3. Erlangs loss system Telefonzentrale: k Leitungen. Ankünfte von Anrufen gemäß eines Poisson-Prozesses mit Parameter λ > 0. Rufdauern iid exp(µ), µ > 0. Sind alle Leitungen besetzt, geht ein ankommender Anruf verloren. Wie groß ist (im Gleichgewicht) der Bruchteil verloren gegangener Anrufe? X t = der besetzten Leitungen zur Zeit t 0. (X t ) ist GTP mit Parameter λ i λ, i = 0,..., k 1 und λ i = 0, i = k, k + 1,..., µ i = µi, i = 0,..., k und µ i = 0, i = k + 1, k + 2,... (X t ) positiv rekurrent, da n=1 λ 0 λ n µ 1 µ n+1 = k n=1 < Gleichgewichtsverteilung: η := λ µ, π i = ηi i! π 0, i = 0,..., k k i=0 π i = π k η i! 0 i=0 i! = 1 [ k ] π i = ηi η i 1 i! i=0 i! Bruchteil verloren gegangener Anrufe: E k (η) = ηk k! [ k i=0 η i i! ] 1 Erlang Loss Formel π k =: E k (η) heißt Erlang-Koeffizient. 11.4. Jackson-Netzwerk α 1 α j α N 1 j N µ j µ 1 p µ N jj p jn p j1 Jeder Job kann mit entsprechender Wahrscheinlichkeit nacheinander verschiedene Stationen durchlaufen. In der Regel verläßt er irgendwann das System p < 1 34

II. Zeitstetige Markov Ketten N Stationen, 1 Bediener pro Station. Poisson-Ankünfte an der Station j mit Intensität α j > 0, j = 1,..., N Bedienzeiten an Station j exponential verteilt mit Parameter µ j > 0, j = 1,..., N Routingwahrscheinlichkeiten: 0 p 1, i, j [1,..., N], N j=1 p 1, P = (p ) heißt Routing Matrix. Voraussetzung: P n 0 17 für n. z.b. erfüllt, falls N j=1 p < 1, i = 1,..., N ( P transient ) (I P ) 1 existiert. Verkehrsgleichungen: λ k = α k + N i=1 λ ip ik, k = 1,..., N ( ) λ k =nominale, totale Ankunftsrate an Station k. λ = α + λp λ(i P ) = α λ V or. = α(i P ) 1 eindeutige Lösung von ( ). Sei jetzt: X t = (X 1 (t),..., X N (t)), X j (t) = der wartenden Jobs an Station j zur Zeit t 0. Alle Vorgänge seien unabhängig voneinander. (X t ) ist eine MK mit Intensitätsmatrix Q = (q ), wobei für i, j N N 0 = S : α k, j = i + e k, k = 1,..., N q = µ k p kl δ(i k ), j = i e k + e l, k, l = 1,..., N, i j1819 µ k p k0 δ(i k ), j = i e k, k = 1,..., N (p j0 := 1 N k=1 p jk) e k = k-ter Einheitsvektor e k + i bedeutet Zustandsvektor i wird in Komponente k um 1 erhöht. Unter den Voraussetzungen ist (X t ) irreduzibel. Lösen von πq = 0 : i S π(i)q = 0 j S = N N 0 Global-balance-Gleichungen: [ N π(j) k=1 α k + ] N k=1 δ(j k)µ k q ji i S π(i)q = π(j) i S } {{ } =0 j S global balance = N k=1 π(j e k)α k δ(j k ) + N k=1 π(j + e k)µ k p k0 + N l=1 N k=1 π(j + e l e k )µ l p lk δ(j s ), j S 17 Nullmatrix 18 Diagonalelemente = 0! 19 δ meint das Kronecker-Symbol. 35

II. Zeitstetige Markov Ketten Local-balance Gleichungen: für jede Station gelte Ausflußrate=Einflußrate Station k: (1) π(j)µ k = π(j e k )α k + N l=1 π(j e l e k )µ l p lk, j k > 0 Station 0 : 20 (2)π(j) N k=1 α k = N k=1 π(j + e k)µ k p k0, j S (1) π(j + e k )µ k = π(j)α k + N π(j) 1 = π(j+e k )µ k α k + N λ k = π(j)λ k π(j+e k )µ k α k + N l=1 l=1 π(j + e k)µ l p lk, j S µ l µ k p lk, j S π(j+e l ) l=1 π(j+e k ) π(j+e l ) π(j+e k ) µ l λ µ k p k λ l lk λ l, j S Da λ k = α k + N i=1 λ ip ik, k = 1,..., N eine eindeutige Lösung besitzt, folgt mit Koeffizientenvergleich: π(j) (i) λ k π(j+e k )µ k = 1 π(j) π(j+e k ) = µ l (ii) λ k π(j+e l ) µ l λ l π(j+e k ) µ k = 1 π(j+e l) π(j+e k ) = λ l µ k λ k (i) π(j) = λ 1 µ 1 π(j e 1 ) = = ( N λk k=1 Normierung: λ k, j S, k = 1,..., N µ l, j S, k, l = 1,..., N 1 = j S π(j) = π( 0 ( ) jk N λk j S k 1 µ k = π( 0 N 1 k=1, falls ρ 1 λ k k := λ k µ k < 1, k = 1,..., N µ k Somit: (X t ) positiv-rekurrent, falls ρ k < 1, k = 1,..., N. µ k ) jk π( 0) (ii) ist ebenfalls erfüllt. (25.5.2004) ( j S = j 1 =0 j N =0 ) Satz 11.3 Das Jackson-Netzwerk ist positiv rekurrent ρ k := λ k µ k < 1, k = 1,..., N. In diesem Fall ist die Gleichgewichtsverteilung gegeben durch π(j 1,..., j N ) = N k=1 (1 ρ k)ρ j k k. Bemerkung: Die Darstellung der Gleichgewichtsverteilung in Satz 11.3 heißt auch Produktform, da P (X 1 (t) = j1,..., X N (t) = j N ) = N k=1 P (X k(t) = j k ) 20 alles außerhalb des Netzwerks 36

II. Zeitstetige Markov Ketten 12. Reversibilität Definition: Ein stochastischer Prozess (X t ) t R 21 heißt reversibel, falls (X t1,..., X tn ) α = (X t1,..., X tn ) für alle < t 1 < < t n <, R, n N 22 Definition: Ein stochastischer Prozess (X t ) t R heißt stationär, falls (X t1,..., X tn ) α = (X t1 +,..., X tn+ ) für alle < t 1 < < t n <, R, n N Satz 12.1 Eine reguläre, stationäre MK ist reversibel Verteilung (π j ) j S, π j > 0 j S, so daß die detailed balance-gleichungen π j q jk = π k q kj j, k S erfüllt sind. In diesem Fall ist (π j ) j S die Gleichgewichtsverteilung der MK. Beweis: Sei die MK reversibel. Dann ist (X t ) auch stationnär, da (X t1,..., X tn ) α = (X t1,..., X tn ) α = (X t1 +,..., X tn+ ). Weiter gilt: P (X t = j, X t+ = k) = P (X t = k, X t+ = j), > 0. Sei π j := P (X t = j) für t R fest. P (X t+ = k X t = j) π j } {{ } q jk, 0 ohne Beweis. = π k P (X t+ = j X t = k) } {{ } q kj für 0 Lemma 12.2 Für eine reguläre, stationäre MK mit Zustandsraum S gilt für alle A S: j A k S\A π jq jk = j A k S\A π kq kj wobei (π j ) j S die Gleichgewichtsverteilung ist. Beweis: Es gilt: π j = k S π kq kj j S k S q jk } {{ } =0 j A k S π jq jk j A k A π jq jk + Behauptung. = j A k S π kq kj = j A k A π kq kj Sei (X t ) eine MK. Assoziierter Graph: Ecken: S Kanten: Kante zwischen j und k q jk > 0 oder q kj > 0 k j Lemma 12.3 Ist der assoziierte Graph einer regulären, stationären MK ein Baum, so ist die MK reversibel. Beweis: z.z.: (nach Satz 12.1 23 ) π j q jk = π k q kj j, k S, j k. Fall 1: Kante zwischen j und k q jk = q kj = 0 Behauptung. 21 kein Anfang 22 Vorwärts oder Rückwärts egal 23 Seite 37 37

II. Zeitstetige Markov Ketten Fall 2: Kante zwischen j und k. Da G ein Baum, zerfällt der Graph nach Wegnahme der Kante (j, k) in zwei disjunkte Mengen A S, S\A und j A, k S\A. Lemma 12.2 π k q jk = k 1 A k 2 S\A π k 1 q k1 k 2 = k 1 A k 2 S\A π k 2 q k 2k1 = π k q kj Beispiel 12.1 Graph eines GTP: 1 2 3 4 5 6 ist ein Baum jeder stationäre GTP ist reversibel. Insbesondere: X t = der wartenden Jobs im M M 1-Modell ist ein GTP, also reversibel, falls λ < µ. X t der Abgangsprozess der Jobs ist selbst wieder ein Poisson-Prozess mit Parameter λ. t ENDE 38

III. Literatur zur Vorlesung III. Literatur zur Vorlesung Literatur zur Vorlesung Stochastische Prozesse Aldous, D., J.A. Fill: Brémaud, P. (1999): Chung, K.L. (1967): Feller, W. (1968/71): Norris, J. (1997): Resnick, S. (1992): Ross, S. (1996): Shiryaev, A.N. (1996): Reversible Markov Chains and Random Walks on Graphs. Buchmanuskript. http://www.stat.berkeley.edu/users/aldous/rwg/book.html Markov Chains: Gibbs Fields, Monte Carlo Simulation and Queues. Springer, New York. Markov Chains with Stationary Transition Probabilities. Spring, Berlin. An Introduction to Probability Theory, Vol I/II Wiley, New York Markov chains. Cambridge University Press. http://www.statslab.cam.ac.uk/ james/markov/ Adventures in Stochastic Processes. Birkhäuser, Boston. Stochastik Processes. Wiley, New York. Probability. Springer, New York. Simulation von Markov-Ketten mit 4 Zuständen: http://people.hofstra.edu/faculty/stefan Waner/markov/markov.html 39