II. Markov-Ketten in stetiger Zeit

Transkript

1 II. Markov-Kette i stetiger Zeit 7. Ei wichtiger Spezialfall: der Poisso-Prozess Gegebe sei ei Wahrscheilichkeitsraum (Ω, F, P ). Wir betrachte jetzt eie stochastische Prozess N = (N t ) t mit Zustadsraum N, d.h. (N t ) t ist eie Familie vo (F, P(N ))- messbare ZV, der bestimmte Ereigisse zähle soll (z.b. Emissio vo Partikel beim radioaktive Zerfall, Aküfte vo Kude i eiem Bediesystem, Schäde bei eier Versicherug). Wir ehme a, dass midestes ei Ereigis eitritt ud die Azahl der Ereigisse i eiem kompakte Itervall soll edlich sei. Wir stelle folgede Forderuge a N: (A1) Alle Pfade t N(t, ω) liege i D := {f : [, ) N f() =, f, f stetig vo rechts }. (A2) (N t ) t hat uabhägige Zuwächse, d.h. für alle t t 1 t, N sid die Zufallsvariable N t, N t1 N t,..., N t N t 1 stochastisch uabhägig. (A3) (N t ) t hat statioäre Zuwächse, d.h. t > hägt die Verteilug vo N s+t N s icht vo s ab. (A4) Ereigisse trete eizel auf, d.h. P (N h 2) = o(h) mit h. Bemerkug: Der stochastische Prozess ka als Zufallsgröße mit Werte i eiem Fuktioeraum aufgefasst werde, d.h. Als σ-algebra auf D wähle wir N : Ω ω N(, ω) D B(D ) := σ({π t : t }), wobei π t : D N, f f(t) die t-te Projektio ist. Es gilt: N : Ω D ist (F, B(D ))-messbar N t = π t N : Ω N sid (F, P(N ))- messbar t. (Stochastik II Übugsaufgabe 21) Die Mege der Form A(t 1,..., t, i 1,..., i ) := {f D f(t j ) f(t j 1 ) = i j für j = 1,..., } mit =: t t 1 t <, i 1,..., i N bilde ei durchschittsstabiles Erzeugedesystem vo B(D ). 31

2 II. Markov-Kette i stetiger Zeit Satz 7.1 Es sei N = (N t ) t ei stochastischer Prozess, der de Bediguge (A1)-(A4) geügt. Da hat N mit Wahrscheilichkeit 1 ur Sprüge der Höhe 1 ud es existiert ei λ >, so dass: a) s, t ist N s+t N s Poisso-verteilt mit Parameter λt. b) Die Zeite zwische aufeiaderfolgede Sprüge des Prozesses sid uabhägig ud expoetialverteilt mit Parameter λ. Beweis Sprüge der Höhe 1: Es ist also zu zeige: wobei N s der liksseitige Grezwert ist. Für festes t > gilt: P (N s N s 2 für ei s > ) = P (N s N s 2 für ei s (, t]) P (N kt P (N t N (k 1)t 2) 2 für ei k {1,..., }) (das letzte gilt wege (A3)). Aus (A4) folgt: lim P (N t t 2) t =. Weiter gilt mit Stetigkeit des Wahrscheilichkeitsmaßes: P (N s N s 2 für ei s > ) = lim t P (N s N s 2 für ei s (, t]) =. a) Betrachte dazu Φ : [, ) [, 1] mit Φ(t) := P (N t = ). Für alle s, t > folgt: Φ(s + t) = P (N s =, N s+t N s = ) = P (N s = ) P (N t = ) (ach (A3) ud (A2)) = Φ(s) Φ(t). Daraus folgt, dass Φ( k ) = (Φ( 1 ))k ud Φ(1) = Φ( ) = (Φ( 1 )) für k, N gilt. Das heißt, dass Φ( k ) = (Φ(1)) k. Da Φ falled ist, folgt mit eiem Eischachtelugsargumet: Φ(t) = (Φ(1)) t für alle t >. 32

3 7. Ei wichtiger Spezialfall: der Poisso-Prozess Weiter ist Φ(1) (, 1), da Φ(1) [, 1] ud falls Φ(1) = 1, da wäre P (N t = für alle t ) = lim t Φ(t) = 1 im Widerspruch zur Forderug, dass midestes ei Ereigis eitritt, ud wäre Φ(1) =, da gälte für alle N P (N 1 ) P (N k N k 1 1 für k = 1,..., ) ( = 1 Φ( 1 ) ) ((A2), (A3)) = 1 im Widerspruch zur Forderug, dass i kompakte Itervalle ur edlich viele Ereigisse eitrete. Sei jetzt λ := log Φ(1). Es ist < λ < ud P (N t = ) = (Φ(1)) t = e λt. Weiter sei t > ud für N defiiere wir ( ) X k := 1 N N kt N (k 1)t { 1, falls midestes ei Ereigis i [ (k 1)t =, kt ) eitritt, sost Wege (A2) sid X 1,..., X uabhägig ud wege (A3) idetisch verteilt mit B(1, 1 e λ t ). Da gilt da (1 e λ t ) Aus (A4) folgt: λt. X k B(, 1 e λ t ) k=1 d Po(λt) P ( X k N t ) = P ( k=1 ud damit habe wir gezeigt, dass b) Sei der erste Sprugzeitpukt. Wir erhalte {N kt k=1 P (N t N t Po(λt). N (k 1)t 2) T 1 := if{t > N t } 2}) P (T 1 > t) = P (N t = ) = e λt mit t ud damit Die weitere Aussage werde später gezeigt. T 1 Exp(λ). 33

4 II. Markov-Kette i stetiger Zeit Bemerkug: Der Prozess N = (N t ) t i Satz 7.1 heißt Poisso-Prozess mit Parameter λ. Die Bediguge (A2) ud (A3) köe etwas abstrakter gefasst werde: Für u defiiere S u : D D, f f( u) Z u : D D, wobei ( u) die Abbildug v mi(v, u) darstellt. Beide Abbilduge sid (B(D ), B(D ))-messbar. f f(u + ) f(u) Wir köe also auch stochastische Prozesse S u (N) = (N t u ) t ud Z u (N) = (N u+t N u ) t als Zufallsgröße mit Werte i (D, B(D )) auffasse. Weiter gilt mit A(t 1,..., t ; i 1,..., i ) := {f D f(t j ) f(t j 1 ) = i j für j = 1,..., }, wobei =: t t 1 t <, i 1,..., i N, dass ud {S u (N) A(t 1,..., t ; i 1,..., i )} = {N t1 u N t u = i 1,..., N t u N t 1 u = i } {Z u (N) A(s 1,..., s l ; j 1,..., j l )} = {N u+s1 N u+s = j 1,..., N u+sl N u+sl 1 = j l } Wege (A2) folgt: P ( S u (N) A(t 1,..., t ; i 1,..., i ), Z u (N) A(s 1,..., s l ; j 1,..., j l ) ) = P ( S u (N) A(t 1,..., t ; i 1,..., i ) ) P ( Z u (N) A(s 1,..., s l ; j 1,..., j l ) ) ud daraus die Uabhägigkeit der Prozesse S u (N) ud Z u (N). Aalog folgt mit (A3): P ( Z u (N) A(s 1,..., s l ; j 1,..., j l ) ) = P ( N A(s 1,..., s l ; j 1,..., j l ) ) Also habe Z u (N) ud N dieselbe Verteilug. Diese Aussage köe jetzt auf Stoppzeite verallgemeiert werde. Es sei dazu F t := σ({n s, s t}) für t ud (F t ) t die atürliche Filtratio. Defiitio Sei τ eie (F t ) t -Stoppzeit, das heißt {τ t} F t. Der Prozess heißt Prä-τ-Prozess ud der Prozess S τ (N) = (N τ t ) t heißt Post-τ-Prozess. Z τ (N) = (N τ+t N τ ) t 34

5 7. Ei wichtiger Spezialfall: der Poisso-Prozess Lemma 7.2 Ist τ eie edliche Stoppzeit, so sid die Prozesse (N τ t ) t ud (N τ+t N τ ) t stochastisch uabhägig. Außerdem hat (N τ+t N τ ) t dieselbe Verteilug wie (N t ) t. Beweis Zuächst ehme wir a, dass τ Werte i Q + aimmt. Für =: s s 1 s k <, =: t t 1 t l < ud beliebige i 1,..., i k, j 1,..., j l N gilt C := P ( ) S τ (N) A(s 1,..., s k ; i 1,..., i k ), Z τ (N) A(t 1,..., t l ; j 1,..., j l ) }{{}}{{} =:A =:B = P (τ = u, S u (N) A, Z u (N) B) u Q + Da {τ = u} F u ka dieses Ereigis durch S u (N) ausgedrückt werde. Da S u (N) ud Z u (N) uabhägig sid, folgt: = P (τ = u, S u (N) A) P (Z u (N) B) }{{} u Q + = P (N B) P (S τ (N) A) Im Fall k = 1, s 1 =, i 1 = folgt: also gilt Z τ (N) d = N ud damit =P (N B) P (Z τ (N) B) = P (N B) P (S τ (N) A, Z τ (N) B) = P (Z τ (N) B) P (S τ (N) A) also sid Z τ (N) ud S τ (N) uabhägig. Weiter sei τ beliebig. Betrachte die Folge τ := 2 τ 2, N, für die τ Q + P -fast-sicher gilt ud τ τ für. Mit (A1) folgt für alle t N τ t N τ t, N τ+t N τ+t P -fast-sicher ud P (S τ (N) A, Z τ (N) B) = lim P (S τ (N) A, Z τ (N) B) = lim P (S τ () A) P (Z τ (N) B) = P (S τ (N) A) P (Z τ (N) B) Aalog ka ma die Aussage Z τ (N) d = N auf beliebige τ erweiter. 35

6 II. Markov-Kette i stetiger Zeit Damit köe wir de Beweis vo Satz 7.1 abschließe: Es seie T 1 := if{t > N t } S 1 := T 1 S k := if{t > S k 1 N t N t }, k = 2, 3,... T k := S k S k 1, k = 2, 3,... Wir wisse bereits, dass T 1 exp(λ). Iduktiv ehme wir a, dass T 1,..., T k uabhägig ud idetisch expoetial-verteilt seie. τ := T T k = S k ist eie Stoppzeit, da {τ t} = {N t k} F t. Da P (τ > t) = P (N t < k) für t gilt, ist τ P -fast-sicher edlich. T k+1 ist die Zeit bis zum erste Sprug im Post-τ-Prozess. Nach Lemma 7.2 ist T k+1 d = N1 d = N 1 N d = T1 exp(λ) ud T k+1 ist uabhägig vo S τ (N), also auch vo T 1,..., T k. Beispiel 7.1 (Bedigte Gleichverteilugseigeschaft) Es seie K, X 1, X 2,... uabhägige Zufallsvariable mit K Po(λT ), T >, ud X i U(, T ). Wir defiiere N t := #{1 i K X i t}, t. Es sei =: t t 1 t = T eie Zerlegug des Itervalls [, T ]. Betrachte für i 1,..., i N das Ereigis A := {N t1 N t = i 1,..., N t N t 1 = i }. Für ω A folgt k := K(ω) = i i. Ma erhält (siehe Defiitio der Multiomialverteilug, Heze, Stochastik I, S. 121) λt (λt )k P (N t1 N t = i 1,..., N t N t 1 = i ) = e k! = l=1 k! i 1! i! ( t1 t T e λ(t l t l 1 ) (λ(t l t l 1 )) i l i l! }{{} =P (M l =i l ) ) i1 ( t t ) 1 i T wobei M l Po(λ(t l t l 1 )). Das zeigt: Die Zuwächse des Prozesses Ñ = (N t) t T sid uabhägig ud statioär ud Poisso-verteilt mit Parameter λ Itervallläge, ud (A1), (A4) ist erfüllt, also ist Ñ ei bei T gestoppter Poisso-Prozess. Beispiel 7.2 (Das Ispektios-Paradoxo) Es seie X 1, X 2,... uabhägig ud idetisch verteilte Zufallsvariable mit X k exp(λ), welche die Lebesdauer vo Glühbire modelliere. Es sei S := k=1 X k der Zeitpukt, a dem die -te Bire kaputt geht ud eie eue Bire eigesetzt wird, ud N t die Azahl der Ereueruge bis zum Zeitpukt t ud damit ei Poisso- Prozess mit Parameter λ. I der Ereuerugstheorie iteressiert ma sich für V t := S Nt+1 t = Restlebesdauer W t := t S Nt = Alter L t := W t + V t = Gesamtlebesdauer 36

7 8. Der allgemeie Fall im Schelldurchgag der zum Zeitpukt t i Gebrauch befidliche Glühbire. Es ist V t exp(λ), da die Expoetialverteilug gedächtislos ist. Die Variable W t ka höchstes t sei, das heißt P (W t > s) = für s > t. Für s t gilt P (W t s) = P (N t N t s = ) = e λs. Damit ist F Wt (s) = { 1 e λs, s t 1, s t. Außerdem sid ach der starke Markoveigeschaft die Zufallsvariable W t ud V t uabhägig. L t ergibt sich als Faltug dieser Variable. Die Dichte f Lt für s t: ud für s < t: f Lt (s) = = f Lt (s) = s t f Vt (s u)f Wt (du) λe λ(s u) λe λu du + λe λ(s t) e λt = λ(1 + λt)e λs s = λ 2 se λs λe λ(s u) λe λu du Also ist L t icht exp(λ)-verteilt! Für großes t gilt EL t 2EX i = 2 λ. Dieses Ergebis lässt sich erkläre: Ispiziert ma zu eier zufällige Zeit die aktuell leuchtede Glühbire, so ist die Wahrscheilichkeit, eie läger lebede zu erwische, größer, als eie kurzlebige Bire azutreffe. 8. Der allgemeie Fall im Schelldurchgag Defiitio Ei stochastischer Prozess (X t ) t mit abzählbarem Zustadsraum S heißt (homogee) Markov- Kette, falls gilt: Für alle N ud t < t 1 < < t, t, h > ud i k S mit P (X tk = i k, k ) > : P (X t+h = i +1 X tk = i k, k ) = P (X t+h = i +1 X t = i ) Bemerkug: Defiiere wir für alle i, j S p ij (t) := P (X t = j X = i) = P (X t+h = i +1 X t = i ) ud die Matrix P (t) = ( p ij (t) ) i,j S, 37

8 II. Markov-Kette i stetiger Zeit so gelte aalog zum diskrete Fall die Chapma-Kolmogorov-Gleichuge für alle i, j S, s, t > : p ij (t + s) = k S p ik (t)p kj (s) Mit P () = E wird {P (t) : t } zu eier Halbgruppe vo stochastische Matrize. Diese ee wir Übergagsmatrizefuktio. Falls zusätzlich für i, j S lim t p ij (t) = δ ij gilt, also P (t) rechtsseitig stetig i ist, da heißt sie Stadardübergagsmatrizefuktio. Satz ud Defiitio 8.1 Sei {P (t) : t } eie Stadardübergagsmatrizefuktio. Da ist jedes p ij (t) i rechtseitig differezierbar, das heißt es existiert für alle i, j S 1 q ij := lim t t (p ij(t) δ ij ). Die Matrix Q := (q ij ) heißt Itesitätsmatrix oder ifiitesimaler Erzeuger (Geerator) zu {P (t) : t }. Beispiel 8.1 Es sei N = (N t ) t ei Poisso-Prozess mit Itesität λ. Da gilt für i +1 i : P (N t+1 = i +1 N t = i,..., N t = i ) = P (N t+1 N t = i +1 i ) Also ist N eie homogee Markov-Kette mit Übergagsmatrix p ij (t) = {e λt (λt) j i (j i)!, = e λ(t +1 t ) (λ(t +1 t )) i +1 i (i +1 i )! falls j i, sost weiter gilt 1 λ, falls j = i + 1 lim t t (p ij(t) δ ij ) = λ, falls j = i, sost. Lemma 8.2 Sei {P (t) : t } eie Stadardübergagsmatrizefuktio. Da gilt für q ij := p ij (): a) q ij <, i j, q ii. b) j i q ij q ii =: q i. Falls S edlich ist, gilt für alle i S: q i = j i q ij. I diesem Fall heißt die Stadardübergagsmatrizefuktio koservativ. 38

9 8. Der allgemeie Fall im Schelldurchgag Beweis a) q ij für i j ud q ii klar, da p ij 1. Schwieriger ist zu zeige, dass q ij <, hier wird auf die Literatur verwiese. b) Es gilt für t : j S,j i p ij (t) t = 1 p ii(t) t ud damit mit Fatou 1 p ii (t) q ii = lim t t j S,j i lim sup t p ij (t) t = j S,j i q ij ud Gleichheit für edliche S. Satz 8.3 Sei {P (t) : t } eie Stadardübergagsmatritzefuktio ud S sei edlich. Da gilt das sogeate Kolmogorovsche Rückwärtsdifferetialgleichugssystem: Für t ist das heißt für alle i, j S ist P (t) = QP (t) p ij(t) = q i p ij (t) + k S,k i q ik p kj (t). Beweis Wege Chapma-Kolmogorov gilt für i, j S, t, h > : p ij (t + h) = k S p ik (h)p kj (t) = p ij(t + h) p ij (t) h = p ii(h) 1 h p ij (t) + k S,k i p ik (h) h p kj(t) Für h geht die rechte Seite gege q i p ij (t) + q ik p kj (t) k S,k i woraus die Behauptug folgt. Bemerkug: a) Uter milde Bediguge ({P (t) : t } eie koservative Stadardübergagsmatrizefuktio ud q i für alle i S edlich) gilt Satz 8.3 auch für abzählbares S. Weitere Bediguge sid ötig für das Kolmogorovsche Vorwärtsdifferetialgleichugssystem P (t) = P (t)q. 39

10 II. Markov-Kette i stetiger Zeit b) Falls S edlich ist, ist die Lösug vo P (t) = QP (t), P () = E gegebe durch P (t) = e tq (tq) =.! Beispiel 8.2 = S = {, 1}, < q, q 1 < ( ) q q Q = q 1 q 1 Rückwärtsdifferetialgleichug P (t) = QP (t) ( ) p (t) p P (t) = 1 (t) p 1 (t) p 11 (t) (1) p (t) = q p (t) + q p 1 (t) (2) p 1(t) = q p 1 (t) + q p 11 (t) (3) p 1(t) = q 1 p 1 (t) + q 1 p (t) (4) p 11(t) = q 1 p 11 (t) + q 1 p 1 (t) Es gilt: p 1 (t) = 1 p (t), p 11 (t) = 1 p 1 (t) Eigesetzt i (2): p (t) = q + q p (t) + q q p 1 (t) = (1) also ist (2) überflüssig. Aalog: (4) ist überflüssig. Sei ( ) p (t) y(t) = p 1 (t) Zu löse: y (t) = Qy(t), ( ) y() = ( (1, ) ) T. Die Eigewerte vo Q sid: λ 1 =, λ 2 = (q + q 1 ) 1 q Eigevektore: v 1 =, v 1 2 = ( ) 1 y() = Isgesamt also: q 1 = y(t) = α liefert α = q 1 q +q 1, β = 1 q +q 1 ( ) 1 + β 1 ( q q 1 ) e (q +q 1 )t p (t) = q 1 q + q 1 + q q + q 1 e (q +q 1 )t p 1 (t) = q 1 q + q 1 q 1 q + q 1 e (q +q 1 )t Hier fehlt ei kleies Bild, das zeigt, wie p ud p 1 so aussehe. Wir wolle weiter aehme, dass die Pfade der Markov-Kette (X t ) t i D(S) := {f : [, ) S f(t+) = f(t) t, f(t ) existiert t > } liege (diskrete Topologie auf S). Die Eigeschaft der f i D(S) wird auch mit RCLL oder càdlàg bezeichet. 4

11 8. Der allgemeie Fall im Schelldurchgag Gegebe sei jetzt eie Itesitätsmatrix Q = (q ij ), q ij R mit (Q1) q ij i, j S, i j, q ii i S (Q2) j S q ij = i S (Q3) < sup i S q ii =: λ < Satz 8.4 Für eie Matrix Q gelte (Q1)-(Q3). Es sei N = (N t ) t ei Poisso-Prozess mit Itesität λ ud Y = (Y ) N eie vo N uabhägige Markov-Kette mit Start i i S ud Übergasmatrix P = ( p ij ) i,j S, P := E + 1 λq, also p ij = δ ij + q ij λ i, j S. Da ist X = (X t ) t mit X t := Y Nt D(S) ud Itesitätsmatrix Q. t eie Markov-Kette mit Start i i, Pfade i Beweis Offebar ist P eie stochastische Matrix, X = i ud die Pfade i D(S). Für t < t 1 < < t +1, i,..., i +1 S gilt: P (X tm = i m, m + 1) = P (N tm = k m, Y km = i m, m + 1) k,...,k +1 N = P (N tm = k m, m + 1) P (Y km = i m, m + 1) k,...,k +1 N Betrachte die Faktore: P (N tm = k m, m + 1) = P (N t+1 t = k +1 k ) P (N tm = k m, m ) P (Y km = i m, m + 1) = P (Y km = i m, m ) p (k +1 k ) i i +1 Sei jetzt l := k +1 k, da P (X tm = i m, m + 1) =P (X tm = i m, m ) l= p (l) i i +1 P (N t+1 t = l) = X ist eie Markov-Kette i stetiger Zeit (ud homoge) mit Übergagsmatrizefuktio: p ij (t) = l= p (l) (λt)l ij e λt l! Bestimme Ableituge p ij () = Q ist wie gewüscht. 41

12 II. Markov-Kette i stetiger Zeit Eie Umkehrug des Satzes gilt: Dazu sei X = (X t ) t eie Markov-Kette mit Zustadsraum S ud Sprugzeite: Verweildauer: 1: S := S 1 := if{t X t X } S := if{t > S 1 X t X S 1 }, 2. T := S S 1 Weiter sei die eigebettete Markov-Kette Y = (Y ) gegebe durch: Y := X S, N. Satz 8.5 Es sei X = (X t ) t eie Markov-Kette mit Zustadsraum S ud Itesitätsmatrix Q, wobei (Q1) bis (Q3) erfüllt seie. Da gilt: a) Y = (Y ) ist eie (zeitdiskrete) Markov-Kette mit Übergagsmatrix P = (p ij ), wobei p ij = { qij q i, falls i j, falls i = j, falls q i > p ij = δ ij, falls q i = b) T 1, T 2,... sid bedigt uter (Y ) stochastisch uabhägig mit Hier fehlt ei Bild. T Exp(q Y 1 ) Beispiel 8.3 Sei S = N ud Q = (q ij ) i,j S mit (i + 1) 2, falls j = i q ij := (i + 1) 2, falls j = i + 1, sost. Es gilt: Y = für N bei Start i ud sup i N q i = sup i N (i + 1) 2 =, das heißt dass die Bedigug (Q3) icht erfüllt ist. Weiter ist T exp( 2 ). Für die Gesamtlebesdauer T = =1 T gilt: ET = ET = =1 =1 1 2 = π2 6 < Also liege die Pfade icht i D(S), da sie keie liksseitige Grezwert i T habe. 42

13 8. Der allgemeie Fall im Schelldurchgag Defiitio Sei (X t ) t eie Markov-Kette mit Stadardübergagsmatrizefuktio {P (t), t }. Ei Maß µ : S R + heißt ivariates Maß, falls für alle t gilt: also für jedes j S gilt: µ = µp (t) µ(j) = i S µ(i)p ij (t) Gilt j S µ(j) = 1, so heißt µ statioäre Verteilug. Satz 8.6 Sei X = (X t ) t eie Markov-Kette mit Itesitätsmatrix Q, wobei (Q1) bis (Q3) erfüllt seie. Da ist µ geau da ei ivariates Maß, we gilt. µq = Beweis Uter de Voraussetzuge gelte die Vorwärts- ud Rückwärtsdifferetialgleichugssysteme: P (t) = P (t)q P (t) = QP (t) Damit folgt P (t) = E + = E + t t = E + Q t P (s)ds P (s)ds Q P (s)ds ( ) ( ) Sei µ ei ivariates Maß für X, also t : µ = µp (t). Aus ( ) folgt für t : µ = µp (t) = µ + t µp (s)dsq = µ + t µq Damit gilt = tµq ud, wege t, auch µq =. Falls µq = gilt, so folgt aus ( ): t : µp (t) = µ. Defiitio Sei X = (X t ) t eie Markov-Kette mit Zustadsraum S ud i S mit q i <. a) i heißt rekurret, falls i rekurret für die eigebettete Kette (Y ) ist. 43

14 II. Markov-Kette i stetiger Zeit b) i heißt positiv rekurret, falls i rekurret ist ud m i := E i [ T i ] < wobei T i der erste Rückkehrzeitpukt i de Zustad i ist. c) X heißt irreduzibel, falls die eigebettete Kette (Y ) irreduzibel ist. Satz 8.7 Sei X eie Markov-Kette mit Itesitätsmatrix Q, wobei (Q1) bis (Q3) erfüllt seie. Sid alle Zustäde rekurret ud ist die Markov-Kette irreduzibel, so gilt: a) lim t p ij (t) = 1 m j q j für alle i, j S, uabhägig vo i S. b) X besitzt geau da eie statioäre Verteilug π = (π i ) i S, we es eie positiv rekurrete Zustad j gibt. I diesem Fall ist π j = 1 m j q j > für jedes j S ud alle Zustäde sid positiv rekurret. Beweis Nicht hier. Wird teilweise i der Übug utersucht. Beispiel 8.4 (Geburts- ud Todesprozesse i stetiger Zeit) Sei X eie Markov-Kette mit S = N ud Itesitätsmatrix λ λ µ 1 (µ 1 + λ 1 ) λ 1 Q = µ 2 (µ 2 + λ 2 ) λ mit λ, λ i, µ i >. Weiter sei sup i N (λ i + µ i ) <. Die Übergagswahrscheilichkeite der eigebettete Kette (Y ) sid p i,i+1 = Also ist X irreduzibel. λ i µ i + λ i, p i,i 1 = µ i µ i + λ i, p 1 = 1. Wie sieht eie statioäre Verteilug aus, falls sie existiert? Der Asatz ist die Gleichug πq = : = λ π + µ 1 π 1 = λ π (µ 1 + λ 1 )π 1 + µ 2 π 2. = λ i π i (µ i+1 λ i+1 )π i+1 + µ i+2 π i+2, i 1 = π 1 = λ µ 1 π π 2 = 1 µ 2 ( (µ 1 + λ 1 )λ µ 1 π λ µ 1 µ 1 π ) = λ λ 1 µ 1 µ 2 π 44

15 8. Der allgemeie Fall im Schelldurchgag Dies legt die Vermutug ahe, dass für i π i+1 = λ λ i µ 1 µ i+1 π gilt, welche sich leicht durch Eisetze bestätige lässt. π = (π i ) ka zu eier statioäre Verteilug ormiert werde, falls i=1 Nach Beispiel 3.3 ist (Y ) positiv rekurret, falls λ λ i µ 1 µ i+1 <. ( ) =1 k= p k,k+1 p k+1,k < i=1 λ λ i µ 1 µ i+1 <. Also ist ach Satz 8.7 X positiv rekurret, falls ( ) gilt, ud π ist die Grezverteilug. Fals λ i = λ ud µ i = µ ist, da ist X eie M/M/1-Warteschlage mit statioärer Verteilug (falls ρ := λ µ < 1): π i = (1 ρ)ρ i für i N. 45

16