3. Markov Ketten in stetiger Zeit, Teil II 3.2. Klassenstruktur

Transkript

1 3. Markov Ketten in stetiger Zeit, Teil II 3.2. Klassenstruktur Ein Zustand j ist erreichbar von i (i j), falls P i (X t = j für ein t 0) > 0. i j, wenn i erreichbar von j und j erreichbar von i ist. Die Begriffe Klasse, abgeschlossene Klasse, absorbiernder Zustand, Irreduzibilität werden von der Sprungkette übernommen. Satz (Buch S ) Für Zustände i j ist äquivalent: (i) i j; (ii) i j für die Sprungkette; (iii) q ii1 q i1i 2... q in 1j > 0 für Zustände i 1,..., i n 1 ; (iv) p ij (t) > 0 für alle t > 0; (v) p ij (t) > 0 für ein t > 0.

2 3.3. Hitting times, Absorption probabilities Sei (X t ) t 0 Markov(λ,Q). Die hitting time einer Teilmenge A des Zustandsraums I ist die Zufallsvariable D A (ω) = inf{t 0 : X t (ω) A}, inf :=. Wenn H A die hitting time für die Sprungkette ist, dann gilt {H A < } = {D A < }, und auf dieser Menge gilt D A = J H A. Die Wahrscheinlichkeit, dass (X t ) t 0, beginnend im Zustand i, irgendwann in A landet ist h A i = P i (D A < ) = P i (H A < ). Wenn A eine abgeschlossene Klasse ist, dann heisst diese Wahrscheinlichkeit Absorptionswahrscheinlichkeit.

3 Satz (Buch: S 3.3.1) Der Vektor der hitting probabilities h A = (hi A : i I ) ist die minimale nicht-negative Lösung des folgenden linearen Gleichungssystems: { hi A = 1 für i A j I q ijhj A = 0 für i / A Wie bei den Markovketten in diskreter Zeit k A i = E i (D A ). Satz (Buch: S ) Angenommen q i > 0 für alle i / A. Der Vektor der mean hitting times k A = (ki A : i I ) (I... Zustandsraum) ist die minimale nicht-negative Lösung des folgenden linearen Gleichungssystems: { ki A = 0 für i A j I q ijkj A = 1 für i / A

4 3.4. Rekurrenz und Transienz Sei (X t ) t 0 Markov(λ,Q) (minimal!). Ein Zustand i ist rekurrent, wenn P i ({t 0 : X t = i} ist unbeschränkt}) = 1, ein Zustand i ist transient, wenn P i ({t 0 : X t = i} ist unbeschränkt}) = 0. Wenn (X t ) t 0 beginnend in i explodieren kann, dann ist i nicht rekurrent.

5 Rekurrenz und Transienz werden durch die Sprungkette bestimmt: Satz (Buch: S 3.4.1) Es gilt: (i) Wenn i rekurrent für die Sprungkette (Y n ) n 0 ist, dann ist i rekurrent für (X t ) t 0. (ii) Wenn i transient für die Sprungkette (Y n ) n 0 ist, dann ist i transient für (X t ) t 0. (iii) Jeder Zustand ist entweder rekurrent oder transient. (iv) Rekurrenz und Transienz sind Klasseneigenschaften. First passage time nach i: Satz (Buch: S ) Es gilt: T i (ω) = inf{t J 1 (ω) : X t (ω) = i}. (i) Wenn q i = 0 oder P i (T i < ) = 1, dann ist i rekurrent und 0 p ii (t) =. (ii) Wenn q i > 0 und P i (T i < ) < 1, dann ist i transient und

6 3.5. Invariante Verteilungen λ ist invariant, wenn Satz (Buch:S 3.5.1) λq = 0. Q mit Sprungmatrix Π. λ ein Mass. Dann ist äquivalent: (i) λ ist invariant. (ii) µπ = µ, wobei µ i = λ i q i. Satz (Buch:S 3.5.2) Angenommen Q ist irreduzibel und rekurrent. Dann hat Q ein invariantes Mass λ, das eindeutig ist bis auf skalare Vielfache. Ein Zustand i ist rekurrent, wenn q i = 0 oder P i (T i < ) = 1. Wenn q i = 0 oder die erwartete Rückkehrzeit m i = E i (T i ) <, dann heisst i positiv rekurrent. Sonst heisst i nullrekurrent.

7 Satz (Buch:S 3.5.3) Sei Q irreduzible Intensitätsmatrix. Dann ist äquivalent: (i) Jeder Zustand ist positiv rekurrent. (ii) Ein Zustand ist positiv rekurrent. (iii) Q ist nicht explosiv und hat eine invariante Verteilung λ. Weiters, wenn (iii) gilt, dann ist m i = 1 λ i q i. Satz (Buch:S 3.5.5) Sei Q irreduzibel und rekurrent und λ ein Mass. Sei s > 0. Dann ist äquivalent: (i) λq = 0 (ii) λp(s) = λ.

8 3.6. Konvergenz zum Gleichgewicht Lemma (Buch: L 3.6.1) Q Intensitätsmatrix mit Halbgruppe P(t). Dann gilt für alle t, h 0 p ij (t + h) p ij (t) 1 e q i h. Satz (Buch: S : Konvergenz zum Gleichgewicht) Sei Q irreduzibel, nicht explosiv mit Halbgruppe P(t) und mit invarianter Verteilung λ. Dann gilt für alle i, j Satz (Buch: S ) p ij (t) λ j für t. Sei Q irreduzibel, ν irgendeine Verteilung. Sei (X t ) t 0 Markov(ν, Q). Dann gilt für alle j I für t, dass P(X t = j) 1 q j m j.