Rekurrente Markovketten

Transkript

1 Rekurrete Markovkette Im vorge Vortrag wurde der Begrff der Rekurrez eer Markovkette egeführt. Dese woe wr jetzt geauer utersuche. Im Fogede se mmer {X N 0 } ee homogee Markovkette. Defto. () Ee Zufasvarabe T heßt Stoppzet, we für ae N das Eregs {T = } vo {X 0, X,.., X } festgeegt wrd. () E Eregs st früher as T, we es vo {X 0, X,.., X T } festgeegt wrd. () E Eregs st später as T, we es vo {X T+, X T+2,..} festgeegt wrd. Defto 2. (starke Markov Egeschaft) E stochastscher Prozess {X N 0 } hat de starke Markov-Egeschaft, we für ae Stoppzete T, ae Eregsse A früher as T ud B später as T gt: P{B X T = ; A} = P{B X T = }; ud sbesodere für ae Zustäde ud j: P{X T+ = j X T = ; A} = p. Bemerkug 3. De schwache Markov-Egeschaft duzert de starke, obwoh se schebar schwächer st. Adersrum st de schwache Markov Egeschaft e Spezafa der starke, da wr T as kostate Zufasvarabe wähe köe. Damt sd de bede Egeschafte äquvaet ud wr köe de starke Markov Egeschaft be homogee Markovkette verwede. Theorem 4. Für jede Zustad gt: fas rekurret q = 0 fas cht rekurret

2 ,wobe q = P {X = j für uedch vee } = P { m= =m [X = j]} Bewes. Se X 0 = ud α = f de Wahrschechket wegstes e ma zu zurückzukehre. Weter se R m das Eregs wegstes m ma zu zurückzukehre. Da fogt, dass P(R 2 R ) = P(R ) = α, da ach der erste Wederkehr zu, de Vergagehet rreevat wrd. Das fogt aus der starke Markov-Egeschaft, da der Zetpukt der erste Wederkehr gerade T st ud {T = } = {X ν = für ν ; X = } ur vo {X 0, X,.., X } abhägt, woach T ee Stoppzet st. Fogch: P(R 2 ) = P(R R 2 ) = P(R )P(R 2 R ) = α 2, Per Idukto über m fogt da: P(R m+ ) = P(R m R m+ ) = P(R m )P(R m+ R m ) = α m α = α m+. Damt st da I: q = m P(R m ) = m α m fas α = = m m 0 fas α < Koroar 5. Für jede Zustad, j I gt: f fas j rekurret q = 0 fas j cht rekurret Bewes. Ee Zustad uedch oft zu erreche bedeutet h wegstes ema zu betrete ud da uedch oft zurückzukehre. Damt fogt de Bezehug q = f q jj ud scheßch mt Theorem 4 de Behauptug. Theorem 6. Ist rekurret ud j, da: q = q j = Bewes. Defere de Eregsse A = { uedch oft betrete}, B = {j wegstes ema betrete}. Da st: P (A) = q = ach Theorem 4; P (B C ) = f ; P (A B) = f q j. 2

3 Letzteres fogt aus der starke Markov Egeschaft, agewedet auf de erste Etrttszetpukt de Zustad j. Weter fogt mt der Mootoe des W-Maßes P: = q = P (A) P (B C ) + P (A B) = f + f q j f f q j. Da f > 0 ( j), st q j fj. Aso st f j = ud j. j st aso auch rekurret, da ud j kommuzere. De Behauptug fogt da durch vertausche vo ud j. Fogerug 7. I eer rekurrete Kasse gt q = q j = für ae,j der Kasse. p fas j = + Bespe 8. Se I = Z ud p = q fas j = mt p, q R + ud p + q = der free 0 sost "Radom Wak". Offeschtch st da p () ( 2 = )p q fas gerade, ersteres ach Berou s Forme. 0 fas ugerade Da Schrtte ach rechts ud s beebger Rehefoge ötg sd, um weder de Ausgagszustad zu geage. Jetzt ergbt sch mt der Defto des Bomakoeffzet ud Erweterug mt 2! = : ( 2 ) = ( ) j 2 j j= = 3... (2 ) 2! = ( ) 2 2 ( 2 ). Jetzt erhate wr de Geeratorfukto mt obger Gechug ud bomscher Rehe: P (z) = ( 2 )(pqz2 ) = ( 2 )( 4pqz2 ) = ( 4pqz 2 ) 2. Da fogt: =0 =0 p () =0 = P () = m z P (z) = m z ( 4p( p)z 2 ) 2 = fas p = 2, wobe c fas p = 2 c <. Aso st f = bezehugswese rekurret, we p = 2 Z. Demach st der Radom Wak rekurret geau da, we er symmetrsch st. ud sost cht. Deses gt für ae Bemerkug 9. Im Fogede gehe wr jetzt mmer vo eer rekurrete Markovkette, bezehugswese eer Markovkette mt rekurretem Zustadsraum aus ud utersuche das Verhate der p (), wobe. Ze st es stabe Zustäde (Verteuge) zu fde. fas X ν = j Defto 0. () ξ ν (j) = mt E [ξ ν (j)] = p (ν) 0 fas X ν = j () N (j) = ξ ν (j) st de totae Besetzugszet des Zustads j ud 3

4 E [N (j)] = p (ν) de totae erwartete Besetzugszet. () m jj = E j [T j ] ν f (ν) jj st de erwartete Rückkehrzet vo j ach j. ν= Theorem. (Tauber Theorem) [ohe Bewes] Ist A(z) = a z mt a 0 N ee für 0 z < kovergete Rehe, da gt: =0 m + Theorem 2. Für jede Zustad, j I gt: m a ν = m( z)a(z) z + p (ν) = m jj Bewes. Wr beutze das Tauber Theorem, wobe wr wähe: A(z) := P (z) = p () z = F (z)p jj (z) = F (z) F jj (z). =0 Da fogt mt dem Theorem: m + p (ν) = m Hospta = m z F jj (z) = ( z)p (z) = F () m z z F jj () = ν= ν f (ν) jj z F jj (z) = m jj f = = m z z F jj (z) Bemerkug 3. Im Fogede se I = {, 2,..., } mt N. Wr betrachte aso ee Markovkette mt edchem Zustadsraum. Defto 4. Se x = (x,..., x ) e Zeevektor mt Kompoete ud Π ee x Übergagsmatrx. Da st x = xπ oder x(e Π) = 0 (0.) ee statoärer-zustad -Gechug. Theorem 5. Ist I edch ud ee Zustadskasse. Da st de Kette rekurret. Bewes. Aderfas sd ae Zustäde cht rekurret. Für ae I exstert aso e N, sodass p () ν = 0. Da I edch st exstert aso e 0 = max{ ν= I}, sodass p ( 0) = 0. Das Parte hat aso ab eem bestmmte Zetpukt kee j= Mögchket mehr m Zustadsraum zu bebe, was ee Wderspruch darstet. 4

5 Theorem 6. Ist I edch ud bdet ee Zustadskasse, da gt: () w = (w =,.., ) := ( m =,..., ) öst 0., () = w =, () w j > 0 für j =,..,, (v) jede Lösug vo 0. st e Vefaches vo w. Bewes. Ad () : Es gt: p (ν+) = p (ν) p jk + j= w k = m + p (ν) = m ν= + p (ν+) = ( + j= p (ν+) p (0) + m p (ν) )p jk. Da: p (ν+) + }{{} =0, da Zäher beschräkt = ( m j= + p (ν) )p jk = w j p jk j= Der Lmes durfte obe beebg verschobe werde, we I edch st ud damt ae Summe edch sd. So st da w = wπ ud w erfüt 0.. Ad () : w j = j= m j= + p (ν) = m + j= p (ν) }{{} = =. Weder ka der Lmes ud de edche Summe vertauscht werde. Ad () : Aus 2 fogt, dass {,.., } : w > 0. Weter st k {,.., } : k, aso N : p () > 0. Daraus fogt w k = w j p () jk j= teratves Esetze fogt. Ad (v) : Se x ee Lösug vo 0.. Da st x = xπ ν ν. x = + xπ ν. I Kompoete: x k = x j ( + j= p (ν) jk ) ( j= x j ) }{{} =:c >0 w k > 0, wobe de Summe aus w = wπ durch Bemerkug 7. {w j j I} heßt auch de statoäre Verteug. Das Theorem garatert us aso ee statoäre Verteug mt de Egeschafte () ud (), we der Prozess edch st ud se Zustadsraum ee rekurrete Kasse bdet. 5

6 Theorem 8. Ageomme j I : P{X 0 = j} = w j. Da st P{X = j} = w j. Weter st: P{X +ν = j ν 0 ν } = P{X m+ν = j ν 0 ν } für ae m, 0 ud küstche j ν. Bewes. P{X = j} = P{X 0 = }P {X = j} = w p () = w j. Ähch: P{X = j 0 }p j0 j p j j = w j0 p j0 j p j j st uabhägg vo. Bemerkug 9. () Aso st der Prozess mt der statoäre Verteug as Afagsverteug statoär. () Zur Lösug vo 0. schrebe w j = c j w ud bereche da de Lösuge we fogt: w j = c j für j. c j j= Bespe 20. Wr betrachte ee Schater, der de Zustäde a () oder aus (2) habe ka. Se aso I = {, 2} ud ( ) p Π = p 2 p 2 p 22 De Gechuge bezügch 0. ergebe sch da: De erste Gechug aufgeöst ergbt da: ( p )x p 2 x 2 = 0 p 2 x + ( p 22 )x 2 = 0 Da st: x 2 = p p 2 x = p 2 p 2 x w = + p 2 w 2 = = p 2 p 2 +p 2 p 2 p 2 p 2 + p = p 2 2 p 2 +p 2 p 2 Bemerkug 2. Jetzt woe wr us dem Fa wdme, dass I cht ur aus rekurrete Zustäde besteht. Se dazu I = R T, wobe R de Mege aer rekurrete ud T de Mege aer cht rekurrete Zustäde st. 6

7 Defto 22. Ee Mege vo Zustäde heßt geschosse, we ausgehed vo eem Zustad aus der Mege das Parte der Mege bebt. Fogerug 23. () Ee rekurrete Kasse st geschosse. Aso bebt e Parte, das de Kasse ema betrtt für mmer dort. () Ee edche Mege vo cht rekurrete Zustäde st cht geschosse. () Ist T edch, so betrtt das Parte womögch ee rekurrete Kasse. (v) Im Agemee wrd das Parte vo der rekurrete Kasse mt Wahrschechket α absorbert oder bebt für mmer T mt Wahrschechket α. Bewes. Ad () : Das Parte ka zu keem cht rekurrete Zustad gehe ach Theorem, sost wäre bede Zustäde scho rekurret. Zudem ka es zu keem rekurrete Zustad eer adere Kasse gehe, we dese cht kommuzere. Ad () : Sehe Bewes vo Theorem 5.(Das Parte ka ur ee edche Zet eem edche cht rekurrete Zustadsraum verbrge). Ad () : Fogt drekt aus (). Ad (v) : Offeschtche Ateratve vo (). Sehe Bespe 8 mt p > 2. Defto 24. Se T, C ee rekurrete Kasse ud. Da defere ()y () = p () = P {X C} (0.2) j C as de Wahrschechket, dass das Parte zum Zetpukt C st. () y = m y () Parte vo C absorbert wrd. = P {X C für ege } defert de Wahrschechket, dass das Bemerkug 25. C st geschosse. Aso st das Parte, we es zum Zetpukt C st auch zum Zetpukt + C se. Daher st y () y (+) ee motoe durch beschräkte Foge. Aso macht () S. Theorem 26. De y erfüt das Gechugssystem: x = p x j + p, T. (0.3) j T j C 7

8 Fas T edch st, st y de edeutge Lösug des Systems. Bewes. Se das Parte zu Afag Zustad ud ach eem Schrtt m Zustad j. Jetzt gbt es 3 Mögchkete für de Zustad j:. j T: Da st de Absorptos-Wahrschechket y j ach der Markov Egeschaft. 2. j C: Da st das Parte scho absorbert. 3. j (I T) C: Da wrd das Parte e absorbert. Isgesamt erhate wr aso für de Wahrschechket, dass das Parte absorbert wrd: y = p y j + p + p 0. j T j C j (I T) C Se jetzt T = {, 2,..., t}. Setze Π T de Eschräkug der Übergagsmatrx auf de Zustadsraum T ud y () de y () aus 0.2. Da ässt sch das Gechugssystem schrebe as: (E T Π T )x = y () Zu zege st aso jetzt, dass (E T Π T ) reguär st. Ageomme (E T Π T ) st sguär. Da v = (v,..., v t ) T = 0, sodass v = Π T v. Aso fogt per Iterato für ae : v = Π Tv. Aso Kompoete für, T: v = t j= p () v j Da j cht rekurret, st m Aahme. p () = 0, aso v = 0 für ae T m Wderspruch zur Bespe 27. Se de Übergagsmatrx gegebe we fogt [CA02]: Da st T = {, 2, 3}ud Abbdug 0.: Übergagsmatrx Bespe 27 8

9 R = {4, 5}, R 2 2 uabhägge rekurrete Kasse. Da ergebe sch de Absorptoswahrschechkete ach R : x = 8 x x x 3 + 4, x 2 = 2 x 2 + 3, x 3 = 5 x x Bezehugswese: x = 26 33, x 2 = 3 2, x 3 = De Absorptoswahrschechkete vo R 2 sd da: x = x = 7 33, x 2 = x 2 = 3, x 3 = x 3 =

10 Lteraturverzechs [CA02] Chug, Ka L.; Atsaha, Fard: Eemetary Probabty Theory wth Stochastc Processes. 4.Edto. Sprger,