Stochastische Prozesse

Transkript

1 INSTITUT FÜR STOCHASTIK SS 2009 UNIVERSITÄT KARLSRUHE Blatt 2 Prv.-Doz. Dr. D. Kadelka Dpl.-Math. W. Lao Übungen zur Vorlesung Stochastsche Prozesse Musterlösungen Aufgabe 7: (B. Fredmans Urnenmodell) Seen n ener Urne zu Begnn r rote und s schwarze Kugeln. Es wrd jewels zufällg ene Kugel gezogen und danach de gezogene Kugel, c Kugeln derselben und d Kugeln der anderen Farbe zurückgelegt. Dabe seen c und d feste, ganze Zahlen mt c 1, d 0 und c+d 0. Es se R n bzw. S n de zufällge Anzahl der roten bzw. schwarzen Kugeln nach n Zehungen und X n := (R n, S n ), n N 0. a) Zegen Se, dass R n + S n r + s für alle n N 0 glt. b) Begründen Se, dass X := (X n ) n N0 ene homogene Markovkette st. Bestmmen Se dazu enen geegneten Zustandsraum E und ene geegnete Übergangswahrschenlchketsfunkton p bzw. Übergangsmatrx P von X. c) Bestmmen Se de wesentlchen und unwesentlchen Klassen n E bzgl. der Übergangsmatrx P. d) Se c = 1 und d = 1. Ist (R n ) n N0 ene Markovkette? Ist dese gegebenenfalls homogen? Welche Übergangsmatrx bestzt dann (R n ) n N0? e) Se jetzt c = 0 und d = 1. Ist (R n ) n N0 ene Markovkette? Ist dese gegebenenfalls homogen? Welche Übergangsmatrx bestzt dann (R n ) n N0? a) Snd vor der Zehung R n rote und S n schwarze Kugeln vorhanden, so snd nach der Zehung R n+1 = R n + c rote und S n+1 = S n + d schwarze Kugeln vorhanden, nsgesamt also R n+1 +S n+1 = R n +S n +c+d Kugeln, falls ene rote Kugel gezogen wrd, andernfalls R n+1 = R n + d rote und S n+1 = S n + c schwarze Kugeln, nsgesamt weder R n+1 + S n+1 = R n + S n + c + d Kugeln. Egal welche Kugel gezogen wrd, glt stets R n+1 + S n+1 = R n + S n + c + d R n + S n. b) R n und S n nehmen Werte n N 0 an (falls c 0 sogar nur n r, r+1,...} bzw. s, s+1,...). Ferner glt wegen a) R n + S n r + s. Geegnete Zustandsräume snd daher E := N 2 0 oder E := E r+s := (, j) N 2 0 : + j r + s}. Für den Fall c = 1 und d = 1 könnte man auch de endlche Menge E := (, j) N 2 0 : + j = r + s} wählen. (We her st der Zustandsraum E ener Markovkette n der Regel ncht endeutg festgelegt.) Wr

2 wählen her E = E r+s mt r + s 1. (Damt gehen wr dem Problem aus dem Weg, das Übergangsgesetz auch für (, j) = (0, 0) defneren zu müssen. Be der Modellerung von X gbt es mehrere Möglchketen. Enmal kann man we n [SI], Kap. 3 von gekoppelten Expermenten ausgehen (en recht mühsamer Weg), anderersets aber auch ene vernünftge Übergangsmatrx P vorgeben und Satz 2.22 anwenden. Wr wählen enen drtten Weg. Wr schleßen dabe den unnteressanten Fall c = d = 0, be dem sch der Zustand ne ändert, aus. Se U : E [0, 1) E defnert durch ( + c, j + d), falls y +j U((, j), y) :=, ( + d, j + c), falls y >. +j Bestzt de Zufallsvarable Y de Glechvertelung U(0, 1), so glt für (k, l) = ( + c, j + d), +j j P (,j)(k,l) := P(U((, j), Y ) = (k, l)) = für (k, l) = ( + d, j + c) und +j 0, sonst. Snd n der Urne aktuell rote und j schwarze Kugeln, so st gerade de Wahrschenlchket, ene rote und de Wahrschenlchket, ene schwarze Kugel zu +j zehen. j +j Ist (Y n ) n N ene Folge unabhängger, U(0, 1)-vertelter Zufallsvarable, so st wegen Satz 2.13 (X n ) n N0 mt X 0 := (r, s) und X n := U(X n 1, Y n ) ene homogene Markovkette mt Zustandsraum E und Übergangsmatrx P. c) Ist c = d = 0, so kommunzert jeder Zustand nur mt sch selbst. Es glt daher K((, j)) = (, j)} und alle dese Klassen snd wesentlch. Ist c = 1 und d = 1, so kommunzeren alle (, j) E m := (, j) E := + j = m} mt festem m r + s mtenander: (m, 0) (m 1, 1)... (0, m). Glt aber + j k + l, so glt weder (, j) (k, l) noch (k, l) (, j). Daher snd E r+s, E r+s+1,... de Klassen n E und alle dese Klassen snd wesentlch. In allen anderen Fällen glt c + d > 0 und daher glt für den Übergangsgraphen G P zu P mt Kantenmenge K, dass aus ((, j), (k, l)) K stets k + l > + j folgt. Heraus folgt, dass alle Klassen nur aus enem Element bestehen und dass dese Klassen unwesentlch snd. d) Ist c = 1 und d = 1, so glt stets R n + S n = r + s, also auch S n = r + s R n. Damt bestmmen sch R n und (R n, S n ) gegensetg endeutg. (R n ) n N0 st daher auch ene homogene Markovkette mt Zustandsraum 0,1,...,r+s} und Übergangsmatrx für k = 1, r+s P k = 1 für k = + 1, r+s 0, sonst. e) Se c = 0 und d = 1. De Gesamtzahl der Kugeln erhöht sch nach jeder Zehung um 1. Es glt daher R n + S n = r + s + n und damt S n = r + s + n R n. We n d) bestmmen sch endeutg, desmal be gegebener Stufe n, R n und (R n, S n ) gegensetg. Damt st auch (R n ) n N0 ene Markovkette. Dese st aber ncht homogen, da de Übergangswahrschenlchket P(R n+1 = R n = ) = r+s+n noch von n abhängt.

3 Aufgabe 8: Se X = (X n ) n N0 ene homogene Markovkette mt Zustandsraum E und Übergangsmatrx P und D E ene belebge, ncht leere Telmenge von E. se de Erstbesuchszet n D und für s E τ(ω) := τ D (ω) := nfn N 0 : X n (ω) D} h D s := P s (τ D < ) de Trefferwahrschenlchket, dass de Markovkette be Start n s jemals nach D gelangt. Zegen Se: a) Für de Trefferwahrschenlchketen glt ( ) h D 1, falls s D, s = k E P sk h D k, falls s D. b) Ist γ = (γ s ) s E R E + ene Lösung von ( ), d.h. γ s = 1 für s D und k E P sk γ k = γ s für s D, dann glt γ s h D s für alle s E. h D st also de klenste ncht negatve Lösung von ( ). a) Wegen τ D < } = X n D} und P s (X 0 = s) = 1 glt h D s = 1 für s D. Für s D glt dagegen P s (X 0 D) = 0 und damt ( ) h D s = P s X n D} = ( ) P s X n D} X 1 = k P s (X 1 = k) n=1 k E n=1 =P ( sk ) P k X j D} P sk = P sk h D k. k E Markovegenschaft = n=0 k E b) Für s D glt γ s = 1 = h D s und für s D glt für alle n N γ s = k 1 E P sk1 γ k1 = k 1 D P sk1 + k 1 D P sk1 γ k1 = P sk1 + + k 1 D k 1 D k 2 D k 1 D k 1 D P sk1 + k 1 D k 1 D P sk1 + k 1 D k 2 D + k 1,...,k n,k n+1 D j=0 γ k2 =... = k 2 D k 1,...,k n D,k n+1 D... P knkn+1 γ kn+1 0 k 2 D k 1,...,k n D,k n+1 D... P knk n+1... P knk n+1 = P s (X 1 D) + P s (X 1 D, X 2 D) P s (X 1 D,..., X n D, X n+1 D) = und damt auch γ s h D s. P s (τ D n + 1) P s (τ D < ) = h D s

4 Aufgabe 9: Se unter den Voraussetzungen von Aufgabe 8 für s E m D s := E s τ D de mttlere Erstbesuchszet n D. Zegen Se: a) Für de mttleren Erstbesuchszeten glt ( ) m D 0, falls s D, s = 1 + k D P sk m D k, falls s D. b) m D st de klenste ncht negatve Lösung des Glechungssystems ( ). a) Wegen P s (X 0 = s) = 1 glt P s (τ D = 0) = 1 und damt m D s = E s τ D = 0 für s D. Für s D hngegen glt P s (X 0 D) = 0 und damt τ D = 1 + nfn N 0 : X n+1 D} = 1 + τ D, =:τ D wobe τ D als Erstentrttszet n D für de homogene Markovkette (X n+1) n N0 nterpretert werden kann. Es glt daher m D s = E s τ D = 1 + E s τ D = 1 + = 1 + n= n=0 k E n= n=0 = 1 + k E n P s (τ D = n) n P s (τ D = n X 1 = k) P s (X 1 = k) =P sk n= P sk n=0 n P s (τ D = n X 1 = k) = 1 + k D P sk m D k, da man n ener Doppelsumme mt ncht negatven Summanden de Rehenfolge der Summaton vertauschen darf (Sonderfall des Satzes von Fubn). b) Se λ = (λ s ) s E mt 0 λ s ene wetere Lösung von ( ). Dann glt λ s = 0 = m D s für s D und für s D glt für alle n N λ s = 1 + P sk1 λ k1 = 1 + P sk1 + λ k2 =... = k 1 D k 1 D k 1 D k 2 D 1 + P sk P kn 1 k n k 1 D k 1 D k 2 D k 1,...,k n D +... P knkn+1 λ kn k 1 D P sk1 + k 1 D k 1,...,k n,k n+1 D 0 k 2 D k 1,...,k n D... P kn 1 k n 1 + P s (X 1 D) + P s (X 1 D, X 2 D) P s (X 1 D,..., X n D) = P s (τ D 1) + P s (τ D 2) P s (τ D n + 1),

5 also auch λ s P s (τ D n) n=1 = 1 P s (τ D = 1) + 2 P s (τ D = 2) P s (τ D = ) = E s τ D = m D s. Aufgabe 10: Peter und Paul werfen be enem Spelensatz von je 1 Euro ene (eventuell verfälschte) Münze solange, bs ener der beden Speler sen Anfangskaptal verloren hat. Der Gewnner erhält jewels den gesamten Spelensatz von 2 Euro. De Wahrschenlchket, dass Peter gewnnt, se n jedem Spel 0 < p < 1. Zu Begnn habe Peter 2 Euro und Paul 3 Euro. a) Beschreben Se den Spelverlauf mt Hlfe ener geegneten homogenen Markovkette. b) Berechnen Se n Abhänggket von p = 0.1, 0.2,..., 0.9 de Wahrschenlchket, dass Peter alles verlert. c) Berechnen Se mttlere Speldauer für de Fälle p = 0.1, 0.2,..., 0.9. a) En geegneter Zustand der Markovkette st das aktuelle Kaptal s von Peter. Möglche Werte snd 0, 1,..., 5, daher st E := 0, 1, 2, 3, 4, 5} en geegneter Zustandsraum. Se X n der zufällge Spelstand nach n Spelen. Nach Voraussetzung glt X 0 = 2. Se (Y n ) n N ene Folge unabhängger Zufallsvarable mt Werten n M := 1, 1} und mt P(Y n = 1) = p, also P(Y n = 1) = 1 p. Y n kann dann als zufällger Zugewnn von Peter nterpretert werden, solange das Spel noch ncht entscheden st. Setzt man k + m, falls 1 k 4, U(k, m) := k, falls k = 0 oder k = 5, so st durch X n := U(X n 1, Y n ), n N, gemäß Satz 2.13 ene geegnete homogene Markovkette mt Zustandsraum E und der Übergangsmatrx p 0 p P = 0 1 p 0 p p 0 p p 0 p gegeben. Insbesondere glt P ss = 1 für s = 0 und für s = 5. Derartge Zustände heßen auch absorberend. b) Se D = 0}. Gesucht st de Wahrschenlchket h D s, dass de Markovkette be Start n s E jemals nach 0 gelangt, d.h. de Wahrschenlchket, dass (zumndest für s > 0) Peter alles verlert. Wegen Aufgabe 8 glt h D 0 = 1 und für s > 0 h D s = (P h D ) s, also wenn wr noch γ statt h D schreben, γ 1 = 1 p + pγ 2, γ 2 = (1 p)γ 1 + pγ 3, γ 3 = (1 p)γ 2 + pγ 4, γ 4 = (1 p)γ 3

6 wegen h D 5 = 0. Zu lösen st daher das lneare Glechungssystem 1 p 0 0 γ 1 1 p (1 p) 1 p 0 0 (1 p) 1 p γ 2 γ 3 = (1 p) 1 γ 4 0 Maple ergbt n Abhänggket von p de Lösung h D 2 = (1 p)(1 2p + 2p2 p 3 ) 1 3p + 4p 2 2p 3 + p 4 für de Wahrschenlchket, dass Peter alles verlert. Damt erhält man de gesuchten Wahrschenlchketen p h D c) Se jetzt D = 0, 5}. Be Errechen von D st das Spel entscheden. Gesucht st de mttlere Speldauer m D s, wenn Peter das Anfangskaptal s bestzt. Setzen wr λ := m D, so erfüllt nach Aufgabe 9 λ das lneare Glechungssystem 1 p 0 0 λ 1 1 (1 p) 1 p 0 1 Heraus ergbt sch spezell 0 (1 p) 1 p 0 0 (1 p) 1 m D 2 = λ 2 = Damt erhält man de gesuchten Dauern λ 2 λ 3 λ 4 2 2p + 4p 2 p 3 1 3p + 4p 2 2p 3 + p 4. p m D =. 1 1