1. Übungsblatt zu Stochastische Prozesse

Transkript

1 Prof Dr R Grübel Dipl-Math F Dennert SS 005, Institut für Mathematische Stochastik Übungsblatt zu Stochastische Prozesse Aufgabe : Es sei X n n N0 ein stochastischer Prozess mit abzählbarem Zustandsraum E Man zeige: X n n N0 ist genau dann eine Markov-Kette, wenn für alle n N, i 0,, i n E mit P X 0 = i 0,, X n = i n > 0 P X n = i n X n = i n = P X n = i n X n = i n,, X 0 = i 0 gilt Lösung: Ist X n n N0 eine Markov-Kette, so gilt natürlich insbesondere P X n = i n X n = i n = P X n = i n X n = i n,, X 0 = i 0 für alle n N, i 0,, i n E Nun gelte umgekehrt P X n = i n X n = i n = P X n = i n X n = i n,, X 0 = i 0 für alle n N, i 0,, i n E und wir wollen zeigen, dass dann X n n N0 eine Markov-Kette ist, dh dass P X tn = i tn X tn = i tn = P X tn = i tn X tn = i tn,, X t0 = i t0 für alle t 0 < t < < t n N, i t0,, i tn E gilt Dazu beweisen wir zunächst das folgende Hilfslemma: Sind C, C, disjunkte Ereignisse mit i C i =: C und ist P A B C i =: p unabhängig von i, so ist p = P A B C Beweis: Es gilt: P A B C P C B = P A B C P C i B = i i P A B C i P B C i P B = i P A B C i P B = P A B C P B = P A C B = P A B C P C B

2 Kürzen von P C B liefert das gewünschte Ergebnis Mit diesen Hilfslemma sind wir in der Lage, in der Bedingung der rechten Seite von Gleichung beliebige Löcher zu reißen, indem wir B := {X n = i n } setzen und Ereignisse der Form C i0,,i n := {X t0 = i 0,, X tn = i n } für i 0,, i n E n durch die disjunkte Vereinigung C := {X tk E, 0 k n } ersetzen Auf diese Weise erhalten wir aus der Gleichung zunächst die Aussage: P X tn + = i tn + X tn = i tn = P X tn + = i tn + X tn = i tn,, X t0 = i t0 für alle t 0 < t < < t n N, i t0,, i tn, i tn + E Bleibt noch das Problem, wie wir den zeitlichen Abstand zwischen dem bedingten Ereignis {X tn + = i tn +} und dem ersten bedingenden Ereignis {X tn = i tn } beliebig vergrößern können Dies geschieht durch vollständige Induktion Induktionsanfang: = = = = P X tn + = i tn + X tn = i tn,, X t0 = i t0 P X tn + = i tn +, X tn + = i tn + X tn = i tn,, X t0 = i t0 i tn + E i tn + E P X tn + = i tn + X tn + = i tn +, X tn = i tn,, X t0 = i t0 P X tn + = i tn + X tn = i tn,, X t0 = i t0 P X tn + = i tn + X tn + = i tn +, X tn = i tn i tn + E P X tn + = i tn + X tn = i tn P X tn + = i tn +, X tn + = i tn + X tn = i tn i tn + E = P X tn + = i tn + X tn = i tn Der Induktionsschritt läuft dann nach demselben Schema ab Damit ist Gleichung gezeigt

3 Aufgabe : Es sei X n n N0 eine Markov-Kette mit Zustandsraum E und Übergangsmatrix P = p ij i,j E Zeigen Sie: a Die Relation ist transitiv b Zwei kommunizierende Zustände haben dieselbe Periode c Zwei kommunizierende Zustände sind entweder beide transient oder beide rekurrent d Es gilt p ji n = fji p ii n n= n=0 Lösung: a Es gelte i j und j k, dh es existieren m, n N mit p ij m > 0 und p jk n > 0 Dann folgt mit Chapman-Kolmogorov p ik n + m = p il mp lk n = p il mp lk n + p ij mp jk n > 0, }{{} l E l E\{j} >0 }{{} 0 also i k b Es seien i, j E kommunizierend, dh es existieren n, m N mit p ij m > 0 und p ji n > 0 Seien ferner di := ggt{n N : p ii n > 0}, dj := ggt{n N : p jj n > 0} und A i := {n N : p ii n > 0} Dann gilt für alle k A i und p jj n + k + m p ji np ii kp ij m > 0 dj n + k + m p jj n + m p ji np ij m > 0 dj n + m, also dj k für alle k A i di ist der größte Teiler mit dieser Eigenschaft, also gilt dj di Analog zeigt man dann di dj, also insgesamt dj = di c Es seien i, j E kommunizierend, dh es existieren n, m N mit p ij m > 0 und p ji n > 0 Ist i rekurrent, so gilt nach Satz 6 k=0 p iik = Dann folgt mit p jj n + k + m p ji np ii kp ij m p jj k k=0 p jj n + k + m p ji n p ii k p ij m =, k=0 k=0 } {{ } = also ist auch j rekurrent 3

4 Ist i transient, so gilt k=0 p iik < Dann folgt mit p ij mp jj kp ji n p ii n + k + m p ij m p jj kp ji n p ii n + k + m <, k=0 k=0 also k=0 p jjk < und damit j transient d Es gilt fji n=0 p ii n = = = = = = k= n=0 n=0 k= n+ f ji kp ii n f ji kp ii n f ji lp ii n l + n=0 l= n=0 l=0 n n f ji l + p ii n l f ji l + p ii n l n= l=0 } {{ } =p ji n p ji n n= 4

5 Aufgabe 3: a Auf dem Raum R N der N-dimensionalen Zeilenvektoren N N wird durch x := N x i, x = x,, x N, i= bekanntlich eine Norm definiert Zeigen Sie: Ist P eine stochastische N N-Matrix, so gilt xp x für alle x R N Was bedeutet dies für die Eigenwerte von P? b Es sei P = p ij i,j {,,N} für N N eine stochastische Matrix mit Lösung: κ := min p ij > 0 und U := {x R N : i,j N N x i = 0} Zeigen Sie, dass P die Menge U wieder in U abbildet, und dass es ein 0 α < gibt mit xp α x für alle x U Was bedeutet dies für das Verhalten von qp n rp n mit n, wenn q, r R N Wahrscheinlichkeitsvektoren sind, das heißt wenn q i, r i 0 für i =,, N und N i= q i = N i= r i = gilt? a Es gilt: xp = = N i= N x j p ji j= N x j j= N i= p ji }{{} = = N i= i= N x j p ji j= N x j = x Als Folgerung ergibt sich, dass alle Eigenwerte von P betragsmäßig kleiner oder gleich sein müssen Denn angenommen es existiert ein Eigenwert λ von P mit λ > und zugehörigem Rechtseigenvektor y, so folgt j= yp = λy = λ y > y im Widerspruch zu dem gerade eben Gezeigten 5

6 b Sei x U, dh N i= x i = 0 Dann gilt für y = xp : N y i = i= N N x j p ji = i= j= N j= x j N p ji i= }{{} = = N x j = 0, j= also liegt auch y wieder in U Zur zweiten Aussage: Nach Aufgabenteil a gibt es ein α mit 0 α und der gewünschten Eigenschaft xp α x für alle x U Wäre nur α = möglich, wäre also = inf{α : xp α x für alle x U}, dann gäbe es eine Folge x n n N in U mit x n P > n x n 0 Insbesondere ist x n 0 und daher y n := x n / max i x n i wohldefiniert und y n liegt wieder in U Da U abgeschlossen und die Folge y n n N beschränkt ist, gibt es eine konvergente Teilfolge mit Grenzwert y in U Für diesen Grenzwert gilt wegen der Stetigkeit von die Relation yp y, wegen Aufgabenteil a also yp = y Aus dem Beweis für Aufgabenteil a folgt daher N y j p ji = j= N y j p ji j= für alle i =,, N, und da alle p ji > 0 sind, müssen die y j alle 0 oder alle 0 sein, was wiederum wegen y U bedeutet, dass y = 0 ist Da aber nach Konstruktion alle Folgeglieder y n eine Komponente oder haben, ist y = 0 nicht möglich, wir haben also einen Widerspruch Sind q, r R N zwei Wahrscheinlichkeitsvektoren, so folgt aus dem eben Gezeigten wegen q r U: qp n rp n = q rp n α q rp n α n q r 0, dh egal mit welcher Startverteilung eine Markov-Kette mit Übergangsmatrix P startet, mit n ergibt sich immer dieselbe Grenzverteilung für X n auf dem Zustandsraum E 6

7 Aufgabe 4: Beweisen Sie Lemma 5 der Vorlesung: Ist der Zustand i E aperiodisch, so existiert ein n 0 N derart, dass p ii n > 0 für alle n n 0 gilt Lösung: Es sei H := {m N : p ii m > 0} Wegen N d n := ggt H {,, n} ggth = mit n gibt es Zahlen m,, m k H mit ggt{m,, m k } = Zu diesen gibt es dann wiederum ganze Zahlen l,, l k mit k i= l im i = Diesen Sachverhalt aus der elementaren Zahlentheorie kann man leicht wie folgt einsehen: G := { k i= } l i m i : l,, l k Z ist eine Untergruppe von Z, also im Falle / G von der Form G = dz mit einem d > Dieses d wäre dann Teiler von m,, m k, die ja bei geeigneter Wahl der l-koeffizienten als Elemente von G erscheinen, im Widerspruch zu ggt{m,, m k } = Nun ist H additiv abgeschlossen: Hat man nämlich n, m H, so folgt mit p ii n + m = j I p ij np ji m p ii np ii m > 0, dass auch n + m in H liegen Ein Umschreiben von k i= l im i = zu k l i m i = i= l i >0 k l i m i + i= l i <0 zeigt, dass H zwei aufeinanderfolgende Zahlen m und m + enthält Setzt man nun n 0 := mm, so gilt für beliebiges n n 0 also n H n = mk + j mit 0 j m, k m = k jm + jm +, 7

8 Prof Dr R Grübel Dipl-Math F Dennert SS 005, Institut für Mathematische Stochastik Übungsblatt Stochastische Prozesse Aufgabe 5: Es sei S n die d-dimensionale symmetrische Irrfahrt auf Z d mit p 0,0 n = P S n = 0 S 0 = 0 Man zeige und folgere: a Im Fall d = gilt p 0,0 n = n 4 n Die zweidimensionale symmetrische Irrfahrt n ist rekurrent b Im Fall d = 3 gilt p 0,0 n n 3 n n n!, wobei Γ die Gammafunktion n Γn/3+ 3 sei Die dreidimensionale symmetrische Irrfahrt ist transient c Für d 3 ist die d-dimensionale symmetrische Irrfahrt transient Lösung: X i i N iid-folge von Zufallsvektoren im Z d, X i unif{±e,, ±e d } Interessant: Für d =, ist die Irrfahrt rekurrent, für d 3 ist sie transient a Im Falle d = gilt: n n n l n l n l n p 00 n = l l n l n l 4 l=0 n = 4 n n! = 4 n n! n l!l!n l!n l! n!n! n!n! l!l!n l!n l! l=0 l=0 n n n n n n = 4 n = 4 n n l n l n n l=0 n = 4 n n Außerdem gilt natürlich p 00 n + = 0 Nun ist S n genau dann rekurrent, wenn n=0 p 00n = gilt Zum Nachweis dieser äquivalenten Eigenschaft verwenden wir das folgende Lemma der Analysis: Sind α n, β n 0 mit α n β n, so ist α n = genau dann, wenn β n =

9 Es gilt: p 00 n = n n n n! = 4 n 4 n!n! n πnn 4 n e n πnnn e n πnn n e n n = π n nn 4 n n n = π n Also ist p 00 n = und damit S n rekurrent in Dimension b Im Falle d = 3 ergibt sich ganz ähnlich: p 00 n = n n l n l n l k n l k l l k k n l k l+k n n l k n n l k 6 = n! n l! k! n l k! 6 l+k n n n n = n l k n l k 6 l+k n n n n n n = 3 n l k n l k 3 l+k n n n! NR : = l k n l k Γl + Γk + Γn l k + n! Γ n n n n n! n n 3 n Γ n l k n l k 3 l+k n }{{} = n n πnn 3 n e n πnn n πnnn e n πnn n e e n n π n 3 n/3n/3 e n 3 3 = C n 3 Also ist wegen n 3 < die Irrfahrt S n in 3 Dimensionen transient

10 c Jetzt zur Dimension d 3 Ist X k = X k, X k,, X k d, so sei Xk := X k, X k, X k 3 Es sei τ 0 := 0 und τ n+ := inf{n > τ n : Xn 0} Es gilt P X k 0 für unendlich viele k =, da P X k 0 = k k Borel-Cantelli Also ist X τn wohldefiniert Nun gilt: 6 d = P X τ = x, τ = l, X τ = x, τ τ = l,, X τn = x n, τ n τ n = l n = P X l = x, τ = l, X l +l = x, τ τ = l,, X l +l ++l n = x n, τ n τ n = l n = P X m = 0, m =,, l, Xl = x, Xm = 0, m = l +,, l + l, = X l = x,, Xln = x n d 6 l +l ++l n d 6 n d Hieraus folgert man, dass die Folge der X τi, τ i τ i unabhängig und identisch verteilt ist Durch geeignetes Summieren erhält man P X τ = x,, X n τn = x n = 6 Damit ist S n := n X l= τl eine 3-dimensionale Irrfahrt Wäre nun S n rekurrent, so auch S n im Widerspruch zu Aufgabenteil b 3

11 Aufgabe 6: Zeigen Sie, dass die einfache Irrfahrt auf Z mit p i,i+ = p, 0 < p <, im Fall p transient ist Berechnen Sie f 00 als Funktion von p Berechnen Sie den Erwartungswert der Rückkehrzeit nach 0 im Falle p = Hinweis: Es gilt x = j x j j=0 j 4 Lösung: Es gilt: p 00 n = n=0 = p 00 n = n=0 n=0 4p p = n n 4p p n 4 = p p Also ist die eindimensionale Irrfahrt genau dann rekurrent, wenn p = 0 gilt, also p = /, und ansonsten transient Weiter gilt nach Aufgabe d: f 00 = n= p 00n n=0 p 00n = p p Mit dem Satz von der monotonen Konvergenz folgt: ET 0 = n= Im Falle p = / führt dies mit P t = n f 00 n = lim t p 00 nt n = n=0 n= n=0 = p n t n f 00 n = lim t F t n n t 4 n = t, und F t = P t = t, F t = t t auf der Zustand 0 ist also nullrekurrent ET 0 =, 4

12 Aufgabe 7: Each morning a student takes one of the three books labelled,, 3 he owns from his shelf The probability that he chooses the book with label i is α i where 0 < α i <, i =,, 3, and choices on successive days are independent In the evening he replaces the book at the left-hand end of the shelf If p n denotes the probability that on day n the student finds the books in the order,, 3, from left to right, show that, irrespective of the initial arrangement of the books, p n converges as n, and determine the limit Lösung: Obviously there are 6 possible states, named z,, z 6, that are represented by the following sequences: z,, 3, z, 3,, z 3 3,,, z 4 3,,, z 5,, 3, z 6, 3, After short consideration you find the following transition matrix: α 0 α 3 0 α 0 α α 0 α α P = α α 0 α 0 α 3 0 α α 0 0 α 3 α α 3 0 α α According to the Main Limit Theorem for Markov Chains, all we have to do now is to find a probability vector π with πp = π This yields 6 equations for the 6 unknown components of π and by solving this system of linear equations we get π = α α α + α 3, π = α α 3 α + α 3, π 3 = α α 3 α + α π 4 = α α 3 α + α, π 5 = α α α + α 3, π 6 = α α 3 α + α 3 It is clear, that the Markov chain is irreducible and aperiodic all diagonal elements different from 0 Now we can conclude, that lim p n = π = α α n α + α 3 5

13 Aufgabe 8: Eine Markov-Kette mit Zustandsraum E und Übergangsmatrix P heisst umkehrbar, wenn es einen Wahrscheinlichkeitsvektor π gibt mit π i p ij = π j p ji für alle i, j E a Zeigen Sie, dass aus folgt, dass π eine stationäre Verteilung zu P ist b Eine Urne enthält insgesamt N Kugeln, die rot oder blau sein können Die Zufallsvariable X n bezeichne die Anzahl der blauen Kugeln zur Zeit n Im Zeitintervall n, n+ wird eine Kugel der Urne rein zufällig entnommen und gegen eine Kugel der anderen Farbe ausgetauscht Bestimmen Sie die zugehörige Übergangsmatrix P und finden Sie eine stationäre Verteilung zu P Lösung: a Es gilt: πp j = π i p ij = i E i E π j p ji = π j p ji = π j i E b Die Übergangsmatrix ergibt sich zu P = 0 N 0 N 0 N N N 0 N N N 0, wobei leere Einträge durch Nullen zu ersetzen sind Es gilt also, sofern definiert: i, j = i +, N p ij = i, j = i, N 0, sonst i, j {0,, N} Sucht man nun eine stationäre Verteilung π, die sogar erfüllt, so kommt man auf die Gleichung π n n N = π n 6 n N,

14 also Wegen π n = π n N n n N = folgt π 0 = N und damit n = 0,, N N π n = π 0 n=0 = π n N + n n N n=0 π n = N N = π 0 N n N, n = = π 0 N n 7

15 Aufgabe 9: schwache Markov-Eigenschaft Es sei X = X n n N0 eine Markov-Kette mit Startverteilung q, Übergangsmatrix P und Zustandsraum E, desweiteren sei N N Wir definieren Y = Y n n N durch Y n := X N+n für alle n N 0 und nennen Y den Post-N-Prozess zu X Dies alles spielt sich auf einem Wahrscheinlichkeitsraum Ω, A, P ab, F N := σ{x 0,, X N } sei die von dem Anfangsstück bis N erzeugte σ-algebra, F Y := σ{y n : n N 0 } die vom Post-N-Prozess erzeugte σ-algbra Zeigen Sie: F N und F Y sind unter X N bedingt unabhängig in dem Sinne, dass für alle A F N, B F Y und i E gilt PA B X N = i = PA X N = i PB X N = i Hinweis: Es reicht, die Gleichheit für A, B aus einem geeigneten -stabilen Erzeugendensystem nachzuweisen Lösung: Es sei A = {X 0 = i 0,, X N = i N }, B = {Y 0 = j 0,, Y M = j M } Offensichtlich ist die Gleichheit gegeben, wenn i N i oder j 0 i gilt; auch klar: Mengen dieses Typs bilden ein -stabiles Erzeugendensystem von F N und F Y Es bleibt die direkte Rechnung: PA B X N = i = PX 0 = i 0,, X N = i N, X N = i, X N+ = j,, X N+M = j M PX N = i = PX N+ = j,, X N+M = j M X 0 = i 0,, X N = i N, X N = i PX 0 = i 0,, X N = i N, X N = i PX N = i = PX N+ = j,, X N+M = j M X N = i PX 0 = i 0,, X N = i N, X N = i X N = i = PX N = i, X N+ = j,, X N+M = j M X N = i PX 0 = i 0,, X N = i N, X N = i X N = i = PA X N = i PB X N = i 8

16 Prof Dr R Grübel Dipl-Math F Dennert SS 005, Institut für Mathematische Stochastik 3 Übungsblatt Stochastische Prozesse Aufgabe 0: X n n N0 sei eine irreduzible aperiodische Markov-Kette mit endlichem Zustandsraum E := {0,, N} und Übergangsmatrix P a Zeigen Sie die Rekurrenz von X n b Es sei T 0 := inf{n N : X n = 0} Es sei x der Zeilenvektor mit Komponenten x i = n P X n = i, n T 0 X 0 = 0 Man zeige, dass xp = x gilt c Zeigen Sie, dass X n positiv rekurrent ist Lösung: a Rekurrenz ist eine Klasseneigenschaft Wegen der Irreduzibilität der Kette gilt also: entweder sind alle Zustände rekurrent oder keiner Angenommen kein Zustand wäre rekurrent Dann würde n= p ijn < für alle i, j E gelten folgt aus Satz 6 in Verbindung mit Aufgabe d und der Beobachtung, dass aus i j die Ungleichung fij > 0 folgt Also insbesondere p 0j n < für alle j = 0,, N n= Da sämtliche Reihenreste gegen 0 gehen, folgt also, dass es zu ε := /N + ein n 0 N mit p 0j n < ε für alle n n 0 und alle j = 0,, N gibt Also folgt für alle n n 0 : N j=0 p 0jn < / Andererseits gilt natürlich stets N j=0 p 0jn =, wir haben also einen Widerspruch b Es gilt: xp i = N x j p ji = j=0 N P X n = j, n T 0 X 0 = 0 P X = i X 0 = j j=0 n N

17 Weiter: und = n N = n N = n N = N P X n = j, n T 0 X 0 = 0P X = i X 0 = j + j= n N }{{} =: P X n = 0, n T 0 X 0 = 0P X = i X 0 = 0 n N } {{ } =: N P X n = j, n + T 0 X 0 = 0 j= P X n+ = i X n = j, X 0 = 0, X 0,, X n 0 N P X n = j, n + T 0 X 0 = 0 j= P X n+ = i X n = j, X 0 = 0, n + T 0 N P X n+ = i, X n = j, n + T 0 X 0 = 0 j= = n N P X n+ = i, n + T 0 X 0 = 0 = x i P X = i, T 0 X 0 = 0 = x i P X = i X 0 = 0 = P X n = 0, n T 0 X 0 = 0 P X }{{} = i X 0 = 0 n N =f 00 n = f00 P X }{{} = i X 0 = 0 = = P X = i X 0 = 0, womit die Behauptung gezeigt wäre c Wegen N j=0 p 0jn = für alle n N muss es ein j {0,, N} mit lim sup p 0j n > 0 geben Außerdem existiert wegen der Irreduzibilität von X n ein m N mit p j0 m > 0 Wegen p 00 n + m p 0j np j0 m ist dann lim sup p 00 n > 0 Nach dem Erneuerungssatz gilt lim p 00n = n folglich muss E[T 0 X 0 = 0] < sein E[T 0 X 0 = 0],

18 Aufgabe : X n sei eine irreduzible rekurrente Markov-Kette mit Zustandsraum E, und h : E R eine beschränkte harmonische Funktion Zeigen Sie, dass h konstant ist Lösung: Es handelt sich um eine Art Satz von Liouville für Markov-Ketten Wir betrachten den Prozess Y n := hx n, n N 0 Da h harmonisch ist, ist Y n ein Martingal, dass nach Voraussetzung beschränkt ist Nach dem Vorwärtskonvergenzsatz von Doob existiert dann ein Y mit hx n fs Y Nun angenommen, h wäre nicht konstant, dh es existieren Zustände i, j E mit hi > hj Da X n nach Voraussetzung rekurrent und irreduzibel ist, gilt f ij f ji = Daraus kann man schließen Stetigkeit von oben, dass es mit Wahrscheinlichkeit, also fast sicher, eine Folge n < n < von natürlichen Zahlen gibt, so dass X nk = j und X nk = i für k N gilt X n springt also mit Wahrscheinlichkeit beliebig oft zwischen den Zuständen i und j hin und her Dann gilt aber fast sicher im Widerspruch zu hx n fs Y lim sup hx n hi > hj lim inf hx n 3

19 Aufgabe : Es sei X n n N0 eine Markov-Kette mit Zustandsraum E und Übergangsmatrix P Wir nennen h : E R harmonisch auf A E, wenn P hi = hi, i A, gilt Es sei τ = inf{n N 0 : X n A c } Zeigen Sie, dass das Problem finde h : E R mit h harmonisch auf A, h auf A C durch hi := P τ < X 0 = i gelöst wird Lösung: Für i A c gilt offensichtlich Für i A gilt hi = P τ < X 0 = i = P n N 0 : X n A c X 0 = i A c = hi = P τ < X 0 = i = P n N 0 : X n A c X 0 = i = j E P n N 0 : X n A c, X = j X 0 = i = j A P n N : X n A c, X = j X 0 = i+ j A c P n N 0 : X n A c, X = j X 0 = i = j A P n N : X n A c X = j, X 0 = i p ij + P n N 0 : X n A c, X A c X 0 = i = j A P n N : X n A c X = j p ij + P X A c X 0 = i = P n N 0 : X n A c X 0 = j p ij + p ij j A j A c = p ij hj + p ij hj = p ij hj = P hi j A j A c j E 4

20 Aufgabe 3: Zeigen Sie mit der in Abschnitt 5 der Vorlesung besprochenen Methode, dass die einfache unsymmetrische Irrfahrt X n n N0, P X n+ = i + X n = i = P X n+ = i X n = i = p, X 0 = 0, mit p, transient ist Lösung: Gehen wir analog zum im Abschnitt 5 der Vorlesung besprochenen Fall der symmetrischen Irrfahrt vor, so haben wir zunächst eine harmonische Funktion h zu finden Es muss gelten: woraus sich h n+ = p h n+ + p h n sowie h n+ = p h n+ + p h n+, ergibt Damit ist also: p h n+ h n+ = h n+ h n p }{{} =:α hi := α i, i Z, die gesuchte harmonische Funktion Folglich ist Y n := α Xn ein Martingal Definieren wir τ a := inf{n N : X n = a}, τ b := inf{n N : X n = b}, τ := τ a τ b, so ist für a < i 0 < b und X 0 = i 0 der Prozess Y n τ ein beschränktes Martingal Nach dem Vorwärtskonvergenzsatz von Doob und den Erweiterungen im Zusammenhang mit gleichgradig integrierbaren Martingalen existiert dann eine ZV Y mit Y n τ Y P -fs und in L Auf der Menge {τ = } gilt und deshalb X n+ τ X n τ = X n+ X n =, hx n+ hx n = }{{} α Xn α Xn+ Xn }{{} α a α b dh hier kann keine Konvergenz vorliegen Also ist α α P τ = X 0 = i 0 = 0 K > 0, Dies bewirkt wiederum, dass Y und Y τ P -fs gleich sind Hieraus schließen wir EY τ = EY, weil Y τ = Y fs, = lim n EY n τ, wegen der L -Konvergenz, = lim n EY 0, wegen der Martingaleigenschaft, = α i 0 5

21 Andererseits gilt so dass sich hieraus ergibt EY τ = α a P τ a < τ b X 0 = i 0 + α b P τ b < τ a X 0 = i 0, P τ a < τ b X 0 = i 0 = αi 0 α b α a α b Nun schlagen wir endlich den Bogen zur Transienz Es gilt: und P τ b < τ a X 0 = i 0 = αa α i0 α a α b P τ 0 = X 0 = 0 = P τ 0 = X 0 = p + P τ 0 = X 0 = p = P τ b < τ 0 b > X 0 = p+ P τ a < τ 0 a < X 0 = p = lim P τ b < τ 0 X 0 = p + lim P τ a < τ 0 X 0 = p b a α = lim b α p + lim α p b a α a = p Man sieht also, dass man im Fall p / keine Rekurrenz hat und bestätigt auch gleich nochmal die Rekurrenz im symmetrischen Fall 6

22 Aufgabe 4: Es sei X n n N0 eine Markov-Kette mit Übergangsmatrix P und Zustandsraum E Es sei τ eine endliche Stoppzeit Ist h eine beschränkte Funktion, so gilt E[hX τ+ F τ ] = P hx τ Lösung: Offenbar ist X τ F τ -messbar und daher auch P hx τ Außerdem gilt für jedes A F τ : P hx τ dp = {τ=n} P hx n dp A A n N = P hx n dp, maj Konv, n N A {τ=n} = hx n+ dp, Lemma 8, n N A {τ=n} = {τ=n} hx n+ dp = A n N A hx τ+ dp 7

23 Prof Dr R Grübel Dipl-Math F Dennert SS 005, Institut für Mathematische Stochastik 4 Übungsblatt Stochastische Prozesse Aufgabe 5: Bei der einfachen symmetrischen Irrfahrt X = X n n N0 mit Start in 0 sei τ r := inf{n N : X n = r} r N a Zeigen Sie, dass die Zufallsgrössen τ, τ τ, τ 3 τ, τ 4 τ 3, unabhängig und identisch verteilt sind b Zeigen Sie, dass zu τ die wahrscheinlichkeitserzeugende Funktion g, gz = z z, 0 z, gehört Hinweis: Zerlegen Sie nach dem Wert von X Lösung: Wir setzen ρ k := τ k τ k für alle k N, k a Angenommen, man hat bereits gezeigt, dass τ, ρ,, ρ k voneinander unabhängig sind Mit τ := τ k gilt: τ, ρ,, ρ k sind F τ -messbar, ρ k+ ist σy -messbar, wobei Y den Post-τ-Prozess bezeichnet Nach Satz 4 Starke Markov-Eigenschaft sind also τ, ρ,, ρ k und ρ k+ unter X τ bedingt unabhängig Wegen X τ k hat man P A X τ = P A, also hat man sogar die richtige Unabhängigkeit Anmerkung: Warum reicht dieser Induktionsbeweis? Allgemein ist eine Familie {X i : i I} von Zufallsgrößen genau dann unabhängig, wenn dies für jede Teilfamilie {X i : i J} mit endlichem J gilt Für endliche J bedeutet dies P X i,,x ik = P X i P X ik Da sich die Unabhängigkeit auf Teilfamilien überträgt, reicht im Falle I = N sogar der Nachweis von P X,,X k = P X P X k für alle k N, k Der obige Beweis liefert nun gerade diese Eigenschaft induktiv vermöge P τ,ρ,,ρ k,ρ k+ = P τ,ρ,,ρ k P ρ k+

24 Die Eigenschaft, dass Lρ k = Lτ für alle k gilt, folgt aus der räumlichen Homogenität der symmetrischen Irrfahrt, denn Y n k n N0 ist wieder eine einfache symmetrische Irrfahrt mit Start in 0, und ρ k+ entspricht dann τ b Eine Zerlegung nach dem Wert von X liefert P τ = k = P τ = k, X = + P τ = k, X = = δ k + P τ = k X 0 = Entscheidend ist nun die räumliche Homogenität der Irrfahrt, die einem die Gleichheit P τ = k X 0 = = P τ = k X 0 = 0 liefert Teil a impliziert nun, dass τ = τ + ρ gilt, wobei τ und ρ unabhängig sind und dieselbe Verteilung haben Damit folgt: P τ = nz n = z + n= P τ + ρ = n z n n= = z + z P τ + ρ = nz n, n= also gz = z + gz Auflösen ergibt gz = z ± z Wegen gz für z ist hierbei offenbar die richtige Wahl des Vorzeichens

25 Aufgabe 6: Es sei X wie in der vorangegangenen Aufgabe a Finden Sie eine Funktion φ mit der Eigenschaft, dass Z θ n n N0, Z θ n := φθ n expθx n für alle n N 0, für alle θ R ein Martingal ist b Verwenden Sie Teil a und das OST, um einen alternativen Beweis zu der Aussage von Teil b der vorangegangenen Aufgabe zu finden Lösung: a Klar: X n+ = X n +Y n+, mit Y n+ unabhängig von F n und P Y n+ = = P Y n+ = = Damit folgt E[expθX n+ F n ] = expθx n E expθy n+ = φθ expθx n mit φθ = E expθy = eθ + e θ = coshθ Diese Rechnung zeigt, dass Z θ n := φθ n X n auf ein Martingal führt b Nach Satz 80 der Vorlesung Stochastik II ist Zn τ θ n N0 φθ und expθx n τ e θ ist es beschränkt Also gilt: ein Martingal, wegen für alle θ R Z θ τ EZ θ τ = lim n EZ θ n τ = EZ θ 0 = ist der fs- und L -Limes Wegen X τ wird man somit auf Eφθ τ = e θ geführt Wähle nun zu 0 < z < ein θ so, dass φθ = eθ + e θ = z gilt Man erhält eine quadratische Gleichung in y := e θ und wird schließlich auf geführt e θ = = y z ± z 3

26 Aufgabe 7: Wie in der Vorlesung sei D 0 := {f : [0, Z : f0 = 0, f, f stetig von rechts}, versehen mit der durch die Projektionen π t : D 0 Z, π t f = ft erzeugten σ-algebra BD 0 := σπ t : t 0 Es sei X : Ω, A, P D 0, BD 0 eine Zufallsgröße und τ eine endliche Stoppzeit bzgl der Filtration σπ s X : 0 s t t 0 Zeigen Sie, dass S τ X := π τ t X t 0 und Z τ X = π τ+t X π τ X t 0 ebenfalls Zufallsgrößen mit Werten in D 0, BD 0, also A, BD 0 -messbar sind Lösung: a Zunächst zum Prozess S τ X := π τ t X t 0 Zu zeigen ist erstens, dass es sich hierbei tatsächlich um einen Prozess mit Bildbereich in D 0 handelt, und zweitens, dass dieser Prozess A, BD 0 -messbar ist Ersteres ist allerdings trivial, so dass wir uns hier nur mit der Messbarkeit beschäftigen Nun ist aber klar, dass eine Abbildung Y : Ω D 0 genau dann A, BD 0 -messbar ist, wenn für alle t 0 gilt: π t Y ist A, PZ-messbar Zu zeigen ist also: S τ X t = X τ t ist A, PZ-messbar für jedes t 0 Bei abzählbarem Wertebereich τω von τ ist dies kein Problem, wir zerlegen dann einfach nach den Werten von τ: X τ t = X s t {τ=s} s τω Dabei ist dann X s t A, PZ-messbar, weil X A, BD 0 -messbar ist, und {τ=s} ist A, PZ-messbar, weil es sich um eine Stoppzeit handelt Also ist dann auch X τ t A, PZ-messbar Hat nun aber τ einen überabzählbaren Wertebereich τω, so definiert man zunächst τ n := nτ n und hat dann auf Grund des bisher Gezeigten die Messbarkeit von X τn t für jedes n N Wegen der Rechtsstetigkeit der Pfade von X gilt dann aber X τ t = lim n X τn t, Also ist X τ t als Grenzwert messbarer Funktionen messbar b Nun zum Prozess Z τ X = π τ+t X π τ X t 0 Auch hier ist die Bedingung, dass dieser Prozess seinen Bildbereich in D 0 hat, trivialerweise erfüllt, so dass wir uns wieder nur mit der Messbarkeit auseinander setzen Zu zeigen ist: Z τ X = 4

27 π τ+t X π τ X ist A, PZ-messbar für jedes t 0 Bei abzählbarem Wertebereich τω von τ ist dies auch hier kein Problem, wir zerlegen wieder nach den Werten von τ: π τ+t X π τ X = X τ+t X τ = X s+t X s {τ=s} s τω Aus der A, BD 0 -Messbarkeit von X folgt dann die von Z τ X Das weitere Vorgehen ist nun dasselbe wie in Teil a 5

28 Aufgabe 8: Kunden treffen in einer Bank gemäß eines Poisson-Prozesses mit Rate λ > 0 ein Bestimmen Sie die Wahrscheinlichkeit dafür, dass drei Kunden im Zeitintervall, 3] ankommen, unter der Bedingung, dass im Intervall, 4] ein Kunde ankommt Lösung: P 3 Kunden in, 3] Kunde in, 4] = P N 3 N = 3 N 4 N = = P N 3 N = 3, N 4 N = e λ λ = P N 3 N = 3, N 4 N =, N 3 N = 0 λ e λ + P N 3 N = 3, N 4 N =, N 3 N = λ e λ = P N N = 3, N 4 N 3 =, N 3 N = 0 λ e λ + P N N =, N 4 N 3 = 0, N 3 N = λ e λ = e λ λ3 e λ λ e λ λ 0 3! λ e λ λ = e λ 3 + λ 4 + e λ λ! e λ λ e λ λ 0 λ e λ! = e 3λ λ4 3! + λ3! λ e λ 6

29 Prof Dr R Grübel Dipl-Math F Dennert SS 005, Institut für Mathematische Stochastik 5 Übungsblatt Stochastische Prozesse Aufgabe 9: a Es sei X n n N0 die einfache symmetrische Irrfahrt mit Start in i 0, a N mit a > i 0 und τ := inf{n N : X n a} Bestimmen Sie den Erwartungswert zu τ Hinweis: X n n n N0 ist ein Martingal b Können Sie auch die nichtsymmetrische Irrfahrt im Stil von Teil a behandeln? Lösung: a Es gilt X n+ = X n + Y n+, mit Y n+ unabhängig von F n und P Y n+ = = P Y n+ = = Damit folgt: E[X n+ n + F n ] = E[X n + Y n+ n + F n ] = E[X n + X n Y n+ + Y n+ n + F n ] = X n + X n EY n+ + EY n+ n + = X n + n + = X n n Also ist Xn n n N0 tatsächlich ein Martingal Dann ist auch Xn τ n τ n N0 ein Martingal und somit gilt für alle n N EXn τ n τ = EX0 0 = i 0 Damit folgt: Eτ = lim n En τ mon Konvergenz = lim n EX n τ i 0 = EX τ i 0 maj Konvergenz = a i 0 b Sieht schlecht aus

30 Aufgabe 0: a Es seien Nt i t 0, i =,, voneinander unabhängige Poisson-Prozesse mit Raten λ i > 0, i =, Man zeige, dass N t t 0 mit N t := Nt + Nt ein Poisson-Prozess ist und ermittele seine Rate b Es seien N t t 0 ein Poisson-Prozess mit Rate λ > 0 und X i i N eine davon unabhängige iid-folge mit P X = = P X = 0 = p Man zeige, dass die Prozesse N i t 0, i =,, mit Nt := N t l= X l und Nt := N t Nt voneinander unabhängige Poisson-Prozesse sind und ermittle ihre Raten Lösung: a Zu zeigen sind die Eigenschaften A bis A4 aus der Vorlesung für den Prozess N t A Ist klar A Seien 0 t 0 t n Dann sind N tn N tn = Nt n Nt n + Nt n Nt n N t N t0 = Nt Nt 0 + Nt Nt 0 N t0 = Nt 0 + Nt 0 unabhängig, da jeder einzelne rechts stehende eingeklammerte Summand unabhängig von allen unter ihm stehenden ist, entweder wegen der Eigenschaft A für N und N, oder weil N und N unabhängig sind A3 Für alle n N 0 und alle s, t 0 gilt P N t+s N s = n = P Nt+s Ns + Nt+s Ns = n n = P Nt+s Ns = i P Nt+s Ns = n i = i=0 n P Nt N0 = i P Nt N0 = n i i=0 = = P N t N 0 = n

31 A4 Es gilt: P N h = P N h + N h = P N h oder N h + P N h = N h = P Nh + P Nh + P Nh = P Nh = }{{}}{{}}{{} =Oh =Oh e λh λh = Oh Außerdem gilt natürlich N t = N t + N t Pλ t + λ t, also λges = λ + λ b Es reicht, die Eigenschaften A bis A4 für N t zu zeigen, denn wegen N t Nt = N t Nt = X l und P X l = = P X l = 0 = p l= folgen diese für den Prozess N t analog A Ist klar A Die Unabhängigkeit der Zuwächse zeigt man durch eine Zerlegung nach den Werten der N ti und anschließende Ausnutzung der Unabhängigkeit der X i A3 Für alle n N 0, s, t 0 gilt: P N t+s N s = n = P = i,j N 0 j i = i,j N 0 j i = i,j N 0 j i N t+s l=n s+ P P X l = n j l=i+ j l=i+ j i P 3 l= X l = n, N s = i, N s+t = j X l = n P N s = i, N s+t = j X l = n P N s = i, N s+t N s = j i, k := j i

32 = k P X l = n P N s = i P N s+t N s = k i,k N 0 l= = k P X l = n P N t N 0 = k k N 0 = k N 0 P = k N 0 P = P l= k X l = n, N t N 0 = k l= N t l=n 0 + N t l=n 0 + X l = n, N t N 0 = k X l = n = P N t = n A4 Aus N t N t folgt P N t P N t = Oh Zu den Raten der Prozesse N und N Wie eben gesehen gilt P N t+s N s = n = k N 0 P = k n P k X l = n P N t N 0 = k l= k X l = n P N t N 0 = k l= k p n p k n λt λtk e n k! = k n λt pn = e n! k n λpt λptn = e n! k n! pk n λt k Also hat N die Rate λp Und wegen Nt N die Rate λ p hat = N t l= X l ist dann auch klar, dass Nun zur Unabhängigkeit der Prozesse N und N : Es seien zunächst 0 t 0 4

33 t t n und e i 0,, e i n N 0, i =, Dann gilt: P N i t n N i t n = e i n,, N i t N i t 0 = e i, N i t 0 = e i 0, i =, = P N tn N tn = e n + e n,, N t N t0 = e + e, N t0 = e 0 + e 0, e 0 +e 0 ++e n +e n l=e 0 +e 0 ++e n +e n + X l = e n,, e 0 +e 0 l= X l = e 0 = e λtn t n e n + e n e n λtn t n e n +e n = e λptn λpt n t n e n e λt t 0 e n + e n! p e n p e n e 0 + e 0 e n! e 0 λpt 0 e 0 e 0! e λ ptn λ pt n t n e n e n! λt t 0 e +e p e 0 p e 0 e + e! e λ 0 pt0 e 0! = P Nt i n Nt i n = e i n,, Nt i Nt i 0 = e i, Nt i 0 = e i 0 i= e λt 0 λt 0 e 0 +e 0 e 0! Hat man zwei Folgen 0 s 0 s s n und 0 t 0 t t m, so kann man zu einer gemeinsamen Verfeinerung übergehen, und durch Zerlegung über die Zustände die Gleichung P N t m N t m = e m,, N t N t 0 = e, N t 0 = e 0, N s n N s n = e n,, N s n s 0 = e, N s 0 = e 0 = P N t m N t m = e m,, N t N t 0 = e, N t 0 = e 0 P N s n N s n = e n,, N s n s 0 = e, N s 0 = e 0 nachrechnen Dies zeigt P N A, N B = P N AP N B, wobei A, B -stabile Erzeuger von BD 0 durchlaufen und ist äquivalent zur Unabhängigkeit der Prozesse N und N 5

34 Aufgabe : Es sei N ein Poisson-Prozess mit Intensität λ a Zeigen Sie, dass für jedes θ R durch M θ t t 0, M θ t := exp θn t λte θ für alle t 0, ein Martingal definiert wird b Skizzieren Sie, wie man mit der Aussage von Teil a im Stil von Aufgabe 6 die momenterzeugende Funktion zur Eintrittszeit τ r := inf{t 0 : N t = r} r N bestimmen kann c Finden Sie ein direktes Argument zur Bestimmung der Verteilung von τ r Lösung: a Ist X Poisson-verteilt mit Parameter λ, so ergibt sich als zugehörige momenterzeugende Funktion Damit folgt ϕθ = Ee θx = e λ k=0 λ k k! eθk = exp λe θ E[Mt+s F θ t ] = E[exp θn t+s N t + θn t λt + se θ F t ] = E exp θn t+s N t exp θn t λt + se θ für s, t 0 da N t+s N t unabhängig von F t ist = exp λse θ exp θn t λt + se θ = M θ t da N t+s N t Poisson-verteilt mit Parameter λs ist b Wir nehmen einfach mal an, dass sich Satz 80 der Vorlesung Stochastik II auf Martingale mit Zeitbereich [0, verallgemeinern lässt unter bestimmten Annahmen an die Pfade, die hier erfüllt sind, ist dies der Fall Dann wäre M θ τ r t t 0 ein für θ > 0 beschränktes Martingal, also = EM θ τ r 0 = EM θ τ r = E exp θr λτ r e θ und damit E exp λτ r e θ = e θr 6

35 Wähle nun θ > 0 so, dass λe θ = η gilt Dann folgt: für < η < 0 r λ r Ee ητr = = η λ η λ r c Zur Verteilung Γr, λ gehört die in Teil b auf etwas großzügige Art zu τ r erhaltene momenterzeugende Funktion Direkter: P τ r > t = P N t < r Pfade isoton r = e λt λt k k! = t k=0 λt r r! xr e λtx dx Induktion Oder man argumentiert einfach mit der Tatsache, dass sich τ r = τ + τ τ + + τ r τ r als Summe von unabhängigen und identisch Expλ-verteilten Zufallsvariablen darstellen lässt 7

36 Aufgabe : Es sei N ein Poisson-Prozess mit Intensität λ, X = X n n N0 werde definiert durch X n := N nh für alle n N 0 h > 0 fest a Zeigen Sie, dass X eine Markov-Kette ist und bestimmen Sie die zugehörigen Übergangswahrscheinlichkeiten b Finden Sie ein heuristisches Argument dafür, dass fn t t 0 AfN s ds ein Martingal ist Hierbei bezeichne A den Operator, der einer Funktion f : Z R die Funktion zuordnet t 0 Af : Z R, i λ fi + fi, c Verifizieren Sie die Aussage von Teil b für die Funktionen fi = i und fi = i Lösung: a Es gilt P X n+ = i n+ X n = i n,, X 0 = i 0 = P X n+ = i n+, X n = i n,, X 0 = i 0 P X n = i n,, X 0 = i 0 = P N n+h = i n+, N nh = i n,, N 0h = i 0 P N nh = i n,, N 0h = i 0 = = P N k+h N kh = i k+ i k, k =,, n P N k+h N kh = i k+ i k, k =,, n n k= P N k+h N kh = i k+ i k n k= P N k+h N kh = i k+ i k = P N n+h N nh = i n+ i n = e λh λhi n+ i n i n+ i n!, für i n+ i n i 0 = 0, = P X n+ = i n+ X n = i n, 8

37 also ist X eine homogene Markov-Kette mit Übergangswahrscheinlichkeiten λh λhj i e p ij = j i!, j i, 0, sonst Übrigens sind bei dieser Kette alle Zustände unwesentlich b Aus Teil a und Abschnitt 5 der Vorlesung folgt, dass mit P = p ij i,j N0 fx n n P IfX k k= ein Martingal ist Was passiert, wenn man zu gegebenem t > 0, h = h n = t n wählt und n gehen lässt? Dann gilt natürlich fx n = fn t Weiter erkennt man bei dem vorhersehbaren Teil des obigen Martingals als Hauptterm eine Riemann- Summe: n N 0 P Ifi = e λh λh λh fi + e! fi + + λ h e λh fi + +! λh fi + fi, also n P IfN k h λh k= h 0 t n fn k h k= λ fn s ds 0 c Im Falle fi = i ist f, also ist zu zeigen, dass N t λt t 0 ein Martingal ist: E[N t+s λt + s F t ] = E[N t+s N t + N t λt + s F t ] = EN t+s N t + N t λt + s = N t λt Siehe auch die Lösung zu Aufgabe a Analog wird man im Falle fi = i unter Verwendung von fi = i + i = i + 9

38 auf folgende Rechnung geführt: E[Nt+h λ t+h 0 N s + ds F t ] = E[N t+h N t + N t λ t+h 0 N s ds λt + h F t ] = EN t+h N t + N t EN t+h N t + Nt t t+h λ N s ds λe[ N s ds F t ] λt + h Mit E[ 0 t+h N s ds F t ] = t t+h E[N s F t ] ds Fubini t = = t t+h t t+h EN s N t ds + hn t λs t ds + hn t folgt t = λh + hn t E[Nt+h λ t+h N s + ds F t ] 0 t = hλ + h λ + hλn t + Nt λ N s ds h λ hλn t λt + h = N t λ t N s + ds 0 0 0

39 Prof Dr R Grübel Dipl-Math F Dennert SS 005, Institut für Mathematische Stochastik 6 Übungsblatt Stochastische Prozesse Aufgabe 3: Eine Halbgruppe {P t : t 0} von stochastischen Matrizen P t = p ij t i,j E über E heisst standard, wenn lim t 0 p ij t = δ ij für alle i, j E gilt, sie heisst irreduzibel, wenn für alle i, j E ein t > 0 existiert mit p ij t > 0 Im folgenden sei {P t : t 0} eine irreduzible Standardhalbgruppe a Zeigen Sie, dass alle Übergangsfunktionen t p ij t, i, j E, auf 0 t < gleichmäßig stetig sind b Zeigen Sie, dass für jedes h > 0 die Übergangsmatrix P h im Sinne von Abschnitt der Vorlesung irreduzibel und aperiodisch ist c Der Wahrscheinlichkeitsvektor π = π i i E sei stationär zu {P t : t 0} Zeigen Sie, dass dann lim p ijt = π j für alle i, j E t gilt Lösung: a Für alle i, j E gilt: p ij t + h p ij t = k E p ik hp kj t p ij t k i k i p ik hp kj t + p ij t p ii h p ik h + p ii h h 0 0 mit einer von t 0 unabhängigen Konvergenzrate b i Zur Aperiodizität: Zu zeigen ist di := ggt{n N : n ii P h > 0} = Wegen lim t 0 p ii t = existiert ein t 0 > 0, so dass für alle t t 0 gilt p ii t > Für alle s 0 existieren nun ein n N 0 und ein t t 0 mit s = nt 0 + t, also

40 gilt p ii s p ii t 0 n p ii t > 0 für alle s 0 Insbesondere ist dann natürlich für jedes feste h > 0 P h n ii p iih n > 0 ii Zur Irreduzibilität: Seien h > 0 und i, j E Da {P t : t 0} irreduzibel ist, gibt es ein t 0 mit p ij t > 0 Sei n N mit nh > t und s := nh t Nach Teil i gilt p ii s > 0, also P h n ij = P nh ij = P s + t ij p ii sp ij t > 0 c Seien i, j E, ε > 0 Nach Teil a ist die Abbildung t p ij t gleichmäßig stetig, dh δ > 0 h [0, δ t [0, : p ij t + h p ij t ε Nach Teil b ist die diskrete Markovkette mit Übergangsmatrix P δ aperiodisch und irreduzibel, so dass auf sie der Hauptgrenzwertsatz für Markovketten angewendet werden kann Es gilt also: π j = lim n P δ n ij = lim n p ij nδ Also: n 0 N n n 0 : p ij nδ π j ε Sei nun t n 0 δ, t = nδ + h mit 0 h < δ Dann folgt p ij t π j p ij t p ij nδ + p ij nδ π j ε + ε = ε, also lim p ijt = π j t

41 Aufgabe 4: Es sei X = X n n N0 eine Markov-Kette mit Zustandsraum E = {, } und Übergangsmatrix α α P =, 0 < α < α α Zeigen Sie, dass genau dann eine Markov-Kette Y = Y t t 0 existiert, in die X im Sinne von X n = Y n für alle n N 0 einbettbar ist, wenn α > / gilt Bestimmen Sie in diesem Fall den Generator zu Y Lösung: Nach Beispiel 3 der Vorlesung gehören zu einer Markov-Kette Y = Y t t 0 mit Zustandsraum E = {, } und Generator λ λ G =, λ, µ > 0 µ µ die Übergangswahrscheinlichkeiten p 00 t = λ λ + µ e λ+µt + µ λ + µ, p t = µ λ + µ e λ+µt + λ λ + µ Im Falle λ µ gilt p 00 t > für alle t > 0, bei λ > µ gilt p t > für alle t > 0 Aus folgt also α > p 00 = α = p Hat man umgekehrt α >, so erhält man mit λ := µ := logα, dass p 00 = p = α und damit die Gleichheit der Übergangsmatrizen gilt Besser: Aus folgt durch Addition λ λ + µ e λ+µ + µ λ + µ = α, µ λ + µ e λ+µ + λ λ + µ = α e λ+µ + = α, also λ + µ = logα Einsetzen, subtrahieren und verwenden von α < liefert dasselbe Ergebnis und zusätzlich sogar die Eindeutigkeit von λ und µ 3

42 Aufgabe 5: Wie in Beispiel 3 der Vorlesung sei X = X t t 0 eine Markov-Kette mit Zustandsraum E = {, } und Generator λ λ G =, λ, µ > 0 µ µ Verwenden Sie die Formel P t = exptg für eine alternative Herleitung der Übergangswahrscheinlichkeiten Hinweis: Finden Sie zunächst eine Darstellung G = ADA mit einer Diagonalmatrix D Lösung: Mit A = λ µ λ + µ 0, D = 0 0 gilt die Darstellung aus dem Hinweis, und man erhält P t = = A = A = t n n! Gn n=0 t n n! Dn A n=0 exp tλ + µ 0 λ + µ A 0 λ exp tλ + µ + µ λ exp tλ + µ + λ µ exp tλ + µ + µ µ exp tλ + µ + λ in Übereinstimmung mit dem in der Vorlesung über die Vorwärtsgleichungen erhaltenen Resultat 4

43 Aufgabe 6: Es seien T = [0, ] oder T = R +, CT die Menge der stetigen Funktionen auf T und B T die von den Projektionen erzeugte σ-algebra auf R T Zeigen Sie: CT / B T Hinweis: Zeigen Sie zunächst, daß zu jedem A B T eine abzählbare Menge SA T existiert mit der Eigenschaft, dass für alle x R T, y A gilt: xt = yt für alle t SA x A Lösung: Wir zeigen zunächst den Hinweis Es seien Ω := R T, B T := σπ t t T, π t ω := ωt Weiter sei B T := { A R T abz SA T x R T y A : xt = yt t SA x A } Dann ist B T eine σ-algebra, die B T umfasst i R T B T trivialerweise klappt mit allen abzählbaren Mengen SA T ii Sei A B T, dh es existiert eine abzählbare Menge SA T, so dass für alle x R T, y A aus xt = yt für alle t SA folgt x A Wähle nun SA c = SA Ist dann x R T, so folgt für jedes y A c aus xt = yt für alle t SA = SA c die Aussage x A c Denn sonst wäre x A, was sofort auf y A führen würde Widerspruch iii Sei A i i N eine Folge aus B T Dazu existiert eine Folge von abzählbaren Mengen SA i T, so dass für alle x R T, y A i aus xt = yt für alle t SA i die Aussage x A i folgt Setze nun T := i N SA i Dann gilt für alle x R T, y i N A i: ist xt = yt für alle t SA, so existiert ein i N mit x A i, also x i N A i Weiter ist offenbar E := {πt B B B, t T } ein Erzeugendensystem von B T Wählt man nun Sπt B = {t}, so erhält man πt B B T für alle B B Denn sind x R T, y πt B und gilt xt = yt, so ist offenbar auch x πt B Damit folgt dann B T = σe B T Wir wollen nun natürlich zeigen, dass CT B T ist, denn dann folgt sofort auch CT B T Angenommen CT B T Dann existiert eine abzählbare Menge SCT T, so dass für alle x R T, y CT aus xt = yt für alle t SCT folgt x CT Eine solche Menge SCT kann aber nicht existieren, wie das folgende Gegenbeispiel zeigt Wir betrachten die Funktion y 0 CT Sei t 0 T \ SCT existiert, da SCT abzählbar Setze { 0, t t0, xt :=, t = t 0 x ist natürlich nicht stetig, also x CT, aber für alle t SCT gilt xt = yt 5

44 Prof Dr R Grübel Dipl-Math F Dennert SS 005, Institut für Mathematische Stochastik 7 Übungsblatt Stochastische Prozesse Aufgabe 7: Es sei Ω, A, P ein Wahrscheinlichkeitsraum und F t t 0 eine zugehörige Filtration Es sei N das System der P -Nullmengen von A und F t t 0 mit die um N erweiterte Filtration F t := σn F t a Zeigen Sie, dass mit B t, F t t 0 auch B t, F t t 0 eine Brownsche Bewegung ist b Zeigen Sie, dass mit X t, F t t 0 auch X t, F t t 0 ein Martingal ist Hinweis: Zeigen Sie zunächst, dass zu jedem F F t ein F F t existiert mit F F N Lösung: Auch hier zeigen wir zunächst den Hinweis, also, dass zu jedem F F t ein F F t existiert mit F F N Dies sieht man wie folgt: Definiere Dies ist eine σ-algebra, die F t umfasst G t := {G F t F F t : F G N } i Ω F t, Ω F t und Ω Ω = N, also Ω G t ii Sei G G t, dh G F t und es existiert ein F F t mit F G N Dann ist auch F c F t und es gilt G c F c = G c F G F c = G F N ; also G c G t iii Sei G i i N eine Folge aus G t, dh G i F t für alle i N und es existiert eine Folge F i i N inf t mit F i G i N für alle i N Dann sind auch i G i F t und j F j F t und es gilt G i i j F j = = i G i Fj c G c i i j i j G i Fi c F i G c i i G i F i N i F j

45 Weiter gilt: N G t, denn für jedes N N gilt per Definition N F t und außerdem ist F t und N = N N, also N G t F t G t, denn wiederum gilt für jedes F F t per Definition F F t und außerdem F F = N, also F G t Damit sind also N G t und F t G t und somit auch F t = σn F t G t Mit dieser Hilfsaussage können wir uns nun an den Beweis der Aufgabe machen a Sei B t, F t t 0 ein Brownsche Bewegung Zu zeigen: Auch B t, F t t 0 ist ein Brownsche Bewegung Dazu ist zu zeigen, dass B t t 0 zu F t t 0 adaptiert ist, was aber trivial ist, da wir ja die σ-algebra F t beim Übergang zu F t vergrößert haben An den ersten beiden Eigenschaften einer Brownschen Bewegung ändert sich nichts, ebenso an der Verteilung von B t+s B t für alle s, t 0 Bleibt als letztes zu zeigen: Für alle s, t 0 ist B t+s B t unabhängig von F t Seien dazu A B, F Ft und F F t mit F F N Dann gilt: P B t+s B t A, F = P B t+s B t A, F F F = P B t+s B t A, F F F = P B t+s B t A, F = P B t+s B t A P F = = P B t+s B t A P F b Sei X t, F t t 0 ein Martingal Zu zeigen: Auch X t, F t t 0 ist ein Martingal Die Adaptiertheit ist wieder klar Bleibt noch zu zeigen: E[X t+s F t ] = X t für alle t, s 0 Für jedes F F t existiert ein F F t mit F F N Dann gilt X t+s dp = X t+s dp = X t+s dp F F F F F F F = X t+s dp = X t dp = = X t dp F Es gibt die Möglichkeit, diese Aufgabe sogar noch allgemeiner zu stellen, indem man nicht die Menge N aller P -Nullmengen von A betrachtet, sondern die Menge Ñ aller Teilmengen von P -Nullmengen von A, Ñ := {Ñ Ω N A : Ñ N, P N = 0} F F

46 Man definiert dann eine neue σ-algebra à := σñ A Dann ist wieder F t := σñ F t eine Filtration, und sowohl für à als auch für jedes F t gilt die Eigenschaft: Ist F à à bzw F t, so existiert ein A A bzw ein F F t mit à A Ñ bzw F F Ñ Der Beweis ist analog zu oben Nun setzt man P auf à fort durch P à := P A, falls A A mit à A Ñ, und beweist dann alle weiteren Aussagen ganz analog in diesem neuen Wahrscheinlichkeitsraum 3

47 Aufgabe 8: Es seien X = X t t T ein stochastischer Prozess auf Ω, A, P und Y = Y t t T ein Prozess auf Ω, A, P Die Prozesse X und Y heißen äquivalent, wenn sie dieselben endlich-dimensionalen Verteilungen haben Im Falle Ω, A, P = Ω, A, P heißt Y eine Modifikation von X, wenn P X t = Y t = gilt für alle t T ; X und Y heißen ununterscheidbar, wenn es eine P -Nullmenge N A gibt mit X t ω = Y t ω für alle t T und für alle ω Ω\N Diskutieren Sie die Abhängigkeiten zwischen diesen Begriffen Geben Sie insbesondere ein Beispiel für äquivalente, auf demselben Wahrscheinlichkeitsraum definierte Prozesse an, die nicht Modifikationen voneinander sind Lösung: Wir zeigen folgende Implikationen, Implikationen unter Zusatzvoraussetzungen bzw Gegenbeispiele äquivalent iv v Modifikation i ii iii ununterscheidbar i Seien X, Y ununterscheidbar, dh es existiert eine Nullmenge N A mit X t ω = Y t ω für alle t T, ω Ω \ N Dann gilt für alle t T : P X t = Y t P Ω \ N =, also sind X und Y Modifikationen voneinander ii Gegenbeispiel: Seien Ω := [0, ], A := B [0,], P := l [0,], T := [0, ], X t ω := ω, t, ω [0, ] und { Xt ω, ω t, Y t ω := 0, ω = t Dann gilt offensichtlich P X t = Y t = für alle t T, aber {ω [0, ] t T : X t ω Y t ω} = 0, ] ist keine Nullmenge, also sind die Prozesse nicht ununterscheidbar iii Es sei zusätzlich vorausgesetzt, dass T abzählbar ist Es seien X und Y Modifikationen voneinander, dh es gilt P X t = Y t = für alle t T Setzt man nun N := t T {X t Y t }, so ist N eine Nullmenge mit X t ω = Y t ω für alle t T, ω Ω \ N, also sind X und Y ununterscheidbar iv Es seien X und Y Modifikationen voneinander, dh es gilt P X t = Y t = für alle t T Sei t := t,, t n T n und X t := X t,, X tn, sowie Y t := Y t,, Y tn Dann gilt für alle Mengen A B n : P X t A = P X t A, X t = Y t = P Y t A, X t = Y t = P Y t A, 4

48 da P X t = Y t = Also haben X und Y dieselben endlich-dimensionalen Verteilungen, sind also äquivalent v Gegenbeispiel: Seien Ω = {0, }, A = PΩ, P A := #A/ für alle A A, T = {0}, X 0 ω := ω, Y 0 ω := ω Dann sind X 0 und Y 0 beide gleichverteilt auf {0, }, mithin X und Y äquivalent Aber: P X 0 = Y 0 = P {ω Ω : ω = ω} = P = 0, also sind X und Y nicht Modifikationen voneinander Ähnliches Beispiel mit überabzählbarer Zeitmenge: X t = B t, Y t = B t, dann sind X t und Y t äquivalent, aber für alle t > 0 P X t = Y t = P B t = 0 = 0 5

49 Aufgabe 9: a Es sei B t 0 t eine Brownsche Bewegung mit Zeitbereich [0, ] Zeigen Sie: Der durch X t := + tb t/+t tb definierte Prozess X t t 0 ist eine Brownsche Bewegung mit Zeitmenge [0, b Es seien a 0, c 0 fest gewählt Zeigen Sie, dass mit B t t 0 auch die wie folgt definierten Prozesse B t t 0 Brownsche Bewegungen sind: i B t := B t, t 0, ii B t := B a+t B a, t 0, iii B t := cb t/c, t 0 Lösung: a Offensichtlich ist X t t 0 ein Gauß-Prozess mit stetigen Pfaden und Start in 0 Es genügt also, die Kovarianzfunktion nachzurechnen Sei 0 s < t, damit auch s/+ s < t/ + t, dann gilt covx s, X t = + t + s cov B t s, B + st cov B, B +t +s s + t cov B t, B t + s cov B s, B +t +s = + ts + st st st = s = s t b Wir überprüfen jeweils die Eigenschaften einer Brownschen Bewegung i B t := B t, t 0 Messbarkeit ist trivial P B 0 = 0 = P B 0 = 0 = Natürlich hat mit B t t 0 auch B t t 0 fs stetig Pfade Schließlich gilt für t > s 0: Bt B s = B t B s ist unabhängig von F s und N0, t s- verteilt ii B t := B a+t B a, t, a 0 Dieser Prozess ist trivialerweise messbar bzgl der Filtration F t t 0 mit F t := F t+a Es gilt P B 0 = 0 = P B a = B a = Natürlich hat mit B t t 0 auch B a+t B a t 0 fs stetige Pfade Schließlich gilt für t > s 0: Bt B s = B a+t B a+s ist unabhängig von F a+s = F s und N0, a + t a + s = N0, t s-verteilt iii B t := cb t/c, t 0, c 0 Dieser Prozess ist trivialerweise messbar bzgl der Filtration F t t 0 mit F t := F t/c Es gilt P B 0 = 0 = P cb 0 = 0 = Natürlich hat mit B t t 0 auch cb t/c t 0 fs stetige Pfade Schließlich gilt für t > s 0: Bt B s = cb t/c B s/c ist unabhängig von F s/c = F s und N0, c t s/c = N0, t s-verteilt 6

50 Aufgabe 30: Es sei g nk n,k S die im Beweis zu Satz 45 verwendete Haar-Basis von L [0, ] a Die Funktion f L [0, ] habe die Eigenschaft f, g nk = 0 für alle n, k S Zeigen Sie, dass dann f = 0 fast überall gilt b In welcher Beziehung steht Teil a zu der in Gleichung des Beweises verwendeten Formel f = f, g nk g nk für alle f L [0, ]? n,k S Hinweis zu Teil a: Betrachten Sie die Werte der Funktion F : [0, ] R, t t fs ds, 0 in den Punkten k n, n, k S Lösung: a Betrachte die stetige Funktion F : [0, ] R, t t fs ds Da f g 0 0, folgt F 0 = F = 0 Da f g, folgt / fx dx = fx dx, also mit dem 0 / zuvor Gezeigten F / = 0 Aus f g, g 3 folgt dann F /4 = F 3/4 = 0 und induktiv F t = 0 in den Punkten t = k n, n, k S Nun ist F aber stetig, also F 0 und damit f = F = 0 fast überall b Es gilt für alle i, j S: f n,k S = f, g ij f, g nk g nk, g ij n,k S = f, g ij f, g ij = 0, also mit Teil a die gewünschte Gleichheit f, g nk g nk, g ij }{{} δ n,ki,j 7

51 Prof Dr R Grübel Dipl-Math F Dennert SS 005, Institut für Mathematische Stochastik 8 Übungsblatt Stochastische Prozesse Aufgabe 3: Wiener/Paley-Zugang zur Brownschen Bewegung Es sei X n n N0 eine iid-folge standardnormalverteilter Zufallsvariablen Man betrachte die Fourier-Reihe B t := t X 0 + n sin kt π π k X k n k= n Man kann zeigen hier nicht!, dass diese Reihe mit Wahrscheinlichkeit gleichmäßig auf [0, π] konvergiert Man zeige, dass B t t [0,π] bzgl der natürlichen Filtration eine Brownsche Bewegung ist Hinweis: Man zeige, dass B t ein Gauss-Prozess ist und berechne Erwartungswert- und Kovarianzfunktion Lösung: Es sei B N t := t π X 0 + N n n= k= n sin kt π k X k B N t hat für jedes N N stetige Pfade sin ist stetige Funktion Die Folge der B N t, N N, konvergiert gleichmäßig gegen B t fs auf [0, π] siehe auch unten, also hat die Limesfunktion fs stetige Pfade Es seien nun t := t,, t n, s k := sin kt,, sin kt n, t,, t n [0, π], n N Offenbar ist Bt N als Linearkombination von unabhängigen normalverteilten Zufallsvariablen wieder normalverteilt für alle t [0, π] Dann ist B t N := X N n 0 X k t + π π k s k n= k= n ein n-dimensional normalverteilter Zufallsvektor Welchen Wert haben Erwartungswertvektor und Kovarianzmatrix? EB N t = 0, weil EX k = 0 für alle k N gilt Sei Σ N := Σ N ij i,j=,,n mit Σ N ij := covb N t i, B N t j, i, j =,, n Dann gilt Σ N ij = EBt N i Bt N j = t it j π EX 0 + }{{} = N n πk sinkt i sinkt j EXk }{{} k= n n= =