Stochastic Processes Summer Semester 008 Final Exam Friday June 4, 008, 1:30, Magnus-HS Name: Matrikelnummer: Vorname: Studienrichtung: Whenever appropriate give short arguments for your results. In each of items 1-4, 1 points can be achieved, and in each of items 5-8, 13 points can be achieved. Bitte geben Sie kurze Begründungen für Ihre Ergebnisse. Bei jeder der Aufgaben 1-4 können 1 Punkte, und bei jeder der Aufgaben 5-8 können 13 Punkte erreicht werden. 1. Let X and Y be independent and uniform on {1,..., 5}. Find a) the conditional distribution b) the conditional expectation of X given X Y = 1. X und Y seien unabhängig und uniform auf {1,...,5}. Geben Sie a) die bedingte Verteilung von X b) die bedingte Erwartung von X jeweils gegeben X Y = 1 an. a) Given {X Y = 1}, X can only take values in {,,5}. For k in {,,5} P(X = k X Y = 1) = P(X = k,y = k 1) P(X Y = 1) = 1/5 4/5 = 1 4 Therefore, given X Y = 1, X is uniformly distributed on {,,5}. b) E[X X Y = 1] = 5 P(X = k X Y = 1) = 1 4 ( + 3 + 4 + 5) = 7 k= 1
. Let (T 1,T,...,) be a standard Poisson process on R +, and N t its number of points up to (and including) t. a) For k N, express the event {T k+1 > t} \ {T k > t} in terms of N t and k. b) For k N, let G k be Gamma(k)-distributed. Find P(G k+1 > t) P(G k > t). (Hint: You can answer this without any calculation.) Sei (T 1,T,...,) ein Standard-Poissonprozess auf R +, and N t die Anzahl seiner Punkte t. a) Drücken Sie für k N das Ereignis {T k+1 > t} \ {T k > t} mittels N t und k aus. b) Für k N sei G k Gamma(k)-verteilt. Bestimmen Sie P(G k+1 > t) P(G k > t). (Hinweis: Sie können dies ganz ohne Rechnung lösen.) a) {T k+1 > t} says that the (k + 1) th renewal point is larger than t. {T k+1 > t} \ {T k > t} means that the k th renewal point is t whereas the (k + 1) th renewal point is > t. Thus this is the same as the event {N t = k}, meaning that there are k renewal points in the interval [0,t]. b) In a standard Poisson process, T k is Gamma(k)-distributed (sum of k independent Exp(1)-distributed random variables). Thus P(G k+1 > t) P(G k > t) = P({T k+1 } \ {T k }) = P(N t = k) = e ttk k!
3. Let X = (X n ) be the nearest neighbour random walk on Z with upwards probability p = 3/4. a) For which number v is X n vn a martingale? b) Compute the expected value of the time T when X first hits state 10, given that X starts in state 0. Hint: What does the stopping theorem tell for this T? You may use without proof that (X T n ) is uniformly integrable. Sei X = (X n ) die Nächste-Nachbar-Irrfahrt auf Z mit W keit p = 3/4 für einen Schritt nach oben. a) Für welche Zahl v ist X n vn ein Martingal? b) Berechnen Sie den Erwartungswert der Zeit T, zu der X bei Start im Zustand 0 erstmals den Zustand 10 trifft. Hinweis: Was sagt der Stoppsatz für dieses T? Sie dürfen ohne Beweis verwenden, dass (X T n ) uniform integrierbar ist. a) The increment X n+1 v(n + 1) (X n vn) = (X n+1 X n ) v is independent of (X 0,...,X n ) and has expectation 3 4 1 4 v = 1 v. Thus X n vn is a martingale for v = 1/. b) By the stopping theorem E 0 [X T vt] = E 0 [X 0 ] = 0 (remember: X T n is uniformly integrable) and therefore Thus E 0 [T] = 0. 0 = E 0 [X T vt] = E 0 [X T ] ve 0 [T] = 10 1/E 0 [T] 3
4. In the compound Poisson process Z t = i:t i t H i, t 0, let (T 1,T,...) be a standard Poisson process and let the H i have a normal distribution with mean and variance 3. Compute the expectation and the variance of Z t. Im Compound Poisson Prozess Z t = i:t i t H i, t 0, sei (T 1,T,...) ein Standard-Poissonprozess, und jedes H i habe eine Normalverteilung mit Erwartungswert und Varianz 3. Berechnen Sie Erwartungswert und Varianz von Z t. Defining N t := #{i T i t}, the number of points up to time t in a standard Poisson process, we can rewrite Z t = N t i=1 H i. By the tower law, E[Z t ] = E [E[Z t N t ]] = E[N t E[H]] = t and using the variance decomposition known from exercises 8 and 5 Var(Z t ) = E[Var(Z t N t )] + Var(E[Z t N t ]) = E[N t ]Var[H] + Var(N t )E[H] = 7t (remember that N t is Poisson(t)-distributed and has expectation and variance t) 4
5. Let (X n ) be a simple random walk on Z starting in 0. Which of the following are martingales, and why? a) X n b) (3X n ) 9n c) n k=3 (X k 3 3X k 1 X k )(X k X k 1 ) (X n ) sei die gewöhnliche Irrfahrt auf Z mit Start in 0. Welche der folgenden Prozesse sind Martingale, und warum? a) X n b) (3X n ) 9n c) n k=3 (X k 3 3X k 1 X k )(X k X k 1 ) a) NO MARTINGALE: E[X 1 X 0 = 0] = 1/ + 1/ 0 b) MARTINGALE: E[(3X n+1 ) 9(n + 1) X n ] = 9/(X n + 1) + 9/(X n 1) 9n 9 = 9X n 9n a.s. c) MARTINGALE: The simple random walk (X k ) is a martingale and G k := X k 3 3X k 1 X k is a previsible process. (More formally: Let F k := σ(x 0,,X k ) be the natural filtration. Then k = 3,4,, G k is F k 1 -adapted.) 5
6. Let ξ n,i,n = 1,,...,i = 1,,..., be i.i.d N 0 -valued random variables with E[ξ 1,1 ] =. Define inductively X 0 := 1, X n+1 := X n i=1 ξ n,i. a) Find E[X n+1 (X 0,...,X n )]. b) Give an argument why ( Xn ) converges a.s. to an integrable random variable X as n n. ξ n,i,n = 1,,...,i = 1,,..., seien u.i.v. N 0 -wertige Zufallsvariable mit E[ξ 1,1 ] =. Wir definieren induktiv X 0 := 1, X n+1 := X n i=1 ξ n,i. a) Finden Sie E[X n+1 (X 0,...,X n )]. b) Geben Sie ein Argument, warum ( Xn ) für n fast sicher gegen eine n integrierbare Zufallsvariable X konvergiert. a) E[X n+1 (X 0,,X n )] = E ] ξ n,i (X 0,,X n ) [ Xn i=1 = X n E[ξ 1,1 ] = X n b) By a), ( Xn ) is a nonnegative martingale. The supermartingale convergence theorem then states that Xn n converges a.s. to an integrable random n variable X as n. 6
7. True or false, and why? (Quote a result from the course or the exercises, or give a counterexample.) a) Every martingale converges a.s. b) Every L 1 -bounded martingale converges a.s. c) Every nonnegative martingale is uniformly integrable. d) Every L 1 -bounded martingale converges in L 1. e) Every L -bounded martingale converges in L 1. Wahr oder falsch, und warum? (Erinnern Sie an ein Ergebnis aus der Vorlesung oder den Übungen, oder geben Sie ein Gegenbeispiel an.) a) Jedes Martingal konvergiert fast sicher. b) Jedes L 1 -beschränkte Martingal konvergiert fast sicher. c) Jedes nichtnegative Martingal ist uniform integrierbar. d) Jedes L 1 -beschränkte Martingal konvergiert in L 1. e) Jedes L -beschränkte Martingal konvergiert in L 1. a) FALSE! counterexample: simple symmetric random walk b) TRUE! Supermartingale convergence theorem c) FALSE! counterexample: simple symmetric random walk starting in 1 and stopped in zero d) FALSE! counterexample: simple symmetric random walk starting in 1 and stopped in zero e) TRUE! L boundedness implies uniform integrability (see excercise 50) 7
8. Let X = (X t ) be a continuous time Markov chain on Z such that for every bounded f : Z R the function u t (x) := E x [f(x t )] obeys t u t(x) = 3 4 u t(x + 1) + 1 4 u t(x 1) u t (x). a) What is the Q-matrix of X? b) Describe briefly how to construct X from a Markov chain in discrete time and i.i.d. Exp(1)-distributed random variables. c) Assume that X 0 = 0. Is the following statement true or false (and why): With positive probability, for all t 0 > 0 there exists a t > t 0 such that X t = 0. Sei X = (X t ) eine Markovkette in stetiger Zeit auf Z, so dass für jedes beschränkte f : Z R die Funktion u t (x) := E x [f(x t )] die Gleichung t u t(x) = 3 4 u t(x + 1) + 1 4 u t(x 1) u t (x) erfüllt. a) Wie sieht die Q-Matrix von X aus? b) Beschreiben Sie kurz, wie man X aus einer Markovkette in diskreter Zeit und u.i.v. Exp(1)-verteilten Zufallsvariablen konstruieren kann. c) Angenommen X 0 = 0. Ist die folgende Aussage wahr oder falsch (und warum): Mit positiver Wahrscheinlichkeit gibt es für alle t 0 > 0 ein t > t 0 so, dass X t = 0. a) The backward equation implies t u t(x) = y Z Q(x,y)u t(y). By equating coefficients, Q(x,x) = 1, Q(x,x + 1) = 3/4, Q(x,x 1) = 1/4, Q(x,y) = 0 else b) The corresponding discrete time Markov chain (Y n ) is the nearest neighbour random walk on Z with upwards probability p = 3/4, having transition matrix J(x,x+1) = p, J(x,x 1) = 1 p, J(x,y) = 0 else. In a state i, wait for an Exp(1)-distributed time (independent of everything else) and then jump, according to J, to one of the neighbouring points. (That is to i + 1 with probability 3/4 and to i 1 with probability 1/4) c) FALSE: By the law of large numbers, the discrete time random walk (Y n ) from b) is transient. Thus, the random walk a.s. returns to 0 only finitely often, and hence the probability that X returns to 0 at arbitrarily late times is 0. 8