Material der Folien zur Vorlesung Stochastische Prozesse Wintersemester 2016/2017

Transkript

1 Material der Folien zur Vorlesung Stochastische Prozesse Wintersemester 2016/2017 Prof. Dr. Hans-Jörg Starkloff Technische Universität Bergakademie Freiberg (Sachsen), Institut für Stochastik Letzte Änderung: 8. Juli 2017 (Hinweise und Bemerkungen bitte an: 1

2 Inhaltsverzeichnis 1 Grundlagen Grundlegende Begriffe Beispiele von Zufallsfunktionen Einige Klassen von Zufallsfunktionen Unendlichdimensionale Verteilungen und Eigenschaften mit Wahrscheinlichkeit Elemente der Analysis für Zufallsfunktionen Konvergenzarten für Folgen von Zufallsgrößen Stetigkeit von Zufallsfunktionen Ableitungen von Zufallsfunktionen Integration zufälliger Funktionen (Riemann-Integrale) Integration bezüglich eines orthogonalen stochastischen Maßes Korrelationstheorie Nichtnegativ definite Kerne und Funktionen Karhunen-Loève-Entwicklung Schwach stationäre Zufallsprozesse 42 5 Markowsche Ketten 50 2

3 Organisatorisches Vorlesung: Do., wöchentlich, 11:00-12:30 Uhr, MIB Übungen: Di., ungerade Wochen, 9:15-10:45 Uhr, PRÜ-1103, Dr. Ballani. (ursprünglich Fr., ungerade Wochen, 14:00-15:30 Uhr, MIB-1108) Information: Prüfung: mündliche Prüfung nach dem zweiten Modulteil (Stochastische Analysis). Themen für diesen Modulteil Grundlegende Begriffe, Beispiele Elemente der Analysis für Zufallsfunktionen Korrelationstheorie Stationäre Zufallsfunktionen Markowsche Ketten und Prozesse 2. Modulteil Sommersemester 2017: Stochastische Analysis 3

4 1 Grundlagen 1.1 Grundlegende Begriffe 1. In vielen Anwendungen: zeitlich oder räumlich sich ändernde Größen unter zufälligen Einflüssen: mathematische Modelle mit unendlich vielen Zufallsgrößen, z.b. zur Beschreibung von Aktienkursen, Temperaturverläufen, Fahrbahnunebenheiten, etc. Die mathematische Theorie zur Untersuchung derartiger Modelle (in Bezug auf stochastische Fragestellungen) ist die Theorie der stochastischen Prozesse bzw. Theorie der Zufallsfunktionen. Beispiel DAX Bemerkung: Fragen, die bei der Nutzung von Grafiken relevant sein können, sind z.b.: Woher kommen Daten, wie werden sie ermittelt? Wie wird Graphik erstellt? Bildquelle: Welches mathematische Modell ist geeignet für interessierende Fragestellungen? 2. Definition Wahrscheinlichkeitsraum (Ω, F, P) (i) Ω (ii) F nichtleere Menge; σ Algebra von Teilmengen von Ω ( zufällige Ereignisse ), d.h., Ω F ; 4

5 A F A c := Ω \ A F ; A n F (n N) A n, A n F. n N (iii) P Wahrscheinlichkeitsmaß auf dem messbaren Raum (Ω, F), d.h. P : F [0, 1] R mit n N P(Ω) = 1 ; ( ) P A n = P(A n ), falls A n A m = (m n, m, n N). n N n N 3. Definition (Zufallsvariable) Geg. Wahrscheinlichkeitsraum (Ω, F, P) ; messbarer Raum (X, A X ), d.h. nichtleere Menge X mit σ Algebra A X von Teilmengen von X. X : Ω X heißt X wertige Zufallsvariable (Zufallsvariable in X oder (X, A X ) bzw. Zufallselement in X oder (X, A X ), falls X messbar bezüglich F und A X ist, d.h. Bezeichnungen für X falls (X, A X ) = B A X : X 1 (B) = {ω Ω : X(ω) B} F. (R, B(R)) : Zufallsgröße, reelle Zufallsvariable; (R d, B(R d )) (d N) : Zufallsvektor (d dimensional); (C, B(C)) : komplexe Zufallsgröße, komplexe Zufallsvariable; (C d, B(C d )) (d N) : komplexer Zufallsvektor (d dimensional); (R, B(R)) : verallgemeinerte oder numerische Zufallsgröße. Falls nichts anderes gesagt wird arbeiten wir mit Zufallsgrößen (reellen Zufallsvariablen). 4. Definition (Verteilung einer Zufallsvariable in (X, A X )) Geg. Wahrscheinlichkeitsraum (Ω, F, P) ; messbarer Raum (X, A X ) ; Zufallsvariable X : Ω X. Das Wahrscheinlichkeitsmaß P X auf (X, A X ), welches durch P X (B) := P(X 1 (B)) = P({ω Ω : X(ω) B}) = P(X B) (B A X ) definiert wird, heißt die Verteilung (die Wahrscheinlichkeitsverteilung, das Verteilungsgesetz) von X. 5

6 Für Zufallsgrößen X : Ω R wird dieses Maß eindeutig durch die zugehörige Verteilungsfunktion F X : R [0, 1] definiert, d.h. x R : F X (x) = P X ((, x)) = P({ω Ω : X(ω) < x}) = P(X < x). Eigenschaften von Verteilungsfunktionen von Zufallsgrößen (i) (ii) F X lim F X(x) = 0 ; x lim F X (x) = 1 ; x ist monoton nichtfallend; (iii) F X ist linksseitig stetig. 5. Definition (Gleichheitsbegriffe für Zufallsvariablen) Zwei Zufallsvariable X 1 : (Ω 1, F 1, P 1 ) (X, A X ) und X 2 : (Ω 2, F 2, P 2 ) (X, A X ) heißen identisch verteilt, falls ihre Verteilungen übereinstimmen, d.h. B A X : P X1 (B) = P X2 (B). Für Zufallsgrößen ist dies äquivalent zu: x R : F X1 (x) = F X2 (x). Zwei Zufallsvariable X 1, X 2 : (Ω, F, P) (X, A X ) heißen äquivalent oder P f.s. gleich, falls gilt P(X 1 = X 2 ) := P({ω Ω : X 1 (ω) = X 2 (ω)}) = 1. Behauptung Zwei äquivalente Zufallsvariable sind auch identisch verteilt. Bemerkung Für reelle oder komplexe Zufallsgrößen oder Zufallsvektoren auf (Ω, F, P) gilt 6. Definition (Zufallsfunktion) {ω Ω : X 1 (ω) = X 2 (ω)} F. Geg. Wahrscheinlichkeitsraum (Ω, F, P) ; messbarer Raum (X, A X ) ; nichtleere Menge (üblicherweise unendlich) T. Eine mit den Elementen der Menge T indizierte Familie von (X, A X ) wertigen Zufallsvariablen, definiert auf einem Wahrscheinlichkeitsraum (Ω, F, P) heißt (X, A X ) wertige Zufallsfunktion oder Zufallsfunktion mit Zustandsraum (X, A X ) und Parametermenge (Indexmenge) T. Bezeichnungen (ξ t ; t T), (ξ(t) ; t T), (X t ; t T), (X(t) ; t T),... Bemerkung Namen werden unterschiedlich gebraucht, z.b. T = N oder T = Z : Zufallsfolge; 6

7 Intervall T R : Zufallsprozess, stochastischer Prozess; T R d (d N) : Zufallsfeld. 7. Definition (Realisierungen einer Zufallsfunktion) Geg. (ξ t ; t T) Zufallsfunktion auf (Ω, F, P) mit Parametermenge T und Zustandsraum (X, A X ). Die für beliebige feste ω Ω definierten Funktionen ξ (ω) : T X, T t ξ t (ω) nennt man Realisierungen (auch Trajektorien, Pfade oder Stichprobenfunktionen) der Zufallsfunktion (ξ t ; t T). 8. Drei Möglichkeiten der Betrachtung bzw. Untersuchung von Zufallsfunktionen (hier für den Fall X = R formuliert) : (i) als Familie von Zufallsgrößen, t ξ t ( ) L 0 (Ω, F, P; R), also als spezielle Form einer abstrakten Funktion; hierbei bezeichnet L 0 (Ω, F, P; R) die Menge aller Zufallsgrößen auf (Ω, F, P)) ; (ii) als Menge von Realisierungen, dies sind Elemente der Menge R T (oder einer geeigneten Teilmenge), zusätzlich muss eine Messbarkeitsbedingung eingeführt bzw. erfüllt sein; (iii) als Abbildung von zwei Variablen ξ : Ω T (ω, t) ξ t (ω) R, so dass gilt t T : ξ t : Ω R, ω ξ t (ω) ist F B(R) messbar. 9. Definition (Gleichheitsbegriffe für Zufallsfunktionen) (i) Zwei Zufallsfunktionen (ξ t ; t T) und (η t ; t T) auf einem Wahrscheinlichkeitsraum (Ω, F, P) heißen stochastisch äquivalent, falls t T gilt: P(ξ t = η t ) = 1. In diesem Fall nennt man (ξ t ; t T) und (η t ; t T) Modifikationen voneinander. (ii) Die Zufallsfunktion (ξ t ; t T) auf (Ω, F, P) heißt Version von (η t ; t T), wenn obige Bedingungen erfüllt sind und (η t ; t T) eine Familie von P f.s. definierten Zufallsgrößen auf (Ω, F, P) ist. (iii) Zwei Zufallsfunktionen (ξ t ; t T) und (η t ; t T) auf einem Wahrscheinlichkeitsraum (Ω, F, P) heißen ununterscheidbar, falls gilt P({ω Ω : ξ t (ω) = η t (ω) t T}) = 1. 7

8 Bemerkung Die Menge {ω Ω : ξ t (ω) = η t (ω) t T} muss nicht unbedingt ein zufälliges Ereignis sein (Beispiel folgt später). 10. Behauptung Geg. Ununterscheidbare Zufallsfunktionen (ξ t ; t T) und (η t ; t T) auf (Ω, F, P). Diese Zufallsfunktionen sind stochastisch äquivalent. Die Umkehrung dieser Aussage ist im Allgemeinen nicht gültig. (ÜA!) 11. Definition (Endlichdimensionale Verteilungen einer Zufallsfunktion) Geg. n N, (t 1, t 2,..., t n ) T n, Zufallsfunktion (ξ t ; t T) auf (Ω, F, P) mit Zustandsraum (X, A X ). Die Verteilung des Zufallsvektors (ξ t1, ξ t2,..., ξ tn ) mit Werten in (X n, n i=1a X ) wird eine endlichdimensionale Verteilung (konkreter eine n dimensionale Verteilung) der Zufallsfunktion genannt. Bez. P (ξt1,ξ t2,...,ξ tn ) (oder ähnlich). Bemerkung (i) Man kann sich in der Definition auf Parametervektoren (t 1, t 2,..., t n ) mit paarweise verschiedenen Komponenten beschränken. (ii) Wählt man n N und (t 1,..., t n ) T n beliebig, erhält man das System der endlichdimensionalen Verteilungen der Zufallsfunktion. Dieses System bestimmt eigentlich die Verteilung der Zufallsfunktion. (iii) Im Fall X = R werden im Allgemeinen die n dimensionalen Verteilungen durch n dimensionale Verteilungsfunktionen und im Fall von absolut stetigen Verteilungen durch n dimensionale Verteilungsdichten definiert. 12. Definition (Identisch verteilte Zufallsfunktionen) Zwei Zufallsfunktionen mit identischen Zustandsmengen (X, A X ), (ξ t ; t T) definiert auf (Ω 1, F 1, P 1 ) und (η t ; t T) definiert auf (Ω 2, F 2, P 2 ) heißen identisch verteilt, falls ihre endlichdimensionalen Verteilungen übereinstimmen. 13. Behauptung Zwei stochastisch äquivalente Zufallsfunktionen besitzen übereinstimmende endlichdimensionale Verteilungen, sind also identisch verteilt. Die Umkehrung dieser Aussage ist nicht allgemein gültig. (ÜA!) 14. Bemerkung Die Realisierungen stochastisch äquivalenter Zufallsfunktionen können ganz unterschiedliche Eigenschaften besitzen. 8

9 15. Beispiele T = Ω = [0, 1], F = B([0, 1]), P = Lebesgue-Maß, A 0 [0, 1], A 0 B([0, 1]) ξ t (ω) := 0, ω [0, 1], t [0, 1] ; { 1, t = ω [0, 1] ; η t (ω) := 0, t [0, 1], ω [0, 1], t ω, { 1, t = ω A0 ; ζ t (ω) := 0, sonst. (ξ t ) und (η t ) bzw. (ξ t ) und (ζ t ) sind stochastisch äquivalent, aber z.b. P(ξ ist stetig auf [0, 1]) = 1 ; P(η ist stetig auf [0, 1]) = 0 ; P(ξ t = ζ t für alle t [0, 1]) F. 16. Weitere Charakteristiken einer reellen Zufallsfunktion (ξ t ; t T) (falls sie existieren; teilweise unterschiedliche Namen in Literatur): Erwartungswertfunktion, Mittelwertfunktion : T t E[ξ t ] = m ξ (t) R (falls t T : E[ ξ t ] < ); Kovarianzfunktion : (falls t T : E[ ξ t 2 ] < ) T T (s, t) Cov[ξ s, ξ t ] = E[(ξ s E[ξ s ])(ξ t E[ξ t ])] = r ξ (s, t) R ; Varianzfunktion : (falls t T : E[ ξ t 2 ] < ) T t Var [ξ t ] = E [ (ξ t E[ξ t ]) 2] = v ξ (t) 0 ; gemischte Momentenfunktion 2. Ordnung : T T (s, t) E[ξ s ξ t ] R (falls t T : E [ ξ t 2] < ); Korrelationsfunktion : (falls t T : E[ ξ t 2 ] <, Var [ξ t ] > 0) T T (s, t) Corr[ξ s, ξ t ] = r ξ(s, t) vξ (s)v ξ (t) [ 1 ; 1]. 17. Beispiel Geg. U U[0, 1], (E[U] = 1 1, Var [U] = ), T = R, 2 12 Zufallsfunktion ξ t := U t mit Parametermenge R. 9

10 18. Charakteristiken von vektorwertigen Zufallsfunktionen Geg. Zufallsfunktion (ξ(t) ; t T) mit Zustandsraum X = R d oder X = C d (d N), ξ(t) = (ξ 1 (t),..., ξ d (t)) T. Falls existieren: Erwartungswertfunktion, Mittelwertfunktion : T t E[ξ(t)] = m ξ (t) = (E[ξ 1 (t)],..., E[ξ d (t)]) T R d bzw. C d ; Kovarianzfunktion (Fall X = R d ) : T T (s, t) Cov[ξ(s), ξ(t)] = E [ (ξ(s) E[ξ(s)])(ξ(t) E[ξ(t)]) T ] = r ξ (s, t) R d d ; Kovarianzfunktion (Fall X = C d analog auch X = C) : T T (s, t) Cov[ξ(s), ξ(t)] = E [(ξ(s) ] E[ξ(s)])(ξ(t) E[ξ(t)]) T = r ξ (s, t) C d d. 19. Behauptung (eine Definitionsmöglichkeit für Zufallsfunktionen) Geg. Wahrscheinlichkeitsraum (Ω, F, P), reeller Zufallsvektor (X 1,..., X n ) auf (Ω, F, P), nichtleere Menge T, ψ : T R n R, so dass t T gilt ψ(t, ) : R n R ist B(R n ) B(R) messbar. (Ω T) (ω, t) ξ t (ω) := ψ(t, X 1 (ω),..., X n (ω)) definiert eine reelle Zufallsfunktion auf (Ω, F, P) mit Parametermenge T. 20. Bemerkung Definition von Zufallsfunktionen in Modellen/Aufgaben z.b. wie oben, ggf. auch mit abzählbar unendlich vielen Zufallsgrößen X i ; als Resultat von Transformationen von schon definierten Zufallsfunktionen ; durch die Angabe des Systems aller endlichdimensionaler Verteilungen. 1.2 Beispiele von Zufallsfunktionen 1. Geg. Zufallsgrößen A, η, φ mit P(A > 0) = 1, P(η > 0) = 1 φ U[0, 2π), φ unabhängig von (A, η). ξ t := A cos(η t + φ), t R, definiert einen stochastischen Prozess, der zufällige harmonische Schwingungen beschreibt. 10

11 Abb. 5 Realisierungen, A U(0, 1), η U(0, 1), unabhängig. 2. Geg. (ξ k ; k N) i.i.d. ZG, ist eine Zufallsfolge. n Mit S n := wird eine neue Zufallsfolge (S n ; n N) definiert. k=1 ξ k Bemerkung i.i.d. steht für independent and identically distributed, d.h. unabhängig und identisch verteilt (in deutsch auch u.i.v. abgekürzt). 3. Geg. (ξ k ; k N 0 ) (η k ; k N) i.i.d. Zufallsgrößen mit P(ξ k [ 1, 1]) = P(η k [ 1, 1]) = 1, k N 0. ζ t := ξ ( ξk k cos(2πkt) + η ) k 2 k sin(2πkt), t R, 2 k=1 definiert eine zufällige reelle Fourierreihe (die für alle t R P f.s. konvergiert). 4. (ξ t ; t [0, )) ist ein Poisson-Prozess mit Parameter a > 0, falls (i) ξ 0 = 0 P f.s.. (ii) Für beliebige n N, 0 t 0 < t 1 <... < t n sind die Zufallsgrößen ξ t1 ξ t0, ξ t2 ξ t1,..., ξ tn ξ tn 1 (die Zuwächse ) stochastisch unabhängig. (iii) Die Zufallsgrößen ξ t ξ s, 0 s < t, sind Poisson-verteilt mit dem Parameter a(t s), d.h. P(ξ t ξ s = k) = (a(t s))k e a(t s), k N 0. k! Es gibt eine Modifikation, deren Realisierungen P fast sicher nichtfallende, ganzzahlige Funktionen sind, die nur mit Sprüngen der Höhe 1 wachsen. Diese Eigenschaften der Realisierungen werden oft mit in die Definition aufgenommen. 11

12 5. (W t ; t [0, )) ist ein Wiener-Prozess oder eine Brownsche Bewegung mit Parameter a > 0, falls (i) W 0 = 0 P f.s.. (ii) Für beliebige n N, 0 t 0 < t 1 <... < t n sind die Zufallsgrößen W t1 W t0, W t2 W t1,..., W tn W tn 1 (die Zuwächse ) stochastisch unabhängig. (iii) Die Zufallsgrößen W t W s, 0 s < t, sind normalverteilt mit den Parametern 0 und a(t s), d.h. W t W s N(0, a(t s)). Es gibt eine Modifikation, deren Realisierungen P fast sicher stetige, aber nirgends differenzierbare reelle Funktionen sind. Die Forderung der Stetigkeit der Realisierungen wird meistens mit in die Definition aufgenommen. Bemerkung Für a = 1 nennt man einen solchen stochastischen Prozess auch Standard-Wiener-Prozess. Abb. 5 Realisierungen Standard-Wiener-Prozess 12

13 6. Dieses Beispiel liefert eine Zufallsfunktion von einem etwas anderen Typ als die bisherigen. Geg. Wahrscheinlichkeitsraum (Ω, F, P), ZG ξ auf (Ω, F, P) mit E[ ξ ] <. Wir wählen für jede Teil σ Algebra G von F einen Vertreter (eine Festlegung, eine Version) von E[ξ G] =: ξ G. Mit T := {G : G ist eine Teil σ Algebra von F} ist dann (ξ G ; G T) eine Zufallsfunktion mit Parametermenge T. 7. Die Beispiele 4 und 5 liefern zwei grundlegende Beispiele, die bei vielen Untersuchungen eine große Rolle spielen. Fragen der Existenz derartiger stochastischer Prozesse und Eigenschaften werden etwas später behandelt. 1.3 Einige Klassen von Zufallsfunktionen 1. Definition (Gaußsche Zufallsfunktion) Die Zufallsfunktion (ξ t ; t T) mit Werten in (R, B(R)) heißt Gaußsch oder normalverteilt, falls alle ihre endlichdimensionalen Verteilungen Normalverteilungen sind (die Einpunktverteilungen zählen wir dabei mit zu den Normalverteilungen, als Normalverteilung mit Varianz 0), d.h. n N, (t 1,..., t n ) T n, (z 1,..., z n ) T R n ist z 1 ξ t z n ξ tn eine normalverteilte Zufallsgröße. Eine äquivalente Bedingung dazu ist: n N, (t 1,..., t n ) T n m = m(t 1,..., t n ) R n und eine symmetrische positiv semidefinite n n Matrix R = R(t 1,..., t n ), so dass z = (z 1,..., z n ) T R n gilt: ( E[exp(i[z 1 ξ t z n ξ tn ])]] = exp i[m T z] 1 ) 2 zt Rz. Eine entsprechende Definition kann auch für vektorwertige Zufallsfunktionen gegeben werden. 2. Definition (Zufallsfunktion 2. Ordnung) Die Zufallsfunktion (ξ t ; t T) mit Werten in (R, B(R)) heißt Zufallsfunktion 2. Ordnung, falls gilt t T : E [[ ξ t 2]] <. Bemerkung Jede Gaußsche Zufallsfunktion ist eine Zufallsfunktion 2. Ordnung. Eine entsprechende Definition kann auch für komplexwertige bzw. vektorwertige Zufallsfunktionen gegeben werden. 13

14 3. Definition (Prozess mit unabhängigen Zuwächsen) Der stochastische Prozess (ξ t ; t T) mit T R und Werten in (R, B(R)) heißt Prozess mit unabhängigen Zuwächsen, falls seine Zuwächse auf disjunkten Intervallen stochastisch unabhängig sind, d.h. n N, t 0 < t 1 <... < t n, t i T, i = 0,..., n, gilt: die Zufallsgrößen sind stochastisch unabhängig. ξ t1 ξ t0, ξ t2 ξ t1,..., ξ tn ξ tn 1 ÜA Welche der Beispiele aus 1.2 sind stochastische Prozesse mit unabhängigen Zuwächsen? Bemerkung Eine entsprechende Definition kann auch für komplexwertige bzw. vektorwertige stochastische Prozesse gegeben werden. 4. Definition (Prozess mit unkorrelierten Zuwächsen) Der stochastische Prozess (ξ t ; t T) mit T R und Werten in (R, B(R)) heißt Prozess mit unkorrelierten Zuwächsen, falls seine Zuwächse auf disjunkten Intervallen unkorreliert sind, d.h. t 0 t 1 t 2 t 3, t i T, i = 0, 1, 2, 3, gilt: die Zufallsgrößen ξ t1 ξ t0 und ξ t3 ξ t2 sind unkorreliert, also es gilt Cov[ξ t1 ξ t0, ξ t3 ξ t2 ] = 0. Bemerkung Eine entsprechende Definition kann auch für komplexwertige bzw. vektorwertige Zufallsfunktionen gegeben werden. Bemerkung Eine äquivalente Definitionsbedingung ist: t 0 t 1 t 2, t 0, t 1, t 2 T : Cov[ξ t1 ξ t0, ξ t2 ξ t0 ] = Behauptung Geg. Stochastischer Prozess (ξ t ; t T) mit T R und Werten in (R, B(R)). Dann gelten: (i) Ist (ξ t ; t T) ein stochastischer Prozess 2. Ordnung und ein Prozess mit unabhängigen Zuwächsen, dann ist er auch ein Prozess mit unkorrelierten Zuwächsen. Die Umkehrung dieser Aussage gilt nicht allgemein. (ii) Ist (ξ t ; t T) ein Gaußscher stochastischer Prozess mit unkorrelierten Zuwächsen, dann ist er auch ein Prozess mit unabhängigen Zuwächsen. Beweis ÜA. 14

15 6. Definition (stationärer Prozess) Der stochastische Prozess (ξ t ; t T) mit T R und Werten in (R, B(R)) heißt stationärer Prozess, falls seine endlichdimensionalen Verteilungen invariant bezüglich Verschiebungen sind, d.h. n N, (t 1,..., t n ) T n, h R, so dass (t 1 +h,..., t n + h) T n, gilt P (t1,...,t n) = P (t1 +h,...,t n+h). Bemerkung Andere gebräuchliche Namen sind: stationärer Prozess im engeren Sinne oder stark stationärer stochastischer Prozess. Im Fall von T = N oder T = Z oder ähnlich nennt man diese stochastischen Prozesse auch stationäre (zufällige) Folgen. Im Fall von T = R d (d N) oder geeigneten Teilmengen nennt man derartige Zufallsfunktionen auch homogene Zufallsfelder. Eine entsprechende Definition kann auch für komplexwertige bzw. vektorwertige Zufallsfunktionen gegeben werden. 7. Definition (stationärer Prozess im weiteren Sinne) Der stochastische Prozess 2. Ordnung (ξ t ; t T) mit T R und Werten in (R, B(R)) heißt stationärer Prozess im weiteren Sinne oder schwach stationärer Prozess, wenn die Momentenfunktionen erster und zweiter Ordnung invariant bezüglich von Verschiebungen in der Parametermenge sind. Damit gilt (i) t 1, t 2 T : E[ξ t1 ] = E[ξ t2 ], d.h. die Erwartungswertfunktion T t m ξ (t) = E[ξ t ] ist eine konstante Funktion auf T ; (ii) die Kovarianzfunktion T 2 (s, t) Cov[ξ s, ξ t ] = r ξ (s, t) hängt nur von der Differenz t s der Argumente ab: r ξ (s, t) = r ξ (t s), (s, t) T Behauptung Geg. Stochastischer Prozess (ξ t ; t T) mit T R und Werten in (R, B(R)). Dann gelten: (i) Ist (ξ t ; t T) ein stochastischer Prozess 2. Ordnung und ein stationärer Prozess, dann ist er auch ein stationärer Prozess im weiteren Sinne. Die Umkehrung dieser Aussage gilt nicht allgemein. (ii) Ist (ξ t ; t T) ein Gaußscher stochastischer Prozess, der stationär im weiteren Sinne ist, dann ist er auch ein stationärer Prozess im engeren Sinne. Beweis ÜA. 9. Bemerkung Weitere Klassen stochastischer Prozesse, wie Markow-Prozesse oder Martingale, werden später definiert und behandelt. 15

16 1.4 Unendlichdimensionale Verteilungen und Eigenschaften mit Wahrscheinlichkeit 1 1. Geg. Zufallsfunktion (ξ t : t T) mit Zustandsraum (X, A X ) auf einem Wahrscheinlichkeitsraum (Ω, F, P). Als Wertebereich der dadurch definierten Abbildung von ω Ω kann z.b. der Raum aller X wertigen Funktionen auf T betrachtet werden, diese Menge wird mit X T = {x : T X} bezeichnet. Für Messbarkeitsfragen muss diese Menge mit einer geeigneten σ Algebra ausgestattet werden. 2. Definition (Zylindermengen in X T ) (i) Mengen der Form {x X T : (x t1,..., x tn ) A} für beliebig gewählte n N, (t 1,..., t n ) T n, A A n X nennt man Zylindermengen in X T. (ii) Z(T, X, A X ) sei die Menge aller Zylindermengen in X T. Behauptung (i) Z(T, X, A X ) ist eine Algebra. (ii) Ist T unendlich, dann ist im Allgemeinen Z(T, X, A X ) keine σ Algebra. 3. Definition (Verteilung der Zufallsfunktion) A T X = σ(z(t, X, A X)) sei die von den Zylindermengen in X T erzeugte σ Algebra. Die Verteilung der Zufallsfunktion ξ := (ξ t : t T) mit Zustandsraum (X, A X ) auf dem Wahrscheinlichkeitsraum (Ω, F, P) ist das Wahrscheinlichkeitsmaß P ξ auf dem messbaren Raum (X T, A T X ), welches durch die Beziehung P ξ (C) := P(ξ C) für beliebige C A T X definiert wird. Bemerkung Es gilt auch A T X = σ({x X T : x t A}, t T, A A X ). Für die Gültigkeit dieser Definition muss noch nachgewisen werden, dass P(ξ C) für beliebige C A T X definiert ist. 4. Satz (Struktur der σ Algebra A T X ) Für T 1 T sei A T 1 X = σ({x X T : x t A}, t T 1, A A X ). Dann gilt A T X = A T 1 X. T 1 T, card(t 1 ) card(n) 16

17 Bemerkung Für beliebige C A T X existiert eine höchstens abzählbare Menge T 1 T so dass C nur durch Bedingungen an x t mit t T 1 und keine anderen definiert wird. Folglich liegen z.b. im Fall X = R, A X = B(R) und T = R solche Mengen wie {x X T : sup t R x t 1} oder {x X T : x t ist stetig in t 0 } nicht in A T X und sind solche Funktionale wie nicht A T X messbar. sup x t oder lim x t t R t t0 5. Nach Definition gilt A T X = σ(z(t, X, A X)) und Z(T, X, A X ) ist eine Algebra. Nach dem Maßfortsetzungssatz ist ein Maß auf einer σ Algebra eindeutig durch seine Werte auf einer Algebra, die diese σ Algebra erzeugt, definiert. Die Familie der endlichdimensionalen Verteilungen einer Zufallsfunktion ξ definiert eindeutig die Verteilung P ξ dieser Zufallsfunktion. Bemerkung Auch noch kleinere Mengensysteme definieren eindeutig ein Maß auf der erzeugten σ Algebra, z.b. ein Halbring. (ein Mengensystem, welches die leere Menge enthält, stabil bzgl. endlichen Durchschnitten ist und für zwei Mengen B 1 B aus dem Halbring die Darstellung B = B 1 B 2... B n mit disjunkten Mengen B k, k = 1,..., n aus dem Halbring erlaubt.) So definieren die Werte P(ξ t1 A 1,..., ξ tn A n ) mit n N, t 1,..., t n T, A 1,..., A n A X eindeutig die Verteilung. 6. Notwendige Bedingungen für das System der endlichdimensionalen Verteilungen einer Zufallsfunktion sind die folgenden Verträglichkeitsbedingungen. (i) Für jede Permutation i 1,..., i n der Zahlen 1,..., n, beliebige t 1,..., t n T und A 1,..., A n A X gilt P (ξti1,...,ξ tin )(A i1... A tn ) = P (ξt1,...,ξ tn )(A 1... A n ). (ii) Für beliebige t 1,..., t n, t n+1 T und A 1,..., A n A X gilt P (ξt1,...,ξ tn,ξ tn+1 )(A 1... A n X) = P (ξt1,...,ξ tn )(A 1... A n ). 7. Satz (Kolmogorow) Für beliebige n N, (t 1,..., t n ) T n sei ein Wahrscheinlichkeitsmaß P (t1,...,t n) auf (R n, B(R n )) definiert. Dann ist die Familie ( P(t1,...,t n) ; n N, (t 1,..., t n ) T n) genau dann die Familie der endlichdimensionalen Verteilungen einer reellwertigen Zufallsfunktion auf einem Wahrscheinlichkeitsraum (Ω, F, P), falls dieses System die Verträglichkeitsbedingungen erfüllt. 17

18 Bemerkung An Stelle des Zustandsraumes X = R kann auch ein vollständiger separabler metrischer Raum (X, B(X)) oder noch allgemeiner ein Borelscher messbarer Raum betrachtet werden. Als zugrundeliegenden messbaren Raum kann man den Raum (X T, A T X ) nehmen. (Ohne Beweis!) 8. Für viele interessante Teilmengen C R R (z.b. die Menge der stetigen Funktionen) gilt C A T X mit X = R und T = R. Dann kann man mit der Kenntnis der endlichdimensionalen Verteilungen einer Zufallsfunktion ξ nicht entscheiden, ob P(ξ C) = 1 gilt. Statt dessen kann man versuchen zu zeigen, dass es zu einer gegebenen verträglichen Familie von endlichdimensionalen Verteilungen eine Zufallsfunktion ξ mit diesen endlichdimensionalen Verteilungen gibt, für die P(ξ C) = 1 gilt. Eine weitere mögliche Aufgabenstellung besteht darin, zu zeigen, dass zu einer Zufallsfunktion ξ mit gegebenen endlichdimensonalen Verteilungen eine äquivalente Zufallsfunktion ξ existiert, für die P( ξ C) = 1 gilt. 9. Satz Es existiert genau dann eine Zufallsfunktion ξ mit vorgegebenen endlichdimensionalen Verteilungen mit P(ξ C R T ) = 1, wenn das P ξ entsprechende äußere Maß auf der zu untersuchenden Menge C P ξ(c) := inf{p ξ (A) : A C, A A T X} gleich Eins ist. Dabei existiert stets eine Zufallsfunktion mit vorgegebenen endlichdimensionalen Verteilungen, für die alle Realisierungen der Menge C angehören. (Ohne Beweis!) 10. Satz (Kolmogorow) Es sei für a < b R (ξ t ; t [a, b]) ein reeller stochastischer Prozess auf einem vollständigen Wahrscheinlichkeitsraum definiert, für welchen positive Konstanten C, ε und β existieren, so dass für alle s, t [a, b] E [ ξ t ξ s β] C t s 1+ε gilt. Dann gibt es einen zu (ξ t ; t [a, b]) stochastisch äquivalenten stochastischen Prozess ( ξ t ; t [a, b]), dessen Realisierungen fast alle stetig sind. (Ohne Beweis!) 11. ÜA Wie kann man Beziehungen zwischen den Momenten eines Gaußschen stochastischen Prozesses ξ auf [a, b] mit Erwartungswertfunktion m ξ = 0 ausnutzen, um die Bedingungen des Satzes von Kolmogorow über eine stetige Modifikation abzuschwächen? 18

19 2 Elemente der Analysis für Zufallsfunktionen 2.1 Konvergenzarten für Folgen von Zufallsgrößen 1. Grundkonzepte der Analysis, wie Stetigkeit, Differenzierbarkeit und Ableitung, Integrierbarkeit und Integral, spielen auch in der Analysis für Zufallsfunktionen eine große Rolle ( stochastische Analysis im weiteren Sinne, es gibt noch einen Kern der stochastischen Analysis, der im Allgemeinen speziellere Fragen und besondere Eigenschaften beinhaltet). Grundlage ist oft der Begriff des Grenzwertes. Für Folgen von Zufallsgrößen und auch für Zufallsfunktionen existieren unterschiedliche Konvergenzbegriffe diese werden (in verschiedenem Maße und gegebenenfalls mit Verallgemeinerungen) auch hier genutzt. Zur Bestimmtheit betrachten wir hier reellwertige Zufallsgrößen bzw. Zufallsfunktionen, letztere im Allgemeinen definiert auf einem Intervall von R. 2. Def. (Konvergenzarten für Folgen von Zufallsgrößen) Geg.: ZG X, X n, n N, auf (Ω, F, P). (i) (ii) Fast sichere Konvergenz: ( P ) lim X n = X n = 1, Bez. X n f.s. X (n ). Stochastische Konvergenz (Konvergenz in Wahrscheinlichkeit): p ε > 0 lim P ( X n X > ε) = 0, Bez. X n X (n ). n (iii) Konvergenz im quadratischen Mittel (L 2 Konvergenz): lim E[ X n X 2] = 0, Bez. X n L2 X (n ). n (iv) Verteilungskonvergenz (schwache Konvergenz): g : R R beschränkt, stetig : Bez. X n d X (n ). lim E[g(X n )] = E[g(X )], n 3. Behauptung (Allgemeine Beziehungen zwischen Konvergenzarten) (i) X n f.s. p X (n ) X n X (n ). (ii) X n L 2 X (n ) X n p X (n ). (iii) X n p X (n ) X n d X (n ). 19

20 Weitere Eigenschaften der Konvergenzarten 4. Verteilungskonvergenz, schwache Konvergenz Äquivalente Bedingung für Konvergenz: lim F X n (x) = F X (x) n in allen Punkten x R, in denen F X stetig ist. Man kann Cauchy-Bedingungen aufstellen und nutzen. Diese Konvergenz lässt sich durch eine Metrik in der Menge der Verteilungsfunktionen (bzw. Halbmetrik im Raum der Zufallsgrößen) erzeugen. Diese Konvergenz hängt nur von den eindimensionalen Verteilungen der Zufallsgrößen ab (nur von F Xn und nicht von F (Xn,Xm) etc.). Diese Konvergenz spielt in dieser Form hier keine so große Rolle. 5. Stochastische Konvergenz Man kann Cauchy-Bedingungen aufstellen und nutzen. Diese Konvergenz lässt sich durch Metriken in der Menge der Äquivalenzklassen von Zufallsgrößen (bzw. Halbmetriken im Raum der Zufallsgrößen) erzeugen, z.b. [[ ]] X Y ϱ 1 (X, Y ) = E oder ϱ 2 (X, Y ) = E[min{ X Y, 1}]]. 1 + X Y Dabei entstehen vollständige metrische (Vektor-)Räume L 0 (Ω, F, P; R). Diese Konvergenz hängt nur von den zweidimensionalen Verteilungen der Folge von Zufallsgrößen ab (nur von F (Xn,X ) bzw. F (Xn,X m) für Cauchy-Folgen, keine höherdimensionale Verteilungen). 6. Fast sichere Konvergenz Man kann Cauchy-Bedingungen aufstellen und nutzen. Diese Konvergenz lässt sich im Allgemeinen nicht durch eine Metrik oder Topologie in der Menge der Äquivalenzklassen von Zufallsgrößen erzeugen. Diese Konvergenz hängt von allen endlichdimensionalen Verteilungen der Folge von Zufallsgrößen ab. Diese Konvergenz spielt eine große Rolle in der Analysis für Zufallsfunktionen, erfordert aber starke mathematische Hilfsmittel. 7. Konvergenz im quadratischen Mittel, Quadratmittelkonvergenz Man kann Cauchy-Bedingungen aufstellen und nutzen. 20

21 Diese Konvergenz ist die Normkonvergenz im Hilbert-Raum L 2 (Ω, F, P; R) =: L 2, wird also durch eine Norm, sogar ein Skalarprodukt und damit auch durch eine Metrik erzeugt. Diese Konvergenz hängt nur von den zweidimensionalen Verteilungen der Folge von Zufallsgrößen ab (nur von F (Xn,X ) bzw. F (Xn,X m) für Cauchy-Folgen, keine höherdimensionale Verteilungen). Diese Konvergenz spielt auch eine große Rolle in der Analysis für Zufallsfunktionen. 8. Wir werden oft (der Einfachkeit halber) von folgenden Bedingungen ausgehen: Voraussetzung (ξ t ; t T) ist eine reellwertige Zufallsfunktion auf einem Wahrscheinlichkeitsraum (Ω, F, P) mit einer Parametermenge T die (oft) ein offenes oder abgeschlossenes, endliches oder unendliches Intervall von R ist. Betrachten werden wir vor allem Resultate für die stochastische Konvergenz und die Konvergenz im quadratischen Mittel. 9. Da der stochastischen Konvergenz und der Konvergenz im quadratischen Mittel (und auch der Verteilungskonvergenz) Metriken (bzw. Halbmetriken) zugrunde liegen, ist in diesen Fällen die Definition des Grenzwertes einer Zufallsfunktion eigentlich jeweils ein Spezialfall der allgemeinen Definition einer Funktion mit Werten in einem metrischen Raum. Definition (ξ t ; t T) sei eine Funktion mit Werten in einem metrischen Raum (X, ϱ). Sie besitzt den Grenzwert ζ X für t t 0 T (Abschluss der Menge T), lim ξ t = ζ, falls gilt t t0 ε > 0 δ > 0 t T, 0 < t t 0 < δ : ϱ(ξ t, ζ) < ε. Äquivalent dazu ist die Konvergenz von Folgen von Funktionswerten: lim n ξ t n = ζ für beliebige Folgen t n t 0, t n T \ {t 0 } (n N). 10. Behauptung (Kriterium für Grenzwert im quadratischen Mittel) (ξ t ; t T) erfülle die Voraussetzung und es gelte E[ ξ t 2 ] < t T. Dann existiert lim ξ t im quadratischen Mittel mit t 0 T (Abschluss von T) genau t t0 dann, wenn ein endlicher Grenzwert von E[ξ t ξ s ] für t, s t 0 existiert. 11. ÜA Zeigen Sie, dass eine Reihe ξ n aus unkorrelierten Zufallsgrößen aus L 2 (Ω, F, P; R) n=1 21

22 im quadratischen Mittel genau dann konvergiert, wenn die beiden Zahlenreihen und Var [ξ n ] konvergieren. n=1 E[ξ n ] n=1 2.2 Stetigkeit von Zufallsfunktionen 1. Definition Eine Zufallsfunktion (ξ t ; t T) gemäß Voraussetzung heißt (i) stochastisch stetig im Punkt t 0 T, falls ξ t p ξt0 (t t 0,, t T) gilt, d.h. ε > 0, ε p > 0 δ > 0 : P( ξ t ξ t0 ε) < ε p t T mit t t 0 < δ. Eine äquivalente Bedingung dazu ist z.b.: ε p > 0 δ > 0 : ϱ 1 (ξ t, ξ t0 ) < ε p t T mit t t 0 < δ ; (ii) stochastisch stetig auf T 1 T, falls die Zufallsfunktion stochastisch stetig in jedem Punkt t 0 T 1 ist. 2. Beispiel (i) (ξ t ; t [0, )) Poisson-Prozess mit Parameter a > 0 (ξ t ; t [0, )) ist in jedem Punkt t 0 T = [0, ) stochastisch stetig, besitzt aber unstetige Realisierungen. (ii) (W t ; t [0, )) Wiener-Prozess mit Parameter a > 0 (ξ t ; t [0, )) ist stochastisch stetig auf T = [0, ). 3. Definition Die Zufallsfunktion zweiter Ordnung (ξ t ; t T) gemäß Voraussetzung heißt L (i) im Quadratmittel stetig im Punkt t 0 T, falls ξ 2 t ξ t0 d.h. (t t 0,, t T) gilt, ε > 0 δ > 0 : E [ ξ t ξ t0 2] < ε t T mit t t 0 < δ ; (ii) im Quadratmittel stetig auf T 1 T, falls die Zufallsfunktion im Quadratmittel stetig in jedem Punkt t 0 T 1 ist. 4. Behauptung (Kriterien der Quadratmittelstetigkeit) Geg.: Zufallsfunktion zweiter Ordnung (ξ t ; t T) gemäß Voraussetzung

23 (i) (ξ t ; t T) ist im Quadratmittel stetig im Punkt t 0 T die Funktion k : T T (s, t) k(s, t) := E[ξ s ξ t ] ist stetig im Punkt (t 0, t 0 ) T T die Erwartungswertfunktion T t m ξ (t) ist stetig im Punkt t 0 T und die Kovarianzfunktion r : T T (s, t) r(s, t) := Cov[ξ s, ξ t ] ist stetig im Punkt (t 0, t 0 ) T T. (ii) (ξ t ; t T) ist genau dann im Quadratmittel stetig auf T 1 T, wenn obige Bedingungen für alle t 0 T 1 gelten, insbesondere wenn die Funktion (s, t) k(s, t) stetig auf der Diagonale {(t 0, t 0 ) T 1 T 1 } ist. In diesem Fall ist die Funktion (s, t) k(s, t) auch stetig auf T 1 T Beispiel (i) (ξ t ; t [0, )) Poisson-Prozess mit Parameter a > 0 (ξ t ; t [0, )) ist in jedem Punkt t 0 T = [0, ) im quadratischen Mittel stetig, besitzt aber unstetige Realisierungen. (ii) (W t ; t [0, )) Wiener-Prozess mit Parameter a > 0 (ξ t ; t [0, )) im quadratischen Mittel stetig auf T = [0, ). 6. Bemerkung Die stochastische Stetigkeit und die Stetigkeit im quadratischen Mittel hängen von den zweidimensionalen Verteilungen der Zufallsfunktionen ab. 2.3 Ableitungen von Zufallsfunktionen 1. Definition Geg.: Zufallsfunktion (ξ t ; t T) entsprechend Voraussetzung , T ist ein offenes Intervall von R. (i) Die ZG η ist die stochastische (erste) Ableitung von (ξ t ; t T) im Punkt t 0 T, falls gilt ξ t+h ξ t h p η (h 0). In diesem Fall heißt die Zufallsfunktion stochastisch differenzierbar oder differenzierbar in Wahrscheinlichkeit im Punkt t 0 T. (ii) Die Zufallsfunktion heißt stochastisch differenzierbar auf T 1 T, falls die Zufallsfunktion stochastisch differenzierbar in jedem Punkt t 0 T 1 ist. 2. Definition Geg.: Zufallsfunktion zweiter Ordnung (ξ t ; t T) entsprechend Voraussetzung , T ist ein offenes Intervall von R. 23

24 (i) Die ZG η ist die (erste) Ableitung im quadratischen Mittel von (ξ t ; t T) im Punkt t 0 T, falls gilt ξ t+h ξ t h L 2 η (h 0). In diesem Fall heißt die Zufallsfunktion im quadratischen Mittel differenzierbar oder quadratmitteldifferenzierbar im Punkt t 0 T. (ii) Die Zufallsfunktion heißt im quadratischen Mittel differenzierbar auf T 1 T, falls die Zufallsfunktion im quadratischen Mittel differenzierbar in jedem Punkt t 0 T 1 ist. (iii) Existiert die Quadratmittelableitung auf T 1 T und ist sie dort im quadratischen Mittel stetig, nennt man die Zufallsfunktion im Quadratmittel stetig differenzierbar auf T Satz (Stetigkeit von differenzierbaren Funktionen) Existiert die stochastische (bzw. Quadratmittel-) Ableitung der Zufallsfunktion (ξ t ; t T) an der Stelle t 0 T, dann ist die Zufallsfunktion in diesem Punkt auch stochastisch (bzw. im Quadratmittel) stetig. 4. Bemerkung (i) Die Differenzierbarkeit in Wahrscheinlichkeit hängt von den endlichdimensionalen Verteilungen der Zufallsfunktion von nicht höherer als dritter Ordnung ab (Cauchy-Bedingung). (ii) Die Differenzierbarkeit im quadratischen Mittel hängt von den endlichdimensionalen Verteilungen der Zufallsfunktion von nicht höherer als zweiter Ordnung ab (Eigenschaften von Momentenfunktionen 1. und 2. Ordnung). 5. Beispiel (i) (ξ t ; t [0, )) Poisson-Prozess mit Parameter a > 0 (a) (ξ t ; t [0, )) ist in jedem Punkt t 0 T = [0, ) stochastisch differenzierbar mit Ableitung η t0 = 0 P f.s.; (b) (ξ t ; t [0, )) ist in keinem Punkt t 0 T = [0, ) im quadratischen Mittel differenzierbar. (ii) (W t ; t [0, )) Wiener-Prozess mit Parameter a > 0 (ξ t ; t [0, )) ist in keinem Punkt t 0 T = [0, ) stochastisch oder im quadratischen Mittel differenzierbar. 6. Bemerkung Das Beispiel zeigt, dass eine Analysis basierend auf der stochastischen Ableitung nicht so viel Sinn macht, die Ableitung einer konstanten Zufallsfunktion und vom wesentlich 24

25 verschiedenen Poisson-Prozess sind gleich man kann die Stammfunktion nicht aus der Ableitung rekonstruieren (die Newton-Leibniz-Formel bzw. der Fundamentalsatz der Differential-und Integralrechnung gilt nicht). 7. Satz (Kriterium der Quadratmitteldifferenzierbarkeit) Die Zufallsfunktion (ξ t ; t T R) zweiter Ordnung gemäß Voraussetzung ist genau dann im Punkt t 0 T differenzierbar im quadratischen Mittel, wenn die gemischte zweite Ableitung der Funktion T T (s, t) k(s, t) := E[ξ s ξ t ] im Punkt (t 0, t 0 ) T T existiert, d.h. es existiert k(t 0 + h 1, t 0 + h 2 ) k(t 0 + h 1, t 0 ) k(t 0, t 0 + h 2 ) + k(t 0, t 0 ) lim h 1,h 2 0 h 1 h 2 = 2 k(s, t) s t R. (s,t)=(t0,t 0 ) 8. Satz (Erwartungswert der Quadratmittelableitung) Ist die Zufallsfunktion (ξ t ; t T R) zweiter Ordnung gemäß Voraussetzung im Punkt t 0 T differenzierbar im quadratischen Mittel mit Ableitung η t0 = ξ t 0, dann existiert d dt m ξ(t) = d dt E[ξ t] R im Punkt t 0 und es gilt E [ ] ξ t d [ (ξ 0 = dt m ) ] 2 ξ(t 0 ), E t 0 = 2 k(s, t). s t (s,t)=(t0,t 0 ) 9. Satz (Zweite Momente der Quadratmittelableitung) Sei (ξ t ; t T R) eine Zufallsfunktion zweiter Ordnung gemäß Voraussetzung mit k(s, t) = E[ξ s ξ t ]], (s, t) T T. Existiert die gemischte zweite Ableitung 2 k(s, t) in jedem Punkt s t (t 0, t 0 ) T T, dann ist (ξ t ; t T R) differenzierbar im quadratischen Mittel auf T mit Ableitung (η t = ξ t ; t T). Außerdem gelten für (s, t) T T : E[ξ sξ t ] = k(s, t) s und E[ξ sξ t] = 2 k(s, t) s t 10. Satz (Quadratmittelableitung stationärer Prozesse) Sei (ξ t ; t R) stationär im weiteren Sinne mit m ξ (t) = E[ξ t ] = m = const und r ξ (t s) = Cov[ξ s, ξ t ], (s, t) R 2. (i) Ist (ξ t ; t R) im Quadratmittel differenzierbar auf R mit der Ableitung (η t = ξ t ; t R), dann gelten m η (t) = E[η t ] = 0, r η (t s) = Cov[η s, η t ] = d2 r ξ (u) du 2. u=t s 25.

26 Insbesondere ist auch (η t = ξ t ; t R) stationär im weiteren Sinne. (ii) Existiert die zweite Ableitung der Funktion r ξ im Nullpunkt, dann ist (ξ t ; t R) im Quadratmittel differenzierbar auf R. (iii) In diesem Fall gelten auch E[ξ s η t ] = dr ξ(u) du und E[ξ t η t ] = 0. Insbesondere u=t s sind für Gaußsche stationäre Prozesse die Zufallsgrößen ξ t und ξ t für beliebige t R voneinander stochastisch unabhängig. 2.4 Integration zufälliger Funktionen (Riemann-Integrale) 1. Bemerkung Wir betrachten bei der Untersuchung von Integralen der Form b a ξ t dt für einen stochastischen Prozess (ξ t ; t [a, b]) nur Integrale im quadratischen Mittel. Integrale bezüglich der stochastischen Konvergenz verhalten sich wieder ungünstig (es gibt zum Beispiel stochastisch stetige Zufallsfunktionen auf kompakten Intervallen, die nicht integrierbar sind). 2. Definition (Zwischensumme, Riemann-Integal im Quadratmittel) Gegeben sei ein stochastischer Prozess zweiter Ordnung (ξ t ; t [a, b]) gemäß Voraussetzung mit < a < b <. (i) Eine endliche Folge a = t 0 < t 1 <... < t n = b ist eine Zerlegung Z des Intervalls [a, b], die Größe Z := max i=1,...,n t i t i 1 ist die Feinheit der Zerlegung Z. (ii) Werden zusätzlich (deterministisch) Zwischenwerte s i [t i 1, t i ], i = 1,..., n, beliebig gewählt, erhält man die zugehörige markierte Zerlegung Z. (iii) Man definiert die zum stochastischen Prozess und zur markierten Zerlegung des Intervalls gehörige Zwischensumme S Z := n ξ si (t i t i 1 ). i=1 (iv) Konvergieren die Zwischensummen für Z 0 im quadratischen Mittel unabhängig von der Wahl der Zwischenpunkte gegen einen Grenzwert (d.h. eine Zufallsgröße) I, dann nennt man diesen Grenzwert das (Riemann)-Integral im quadratischen Mittel des stochastischen Prozesses (ξ t ; t [a, b]) auf dem Intervall [a, b] und bezeichnet es als I = b a ξ t dt. Die Konvergenzbedingung kann wie folgt geschrieben werden ε > 0 δ > 0 Z mit Z < δ : E [ S Z I 2] < ε. 26

27 3. Satz Sei (ξ t ; t [a, b]), < a < b <, ein stochastischer Prozess zweiter Ordnung gemäß Voraussetzung 2.1.8, der auf dem Intervall [a, b] im Quadratmittel stetig ist. Dann existiert das (Riemann)-Integral im quadratischen Mittel 4. Beispiel (i) (ξ t := U t ; t [0, 1]) mit U U[0, 1]. b a ξ t dt. (ii) (ξ t ; t [0, 1]) mit ξ t, t [0, 1], standardnormalverteilt und unabhängig in Gesamtheit 1 0 ξ t dt = 0 P f.s.. 5. Bemerkung Für reellwertige Funktionen f : [a, b] R gilt das folgende Kriterium der Riemann- Integrierbarkeit: Satz (Integrierbarkeitskriterium von Lebesgue) f ist Riemann-integrierbar auf [a, b] f ist fast überall (im Sinne des Lebesgue- Maßes) stetig auf [a, b]. Dieses Kriterium gilt für Riemann-Integrale im quadratischen Mittel nicht mehr, wie das obige Beispiel 4 (ii) zeigt. 6. Satz Sei (ξ t ; t [a, b]), < a < b <, ein stochastischer Prozess zweiter Ordnung gemäß Voraussetzung 2.1.8, der auf dem Intervall [a, b] im Quadratmittel stetig ist. Dann gelten [ b ] b b (i) E ξ t dt = E[ξ t ] dt = m ξ (t) dt. a [ b ] (ii) Cov ξ t dt, ξ s = a a b [ b1 b2 ] (iii) Cov ξ t dt, ξ s ds = a 1 a 2 falls [a i, b i ] [a, b], i = 1, Satz a a Cov[ξ t, ξ s ] dt = b1 b2 a 1 b a r ξ (t, s) dt, s [a, b]. a 2 Cov[ξ t, ξ s ] dsdt = b1 b2 a 1 a 2 r ξ (t, s) dsdt, (i) Sei der stochastische Prozess (ξ t ; t [a, b]), < a < b <, gemäß Voraussetzung im Quadratmittel stetig auf [a, b] und sei η s := s a ξ t dt, a s b. 27

28 Dann ist der stochastische Prozess (η s ; s [a, b]) im Quadratmittel stetig differenzierbar auf [a, b] und es gilt im Quadratmittel für beliebige s [a, b] dη s ds = ξ s P f.s.. (ii) Ist umgekehrt der stochastische Prozess (η s ; s [a, b]), < a < b <, gemäß Voraussetzung im Quadratmittel stetig differenzierbar auf [a, b] mit Quadratmittelableitung ξ s = dη s ds η s = η a +, s [a, b], dann gilt im Quadratmittel s a ξ t dt, s [a, b]. (iii) Unter den Voraussetzungen von (ii) gilt für eine beliebige stetige Funktion g : [a, b] R mit Stammfunktion G : [a, b] R die folgende Formel der partiellen Integration b b G(s) ξ s ds = G(b)η b G(a)η a g(s) η s ds, d.h. a b a G(s) η s ds = G(b)η b G(a)η a a b a G (s) η s ds. 8. Anwendung auf zufällige Differentialgleichungen Seien a > 0, x 0 R und g : [0, ) eine stetige Funktion. Das Anfangswertproblem für die gewöhnliche lineare Differentialgleichung 1. Ordnung dx(t) = ax(t) + g(t), x(0) = x 0, dt besitzt die eindeutige Lösung x(t) = x 0 e a t + t 0 g(s)e a(t s) ds, t [0, ). Ist jetzt statt einer deterministischen Störfunktion g ein im Quadratmittel stetiger stochastischer Prozess (η t ; t [0, )) als Störfunktion gegeben, dann ist ξ t = x 0 e a t + t 0 η s e a(t s) ds, t [0, ), die Quadratmittellösung des Anfangswertproblems für die zufällige Differentialgleichung dξ t dt = aξ t + η t, ξ 0 = x 0. Der Anfangswert könnte in diesem Fall auch als Zufallsgröße modelliert werden. 8. Bemerkung Die Definitionen und Aussagen zu den (eigentlichen) Riemann-Integralen im Quadratmittel können bei Existenz der Grenzwerte auch auf uneigentliche Integrale verallgemeinert werden (analog zur deterministischen Theorie). 28

29 2.5 Integration bezüglich eines orthogonalen stochastischen Maßes 1. Ziel dieses Abschnittes ist die Definition von Integralen der Art b a g(t) dξ t für geeignete deterministische Funktionen g und stochastische Prozesse (ξ t ; t [a, b]). In wichtigen Fällen, z.b. wenn der stochastische Prozess ein Wiener-Prozess ist, kann ein solches Integral im Allgemeinen nicht realisierungsweise als Stieltjes-Integral definiert werden. Derartige Integrale werden aber z.b. für die nützliche Spektraldarstellung von schwach stationären Zufallsprozessen benötigt. Außerdem sind sie sozusagen eine Vorstufe der später zu definierenden stochastischen Itô-Integrale, bei denen auch die zu integrierenden Funktionen zufällig sind. 2. Definition (endlich additives stochastisches Maß) Geg. (Ω, F, P) Wahrscheinlichkeitsraum, E nichtleere Menge, E 0 Algebra von Teilmengen von E. Eine Funktion Z : E 0 L 2 (Ω, F, P; C) heißt endlich additives stochastisches (oder zufälliges) Maß, falls gilt 1, 2 E 0 ; 1 2 = : Z( ) = Z( 1 ) + Z( 2 ) P f.s.. 3. Definition (elementares stochastisches Maß) Ein endlich-additives stochastisches Maß Z auf E 0 heißt elementares stochastisches (oder zufälliges) Maß, falls für jede Folge ( k ; k N) von paarweise disjunkten Mengen aus E 0 mit := k E 0 gilt k=1 lim E n 2 n Z( ) Z( k ) = Bemerkung Die Bedingung in der vorangegangenen Definition ist äquivalent zur Stetigkeit (im Quadratmittel) in der leeren Menge: k=1 lim E[ Z( n ) 2] = 0, falls n, n E 0. n 5. Definition (orthogonales elementares stochastisches Maß) Ein elementares stochastisches Maß Z auf E 0 heißt orthogonales elementares stochastisches Maß (oder elementares Maß mit orthogonalen Werten), falls gilt [ ] 1 2 = ; 1, 2 E 0 E Z( 1 )Z( 2 ) = 0 29

30 oder äquivalent dazu [ ] 1, 2 E 0 : E Z( 1 )Z( 2 ) = E[ Z( 1 2 ) ]. 6. Definition (orthogonales stochastisches Maß) Ist Z : Ω E L 2 (Ω, F, P; C) ein orthogonales elementares stochastisches Maß, welches auf einer σ Algebra E definiert ist, so wird es orthogonales stochastisches Maß genannt. 7. Bemerkung In den nächsten Punkten behandeln wir die Fortsetzung eines orthogonalen elementaren stochastischen Maßes, definiert auf der Algebra E 0, zu einem orthogonalen stochastischen Maß, definiert auf der von E 0 erzeugten σ Algebra E = σ(e 0 ). Diese Fortsetzung kann mit Hilfe einfacher Ergebnisse aus der Funktionalanalysis unter Nutzung des mit einem orthogonalen elementaren stochastischen Maß zusammanhängenden Strukturmaß durchgeführt werden. 8. Lemma Geg. B 1, B 2 Banach-Räume, Teilraum B 0 B 1, der dicht in B 1 liegt; Abbildung (Operator) A : B 0 B 2, der linear und isometrisch ist, also b B 0 : Ab B2 = b B1. Dann kann A eindeutig auf B 1 fortgesetzt werden, so dass der fortgesetzte Operator linear und isometrisch ist, d.h.! Ã : B 1 B 2 linear und isometrisch mit Ãb = Ab b B 0 B Ist Z : E 0 L 2 (Ω, F, P; C) ein orthogonales elementares stochastisches Maß, dann ist die Mengenfunktion m : E 0 R, E 0 : m( ) := E [ Z( ) 2], ein additives und σ additives (endliches) Maß auf der Algebra E 0. Nach dem Fortsetzungssatz von Caratheodory kann dieses Maß eindeutig zu einem endlichen σ additiven Maß auf E = σ(e 0 ) fortgesetzt werden, man erhält ein Maß auf (E, E), welches wieder mit m bezeichnet wird. Definition (Strukturmaß) Dieses Maß m auf (E, E) heißt Strukturfunktion oder Strukturmaß des orthogonalen elementaren stochastischen Maßes Z. 10. Satz und Definition Geg. Menge E, E 0 Algebra von Teilmengen von E, E = σ(e 0 ), Z orthogonales elementares stochastisches Maß auf E 0 mit Strukturmaß m : E R +. (i) Das orthogonale elementare stochastische Maß Z auf E 0 kann eindeutig zu einem orthogonalen stochastischen Maß auf E fortgesetzt werden (diese Fortsetzung wird wieder mit Z bezeichnet werden). 30

31 (ii) Es existiert ein linearer isometrischer Operator I : L 2 (E, E, m; C) L 2 (Ω, F, P; C) mit I1 = Z( ), E 0. Das Bild einer Funktion (eigentlich: Äquivalenzklasse von Funktionen) f L 2 (E, E, m; C) unter I wird Integral von f bezüglich des orthogonalen stochastischen Maßes Z genannt und mit f(λ)z(dλ) bezeichnet. (iii) Für beliebige E, f L 2 (E, E, m; C) definiert man f(λ)z(dλ) := 1 (λ) f(λ)z(dλ). 11. Satz (Eigenschaften des Integrals bezüglich eines orthogonalen Maßes) Geg. Voraussetzungen und Bezeichnungen von Satz 10. E E (i) (Homogenität) a R, f L 2 (E, E, m, C) : E af(λ) Z(dλ) = a f(λ) Z(dλ). E (i) (Additivität) f 1, f 2 L 2 (E, E, m, C) : (f 1 (λ) + f 2 (λ)) Z(dλ) = f 1 (λ) Z(dλ) + E (iii) (Isometrie) f L 2 (E, E, m, C) : E[ E E 2] f(λ) Z(dλ) = E E f 2 (λ) Z(dλ). f(λ) 2 m(dλ). (iv) (σ Additivität) f L 2 (E, E, m, C), ( k ; k N) paarweise disjunkt : k=1 k f(λ) Z(dλ) = k=1 k f(λ) Z(dλ). Die Gleichheiten sind dabei als Gleichheiten von Äquivalenzklassen (d.h. im Sinne von P f.s) zu verstehen, die Konvergenz der Reihe im quadratischen Mittel. 12. Satz Geg. (ζ t ; t T), T = [a, b) R, a < b, ein komplexwertiger stochastischer Prozess mit unkorrelierten Zuwächsen und E[ζ t ] = 0 t T (ein zentrierter Prozess). 31

32 (i) Es existiert eine nichtfallende Funktion G : T R, so dass gilt a s < t b, : E [ ζ t ζ s 2] = G(t) G(s). (ii) (ζ t ; t T) ist genau dann im Quadratmittel stetig auf T, wenn die Funktion G stetig auf T ist. 13. Bemerkung (i) Analog für einseitige Stetigkeit. (ii) Im Fall T = R existieren Grenzwerte im Quadratmittel von (ζ t ; t T) für t bzw. t genau dann, wenn lim G(t) < bzw. lim G(t) > t t gilt. (iii) Ist G eine Funktion aus Satz 12 (i), dann erfüllt auch die Funktion G + c 0 mit c 0 R die angegebene Bedingung. Folglich kann man im Fall einer beschränkten Funktionen G diese so wählen, dass G(a) = 0 gilt (dies ist dann eine verallgemeinerte Verteilungsfunktion auf T). 14. Satz und Definition Geg. (ζ t ; t T), T = [a, b) R, a < b, ein zentrierter komplexwertiger stochastischer Prozess mit unkorrelierten Zuwächsen, der im Quadratmittel stetig auf T ist und für den die Funktion G aus Satz 12 (i) beschränkt ist mit G(a) = 0. n Durch Z( ) = (ζ bk ζ ak ) für = n k=1[a k, b k ) mit disjunkten Intervallen k=1 [a k, b k ), k = 1,..., n, wird ein orthogonales stochastisches Maß auf (T, B(T)) definiert, welches als Strukturmaß ein endliches Maß m auf (T, B(T)) mit der verallgemeinerten Verteilungsfunktion G besitzt. Das dazugehörige stochastische Integral wird mit f(λ) dζ λ (f L 2 (T, B(T), m)) bezeichnet. 15. Satz Geg. (Z( ) ; B(R)), ein orthogonales stochastisches Maß mit endlichem Strukturmaß m auf (R, B(R)) und zugehöriger stetiger verallgemeinerter Verteilungsfunktion G, d.h. G(x) G( ) = m((, x)). Dann ist jede Version (ζ t ; t R) mit ζ t := Z((, t)) P f.s. ein im Quadratmittel stetiger stochastischer Prozess mit unkorrelierten Zuwächsen. 16. Bemerkung Für die beiden vorangegangenen Resultate können Verallgemeinerungen bewisen werden, so z.b. für den Fall von nur einseitig stetigen Funktionen G oder für unbeschränkte Funktionen G (dann ist das Strukturmaß nur σ endlich). T 32

33 17. Definition (Wiener-Integral) Geg. (W t ; t [0, T ]), T (0, ), ein Standard-Wiener-Prozess auf [0, T ]. Dann wird das stochastische Integral [0,T ] f(t) dw t = T als Wiener-Integral bezeichnet. 0 f(t) dw t mit f L 2 ([0, T ], B([0, T ]), dt; R) 18. Satz (Eigenschaften des Wiener-Integrals) Für f, g, f i L 2 ([0, T ], B([0, T ]), dt; R), i = 1,..., n gilt T ( T ) (i) f(t) dw t N 0, f 2 (t) dt. 0 [ T T ] (ii) E f(t) dw t g(t) dw t = T 0 f(t)g(t) dt. ( T T ) (iii) f 1 (t) dw t,..., f n (t) dw t ist ein normalverteilter Zufallsvektor mit Erwartungswertvektor (0,..., 0) und Kovarianzmatrix f i (t)f j (t) 0 0 ( T ) dt 0. i,j=1,...,n 19. Sei (W t ; t [0, T ]), T (0, ), ein Standard-Wiener-Prozess auf [0, T ], definiert auf (Ω, F, P), mit dem erzeugten Teilraum in L 2 (Ω, F, P; R) H W ([0, T ]) := span{w t ; t [0, T ]}. Dann bildet I : L 2 ([0, T ], B([0, T ]), dt; R) L 2 (Ω, F, P; R) mit I : L 2 ([0, T ], B([0, T ]), dt; R) L 2 (Ω, F, P; R), If := auf H W ([0, T ]) ab, da (i) für einfache Funktionen f (ii) für t 0 [0, T ] gilt: W t0 = gilt: If H W ([0, T ]) und T 0 T 0 f(t) dw t 1 [0,t0 ](t) dw t liegt im Bildbereich von I. Hieraus folgt unter anderem: Ist (f n ; n N) eine Orthonormalbasis im Raum L 2 ([0, T ], B([0, T ]), dt; R), dann ist ( T ) η n := If n = f n (t) dw t ; n N 0 eine Orthonormalbasis im Raum H W ([0, T ]) L 2 (Ω, F, P; R). 33