Kapitel 2 Grundbegriffe der allgemeinen Theorie stochastischer Prozesse

Transkript

1 Kapitel 2 Grundbegriffe der allgemeinen Theorie stochastischer Prozesse

2 2.1 Definitionen stochastische Prozesse 2.1 Definitionen stochastische Prozesse Klassische Definition: als Familien von Zufallsvariablen (Ω, F, P ) Wahrscheinlichkeitsraum T (im Allgemeinen unendliche) Indexmenge, z.b. N 0, R +,... {X t, t T } Familie von Zufallsvariablen X t : (Ω, F, P ) (S, S) mit Wertebereich S und zugehöriger σ Algebra S. S abzählbar, S = P(S) diskrete ZV S = R oder Intervall I R, S = B oder B I reellwertige ZV S = R p oder I R p, S = B p oder B p I vektorielle ZV Sommersemester

3 2.1 Definitionen stochastische Prozesse Definition: Ein stochastischer Prozess ist das Quadrupel X = (Ω, F, P, {X t, t T }). T heißt Parameterraum, S Zustandsraum von X. Bemerkungen: Meist lässt man den Wahrscheinlichkeitsraum (Ω, F, P ) weg. Ein stochastischer Prozess X = {X t, t T } ist dann eine Familie von (im Allgemeinen abhängigen) Zufallsvariablen X t. Für T = N 0 oder R + wird t meist als diskrete oder stetige Zeit interpretiert. Ist T Z 2 (Gitter) oder T R 2, heißt X auch Zufallsfeld (random field) Räumliche Statistik (eigene Vorlesung). T N 0 Z 2, T R + R 2 oder T R + Z 2 zeitlich räumliche Statistik. werden häufig nach Zustands- und Parameterraum klassifiziert. Sommersemester

4 2.1 Definitionen stochastische Prozesse Definition: Sei X ein stochastischer Prozess (SP) und {t 1,..., t n, n N} T beliebig. Dann heißen P t1,...,t n (B 1... B n ) = P (X t1 B 1,..., X tn B n ) endlich-dimensionale Verteilungen des SP X. Für reelle Zufallsvariablen heißen F t1,...,t n (x 1,..., x n ) = P (X(t 1 ) x 1,..., X(t n ) x n ) endlich-dimensionale Verteilungsfunktionen des SP X. Die Menge aller endlich-dimensionalen Verteilung(sfunktion)en eines SP heißt Familie der endlich-dimensionalen Verteilung(sfunktion)en. Sommersemester

5 2.1 Definitionen stochastische Prozesse Endlich-dimensionale Verteilungsfunktionen (von SPen) erfüllen die folgenden Verträglichkeitsbedingungen (Konsistenzbedingungen): (a) Für jede Permutation k 1,..., k n von 1,..., n gilt F tk1,...,t k n (x k 1,..., x kn ) = F t1,...,t n (x 1,..., x n ). (b) Für alle 1 k < n und x 1,..., x k R gilt F t1,...,t k (x 1,..., x k ) = F t1,...,t n (x 1,..., x k,,..., ). Analoge Aussagen erhält man allgemein für Verteilungen mit F P, x 1,..., x k B 1,..., B k und S. Eine (beliebige) endlich-dimensionale Verteilungsfamilie heißt konsistent : (a) und (b) gelten. Sommersemester

6 2.1 Definitionen stochastische Prozesse Für jedes (feste) ω Ω heißt die Funktion X(ω) : T S t X t (ω), Pfad, Trajektorie oder Realisierung des stochastische Prozesses X. Für festes ω und laufendes t ist X t (ω) eine übliche (reelle) Folge (T diskret) bzw. Funktion (T stetig). Sommersemester

7 2.1.2 als Produktabbildungen 2.1 Definitionen stochastische Prozesse Ein stochastischer Prozess lässt sich auch auffassen als Funktion der beiden Variablen t und ω: X. (.) : T Ω S Produktabbildung (t, ω) X t (ω) Hält man in der Produktabbildung t fest, erhält man die Zufallsvariablen zurück: X t : Ω S t fest ω X t (ω) ω läuft. Im Allgemeinen muss die Messbarkeit der Produktabbildung X. (.) zusätzlich gefordert werden. (Der stochastische Prozess heißt dann messbar.) Alle Prozesse die wir in der Vorlesung besprechen und alle Prozesse mit diskretem Parameterraum sind messbar. Sommersemester

8 2.1 Definitionen stochastische Prozesse als Abbildungen in Funktionenräume Ordnet man jedem ω Ω seinen Pfad X(ω) S T zu, kann man einen stochastischen Prozess auch auffassen als Abbildung in den Funktionenraum S T X : (Ω, F, P ) S T ω X(ω) = {X t (ω), t T }. Dabei ist S T der Raum aller Funktionen T S, z.b. R [0, ) = Raum aller Funktionen f : [0, ) R R N 0 = Raum aller (reellen) Folgen. Vergleich mit p-dimensionaler Zufallsvariablen: Stochastischer Prozess p-dimensionale Zufallsvariable T = R +, N 0,... T = {1, 2,..., p} S R S = R, R X(ω) Punkt im Funktionraum S T X(ω) Punkt im R p Sommersemester

9 2.1 Definitionen stochastische Prozesse Frage: Lässt sich auf dem Funktionenraum S T eine σ-algebra A definieren, so dass X : (Ω, F) (S T, A) messbar ist? Antwort: Ja (die von den endlich-dimensionalen Projektionen erzeugte Produkt-σ- Algebra S T ), wobei es oft zweckmäßig ist, den Funktionenraum einzuschränken. Beispiel: Der Wiener Prozess hat stetige Pfade W : (Ω, F, P ) (C(T ), B C ) wobei C(T ) = Raum aller stetigen Funktionen, B C = Borel-σ-Algebra. Damit lässt sich die Verteilung eines stochastischen Prozesses als Bild- Wahrscheinlichkeits-Maß P X (auf (S T, A)) der ursprünglichen Verteilung P (auf (Ω, F)) betrachten: X : (Ω, F, P ) (S T, A, P X ). Auffassung des stochastischen Prozesses X als Wahrscheinlichkeits-Maß P X auf geeignetem Funktionenraum. Sommersemester

10 2.2 Existenzsatz von Kolmogorov 2.2 Existenzsatz von Kolmogorov Zur Definition eines stochastischen Prozesses haben wir die Existenz eines gemeinsamen Wahrscheinlichkeitsraumes (Ω, F, P ) vorausgesetzt, aus dem die endlich-dimensionalen Verteilungen abgeleitet werden können. In den Beispielen wurde (Ω, F, P ) (S, S) aber nicht explizit angegeben. Beispiel: Diskrete Irrfahrt X n = Z Z n, n N Ereignis ω = (z 1,..., z n,...) mit z n { 1, 0, 1} X n (ω) = z z n Ω = ( 1, 0, 1) N Folgenraum Sommersemester

11 2.2 Existenzsatz von Kolmogorov F = P(Ω) P = P 1... P n... Produkt-Maß mit Beispiel: Poisson-Prozess P n := p für z n = 1 q für z n = 1 r für z n = 0 ω = (ω 1, ω 2,..., ω n,...), ω n R + Ergebnis von T n Ex(λ) Ω = Menge aller solcher Folgen F = B + B +... B +... Produkt-σ-Algebra P = P 1 P 2... P n... Produkt-Maß der Exp.-Verteilungen P 1,..., P n,... In den meisten Fällen ist eine solche explizite Angabe von (Ω, F, P ) nicht möglich. Sommersemester

12 2.2 Existenzsatz von Kolmogorov Der Existenzsatz von Kolmogorov zeigt, dass es reicht, wenn man die endlichdimensionalen Verteilungen in konsistenter Weise vorgibt. Existenzsatz von Kolmogorov: Sei {F t1,...,t n } (bzw. {P t1,...,t n }) ein konsistentes System von endlich-dimensionalen Verteilungsfunktionen (bzw. Verteilungen). Dann existieren ein Wahrscheinlichkeitsraum (Ω, F, P ) und ein stochastischer Prozess X = (Ω, F, P, {X t, t T }) mit F t1,...,t n als System von endlich-dimensionalen Verteilungsfunktionen, d.h. F t1,...,t n (x 1,..., x n ) = P (X t1 x 1,..., X tn x n ). Bemerkungen: Der stochastische Prozess X ist durch den Existenzsatz nicht eindeutig bestimmt. Es lässt sich immer ein Prozess X konstruieren, der zwar andere Pfade besitzt als X, aber die gleichen endlich-dimensionalen Verteilungsfunktionen! Sommersemester

13 2.2 Existenzsatz von Kolmogorov Spezialfall mehrdimensionale Zufallsvariablen, T = {1,..., p}: Der Existenzsatz sichert zu vorgegebener gemeinsamer Verteilungsfunktion F (x 1,..., x p ) die Existenz eines W Raumes {Ω, F, P } mit F (x 1,..., x p ) = P (X 1 x 1,..., X p x p ). Dabei kann man sogar (Ω, F) = (R p, B p ) wählen, d.h. die Realisierungen x 1,..., x p werden mit ω identifiziert, ω (x 1,..., x p ) R p. Analog bei stochastischen Prozessen: ω Pfad S T, Ω = Menge aller Pfade. Man braucht sich keinen zugrundeliegenden Wahrscheinlichkeitsraum wie bei Irrfahrt und Poisson-Prozess zu konstruieren. Sommersemester

14 Beispiel: Wiener Prozess 2.2 Existenzsatz von Kolmogorov (W1), (W2) und W(3) ergeben die endlich-dimensionalen Verteilungsfunktionen des Wiener Prozesses (siehe 1.2.2). Der Existenzsatz garantiert die Existenz eines solchen stochastischen Prozess, dieser besitzt aber nicht notwendigerweise stetige Pfade. Es lässt sich aber eine Version mit stetigen Pfaden konstruieren. In den folgenden Kapiteln werden wir stochastische Prozesse in der Regel so einführen: Vorgabe von Konstruktionsvorschriften bzw. Axiomen. endlich-dimensionale Verteilungsfunktionen. stochastischer Prozess inklusive Wahrscheinlichkeitsraum. Sommersemester

15 2.3 Äquivalenz- und Stetigkeitsbegriffe 2.3 Äquivalenz- und Stetigkeitsbegriffe Äquivalente stochastische Prozesse Seien im Folgenden stets X = {X t, t T } und Y = {Y t, t T } zwei stochastische Prozesse auf dem gleichen W Raum (Ω, F, P ) mit gleichem Zustandsraum (S, S). X und Y heißen verteilungsäquivalent (schwach äquivalent) : Die endlich-dimensionalen Verteilungen von X und Y sind gleich {t 1,..., t n } T, {B 1,..., B n } S, n N gilt P (X t1 B 1,..., X tn B n ) = P (Y t1 B 1,..., Y tn B n ). X und Y heißen äquivalent : P (ω : X t (ω) = Y t (ω)) = 1 P (X t = Y t ) = 1 t T Man bezeichnet Y dann auch als Version von X. Sommersemester

16 X und Y heißen ununterscheidbar : 2.3 Äquivalenz- und Stetigkeitsbegriffe X und Y haben mit Wahrscheinlichkeit 1 gleiche Pfade P (X t = Y t, t T ) = 1 P ({ω : X(ω) = Y (ω)}) = 1 Es gilt: X, Y ununterscheidbar äquivalent verteilungsäquivalent. Falls T abzählbar: X, Y ununterscheidbar äquivalent. Sommersemester

17 2.3.2 Stetigkeitsbegriffe 2.3 Äquivalenz- und Stetigkeitsbegriffe Im Folgenden seien T R +, S R, S = B S X heißt (fast sicher) pfadstetig : P (ω : lim s t X(s, ω) = X(t, ω) t R + ) = 1 P (lim s t X(s) = X(t) t R + ) = 1 Analog definiert man fast sicher rechtsstetig, fast sicher cadlag (continué á droite limité á gauche, rechtsstetig mit Grenzwerten von links), etc. X heißt (fast sicher) stetig : P (ω : lim s t X(s, ω) = X(t, ω)) = 1 t R + Sommersemester

18 X heißt stochastisch stetig : 2.3 Äquivalenz- und Stetigkeitsbegriffe lim s t P (ω : X(s, ω) X(t, ω) > ɛ) = 0 ɛ > 0, t R + p lim s t X(s) = X(t) t R + X(s) konvergiert nach Wahrscheinlichkeit gegen X(t) t R. Sind X und Y äquivalent und fast sicher pfad-rechtsstetig, so sind X und Y ununterscheidbar. Sommersemester

19 2.4 Stationäre und nichtstationäre stochastische Prozesse 2.4 Stationäre und nichtstationäre stochastische Prozesse Ein stochastischer Prozess X heißt streng stationär : n, t 1,..., t n, h gilt F t1,...,t n (x 1,..., x n ) = F t1 +h,...,t n +h(x 1,..., x n ) d.h. die endlich-dimensionalen Verteilungsfunktionen sind invariant gegenüber einer Zeitverschiebung h. Folgerungen: F t (x 1 ) = F t+h (x 1 ), d.h. die eindimensionalen Verteilungen sind zeitinvariant. Erwartungswert und Varianz sind unabhängig von t: E(X t ) = µ V ar(x t ) = σ 2. Sommersemester

20 2.4 Stationäre und nichtstationäre stochastische Prozesse Die Kovarianz zwischen X s, X t hängt nur von Zeitdifferenz t s, nicht von den Werten t, s auf der Zeitachse selbst ab: Cov(X s, X t ) = = (x 1 µ)(x 2 µ)df xs,x t (x 1, x 2 ) (x 1 µ)(x 2 µ)df x0 x t s (x 1, x 2 ) = Cov(X 0, X t s ) =: γ(t s) γ(h) = Cov(X t+h, X t ) = Cov(X h, X 0 ) heißt (Auto-)Kovarianzfunktion. γ(h) besitzt die folgenden Eigenschaften: γ(h) = γ( h) γ(h) γ(0) = σ 2 = V ar(x t ) Sommersemester

21 Ein stochastischer Prozess X heißt schwach stationär : 2.4 Stationäre und nichtstationäre stochastische Prozesse E(X t ) = µ, Cov(X t, X s ) = γ(t s) d.h. die ersten beiden Momente sind verschiebungsinvariant. Es gilt Strenge Stationärität Schwache Stationärität. Für Gauß-Prozess sind schwache Stationarität und starke Stationarität äquivalent. Es gibt auch Nicht-Gauß-Prozesse, bei denen schwache und starke Stationarität äquivalent sind. Analog zur Auto-Kovarianz definiert man die Autokorrelationsfunktion ρ(h) = γ(h) γ(0) = γ(h) σ 2 h 0. Sommersemester

22 2.4 Stationäre und nichtstationäre stochastische Prozesse Sei ɛ = {ɛ t, t Z} eine Folge unkorrelierter ZVen mit E(ɛ t ) = 0, V ar(ɛ t ) = σ 2. Ein solcher stationärer stochastischer Prozess heißt (diskretes) Weißes Rauschen. Gilt zusätzlich ɛ t iid N(0, σ 2 ), so heißt ɛ Gauß sches Weißes Rauschen. Der stochastische Prozess X = {X t, t Z} mit X t = q θ j ɛ t j, θ q 0 j=0 heißt Moving Average-Prozess (Prozess der gleitenden Durchschnitte) der Ordnung q, in Zeichen X MA(q) Eigenschaften: E(X t ) = 0 V ar(x t ) = σ 2 q θj 2 j=0 Sommersemester

23 2.4 Stationäre und nichtstationäre stochastische Prozesse γ(h) = { σ 2 (θ 0 θ h + θ 1 θ h θ q h θ q ), h q 0, h > q. Der M A(q)-Prozess ist stationär mit Autokorrelationsfunktion ρ(h) = q h P j=0 θ j θ j+h qp θ j 2 j=0, 0 h q 0, h > q. Komponentensatz für Zeitreihen: Obwohl viele Zeitreihen in der Praxis kaum als stationär angenommen werden können, bilden stationäre Prozesse einen wichtigen Baustein für realitätsgetreuere Modelle. Man nimmt häufig an, dass sich die Original- Zeitreihe Y t zerlegen lässt in eine Trendkomponente T t, eine Saisonkomponente S t und einen stationären Fehler X t : Y t = T t + S t + X t. Sommersemester

24 2.4 Stationäre und nichtstationäre stochastische Prozesse Die Gauß sche Irrfahrt X 0 = 0 X t = X t 1 + ɛ t, ɛ t N(0, σ 2 ) i.i.d. ist nicht stationär, da zwar E(X t ) = 0 aber V ar(x t ) = tσ 2 gilt. Der Prozess X t = δx t 1 + ɛ t mit ɛ t N(0, σ 2 ) heißt autoregressiver Prozess erster Ordnung (AR(1)). Für δ < 1 ist der AR(1)-Prozess (bei t ) stationär. Für jeden Startwert X 0 konvergiert die Verteilung von X t für t gegen σ N(0, 2 (1 δ 2 ) ). Sommersemester

25 2.4 Stationäre und nichtstationäre stochastische Prozesse σ Fordert man X 0 N(0, 2 ) (d.h. der Prozess wird bereits im Equilibrium / (1 δ 2 ) Gleichgewicht gestartet), so gilt (nicht nur asymptotisch sondern exakt): E(X t ) = 0, V ar(x t ) = σ2 (1 δ 2 ), Corr(X s, X t ) = δ s t, insbesondere Corr(X t, X t+1 ) = δ. Bei Vorliegen eines AR(1)-Prozess kann man δ durch die empirische Autokorrelation (zum Lag 1) schätzen: ˆδ = ˆρ(1) = 1 T T (X t X)(X t 1 X) t=2 ˆσ 2. Sommersemester

26 Schätzung der empirischen Korrelationsfunktion zum Lag l 2.4 Stationäre und nichtstationäre stochastische Prozesse ˆρ(l) = 1 T T (X t X)(X t l X) t=l+1 ˆσ 2. Stationäre Gauß-Prozesse {X(t), t 0} oder {X t, t N 0 }: E(X(t)) = µ, V ar(x(t)) = σ 2, ρ(h) = Corr(X(t), X(t + h)) = Corr(X(0), X(h)) (vorgegebene Korrelationsfunktion) Sommersemester

27 2.4 Stationäre und nichtstationäre stochastische Prozesse Für alle n 1, t 1,..., t n ist X (n) = (X(t 1 ),..., X(t n )) multivariat normalverteilt mit E(X (n) ) = (µ,..., µ) 1 ρ(t 2 t 1 )... ρ(t n t 1 ) ρ(t 1 t 2 ) 1 ρ(t n t 2 ) Cov(X (n) ) = σ ρ(t 1 t n 1 )... ρ(t n t n 1 ) ρ(t 1 t n )... ρ(t n 1 t n ) 1 Sommersemester