Gaußsche Felder und Simulation

3 2 data_2d_1.dat data_2d_2.dat data_2d_64.dat data_2d_128.dat 1-1 -2-3 1 2 3 4 5 6 7 Gaußsche Felder und Simulation Benedikt Jahn, Aaron Spettl 4. November 28 Institut für Stochastik, Seminar Zufällige Felder Definition, Beschränktheit, Stetigkeit, Differenzierbarkeit und Simulation

Seite 2 Übersicht Gaußsche Felder und Simulation 4. November 28 Inhalt Einleitung Zufallsfeld Gauß-Prozess Stetigkeit, Beschränktheit und Differenzierbarkeit Ziel Vorbereitung Hauptaussagen Simulation Wiederholung Unbedingte Simulation Bedingte Simulation Wahl von n Zusammenfassung

Seite 3 Einleitung Gaußsche Felder und Simulation 4. November 28 Zufallsfeld Motivation - Beispiel: Modellierung von Messwerten in Abhängigkeit vom Ort, z. B. Nitratkonzentration im Grundwasser in Baden-Württemberg: Ziel: Extrapolation auf Orte ohne vorhandene Messung.

Seite 4 Einleitung Gaußsche Felder und Simulation 4. November 28 Zufallsfeld Definition Ein stochastischer Prozess {Z (t, ω) : t R d, ω Ω} heißt Zufallsfeld, speziell für d 2. Dabei ist Z (t) := Z (t, ) eine Zufallsvariable und z( ) := Z (, ω) eine Realisierung des Zufallsfeldes.

Seite 5 Einleitung Gaußsche Felder und Simulation 4. November 28 Zufallsfeld: Erwartungswert- und Kovarianzfunktion Definition Für ein Zufallsfeld Z heißt m : R d R, t E(Z (t)) die Erwartungswertfunktion und C : R d R d R, (s, t) Cov(Z (s), Z (t)) die Kovarianzfunktion. Falls m(t), dann heißt Z zentriert.

Seite 6 Einleitung Gaußsche Felder und Simulation 4. November 28 Zufallsfeld: Stationarität Definition Ein Zufallsfeld Z heißt stationär (im engeren Sinne), falls für alle n N, t 1,..., t n R d, h R d gilt: (Z (t 1 + h),..., Z (t n + h)) d = (Z (t 1 ),..., Z (t n )) Ein Zufallsfeld heißt stationär 2. Ordnung, falls die Erwartungswertfunktion m(t) konstant (und endlich) ist und die Kovarianzfunktion C(s, t) nur von s t abhängt. Ein stationäres Zufallsfeld 2. Ordnung heißt isotrop, falls C(h) = C( h ).

Seite 7 Einleitung Gaußsche Felder und Simulation 4. November 28 Einleitung Gauß-Prozess Stochastischer Prozess Erweiterung der multivariaten Normalverteilung auf eine unendliche Indexmenge Beispiele: Brownsche Bewegung, Gaußsches weißes Rauschen

Seite 8 Einleitung Gaußsche Felder und Simulation 4. November 28 Einleitung Fragestellungen: Stetigkeit und Beschränktheit? Differenzierbarkeit? Simulationsverfahren

Seite 9 Einleitung Gaußsche Felder und Simulation 4. November 28 Gauß-Prozess Definition Ein stochastischer Prozess {Z (t, ω) : t T, ω Ω} mit der Indexmenge T R d heißt Gauß-Prozess oder Gaußsches Feld, wenn für alle n N, t 1,..., t n T, α 1,..., α n R gilt: α 1 Z (t 1 ) + + α n Z (t n ) N(, ) Wir nehmen an, dass Z nach R abbildet. Bemerkung Mit dem Existenzsatz von Kolmogorow kann man zeigen, dass ein solcher Gauß-Prozess existiert.

Seite 11 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Ziel Fast sicher beschränkt: ( ) P sup Z (t) < t T = 1 Fast sicher stetig: P (erfordert Metrik) ( ) lim Z (t) Z (s) =, t T = 1 s t

Seite 12 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Wahl der Metrik Definition Die Pseudometrik d(s, t) := E((Z (s) Z (t)) 2 ) nennen wir kanonische Metrik für T bzw. Z. Bemerkung T kompakt Wahl der Metrik irrelevant für Stetigkeit von Z.

Seite 13 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Vorgehen Später, für T kompakt: Unter der ein- und derselben Voraussetzung werden wir Beschränktheit und Stetigkeit erhalten. Diese hängt anschaulich von der Größe von T ab. Definiere ein Maß für die Größe von T.

Seite 14 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Entropie und Log-Entropie Definition Sei B d (t, ε) die Kugel um den Punkt t mit Radius ε unter der Metrik d, d. h. B d (t, ε) := {s T : d(s, t) ε} Sei N(T, d, ε) N(ε) die Mindestanzahl benötigter Kugeln mit Radius ε, um T zu überdecken. N(ε) heißt (metrische) Entropie und H(T, d, ε) H(ε) := log(n(ε)) entsprechend Log-Entropie für T (oder Z ).

Seite 15 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Stetigkeitsmodulus Definition Für eine Funktion f : T R nennen wir ω f,τ (δ) := sup f (t) f (s), δ > s,t T : τ(s,t) δ den Stetigkeitsmodulus für f unter der Metrik τ. Bemerkung Je kleiner der Stetigkeitsmodulus, desto näher ist die Funktion an der Stetigkeit. Falls ω f,τ (δ) für δ, dann ist f stetig.

Seite 16 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Hauptaussage Theorem Sei Z ein zentrierter Gauß-Prozess und T kompakt bzgl. der kanonischen Metrik. Dann existiert ein zufälliges η (, ) und eine Konstante K, sodass δ ω Z,d (δ) K H(ε)dε, < δ < η Korollar Wenn das obige Integral für ein δ endlich ist, dann ist Z f. s. stetig und beschränkt.

Seite 17 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Hauptaussage Beweisskizze: Konstruiere eine Teleskopsumme: Z (t) Z (t ) = ( Z (πj (t)) Z (π j 1 (t)) ), t T j>i (spezielle Wahl von i und der Fkt. π j erfordert T kompakt) Schätze damit für < δ < η ab: Z (t) Z (s) K δ (erfordert Z (t) N(, ), t T ) H(ε)dε, s, t T : d(s, t) δ

Seite 18 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Beispiel: Brownsche Bewegung Sei W der Standard-Wiener-Prozess auf T = [, 1], also W () = {W (t), t T } hat unabhängige Zuwächse W (t) W (s) N(, t s), s < t Frage: Wie sieht das Integral aus dem Theorem für diesen Prozess W aus?

Seite 19 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Beispiel: Brownsche Bewegung Da W (s) W (t) N(, s t ): d(s, t) Def. = E((W (s) W (t)) 2 ) = s t B d (t, ε) = {s T : d(s, t) ε} = {s T : s t ε 2 } H(ε) = log N(ε) = log 1 2ε 2 : N(ε) ist die Mindestanzahl der benötigten Kugeln mit Radius ε bzgl. d(, ), um T = [, 1] zu überdecken. Also: δ δ 1 H(ε)dε = log 2ε 2 dε

Seite 2 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Beispiel: Brownsche Bewegung δ log 1 2ε 2 dε Wähle δ<1 Subst.: y= 1 ε 2 = Wähle δ 1 2 dann: log y y = δ 1 2 1 2 1 δ 2 [ log 1 ε 2 dε log y dy 1 δ 2 4 = 2 δ 2y 3 2 y 5 4 dy 1 y 1 4 ] 1 δ 2

Seite 21 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Anwendung: Hinreichende Bedingung Theorem Sei Z ein zentrierter Gauß-Prozess, T kompakt und die euklidische Metrik. Wenn für ein < C < und α, η > E ( Z (s) Z (t) ) C, s, t T : s t < η 1+α log s t gilt, dann ist Z f. s. stetig und beschränkt.

Seite 22 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Anwendung: Differenzierbarkeit Definition Seit Z ein zentrierter Gauß-Prozess. Sei t R d beliebig und seien k Richtungen t 1,..., t k Rd gegeben, t = (t 1,..., t k ). Z hat im Punkt t eine partielle Ableitung der Ordnung k in Richtung t (im L 2 -Sinn), wenn folgender Grenzwert im L 2 -Sinn existiert: D k L 2 Z (t, t ) := ( 1 lim h 1,...,h k k i=1 h F t, i k i=1 h i t i wobei F(t, t ) := ( s {,1} k ( 1)k P k i=1 s i Z t + ) k i=1 s it i symmetrische Differenz ist. ) die

Seite 23 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Anwendung: Differenzierbarkeit Konstruktion (s, s ) d,k := s + s = s + k R d k i=1 s i 2 T k,ρ := T {t k R d : t k R d (1 ρ, 1 + ρ)} und sei B d,k (y, h) die Kugel um y = (t, t ) mit Radius h unter d,k. Bemerkung Wenn Z ein Gauß-Prozess ist, dann ist seine Ableitung im L 2 ebenfalls ein Gauß-Prozess, falls sie existiert.

Seite 24 Stetigkeit, Beschränktheit und Differenzierbarkeit Gaußsche Felder und Simulation 4. November 28 Anwendung: Differenzierbarkeit Theorem Sei Z ein zentrierter Gauß-Prozess, T offen und beschränkt, alle partiellen Ableitungen k-ter Ordnung mögen im L 2 -Sinn existieren. Weiterhin soll ein K mit < K < und ρ, δ, h > existieren, sodass für < η 1, η 2, h < h gilt: ( E (F(t, η 1 t ) F(s, η 2 s )) 2) < K ( log( (t, t ) (s, s ) d,k + η 1 η 2 ) ) 1+δ für alle ((t, t ), (s, s )) T k,ρ T k,ρ : (s, s ) B d,k ((t, t ), h). Dann ist Z C k (T ) mit Wahrscheinlichkeit 1.

Seite 26 Simulation Gaußsche Felder und Simulation 4. November 28 Wiederholung Definition Sei Z ein zufälliger Prozess auf R d. Z heißt stationär zweiter Ordnung, wenn gilt: E{Z (t)} = m <, t R d Cov{Z (s), Z (t)} = C(s t) <, s, t R d Die Funktion C heißt Kovarianzfunktion von Z (t).

Seite 27 Simulation Gaußsche Felder und Simulation 4. November 28 Wiederholung Zentraler Grenzwertsatz (ZGWS) Sei Y 1,..., Y n eine Folge von i.i.d. Zufallsvariablen mit E(Y i ) = m < und Var(Y i ) = σ 2 < ) lim P n ( Y1 + +Y n n σ n m < y = Φ(y) wobei Φ die Verteilungsfunktion der Standardnormalverteilung.

Seite 28 Simulation Gaußsche Felder und Simulation 4. November 28 Unbedingte Simulation Voraussetzungen: Z habe Kovarianzfunktion C Z stationär zweiter Ordnung Z Gauß-Prozess mit m(t) = E(Z (t)) und Var(Z ) := C() = 1 T R d zusammenhängend

Seite 29 Simulation Gaußsche Felder und Simulation 4. November 28 Aufgabenstellung Simulation von Z auf T Lösungsansatz Simuliere {Z i } i=1,...,n, wobei Z i unabhängige stationäre Prozesse mit Kovarianzfunktion C. Nach ZGWS für n genügend groß: n Z i ist näherungsweise Gauß-Prozess. 1 n i=1

Seite 3 Simulation Gaußsche Felder und Simulation 4. November 28 Probleme: Simulation der Z i Wahl von n Verfahren: Spektralmethode Turning Bands Dilution

Seite 31 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode Bekannt: Kovarianzfunktion C ist immer positiv semidefinit Annahme: C stetig Satz von Bochner: C ist Fouriertransformation eines endlichen Maßes χ: C(h) = e i<h,u> dχ(u) R d Da C() = 1 χ ist ein Wahrscheinlichkeitsmaß χ heißt Spektralmaß

Seite 32 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode Sei V Zufallsvektor, V χ U auf (, 1) gleichverteilte Zufallsvariable V, U unabhängig Unter diesen Voraussetzungen ist Z (t) = 2 cos(< V, t > + 2πU) ein Stochastischer Prozess mit E(Z ) =, Var(Z ) = 1 und Kovarianzfunktion C.

Seite 33 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode Bestimmung von χ Sei C integrierbar χ hat eine Dichte f. Zusammenhang zwischen f und C: f (u) = 1 (2π) d R d e i<u,h> C(h)dh

Seite 34 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode Algorithmus: Spektralmethode 1. Erzeuge V 1,..., V n χ, U 1,..., U n U(, 1) 2. Berechne Z (n) = 2 n n k=1 cos(< V k, t > +2πU k ), t T Bemerkung Z (n) ist näherungsweise ein Gauß-Prozess mit der gewünschten Kovarianzfunktion, wenn n genügend groß.

Seite 35 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Beispiel ( Sei C(h) = exp Dann gilt: mit µ = d+1 2. h a ), die Exponentielle Kovarianzfunktion f (u) = Γ(µ) π µ a d (1 + a 2 u 2 ) µ

Seite 36 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Simulation einer Realisierung 1.5 data/data_2d_1.dat 1.5 -.5-1 -1.5 1 2 3 4 5 6 7 ( Abbildung: Simulation mit n = 1 für T R, C(h) = exp h 2 )

Seite 37 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Simulation einer Realisierung 2 data/data_2d_2.dat 1.5 1.5 -.5-1 -1.5-2 1 2 3 4 5 6 7 ( Abbildung: Simulation mit n = 2 für T R, C(h) = exp h 2 )

Seite 38 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Simulation einer Realisierung 1.5 data/data_2d_4.dat 1.5 -.5-1 -1.5 1 2 3 4 5 6 7 ( Abbildung: Simulation mit n = 4 für T R, C(h) = exp h 2 )

Seite 39 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Simulation einer Realisierung 2 data/data_2d_8.dat 1.5 1.5 -.5-1 -1.5-2 1 2 3 4 5 6 7 ( Abbildung: Simulation mit n = 8 für T R, C(h) = exp h 2 )

Seite 4 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Simulation einer Realisierung 3 data/data_2d_64.dat 2 1-1 -2-3 1 2 3 4 5 6 7 ( Abbildung: Simulation mit n = 64 für T R, C(h) = exp h 2 )

Seite 41 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Simulation einer Realisierung data/data_3d_2.dat -.5-1 -1.5.5 -.5-1 -1.5-2 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 9 9 1 1 ( Abbildung: Simulation mit n = 2 für T R 2, C(h) = exp h π )

Seite 42 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Simulation einer Realisierung data/data_3d_4.dat 2 1-1 2.5 2 1.5 1.5 -.5-1 -1.5-2 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 9 9 1 1 ( Abbildung: Simulation mit n = 4 für T R 2, C(h) = exp h π )

Seite 43 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Simulation einer Realisierung data/data_3d_8.dat 2 1-1 2.5 2 1.5 1.5 -.5-1 -1.5 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 9 9 1 1 ( Abbildung: Simulation mit n = 8 für T R 2, C(h) = exp h π )

Seite 44 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Simulation einer Realisierung data/data_3d_32.dat 2 1-1 2.5 2 1.5 1.5 -.5-1 -1.5 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 9 9 1 1 ( Abbildung: Simulation mit n = 32 für T R 2, C(h) = exp h π )

Seite 45 Simulation Gaußsche Felder und Simulation 4. November 28 Spektralmethode: Simulation einer Realisierung 2 1.5 1.5 -.5-1 -1.5 data/data_3d_256.dat 1.5 1.5 -.5-1 1 2 3 4 5 6 7 8 1 2 3 4 5 6 7 8 9 9 1 1 ( Abbildung: Simulation mit n = 256 für T R 2, C(h) = exp h π )

Seite 46 Simulation Gaußsche Felder und Simulation 4. November 28 Turning Bands Approximiere Z durch n eindimensionale stochastische Prozesse Z i in verschiedenen Richtungen. Bei richtiger Wahl der Kovarianzfunktionen für die Z i und geeigneten Richtungen ist die Summe dieser Prozesse näherungsweise ein Gauß-Prozess.

Seite 47 Simulation Gaußsche Felder und Simulation 4. November 28 Dilution: Idee Simuliere einen homogonen Poisson-Prozess auf R d mit geeigneter Intensität. Ergänze die simulierten Punkte um eine bestimmte Menge. Addiere für alle darin enthaltenen t mit Wahrscheinlichkeit.5 eine 1 oder 1 zu dem bisher simulierten Z (t) (initialisiert mit ). Nach dem ZGWS konvergiert dies gegen einen Gauß-Prozess.

Seite 48 Simulation Gaußsche Felder und Simulation 4. November 28 Dilution: Vorgehen Sei C darstellbar als C(h) = θ E{ A A h }, wobei A R d eine zufällige kompakte Menge A h := {a + h, a A} θ ein Proportionalitätsfaktor Dann ist Z (t) = ε(x)1 t Ax, t T x X ein Gauß-Prozess mit obiger Kovarianzfunktion, wobei X homogener Poisson-Prozess in R d mit Intensität θ x X: ε(x) { 1, 1} mit P (ε(x) = 1) = 1 2

Seite 49 Simulation Gaußsche Felder und Simulation 4. November 28 Bedingte Simulation Es gelte: Sei Z Gauß-Prozess auf R d E(Z ) =, Var(Z ) = 1 Z habe Kovarianzfunktion C Aufgabenstellung Simuliere Z, sodass gilt: Z (b) = z(b), b B R d, B endlich

Seite 5 Simulation Gaußsche Felder und Simulation 4. November 28 Bedingte Simulation Definition Der Kriging-Schätzer Z (t) von Z (t) für die gegebenen Z (b), b B, ist die Linearkombination, sodass Z (t) = b B λ b (t)z (b) den mittleren quadratischen Fehler minimiert. ε(t) = E(Z (t) Z (t)) 2

Seite 51 Simulation Gaußsche Felder und Simulation 4. November 28 Bedingte Simulation: Algorithmus Algorithmus 1. Berechne die Schätzer z (t) = b λ b (t)z(b), t T 2. Simuliere einen Gauß-Prozess mit Erwartungswert und Kovarianzfunktion C, sei y diese Realisierung. 3. Berechne die Schätzer y (t) = b λ b (t)y(b), t T 4. Setze Z (t) = z (t) + y(t) y (t), t T

Seite 52 Simulation Gaußsche Felder und Simulation 4. November 28 Bedingte Simulation: Algorithmus Ist b B dann folgt: z (b) = z(b), y (b) = y(b) Damit gilt: Z (b) = z (b) + y(b) y (b) = z(b) + y(b) y(b) = z(b)

Seite 53 Simulation Gaußsche Felder und Simulation 4. November 28 Bedingte Simulation: Algorithmus Sei t T und t / B: Simulation sollte nicht von den Daten beeinflusst werden. Da gilt: z (t), y (t) folgt: Z (t) = z (t) + y(t) y (t) + y(t) = y(t)

Seite 54 Simulation Gaußsche Felder und Simulation 4. November 28 Wahl von n Sei n fixiert. Wie nah kommt die Verteilung von Z (n) = Z 1 + + Z n n der Verteilung einer Standardnormalverteilung?

Seite 55 Simulation Gaußsche Felder und Simulation 4. November 28 Wahl von n Das heißt: Sei t 1,..., t p T λ 1,..., λ p R F (n) die Verteilung von p j=1 λ jz (n) (t j ). F die Normalverteilung mit Erwartungswert und Varianz σ 2 = p j,k=1 λ jλ k C(t j t k ) Wie groß ist der Abstand der Verteilung F (n) zu F?

Seite 56 Simulation Gaußsche Felder und Simulation 4. November 28 Wahl von n Die Abstandsmethode Berechne den Abstand d(f (n), F) von F (n) und F. Stoppe, wenn d kleiner als ein kritischer Wert. Beispiel für d: Kolmogorow-Abstand: d k (F (n), F) = sup F (n) (y) F (y) y R

Seite 57 Simulation Gaußsche Felder und Simulation 4. November 28 Wahl von n Die Momentenmethode Vergleiche die Momente von F (n) und F. Stoppe, wenn Differenz der 4. Momente unter einem kritischen Wert.

Seite 59 Zusammenfassung Gaußsche Felder und Simulation 4. November 28 Zusammenfassung Unter gewissen Voraussetzungen, im Wesentlichen über die Entropie der Indexmenge T, erhalten wir gleichzeitig die Stetigkeit und Beschränktheit eines Gauß-Prozesses. Eine Bedingung für die Differenzierbarkeit lässt sich über die Wahl eines speziellen T und passender Metrik herleiten. Für die Simulation spielt der zentrale Grenzwertsatz eine wichtige Rolle, da bei richtiger Normierung Folgen von i.i.d. stochastischen Prozessen gegen einen Gauß-Prozess konvergieren.

Seite 6 Literatur Gaußsche Felder und Simulation 4. November 28 Literatur R. Adler und J. Taylor Random Fields And Geometry Springer, New York, 27 C. Lantuéjoul Geostatistical Simulation - Models And Algorithms Springer, Berlin, 22