3 GEOSTATISTIK 25. Erwartungswertfunktion, räumlicher Trend. . c(s i,s j ) i=1,...,n; j=1,...,n

Transkript

1 3 GEOSTATISTIK 5 3 Geostatistik 3.1 Gauß-Prozesse Definition 3.1. (Gauß-Zufallsfelder) Y = Y (s), s D R d heißt Gauß-Zufallsfeld der Dimension d (Gauß-ZF oder Gaussian random field (GRF) oder Gauß-Prozess):, Für beliebige Lokationen s 1,...,s n ist (Y (s 1 ),...,Y(s n )) 0 multivariat normalverteilt. Bezeichnungen: µ(s) =E[Y (s)] : Erwartungswertfunktion, räumlicher Trend (s) =Var(Y (s)) : Varianzfunktion c(s, s 0 )=Cov(Y (s), Y(s 0 )) : Kovarianzfunktion Theorem 1. Ein Gauß-Prozess wird durch µ(s) und c(s, s 0 ) vollständig spezifiziert. Beweis: Für alle s 1,...,s n D gilt: µ(s 1 ) (Y (s 1 ),...,Y(s n )) 0 BB C N c(s i,s j ) i=1,...,n; j=1,...,n AC A µ(s n ) Stationarität Definition 3.. (Schwach stationär) Ein räumlicher stochastischer Prozess Y = {Y (s), s D} heißt schwach stationär:, E[Y (s)] = µ =const, Cov (Y (s), Y(s 0 )) = c(s s 0 ) für alle s, s 0 D Definition 3.3. (Strenge Stationarität) Ein räumlicher stochastischer Prozess Y heißt streng stationär:, alle endlichdimensionale Verteilungen sind verschiebungsinvariant. Theorem. (Strenge und schwache Stationarität) 1. Y streng stationär ) Y schwach stationär. Y sei Gauß-Prozess. Dann gilt: Y streng stationär, Y schwach stationär.

2 3 GEOSTATISTIK Theoretisches (Ko-)Variogramm und Korrelationsfunktion Definition 3.4. Sei Y = {Y (s), s D} ein räumlicher Prozess. Dann heißt c(s, s 0 ):=Cov(Y (s), Y(s 0 )) Kovariogramm oder Kovarianzfunktion und (Semi-)Variogramm. Es gilt: (s, s 0 ):= 1 Var (Y (s) Y (s0 )) (s, s 0 )= 1 Var(Y (s)) + 1 Var(Y (s0 )) c(s, s 0 ) Definition 3.5. Sei Y = {Y (s), s D} ein stationärer Prozess und h := s s 0.Dannheißtc(h) =c(s s 0 )=c(s, s 0 )stationäre Kovarianzfunktion und (h) := c(h) = c(h) c(0) Korrelogramm oder Korrelationsfunktion. Es gilt: c(0) = =Var(Y (s)) = const. c(h) = c( h) (h) = ( h) Definition 3.6. (Isotropie und Anisotropie) Ist c(s s 0 )=c (ks s 0 k) nur eine Funktion des euklidischen Abstands von s und s 0,soheißtY bzw. c isotrop; ansonsten anisotrop. Definition 3.7. (Intrinsisch stationär) Y intrinsisch stationär:, E[Y (s)] = µ, (s, s 0 )= (s s 0 ). (h) heißt stationäres Variogramm. Es gilt: (h) = ( h), (0) = 0. Hängt (h) nur von khk ab, so heißt isotrop. Theorem 3. Y schwach stationär ) Y intrinsisch stationär mit (h) =c(0) c(h) = (1 (h)). Definition 3.8. (L -Stetigkeit, L -Di erenzierbarkeit) Yheißt L -stetig:, E[Y (s + h) Y (s)]! 0 für h! 0 Yheißt L -di erenzierbar:, Es existiert ein SP Y 0 mit apple Y (s + h) E h Y (s) Y 0 (s)! 0 für h! 0.

3 3 GEOSTATISTIK 7 Später: wenn Y nicht L -stetig, liegt ein Nugget E ekt vor. Wir interessieren uns (erstmal) nur für stationäre Prozesse. Eigenschaften: Y stationär ) Y ist L -stetig, (h) stetigin h =0 Y k-mal L -di erenzierbar, (h) k-mal in h =0di erenzierbar. Y ist L -stetig, (h) stetigin h =0 (h) =constfür h>0 ) Cov (Y (s), Y(s 0 )) = 0 für beliebige s 6= s 0. Die räumliche Korrelation wird bei stationären GRF also durch (h) bzw. (h) bestimmt. 3. Empirisches Variogramm In diesem Abschnitt nichtparametrische Schätzung des (Ko-)Variogramms als exploratives Werkzeug. Später definieren wir uns parametrische Modelle, die auch paramterische Schätzung erlauben Schätzer (a) Empirisches Variogramm b(h) = 1 N(h) X i,jn(h) (y(s i ) y(s j )) mit N(h) ={(s i, s j ): s i s j = h ; i, j =1,...,n} Herleitung: (h) =Var(Y (s i ) Y (s j )), (h) = 1 Var(Y (s i) Y (s j )) = 1 E[(Y (s i) Y (s j )) ] (E[Y (s i ) Y (s j )]) = 1 E[(Y (s i) Y (s j )) ] (E[Y (s i )] E[Y (s j )]) = 1 E[(Y (s i) Y (s j )) ] (µ µ) = 1 E[(Y (s i) Y (s j )) ] ) 1 X b(h) = (y(s i ) y(s j )) N(h) i,jn(h)

4 3 GEOSTATISTIK 8 Analoger Schätzer für Kovariogramm verzerrt. Nachteil: N(h) meist klein, oft N(h) =1) Schätzer instabil. (b) Empirisches Variogramm nach Matheron Für isotrope, intrinsisch stationäre Prozesse. Einteilung der euklidischen Distanz d ij = d(s i,s j ) zwischen zwei Lokationen in K Klassen (Bins): H k = {d ij : h k 1 apple d ij <h k }, k =1,...,K; h 0 =0 b k = 1 N k X i,jn k (Y (s i ) Y (s j )) N k = {(s i,s j ):s i s j H k } Fragen / Probleme: K =?, Wahl der Klassengrenzen. (c) Constant nearest-neighbour estimator b CNN (h) = Pi<j 1 { < h ks i s j k < } (Y (s i ) Y (s j )) P i<j 1 { < h ks i s j k < } (d) Variable nearest-neighbour estimator b VNN (h) = P i<j 1 K h ksi s j k 0(ks i s j k) 0(ks i s j k) P i<j 1 K h ksi s j k 0(ks i s j k) 0(ks i s j k) (Y (s i ) Y (s j )), wobei K den Kern und die Bandbreite bezeichnen. 0 erlaubt bessere Anpassung, oft wird 0 1angenommen. kann AMISE-optimal gewählt werden. 3.. Bezeichnungen (a) Nugget-E ekt Empirisch ist oft zu beobachten, dass das Variogramm bei khk = 0 springt. Sei Y (s)derwahre,stationäre Prozess und Z(s)einbeobachteter Prozess mit i.i.d. Z(s) =Y (s)+"(s), " i N(0, ) Dann gilt: c Z (h) = cy (h)+ ", falls khk > 0 c Y (0), falls khk =0 (b) Schwellenwert/Sill Mit Schwellenwert oder Sill bezeichnet man den Wert, den das Vario-

5 3 GEOSTATISTIK 9 gramm erreicht, wenn der Abstand h gegen unendlich geht. Zieht man von diesen Wert den Nugget-E ekt ab, so erhält man den Partial Sill. (c) Range Mit Range wird der Abstand bezeichnet, ab dem das Variogramm den Schwellenwert fast erreicht. Punkte, deren Abstand größer ist als der Range werden als unabhängig voneinander betrachtet. Das hat zur Folge, dass dann, wenn das Variogramm positiv konstant ist (außer am Ursprung, wo es null ist), kein Zusammenhang zwischen Z(s i )undz(s j ) für alle s i und s j besteht. γ(s i, s j ) Partial Sill Sill Nugget Range Distance Abbildung 3: Variogramm 3.3 Parametrische Modelle für Korrelationsfunktionen und (Ko-)Variogramme Gültigkeit von Korrelationsfunktionen Gültige Modelle für Kovariogramme müssen positiv semidefinit sein, d.h. nx i=1 nx a i a j c (s i s j ) 0 für beliebige a i,a j,s i,s j j=1 erfüllen. Völlig analog für Korrelationsfunktionen. Dies sichert: Var (a 1 Y (s 1 )+...+ a n Y (s n )) 0.

6 3 GEOSTATISTIK 30 Es gilt: c 1 (h) und c (h) gültige Kovarianzfunktionen ) b 1 c 1 (h)+b c (h) für b 1 > 0undb > 0 sind gültige Korrelationsfunktionen. Wünschenswerte Eigenschaften: c 1 (h) c (h) (h) fallendinh, (h)! 0für h!1. Wenigstens 1 Parameter steuert, wie schnell (h)! 0 für h!1 geht. Theorem 4. (Bochner-Kriterium für isotrope Korrelationsfunktionen) (u) ist gültige isotrope Korrelationsfunktion, (u) ist charakteristische Funktion einer symmetrischen ZV X, (u) = Z +1 1 exp(iux)f(x)dx Weiterführende Literatur: Gneiting and und P. Guttorp [007] 3.3. Übliche Korrelationsfunktionen Erinnerung: Es gilt unter Isotropie: (u) =c(0) c(u) = (1 (u)). (a) Potenz-Exponentialfamile (Abb. 4) (u) =exp{ (u/ ) apple }, > 0, 0 <appleapple apple =1:Exponential-Korrelationsfunktion, apple =:Gauß-Korrelationsfunktion. (b) Sphärische Familie (Abb. 5) 1 3 (u) = (u/ )+ 1 (u/ )3, 0 apple u apple 0, u > Problem: Nicht di erentierbar in u = ) Schwierigkeiten bei ML- Schätzung.

7 3 GEOSTATISTIK 31 Abbildung 4: Powered-Exponential Korrelationsfunktion mit = 0. und apple =1(durchgezogeneLinie),apple =1.5 (gestricheltelinie)undapple =(gepunktete Linie). Abbildung 5: Sphärische Korrelationsfunktion mit = (c) Matérn-Familie (Abb. 6) (u) = 1 apple 1 (apple) (u/ )apple K apple (u/ ), > 0, apple > 0 K apple : Besselfunktion, i.a.nicht in geschlossener Form anzugeben. Numerische Approximationen in Abramowitz and Stegun [197]. Explizite Formeln für apple =0.5, 1.5,... möglich: (u; =1,apple=0.5) = exp( u) (u; =1,apple=1.5) = exp( u)(1 + u) (u; =1,apple=.5) = exp( u) 1+u + 13 u

8 3 GEOSTATISTIK 3 Abbildung 6: Matérn-Korrelationsfunktion mit = 0. undapple = 1 (durchgezogene Linie), apple =1.5 (gestricheltelinie)undapple = (gepunktetelinie). (u; =1,apple=3.5) = exp( u) 1+u + 5 u u3 apple!1: Gauß-Korrelationsfunktion Obwohl nurnumerischgreifbar gebräuchlichste Korrelationsfunktion, vgl. Abschnitt Anisotrope und nicht-stationäre Prozesse Arten der Anisotropie: Geometrische Anisotropie: Sill identisch, Range unterschiedlich Zonale Anisotropie: Sill unterschiedlich Erkennung: Berechne Variogramme in verschiedenen Raumrichtungen. Geometrische (Range-)Anisotropie Wähle in isotroper Korrelationsfunktion (u) für u statt u = khk eine nicht-euklidische Distanz, z.b.: u = h 0 R( ) S( ) R( ) h mit R( ) = cos sin sin cos Rotationsmatrix, (0, ) S( ) = Dehnungsmatrix, 1

9 3 GEOSTATISTIK 33 Zonale Anisotropie (siehe Ecker and Gelfand [003]) l (u), l=1,...,pseien gültige D isotrope Korrelationsfunktionen ) (h) = 1 p h0 B 1 h,..., p p h0 B p h mit B l pos. definit ist gültige Korrelationsfunktion in R. γ(h) Drift Effekt γ(h) Hole Effekt h h Abbildung 7: Der Drift E ekt weist auf Nicht-Stationarität hin. Der Hole E ekt weist auf regelmäßige Strukturen hin. 3.5 Kriging Ziel: Schätzung der (wahren) Oberfläche. Vorerst seien (deterministische) Erwartungswertfunktion und Korrelationsfunktion bekannt Einfaches Kriging Gegeben: Daten y(s 1 ),...,y(s n ) Daten-Modell: Y (s i )=Z(s i )+"(s i ) Z sei ein (stationäres) Zufallsfeld mit µ(s) undc(s, s 0 )= (s, s 0 ) "(s i )seii.i.d.mite["(s i )] = 0 und Varianz " Gesucht: linearer Prädiktor für Z(s 0 )für alle s 0 D mit minimalem mittleren quadratischen Prädiktionsfehler. Wegen Verschiebungssatz gilt: bz(s 0 )=l 0 Y + K MSPE(l, K) =E[Z(s 0 ) l 0 Y K] =Var(Z(s 0 ) l 0 Y K)+{E[Z(s 0 ) l 0 Y K]}

10 3 GEOSTATISTIK 34 E[Z(s 0 ) l 0 Y K] =µ(s 0 ) l 0 µ Y K, wobei µ Y =(µ(s 1 ),...,µ(s n )) Var(Z(s 0 ) l 0 Y K) =Var(Z(s 0 )) l 0 Cov(Z(s 0 ),Y)+l 0 C Y l wobei K fest ist. Cov(Z(s 0 ),Y)=(c(s 0,s 1 ),c(s 0,s ),...,c(s 0,s n )) 0 =: c(s 0 ) c(si,s C Y =(C Y (s i,s j )) i=1,...,n mit C Y (s i,s j )= i )+ ", für i = j j=1,...,n c(s i,s j ), sonst Ableiten nach l ) l = C 1 Y c(s 0) Ableiten nach K ) K = µ(s 0 ) c(s 0 ) 0 C 1 µ Y Daraus folgt, der lineare Prädiktor ist Die Kriging-Varianz ist dann Bemerkungen: bz(s 0 )=µ(s 0 )+c(s 0 ) 0 C 1 Y (Y µ Y ) Y (s 0 ) = MSPE(l,K )=c(s 0,s 0 ) c(s 0 ) 0 C 1 Y c(s 0) (1) Fall µ(s) µ heißt gewöhnliches (ordinary) Kriging. () Fall µ(s) =x(s) 0 mit bekanntem heißt universelles Kriging. Beispiel. Sei µ(s) =µ =0, Var(Z(s)) = 1 und " =0.5. Gegeben: Zwei Punkte s 1 =(1, 0) und s =(, 0), s 1 näher an s 0 =(0.5, 0) als s. Annahme: es gelte die Exponentialkorrelationsfunktion mit =1. c(s 1,s 0 )=0.61, c(s,s 0 )=0. und c(s 1,s )=0.37 Also und Kriging ergibt C Y = c(s 0 )=(0.61, 0.) I = bz =0.395 Y (s 1 ) Y (s ) wobei und die Kriging- Gewichte sind. Die zugehörige Varianz ist Y =1 (0.61, 0.) =

11 3 GEOSTATISTIK 35 also unabhängig von Y! Bemerkungen: Größerer Nugget-E ekt! Größere Kriging-Varianz. Größerer Sill! Größere Kriging-Varianz. Größerer Range! Kleinere Kriging-Varianz. Kriging-Varianz klein, wo mehr Daten (Trick: erhebe weitere Daten dort, wo Kriging-Varianz groß) Kriging im Gauß-Modell Nun Normalverteilungsannahme. Erster Ansatz: additives Modell Y (s) =µ(s)+z(s)+"(s) µ(s): deterministisch Z(s): stationäres Gaußzufallsfeld mit E[Z(s)] = 0 und Var(Z(s)) = "(s): i.i.d. mit E["(s)] = 0 und Var("(s)) = Gelegentlich auch Y (s) =µ(s)+w (s)+v (s)+"(s) W (s) undv (s) unabhängige und stationäre GZF mit W und V und V geht schnell gegen 0.! Mikroskalenvariation, vgl. Bsp. (Rongelap Daten). Oft aber V (s) undw (s) nicht unterscheidbar. gegeben Alternativer Ansatz: hierarchisches Modell Y (s) Z(s), " i.n.d. N(Z(s), ") Z(s) Gauss-ZufallsfeldmitE[Z(s)] = µ(s), Var(Z(s)) =, Z (h) gegeben. Die beiden Ansätze sind identisch. Es gilt jeweils: E[Y (s)] = µ(s) undcov(y (s i ),Y(s j )) wie oben

12 3 GEOSTATISTIK 36 Y = (Y (s 1 ),...,Y(s n )) 0 R = (v ij )=( (s i s j )) µ = (µ(s 1 ),...,µ(s n )) 0 Y N(µ, R + I) r := (r 1,...,r n ) 0 ; r i = (s 0 s i ) Dann gilt auch für Z 0 = Z(s 0 ) Z0 µ(s0 ) N Y µ, r 0 r 0 R + I Z 0 Y ist normalverteilt mit: E[Z 0 Y ]=µ(s 0 )+ r 0 ( R + I) 1 (Y µ) =: b Z 0 Var(Z 0 Y )= r 0 ( R + I) 1 r Entspricht also dem einfachen Kriging-Schätzer und dessen Varianz Inferenz Seien nun µ(s) =X 0 (s) und (h) unbekannt. Bemerkung: X kann parametrisches Modell für Oberfläche, etwa µ(s) = s X + s Y + 3 s X + 4s Y + 5s X s Y,seinund/oderräumlich vorliegende Kovariable (für die Prädiktion müssen diese aber auf ganz D vorliegen). (a) Maximum-Likelihood-Schätzer: Y (s i )=X 0 (s i ) + Z(s i )+"(s i ) Korrelationsparameter, := (,, ) Cov(Y )= I + R( ) =: ( ) Das allgemeine lineare Modell ergibt sich zu Y N(X, ( )) Log-Likelihood (bei Normalverteilungsannahme) l(, ) = 1 log ( ) +(y X )0 1 ( )(y X )

13 3 GEOSTATISTIK 37 Für gegebenes ist b ( ) =(X 0 1 ( ) X) 1 X 0 1 ( )y ML-Schätzer für für.einsetzenin l(, ) ergibtdieprofil-log-likelihood l( ) :=l b( ),. Maximieren liefert ML-Schätzer b. Einsetzenin b ( ) liefert b (b ) Problem: Verzerrung in kleineren Stichproben ) Übergang zu REML. (b) Restringierte ML (REML) - Schätzung Ziel: Bias-Reduktion Herleitung 1 Transformiere Y = X + Z + " linear zu Y = AY so, dass Verteilung von Y nicht von abhängt ) A so, dass AX =0. Geht z.b. mit A = I X(X 0 X) 1 X 0. Schätze nach ML-Prinzip für Y. Ergebnis: b REML maximiert die restringierte log-likelihood l ( ) = log ( ) +log X 0 1 ( )X + y X b 0 ( ) 1 ( ) y 1 X b ( ) (Alternative: ersetze b ( ) durch und schätze und simultan.) Herleitung Für das hierarchische Modell gilt Y,Z, N(X + Z, Z N 0, R( ) Sei p(y,z, )zugehörige Dichte. Bilde marginale Dichte (mit p( ) / const) Z p( y )= p(y,z, ) d dp(z) und maximiere bezüglich. I)

14 3 GEOSTATISTIK 38 Es gilt (Harville [1974]) bis auf multiplikative Konstanten log p( y )=l ( ) Nach Diggle et al. [003] istremlinordnungfür gewöhnliches Kriging, ansonsten ist die MSE-Güte aber unklar; REML sensitiv bei Missspezifikation von µ(s) (allgemeines Problem). Manchmal wird l re (, )= 1 log ( ) +log X0 1 ( )X +(y X ) 0 1 ( )(y X ) als restringierte log-likelihood bezeichnet und zum simultanen Schätzen von, maximiert. (c) Bayes-Schätzer Als Hierarchisches Modell: Y (s) Z(s), " N(Z(s), ") Prioris: " IG(, ) Z(s) GZF(, ) IG(, )? 9 >= semi-konjugierte >; Posteriori / Priori Likelihood Vollständig bedingte Posteriori: Prädiktive Posteriori Z(s) N(, ) IG(, ) IG(, )? (oft apple fix) Y (s 0 ) Z, Generalisiertes Kriging N(Z(s 0 ), ") Geostatistische Modelle für nicht-normalverteilte Zielvariablen, z.b. Y binär, binomial, kategorial oder Zählvariable, bzw. Erweiterung des generalisierten

15 3 GEOSTATISTIK 39 linearen Modells um geostatistische Komponente. Vgl. Beispiele (Rongelap) und 3 (Waldschäden). Hierarchisches Modell (1) Y (s i ) W (s i ),i=1,...,n bedingt unabhängig, Dichten aus Exponentialfamilien () W stationärer Gauß-Prozess, E[W (s)] = 0 (3) µ i = E[Y (s i ) W (s i )] = h( i ), i = x 0 i + W (s i ), x i = x(s i ) Speziell: x 0 i = µ Gewöhnliches Kriging cw (s) =E[W (s) Y ], Y =(Y (s 1 ),...,Y(s n )) 0 bzw.: b (s) =x 0 i b + c W (s) ist generalisierter linearer Kriging-Prädiktor für W bzw. an der Stelle s. Statistische Inferenz Zu schätzen sind: Regressionsparameter, Kovarianzparameter, W (s) an Beobachtungsstellen s 1,...,s n und an Vorhersagestelle s. Sei die (bedingte) Likelihood, mit W =(W (s 1 ),...,W(s n )) 0 z.b. p(y W, )= ny f i (y(s i ) W (s i ), ) i=1 f i (y(s i ) W (s i ), )= y(s i) i (1 i ) 1 y(s i) für binäre Y (s i ) und (a) Bayes-Ansatz i = exp( i) 1+exp( i ) bei Logit-Modell W N n (, ) p( ) / const oder N(, ), IG(, )? MCMC mit Sampling aus vollständig bedingten Dichten:

16 3 GEOSTATISTIK 40 ( ) Metropolis-Hastings (W ) Metropolis-Hastings ( ) IG mit aufdatierten Parametern ( ) IG mit aufdatierten Parametern ( )? (b) Penalisierter Likelihood-Ansatz (1) l pen (, W )=l(, W)+ 1 W 0 R 1 ( ) W! max, W {z } vgl. Kapitel 6 (),, mit REML (1) und () iterieren l(,w) = logp(y W, ) r ij = (ks i s j k ) (c) MCML: Monte Carlo Maximum Likelihood (Christensen [004]) Mit ' wird im Folgenden der Vektor der Parameter bezeichnet. Z L(') =f(y ') = f(y W )f(w ')dw Z Z f(y W )f(w ') f(y W )f(w ') / dw = ef(y) f(y W ) f(w e ef(w y)dw ) " # = E e f(w ') y ef(w ) ef(w )isteinevorschlagsdichtefür W auf R n. Z ef(y) = f(y W ) f(w e )dw (i) Monte Carlo Approximation L M (') = 1 m mx j=1 f(w (j) ') ef(w (j))

17 3 GEOSTATISTIK 41 wobei W (j) Ziehungen aus e f( y) sind. Wahl von e f kritisch, Vorschlag e f = f( ' 0 ), einige Iterationen für neues '. (ii) Maximiere L M über Newton-Raphson iterativ Varianz der Kovarianzstruktur b (W (j)) = (X 0 C 1 X) 1 C 1 W (j) b (W (j)) = 1 n (W (j) X b (W (j)) 0 C 1 (W (j) X b (W (j))) mit C = R( )+ I n (iii) b und b Plugin einsetzen in L M.Maximiere L e M ( ) =L M ( b, b, ). Maximiere numerisch (C 1 kritisch).