Geoadditive Regression

Transkript

1 Seminar: Stochastische Geometrie und ihre Anwendungen - Zufallsfelder Universität Ulm

2 Inhalt Einleitung 1 Einleitung 2 3 Penalisierung 4 Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell 5 6

3 Kraftfahrtversicherung: Mögliche Einflussgrößen auf die Schäden

4

5 Ziel Einleitung Ein Regressionsmodell zu finden, das erlaubt alle relevanten Einflüsse angemessen zu berücksichtigen.

6 Herausforderungen Empirische Verteilung einzelner Einflüsse lassen erkennen, dass oft eine nichtlineare Abhängigkeit besteht Es wird eine Methode benötigt, die geografische Daten behandelt

8 Das geoadditive Modell Das geoadditive Modell vereint lineare, nichtlineare und räumliche Effekte. Wir betrachten also Regressionsdaten wobei i der Beobachtungsindex y i die Zielvariable (y i, x i, z i, s i ), i = 1,..., n x i ein Vektor mit linearen Einflussgrößen (darunter auch die binären Kovariablen) z i ein Vektor mit nichtlinearen Einflussgrößen s i der Ort der Beobachtung

9 Das geoadditive Modell und es soll gelten wobei y i = m β j x ij j=1 } {{ } linearer Einfluss + p f j (z ij ) j=1 } {{ } nichtlinearer Einfluss β j die (unbekannten) Koeffizienten f j (unbekannte) Funktionen f geo der (unbekannte) räumliche Einfluss ɛ i eine Störgröße. + f geo (s i ) } {{ } +ɛ i, räumlicher Einfluss

10 Das geoadditive Modell Während die linearen Effekte durch ein multivariates lineares Modell geschätzt werden sollen, sollen die nichtlinearen Effekte durch möglichst glatte Funktionen mit Hilfe von modelliert werden. Die räumlichen Effekte werden - abhängig davon, ob sie durch stetige oder diskrete Variablen beschrieben werden - durch bzw. durch modelliert. Ziel ist es aber letztlich, alle Einflüsse auf lineare Modelle zurückzuführen.

11 Inhalt Einleitung Penalisierung 1 Einleitung 2 3 Penalisierung 4 Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell 5 6

12 Einleitung Penalisierung sind Polynom-Splines auf der Grundlage von B(asic)-Splines. werden aus Basisfunktionen gebildet, die folgendermaßen definiert sind:

13 Definition: Einleitung Penalisierung Es sei ein reelles Intervall [a, b] mit d + 1 Knoten a = κ 1 <... < κ d+1 = b gegeben. B-Spline-Basisfunktionen vom Grad l = 0 sind definiert durch { Bj 0 (z) = 1 [κj,κ j+1) (z) = 1, wenn z [ ) κ j, κ j+1, j = 1,..., d 0, sonst B-Spline-Basisfunktionen vom Grad l = 1 sind definiert durch B 1 j (z) = z κ j 1 κ j+l κ [κj,κ j j+1) (z) + κ j+2 z 1 κ j+2 κ [κj+1,κ j+1 j+2) (z)

14 Definition (Forts.) Einleitung Penalisierung B-Spline-Basisfunktionen vom Grad l > 1 sind definiert durch B l j (z) = z κ j κ j+l κ j B l 1 j (z) + κ j+l+1 z κ j+l+1 κ j+1 B l 1 j+1 (z)

15 B-Spline-Basisfunktionen Penalisierung Abbildung: B-Spline-Basisfunktionen vom Grad l = 0, 1, 2, 3 (äquidistante Knoten)

16 Komplette B-Spline-Basis Penalisierung Eine B-Spline-Basis vom Grad l ist entsprechend die Familie der einzelnen Basisfunktionen auf dem Intervall [a, b]. Damit eine Basis des Grades l auf [a, b] komplett ist, muss man jedoch zusätzlich 2l Knoten außerhalb des Intervalls [a, b] und entsprechende Basisfunktionen definieren. Man hat also eine erweiterte Knotenfolge: κ 1 l <... < a = κ 1 <... < κ d+1 = b <... < κ d+l+1 Und die komplette B-Spline-Basis vom Grad l ist gegeben durch (B l 1 l,..., Bl 0, Bl 1,..., Bl d )

17 B-Spline-Basen Einleitung Penalisierung Abbildung: Vollständige B-Spline-Basen vom Grad l = 1, 2, 3 (links: äquidistante Knoten, rechts: ungleichmäßig verteilte Knoten)

18 Penalisierung Darstellung des Polynom-Spline Gegeben sei eine B-Spline-Basis vom Grad l. Ein Polynom-Spline f (z) ergibt sich dann als Linearkombination der Basisfunktionen: d f (z) = γ j Bj l (z), wobei γ j (unbekannte) Koeffizienten zur Gewichtung der einzelnen Basisfunktionen B l j sind (j = 1,..., d). j=1

19 Penalisierung Schätzung eines nichtlinearen Effekts Abbildung: Schema: Schätzung eines nichtlinearen Effekts mit

22 Schätzung der Koeffizienten Penalisierung Somit lässt sich die Schätzung des Polynom-Spline auf die Schätzung eines linearen Modells (mit i.d.r. großer Parameterzahl) zurückführen. Designmatrix: Z = Minimierungsproblem: Normalengleichung: B1 l (z 1) Bd l (z 1)..... B1 l (z n) Bd l (z n) (y Z γ) T (y Z γ) min Z T Z γ = Z T y KQ-Schätzer (sofern Z T Z invertierbar): ˆγ = (Z T Z ) 1 Z T y

23 Eigenschaften von Penalisierung Gegeben sei eine B-Spline-Basis vom Grad l mit der erweiterten Knotenfolge κ 1 l <... < a = κ 1 <... < κ d+1 = b <... < κ d+l+1.

24 Eigenschaften von Penalisierung Gegeben sei eine B-Spline-Basis vom Grad l mit der erweiterten Knotenfolge κ 1 l <... < a = κ 1 <... < κ d+1 = b <... < κ d+l+1. Beschränktheit: Die Basisfunktionen sind beschränkt. = Berechnung numerisch stabiler.

25 Eigenschaften von Penalisierung Gegeben sei eine B-Spline-Basis vom Grad l mit der erweiterten Knotenfolge κ 1 l <... < a = κ 1 <... < κ d+1 = b <... < κ d+l+1. Beschränktheit: Die Basisfunktionen sind beschränkt. = Berechnung numerisch stabiler. Differenzierbarkeit: Die Basisfunktionen (und somit auch der Polynom-Spline) sind (l 1)-mal stetig differenzierbar, denn es gilt: z Bl j (z) = l ( 1 B l 1 κ j+l κ j j (z) 1 κ j+l+1 κ j+1 B l 1 j+1 (z))

26 Penalisierung Eigenschaften von (Forts.) bilden lokale Basis: Jede Basisfunktion ist nur in einem von l + 2 Knoten gebildeten Bereich positiv. An einer beliebigen Stelle z [a, b] sind genau l + 1 Basisfunktionen positiv. = Designmatrix Z dünn besetzt = Normalengleichung numerisch effizient lösbar.

27 Penalisierung Eigenschaften von (Forts.) bilden lokale Basis: Jede Basisfunktion ist nur in einem von l + 2 Knoten gebildeten Bereich positiv. An einer beliebigen Stelle z [a, b] sind genau l + 1 Basisfunktionen positiv. = Designmatrix Z dünn besetzt = Normalengleichung numerisch effizient lösbar. Überlappung: Jede Basisfunktion überlappt sich innerhalb [a, b] mit genau 2l benachbarten Basisfunktionen.

28 Penalisierung Eigenschaften von (Forts.) bilden lokale Basis: Jede Basisfunktion ist nur in einem von l + 2 Knoten gebildeten Bereich positiv. An einer beliebigen Stelle z [a, b] sind genau l + 1 Basisfunktionen positiv. = Designmatrix Z dünn besetzt = Normalengleichung numerisch effizient lösbar. Überlappung: Jede Basisfunktion überlappt sich innerhalb [a, b] mit genau 2l benachbarten Basisfunktionen. Zerlegung der Einheit: An jeder Stelle z [a, b] und für jedes l 0 gilt d j=1 l Bl j (z) = 1.

29 Penalisierung Beweis der Zerlegung der Einheit Vollständige Induktion: Für l = 0 gilt: d j=1 B 0 j (z) = 1 [κ1,κ 2 )(z) + 1 [κ2,κ 3 )(z) [κd,κ d+1 )(z) = 1 Gelte d j=1 l Bl j (z) = 1 für ein l 0. Für l + 1 gilt dann: d j=1 (l+1) B l+1 j (z) = d j= l B l+1 j (z)

30 Beweis (Forts.) Einleitung Penalisierung = z κ l B l l κ l+(l+1) κ (z) + κ l+(l+1)+1 z B l+1 l l κ l+(l+1)+1 κ (z)+ l+1 z κ l+1 B l+1 l κ l+(l+2) κ (z) + κ l+(l+1)+2 z B l+2 l l+1 κ l+(l+1)+2 κ (z)+ l z κ d Bd l κ d+(l+1) κ (z) + κ d+(l+1)+1 z Bd+1 l d κ d+(l+1)+1 κ (z) d+1

31 Beweis (Forts.) Einleitung Penalisierung = z κ l κ 1 κ l B l l (z)+ κ 2 z B l+1 l κ 2 κ (z) + z κ l+1 B l+1 l l+1 κ 2 κ (z) + κ 3 z B l+2 l l+1 κ 3 κ (z) + z κ l+2 B l+2 l l+2 κ 3 κ (z) l+2 {z } {z } =B l+1 l (z) =B l+2 l (z) + κ 4 z κ 4 κ l+3 B l l+3 (z) z κ d Bd l κ d+l+1 κ (z) + κ d+l+2 z Bd+1 l d κ d+l+2 κ (z) d+1

32 Beweis (Forts.) Einleitung Penalisierung = z κ l B κ 1 κ l(z) l + l } {{ } =0 z / [κ l,κ 1 ) d j= l+1 = B l j (z) + d j=1 l κ d+l+2 z B κ d+l+2 κ d+1(z) l d+1 } {{ } =0 z / [κ d+1,κ d+l+2 ) B l j (z) = 1

33 Unzulänglichkeit der Penalisierung Die Genauigkeit der Schätzung nichtlinearer Effekte durch hängt stark von der Anzahl der Knoten ab. Ein Problem ist dabei, dass bei zu wenigen Knoten der Spline die Daten unzureichend annähert bei zu vielen Knoten der Spline zu variabel wird und keine sinnvolle Interpretation ermöglicht.

34 Unzulänglichkeit der Penalisierung Abbildung: Einfluss der Knotenzahl auf die Schätzung - 5 Knoten

38 Unzulänglichkeit der Penalisierung Die Genauigkeit der Schätzung nichtlinearer Effekte durch hängt stark von der Anzahl der Knoten ab. Ein Problem ist dabei, dass bei zu wenigen Knoten der Spline die Daten unzureichend annähert bei zu vielen Knoten der Spline zu variabel wird und keine sinnvolle Interpretation ermöglicht. = Lösung: Man fügt eine Penalisierung hinzu.

39 Idee der Penalisierung Penalisierung Die grundlegende Idee von penalisierten Splines () ist dazu: Einen Polynom-Spline mit einer großen Knotenzahl zur Schätzung zu verwenden, womit der Spline prinzipiell flexibel genug ist, auch stark variierende Funktionen darzustellen. Einen zusätzlichen Strafterm einzuführen, der eine zu große Variabilität der Schätzung bestraft.

40 Strafterm Einleitung Penalisierung Betrachtet man nochmals die Darstellung des Polynom-Splines f (z) = d j=1 γ jbj l (z), ist ersichtlich, dass es sinnvoll ist, zu große Differenzen benachbarter Parameter γ j zu bestrafen. Dies lässt sich auch aus den Ableitungen von f herleiten, da aufgrund der Eigenschaften der gilt: z f (z) = z d d γ j Bj l (z) = l γ j γ j 1 B l 1 κ j+l κ j (z) j j=1 j=1

41 Strafterm Einleitung Penalisierung Daraus und aus den höheren Ableitungen erhält man: Differenzen 1. Ordnung: 1 γ j = γ j γ j 1 Differenzen 2. Ordnung: 2 γ j = 1 γ j 1 γ j 1 = γ j 2γ j 1 + γ j 2 Allgemein Differenzen k-ter Ordnung: k γ j = k 1 γ j k 1 γ j 1

42 Strafterm Einleitung Penalisierung Der Strafterm hat dann die Darstellung: wobei λ d j=k+1 ( k γ j ) 2 = λγ T D T k D kγ = λγ T K k γ, λ 0 der Glattheitsparameter, der das Verhältnis von Datentreue zu Glattheit steuert, K k = D T k D k die Strafmatrix und D k die Differenzen k-ter Ordnung zusammenfasst.

43 Strafterm Einleitung Penalisierung In den Fällen k = 1 und k = 2 ist D k eine (d 1) d-matrix bzw. eine (d 2) d-matrix mit folgender Gestalt: D 1 = , D 2 =

44 Penalisierter KQ-Schätzer Penalisierung Aus dem bekannten Minimierungsproblem des KQ-Schätzers (y Z γ) T (y Z γ) min wird (y Z γ) T (y Z γ) + λγ T K γ min Normalengleichung: (Z T Z + λk )γ = Z T y Penalisierter KQ-Schätzer (falls (Z T Z + λk ) invertierbar): ˆγ = (Z T Z + λk ) 1 Z T y

45 Penalisierung Herleitung der Normalengleichung Es gilt: d dγ ((y Z γ)t (y Z γ) + λγ T K γ) = d dγ (y T y y T Z γ (Z γ) T y + γ T (Z T Z + λk )γ) = 2Z T y + 2(Z T Z + λk )γ = o (Z T Z + λk )γ = Z T y Außerdem d 2 d 2 γ ((y Z γ)t (y Z γ) + λγ T K γ) = 2(Z T Z + λk ) positiv definit bei vollem Rang.

46 Inhalt Einleitung Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell 1 Einleitung 2 3 Penalisierung 4 Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell 5 6

47 Idee Einleitung Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Das Verfahren wurde entwickelt von dem südafrikanischem Geostatistiker Daniel Krige. Gegeben sei ein zufälliges Feld {Z (s), s R 2 }, also eine Familie von (reellen) Zufallsvariablen Z (s) über einem gemeinsamen Wahrscheinlichkeitsraum eine endliche Menge von Beobachtungspunkten {s 1,..., s d }. Ziel des ist, mittels Kovarianzen und geeigneter Gewichtung der Beobachtungspunkte, einen Schätzer für den (unbekannten) Wert an einer Stelle s 0 zu konstruieren.

48 Definition: Variogramm Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Die räumliche Variation einer Zufallsvariablen Z (s) kann durch den Zuwachs Z (s + h) Z (s) zwischen den Werten zweier Punkte s, s + h R 2 beschrieben werden. γ(h) := 1 2E[(Z (h) Z (0)) 2 ], h R 2 heißt (theoretisches) Variogramm, falls für jedes Paar s, s + h R 2 gilt: E[Z (s + h) Z (s)] =: m(h) 0, d.h. Erwartungswert der Zuwächse konstant, Var[Z (s + h) Z (s)] = 2γ(h) <, d.h. Varianz der Zuwächse hängt nur von Länge und Richtung des Vektors zwischen den 2 Punkten ab. (Intrinsische Stationarität 2. Ordnung)

49 Eigenschaften Einleitung Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell γ(o) = 0 γ(h) 0 γ( h) = γ(h) lim h γ(h) h 2 = 0 (sonst Widerspruch zu m(h) 0) Falls γ(h) nur von h abhängt, d.h. Varianz der Zuwächse hängt nur von der Länge von h ab, so heißt {Z (s), s R 2 } isotrop.

50 Experimentelles Variogramm Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell {h : h = (s i s j ) R 2, 1 i < j d} seien die Differenzenvektoren zwischen den Beobachtungspunkten {s 1,..., s d } Bilden von k Klassen H k der Vektoren h nach ihrer Länge und Richtung experimentelles Variogramm: γ (H k ) = 1 2n k h=(s i s j ) H k (z(s i ) z(s j )) 2 mit n k die Anzahl der Vektoren in der Klasse H k Das experimentelle Variogramm dient zur Strukturierung der Daten, muss aber für das weitere Vorgehen durch ein geeignetes theoretisches ersetzt werden.

51 Experimentelles Variogramm Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Abbildung: Experimentelles Variogramm - h nur nach Länge klassifiziert, unter Annahme von Isotropie

52 Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Passendes theoretisches Variogramm Abbildung: Passendes theoretisches Variogramm wird über das experimentelle gelegt

53 Definition: Kovarianzfunktion Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Falls in {Z (s), s R 2 } E[Z (s)],e[z 2 (s)] < und die Stationarität der ersten beiden Momente gilt, d.h. falls E[Z (s)] m konstant s R 2 E[Z (s)z (s + h)] m 2 =: C(h) nur abhängig von h s, s + h R 2, dann heißt C(h) eine Kovarianzfunktion.

54 Zusammenhang γ(h) und C(h) Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Ein Variogramm kann von einer Kovarianzfunktion abgeleitet werden, da gilt γ(h) = C(0) C(h) h.

55 Definitheit Einleitung Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Eine Kovarianzfunktion ist positiv definit, da [ n ] n n Var ω i Z (s i ) = ω i ω j C(s i s j ) 0 i=0 i=0 j=0 für jede Familie von Punkten (s 0,..., s n ) und Gewichten (ω 0,..., ω n ). Daraus folgt, dass ein Variogramm eine bedingt negativ definite Funktion ist, unter der Bedingung n i=0 ω i = 0: [ n ] n n Var ω i Z (s i ) = ω i ω j (C(0) γ(s i s j )) i=0 = C(0) n i=0 ω i n j=0 ω j } {{ } =0 i=0 j=0 n i=0 j=0 n ω i ω j γ(s i s j ) 0

56 Beispiele für Kovarianzfunktionen Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Isotrope Kovarianzfunktionen, d.h. C(h) hängt nur von h, also nur der Länge von h, ab Exponentielle Kovarianzfunktion C exp (h) = b exp( h c a ), a, b > 0, 0 < c 2 a und c geben an, wie schnell die Kovarianz mit dem Abstand vom Ursprung fällt b gibt den max. Wert der Kovarianz (am Ursprung) an am Ursprung stetig, aber nicht differenzierbar C exp (h) 0 ( h )

57 Beispiele für Kovarianzfunktionen Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Sphärische Kovarianzfunktion { b(1 3 h C sph (h) = 2 a + 1 h 3 2 ), für 0 h a a 3 a, b > 0 0, h > a a (range) gibt die Reichweite der Kovarianz an b (sill) gibt den max. Wert der Kovarianz (am Ursprung) an stetig, aber nicht differenzierbar monoton fallend für 0 h a, dann verschwindend

58 Beispiele für Kovarianzfunktionen Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Abbildung: Beispiele für Kovarianzfunktionen (links: sphärische für b = 1 und a = 1, 1.75, 2.5, rechts: exponentielle für a, b = 1 und c = 0.5, 1, 2)

59 Beispiele für Kovarianzfunktionen Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Abbildung: Sphärisches Variogramm für b = 1 und a = 3

60 Beispiele für Kovarianzfunktionen Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Abbildung: Exponentielles Variogramm für a, b, c = 1

61 Gewöhnliches Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Es soll nun der Wert am Punkt s 0 durch eine gewichtete Linearkombination der Werte an den Beobachtungspunkten geschätzt werden: d Ẑ (s 0 ) = ω i,s0 Z (s i ) i=1 Abbildung: Gebiet mit unregelmäßig verteilten Beobachtungspunkten und x 0

62 Gewöhnliches Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Wir nehmen an, dass die Daten eine Realisation der Zufallsvariablen Z (s) mit Variogramm γ(h) sind. Unter der Voraussetzung d i=1 ω i = 1 erhalten wir einen erwartungstreuen Schätzer: E[Ẑ (s d d 0) Z (s 0 )] = E ω i,s0 Z (s i ) Z (s 0 ) ω i,s0 i=1 i=1 } {{ } =1 = d ω i,s0 E[Z (s i ) Z (s 0 )] = 0 i=1

63 Gewöhnliches Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Die Schätzvarianz ist: ˆσ 2 = E[(Ẑ (s 0) Z (s 0 )) 2 ] d d d = γ(s 0 s 0 ) ω i,s0 ω j,s0 γ(s i s j ) 2 ω i,s0 γ(s i s 0 ) Die 1. Ableitung: i=1 j=1 i=1 d dω i,s0 d ˆσ2 = 2 ω j,s0 γ(s i s j ) 2γ(s i s 0 ) j=1

64 Schätzung der Gewichte Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Minimiert man die Schätzvarianz unter der Bedingung d i=1 ω i = 1, erhält man nach Lagrange (µ der Langrange-Parameter) durch das Gleichungssystem γ(s 1 s 1 ) γ(s 1 s d ) 1 ω 1,s γ(s d s 1 ) γ(s d s d ) ω d,s0 µ die Gewichte ω i,s0 für einen erwartungstreuen und varianzminimalen Schätzer für den Wert an s 0. = γ(s 1 s 0 ). γ(s d s 0 ) 1

65 Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Beispiel: Bundesumweltamt Moosmonitoring

68 Problematik Einleitung Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Dieses Gewöhnliche eignet sich nicht direkt zur Verwendung der Schätzung des räumlichen Einflusses f geo (s) in unserem geoadditiven Modell, weil die Gewichte ω i,s0 in Abhängigkeit von einem Punkt s 0 bestimmt werden, der räumliche Einfluss an den Beobachtungsstellen (Z (s 1 ),..., Z (s d )) zuvor bestimmt sein muss. Die Ansätze des und die der lassen sich aber zu einem geeigneten Ansatz kombinieren.

69 Basisfunktionenansatz Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Der räumliche Effekt lässt sich auch mit Hilfe von Basisfunktionen darstellen: d f geo (s) = γ j B j (s) wobei s (1),..., s (d) gegebene Messpunkte (eine geeignet gewählte Teilmenge aller Beobachtungspunkte s 1,..., s n ) j=1 B j (s) = C(s s (j) ) eine (zuvor bestimmte) Kovarianzfunktion γ j (zu schätzende) Koeffizienten. In Matrixschreibweise als lineares Modell: ỹ = Z γ + ɛ mit Designmatrix Z [i, j] = C(s i s (j) ) und Störgrößen ɛ.

70 Schätzung des räumlichen Effekts Idee Variogramm und Kovarianz Gewöhnliches Ansatz für das geoadditive Modell Als Strafterm für γ verwendet man analog zu den λ γ T K γ, wobei K hier eine Kovarianzmatrix mit K [i, j] = C(s (i) s (j) ) ist. Damit ergibt sich der Schätzer analog zum vorigen Kapitel die Normalengleichung: ( Z T Z + λ K ) 1 γ = Z T ỹ

72 Definition: Wir betrachten jetzt den Fall, dass die räumliche Information diskret, in Form von Regionen- oder Gitterpunktvariablen s {1,..., d} vorliegt. Bezeichne D = {1,..., s,..., d} die Menge aller Regionen bzw. Gitterpunkte, so heißt γ = {γ s, s D} ein Markov-Zufallsfeld (mit γ s Zufallsvariablen über gemeinsamem Wahrscheinlichkeitsraum), wenn für alle s D die bedingte Verteilung von γ s, gegeben alle übrigen Effekte γ t, t s, nur von den Nachbarn abhängt. Es lässt sich also schreiben: P(γ s γ t, t s) = P(γ s γ t, t N(s)) s D wobei N(s) eine (noch näher zu bestimmende) Nachbarschaft von s bezeichnet.

73 Nachbarschaften Solche Nachbarschaften werden üblicherweise und anschaulich über gemeinsame Grenzen definiert. (Nachbarschaften 1. Ordnung) Probleme treten aber wenn, wenn Regionen Exklaven enthalten oder Teile des Beobachtungsbereichs räumlich separiert sind. Abhilfe können im Einzelfall Modifikationen dieser Definition leisten. Neben diesen Nachbarschaften 1. Ordnung können ergänzend indirekte Nachbarn als Nachbarschaften höherer Ordnung betrachtet werden. Zwei benachbarte Regionen s und t werden im Folgenden mit der Notation s t bezeichnet.

74 Nachbarschaften Abbildung: Nachbarschaften 1. Ordnung (links: auf einem regulären Gitter, rechts: für irregulär angeordnete Regionaldaten)

75 Ansatz für die Schätzfunktion Wir weisen jeder Region einen Regressionskoeffizienten für den räumlichen Effekt zu: f geo (s) = γ s, s = 1,..., d Den Strafterm konstruieren wir auf der Basis der quadrierten Differenzen zwischen Parametern benachbarter Regionen mit dem Ziel einer glatten Regression.

76 Ansatz für die Schätzfunktion Für den penalisierten KQ-Schätzer erhalten wir folglich das Minimierungsproblem: wobei n (y i γ si ) 2 + λ i=1 d s=2 t N(s),t<s y i der Wert der i-ten Messung, (γ t γ s ) 2 min, s i die Region, aus der die i-te Messung stammt, N(s) die Menge aller Nachbarn der Region s und λ 0 der Glattheitsparameter.

77 Schätzung des räumlichen Effektes In Matrixnotation erhalten wir also wieder: (y Z γ) T (y Z γ) + λγ T K γ min, wobei die Designmatrix Z beschrieben wird mit { 1 falls y i in Region s beobachtet wurde Z [i, s] = 0 sonst und die Strafmatrix K mit 1 s t, s t K [s, t] = 0 s t, s t N(s) s = t. Die Normalengleichung ergibt sich wieder wie vorhin: (Z T Z + λk )γ = Z T y

79 Gesamtmodell Einleitung Erinnern wir uns an das geoadditive Modell am Anfang: y i = m p β j x ij + f j (z ij ) + f geo (s i ) + ɛ i, j=1 j=1 wobei β j die (unbekannten) Koeffizienten f j (unbekannte) Funktionen f geo der (unbekannte) räumliche Einfluss ɛ i eine Störgröße.

80 Gesamtmodell Einleitung Durch die Rückführung der nichtlinearen und räumlichen Einflüsse auf lineare Modelle erhalten wir: y = Xβ }{{} + Z 1 γ Z p γ p + } {{ } Z geo γ geo } {{ } +ɛ = X β+ɛ, linearer Einfluss nichtlineare Einflüsse räumlicher Einfluss mit X = ( ) X Z 1 Z p Z geo und β = β γ 1. γ p γ geo

81 Gesamtmodell Einleitung Das Minimierungsproblem: (y X β) T (y X β) + λ β T K β min, wobei die Strafmatrix K in folgender Gestalt aus den einzelnen Strafmatrizen K 1,..., K p, K geo der nichtlinearen Einflüsse bzw. des räumlichen Einflusses besteht: 0 K 1 K =... Normalengleichung: K p K geo ( X T X + λ K ) β = X T Xy

82 Kraftfahrtversicherung: Nichtlineare Einflüsse Abbildung: Geschätzte Funktionen für die nichtlinearen Einflüsse Schadensfreiheitsklasse, Kfz-Besitzdauer und gefahrene Kilometer/Jahr mit (punktweisen) 80%- und 95%-Konfidenzintervallen

83 Kraftfahrtversicherung: Räumlicher Einfluss Abbildung: Geschätzter diskreter räumlicher Einfluss

84 Ausblick Einleitung Was hier nicht ausführlich dargestellt werden konnte: Bestmögliche Wahl von λ Wahl der Knotenzahl bei Auswahl der Messpunkte beim Wahl der Kovarianzfunktion beim Güte des Modells statistische Tests

85 Anhang Literatur Literatur L. Fahrmeir, T. Kneib und S. Lang Regression - Modelle, Methoden und Anwendungen Springer, Berlin, 2007 H. Wackernagel Multivariate Geostatistics Springer, Berlin, 1998 L. Fahrmeir, F. Sagerer und G. Sussmann Geoadditive regression for analyzing small-scale geographical variability in car insurance Blätter der Deutschen Gesellschaft für Versicherungsmathematik, 28:47 65, 2007.