Methoden der multivariaten Statistik

Transkript

1 Meteorologisches Institut der Universität Bonn Skript zur Vorlesung Methoden der multivariaten Statistik Sommersemester 2002 Andreas Hense Version: April 2002 (mit Korrekturen Nov. 2005, PF) 1

2 Inhaltsverzeichnis 1 Einführung Matrix / Vektor Algebra Multivariat normalverteilte Grundgesamtheiten Multivariate Zufallsvariablen Momente multivariater ZVA Multivariate Normalverteilung Eigenschaften der Kovarianzmatrix Schätzungen der Kovarianzmatrix Informationskomprimierung Beispiele für Guessmuster Bedingte Wahrscheinlichkeitsdichten Bivariate Grundgesamtheiten Eigenschaften der Grundgesamtheit Schätzer der Eigenschaften der bivariaten GG Konfidenzintervalle Hypothesentest Multivariate Hypothesentests Einführung Die Hotelling T 2 Variable Vergleich zweier multivariater Stichproben Die Macht des T 2 Tests Informationskomprimierung und der T 2 Test Beispiel zum Hotelling T 2 Test Diskriminanzanalyse Das Problem Klassifikation bei multivariaten Normalverteilungen Klassifikation bei unbekannter pdf Beispiel zur Anwendung der Diskriminanzanalyse

3 6 Empirische Orthogonalfunktionen Definition Schätzung der Prinzipalen Vektoren EOF und die Singulärwert-Zerlegung SVD Schätzung der Konfidenzintervalle Beweis des Satzes über prinzipale Vektoren Rotation Singular Spectral Analysis Beispiel für eine EOF Analyse EOF s und ihre physikalische Interpretation 76 8 Kanonische Korrelationsanalyse Definition Bedeutung der Metrikmatrizen Schätzung der kanonischen Korrelation Signifikanzschätzungen der kanonischen Korrelationen Beispiel für eine CCA

4 1 Einführung Abbildung 1 Feld der 2m Temperaturanomalie (Abweichung vom Mittelwert ), Mittelwert für Januar 1983, Nordhemisphäre zwischen 17.5 N und 77.5 N, Einheit K 1 Einführung In der Vorlesung Statistik sind im wesentlichen Methoden der univariaten Statistik beschrieben worden. Ein nicht unbedeutender Teil der Statistik in der Klimatologie befasst sich aber mit Problemen wie etwa die Statistik des Bodendruckfeldes über dem Nordatlantik, das Feld der 2m Temperaturanomalie oder des 500 hpa Geopotentials über der Nordhemisphäre oder das Windfeld in 200 hpa in den Tropen, um mal eine nicht sehr repräsentative Auswahl zu liefern. Die Daten liegen typischerweise an Gitterpunkten vor, z.b. 72*13 = 936 für die Nordhemisphäre, wenn man/frau einen Gitterpunktsabstand von 5 in N-S Richtung und eine 5 Abstand in E - W Richtung wählt und sich nur auf die Daten zwischen 17.5 N und 77.5 N konzentriert (vergl. Abb. (1)). Deshalb können wir das diskrete Feld Temperatur als eine Realisierung einer multivariaten ZVA mit der Dimension q = 936 auffassen oder allgemeiner bei der statistischen Betrachtung von meteorologischen Daten in Feldform die Notwendigkeit einer multivariaten Statistik ausmachen. Die Verallgemeinerung diskreter Felddaten auf kontinuierliche Felddaten ist ebenfalls möglich und führt auf die Betrachtung von Zufallsfunktionen F ( r), die wir aber nicht weiter betrachten wollen. Zwischen den Werten an den Gitterpunkten gibt 1

5 1 Einführung es Abhängigkeiten, die eine univariate Statistik nicht erfassen würde. Diese Abhängigkeiten entstehen aus der Dynamik: so sind z.b. in hyperbolischen Systemen Wellenausbreitungen (Rossbywellen, seismische Wellen) gegeben, die verschiedene Punkte in Raum und Zeit verknüpfen. in elliptischen Systemen (stationäre Diffusion, Wärmeleitung) die Randwerte, die die Lösung und damit die räumlich-zeitliche Struktur bestimmen die entscheidenden Prozesse, die bei einer statistischen Analyse ein multivariates Vorgehen erzwingen. Generell kann man sagen, dass man Statistik und Dynamik getrennt behandelt, wenn man nur univariate Statistik betreibt. Will man aber eine mit der Dynamik konsistente Statitik (statistisch-dynamische Analyse) betreiben, muss man zwangsläufig auf die multivariate Statistik ausweichen. Das Paradebeispiel hierfür ist die numerische Analyse, in der die multivariate Betrachtung der Beobachtungen an verschiedenen Raum-Zeitpunkten eine mit der Dynamik konsistente Analyse ergeben soll. Schliesslich ist multivariate Statistik gefragt, wenn generell Muster untersucht werden sollen. Das Paradebeispiel für diese Art von Anwendung ist der Nachweis und die Zuordnung von Klimaänderungssignalen: Ist eine simuliertes Klimaänderungsmuster (z.b. ein Temperaturtrend) in den beobachteten Temperaturtrends (vergl. Abb.(1)) wiederzufinden? Wie wir in der Vorlesung Statistik gesehen haben, sind wesentliche statistische Methoden formuliert worden für univariate und normalverteilte Grundgesamtheiten. Es liegt daher nahe, analog zu den univariaten Methoden, sich zunächst auf die multivariate Statistik normalverteilter ZVA zu beschränken. Relevante Bücher in diesem Zusammenhang sind Morrison, D.F., Multivariate Statistical Methods, McGraw Hill Series in Probability and Statistics ([9]) Anderson, T.W., An Introduction to Multivariate Statistical Analysis, 2nd Edition, J. Wiley & Sons, umfangreich und sehr mathematisch, sehr gut, ([10]) Hartung, J. und Elpelt, B. Multivariate Statistik, Lehr- und Handbuch der angewandten Statistik: Wie der Titel verrät, ein Buch zur Anwendung ohne umfangreiche mathematische Herleitungen aber mit viel Anwendungsbeispielen ([16]) 2

6 1 Einführung Abbildung 2 Feld des Trends der 2m Temperaturanomalie Winter DJF zwischen 32.5 S und 77.5 N, Einheit K/10a Hans von Storch und Francis Zwiers, Statistical Analysis in Climate Research, Cambidge University Press: Das Buch, das viele statistische Verfahren, die in der Klimaforschung Verwendung finden, vorstellt und mit Beispielen erläutert. Mit dabei sind auch die multivariaten Untersuchungen. [15] Multivariate ZVA werden i.a. mit Vektoren im IR q identifizert. Deshalb werden wir zu Beginn der Vorlesung die Matrix / Vektorrechenregeln zusammenstellen, auf die wir im Rahmen der Vorlesung immer wieder zurückgreifen werden. 1.1 Matrix / Vektor Algebra Alle Vektoren in der Vorlesung werden als Spaltenvektoren aufgefasst, sofern es nicht explizit anders erwähnt wird. D.h. ein q dimensionaler Vektor wird geschrieben als x = x 1 x 2. x q (1.1) 3

7 1 Einführung Entsprechende ist der transponierte Vektor x T ein Zeilenvektor. x T = (x 1, x 2,..., x q ) (1.2) Eine q p dimensionale Matrix A ist eine Anordnung von p Spaltenvektoren der Dimension q zu einem zweidimensionalen Array A i,j A 11 A A 1p A A = 21 A A 2p... A q1 A q2... A qp (1.3) Dabei bezeichnet der erste Index die Zeilennummer (1,..., q) und der zweite den Spaltenindex (1,..., p). Die Transponierte einer Matrix erhalten wir durch Vertauschen der Zeilenund Spaltenindices. (A T ) ij = A ji (1.4) Eine Matrix nennt man/frau symmetrisch, wenn gilt A T = A (1.5) Die Spur einer Matrix ist definiert als die Summe über die Diagonalelemente A ii Sp(A) = min(p,q) i=1 A ii (1.6) Als Diagonalmatrix wird eine Matrix bezeichnet, die nur auf der Diagonalen Einträge hat, die von Null verschieden sind γ diag(γ i, i = 1, q) = 0 γ γ q Die Einheitsmatrix I ist eine Diagonalmatrix mit 1 als Diagonaleinträgen. (1.7) I = diag(1, i = 1, q) (1.8) Matrizen werden addiert, indem die Matrixelemente addiert werden (A + B) ij = A ij + B ij (1.9) 4

8 1 Einführung Eine Matrix wird skalar mit c multipliziert, indem jedes Element mit dem Skalar c multipliziert wird (ca) ij = ca ij (1.10) Zwei Matrizen A, B der Dimension (p r) und r q werden multipliziert durch folgende Rechenregel r (AB) ij = A ik B kj (1.11) k=1 Diese Multiplikation ist distributiv und assoziativ d.h. es gilt für die drei Matrizen A(p r), B, C(r q) bzw. C(q s) A(B + C) = AB + AC A(BC) = (AB)C (1.12) Dagegen ist die Matrixmultiplikation i.a. (d.h. auch für quadratische Matrizen q = p = r = s nicht kommutativ AB BA (1.13) Lineare Gleichungssysteme für die q Unbekannten x j der Form q A i,j x j = b i (1.14) können kompakt in Matrix - Vektorschreibweise geschrieben werden als: j=1 A x = b (1.15) Zwei Vektoren können auf verschieden Weise multipliziert werden. Das Skalarprodukt zweier Vektoren x, y der Dimension q ist definiert als x T y = q x i y i (1.16) i=1 Da das Ergebnis ein Skalar ist, ist die skalare Multiplikation kommutativ x T y = y T x (1.17) Das äussere Produkt zweier Vektoren ist eine Matrix A mit folgender Beziehung A = x y T A ij = y i x j (1.18) 5

9 1 Einführung Skalarprodukt und äusseres Produkt hängen über folgende Beziehung zusammen: Sp( y x T ) = x T y (1.19) Die Determinanten einer Matrix wollen wir mit det(a) bzw. A bezeichen. Die Inverse einer (quadratischen) Matrix A wollen wir mit A 1 bezeichnen. Dies ist eine Matrix B, für die gilt AB = BA = AA 1 = A 1 A = I B = A 1 (1.20) Die Lösung eines linearen Gleichungssystems A x = b erhalten wir dann formal zu x = A 1 b (1.21) Damit A 1 existiert, muss A nichtsingulär sein bzw. den vollen Rang haben. Dies ist gegeben, wenn gilt det(a) 0. Existiert A 1 nicht, so heisst A singulär und det(a) = 0. Die Inverse der Transponierten einer Matrix ist die Transponierte der Inversen, sofern die Matrix nichtsingulär ist. (A 1 ) T = (A T ) 1 (1.22) Die Inverse eines Matrixproduktes zweier nichtsingulärer Matrizen A, B findet man/frau als (AB) 1 = B 1 A 1 (1.23) Als Rang einer Matrix A mit den Dimensionen q p bezeichnet man/frau die Anzahl der linear unabhängigen Zeilen / Spaltenvektoren rg(a) min(p, q) (1.24) Ist bei einer quadratischen Matrix p = q der Rang gleich der Dimension rg(a) = q, so sagt man/frau, die Matrix A habe den vollen Rang. In diesem Fall existiert eine Inverse A 1. Für die Rangberechnung von Matrizen gelten folgende Regeln rg(a T ) = rg(a) rg(a T A) = rg(a) = rg(aa T ) rg(a) = a rg(b) = b rg(ab) min(a, b) (1.25) Sei B eine quadratische Matrix mit vollem Rang p und A eine Matrix der Dimensionen q p mit rg(a) = a. Dann gilt rg(ab) = a (1.26) 6

10 1 Einführung Die Multiplikation eines Vektors x und einer quadratischen, symmetrischen Matrix A von der Form x T A x (1.27) nennt man/frau eine quadratische Form. Die Matrix A heisst positiv (semi-) definit, wenn für alle x 0 gilt x T A x > 0 positiv definit x T A x 0 positive semidefinit (1.28) Ist die quadratische Form kleiner oder kleiner gleich Null, so nennt man/frau A negative (semi-) definit. Ist kein Vorzeichen der quadratischen Form ausgezeichnet, so heisst A indefinit. x ist ein Eigenvektor der quadratischen Matrix A, wenn sich durch die Multiplikation A x der Vektor bis auf einen Längenfaktor λ reproduziert. A x = λ x (1.29) Dies ist ein lineares, homogenes Gleichungssystem (A λi) x = 0, (1.30) das nur dann nichttriviale Lösungen x 0 haben kann, wenn gilt det(a λi) = 0 (1.31) Diese Gleichung bestimmt die Nullstellen λ eines Polynoms (charakteristisches Polynom) der Ordnung q λ 1, λ 2... λ q (1.32) wobei allerdings einige λ i identisch seien können ( entartet ). Zu jedem dieser Eigenwerte λ i existiert ein Eigenvektor e i, so dass gilt A e i = λ i e i (1.33) Ordnen wir die Eigenvektoren als Spaltenvektoren zu einer Matrix E an und schreiben die Eigenwerte als Elemente einer Diagonalmatrix, erhalten wir E = ( e 1, e 2,..., e q ) Λ = diag(λ 1,..., λ q ) AE = EΛ (1.34) 7

11 1 Einführung Ist A eine symmetrische Matrix, lehrt uns die lineare Algebra, dass gilt λ i IR (1.35) Ist A ausserdem positiv (semi-) definit, so gilt λ i 0 (1.36) für alle i [1, q]. Die Eigenvektoren von symmetrischen Matrizen bilden ein vollständiges, orthogonales Basissystem im IR q, d.h. es gilt: e T i e j = δ ij E T E = EE T = I (1.37) Betrachten wir zum Schluss noch Ableitungen von skalaren Funktionen nach Vektoren ( Gradienten ). Sei f(x 1, x 2,..., x q ) = f( x) eine Abbildung aus dem IR q in IR. Dann können wir nach den bekannten Rechenregeln die partiellen 1. und 2. Ableitungen bilden Sei f nun eine verallgemeinerte quadratische Form f x i 2 f (1.38) x i x j f( x) = ( a C x) T K( a C x) (1.39) wobei a ein fester q dimensionaler Vektor ist, K eine symmetrische Matrix und C eine beliebige Matrix. Gesucht ist der Gradient von f bzgl. des Vektors x: x f = f x (1.40) Üblich wäre es, die verallgemeinerte quadratische Form als Doppelsumme auszuschreiben und dann den Gradienten durch partielle Ableitung nach den Komponenten x i auszurechnen. Man/frau kann sich aber viel Arbeit ersparen, wenn man/frau nach folgenden drei Regeln verfährt: (1) Berechne die Ableitung f x Rechenregeln zur Differentiation. wie im skalaren Fall, d.h. unter Benutzung der üblichen 8

12 1 Einführung (2) Erhalte in jedem Fall die Reihenfolge der Matrix - Vektormultiplikationen, da diese nicht kommutativ sind. (3) Soll die quadratische Form nach dem Komponenten abgeleitet werden, die aus dem transponierten Vektoranteil x T stammen, so verfahre nach den Regeln (1) und (2) ohne Berücksichtigung der Transponierung und transponiere das Ergebnis anschliessend. Mit Hilfe dieser Regeln erhalten wir dann f x = x ( at K a a T KC x x T C T K a + x T C T KC x) = a T KC (C T K a) T + (C T KC x) T + x T C T KC = 2 a T KC + 2 x T C T KC (1.41) Auch die Matrix der zweiten Ableitungen (Hesse - Matrix) erhalten wir durch Anwendung der Rechenregeln auf den Gradienten H = 2 f x x T = 2CT KC (1.42) 9

13 2 Multivariat normalverteilte Grundgesamtheiten 2 Multivariat normalverteilte Grundgesamtheiten 2.1 Multivariate Zufallsvariablen Wir definieren eine q-dimensionale multivariate ZV X als Vektor X = (X 1, X 2,..., X q ) T q. Die Elemente des Vektors X sind kontinuierliche univariate ZV mit den Randdichten f 1 (x 1 ), f 2 (x 2 ),..., f q (x q ) und den Randverteilungen F 1 (x 1 ), F 2 (x 2 ),..., F q (x q ). Die Verteilungsfunktion der multivariaten ZVA X = {( X, F ( x)), X q } ist definiert über die Wahrscheinlichkeit F (x 1, x 2,..., x q ) = P (X 1 x 1, X 2 x 2,..., X q x q ). Diese heisst auf die gemeinsame Verteilung oder joint distribution. Sei F (x 1, x 2,..., x q ) kontinuierlich und differenzierbar, so können wir die gemeinsame Wahrscheinlichkeitsdichtefunktion definieren als f(x 1,..., x q ) = F (x 1,..., x q ), mit F (x 1,..., x q ) = x1... xq f(u 1,..., u q )du 1... du q. Unabhängigkeit: Wenn die Elemente der multivariaten ZVA X statistisch unabhängig voneinander sind, dann gilt f(x 1,..., x q ) = f 1 (x 1 )... f q (x q ) F (x 1,..., x q ) = F 1 (x 1 )... F q (x q ). In diesem Fall könnten wir die univariate Statistik verwenden und mit den Randverteilungen, bzw. -dichten arbeiten. Aber dies ist bei meteorologischen Feldern nicht der Fall! Die Randverteilung eines Elementes eine multivariabten ZVA definiert sich als f i (x i ) =... f(x 1,..., x q )dx 1... dx i 1 dx i+1 dx q. (2.1) Durch die Integration der gemeinsamen Verteilung über einzelne Elemente der multivariaten ZVA wird die Verteilung unabhängig gemacht von diesen Elementen dieser Prozess heisst Marginalisierung. 10

14 2 Multivariat normalverteilte Grundgesamtheiten Multivariate bedingte Verteilungen bzw. Dichten: Gegeben sei eine MV ZVA mit f(x 1,..., x q ). Seien nun die Elemente x p + 1,..., x q z.b. durch ein Experiment oder Beobachtung festgelegt, dann lautet die auf diese Elemente bedingte Wahrscheinlichkeitsdichte Momente multivariater ZVA f(x 1,..., x p x p+1,..., x q ) = f(x 1,..., x q ) f(x p+1,..., x q ). (2.2) Der Erwartungswert E( X) ist ein Vektor bestehend aus den Erwartungswerten der einzelnen Komponenten von X E( X) = (E(X 1 ),..., E(X q )) T = µ. Um auf die allgemeine Form der multivariaten Varianz zu kommen, definieren wir zuerst die Kovarianz Cov(X i, X j ) = E ((X i µ i ) (X j µ j )) = =... (x i µ i )(x j µ j )f(x 1,..., x q )dx 1... dx q (x i µ i )(x j µ j )f(x i, x j )dx i dx j = σ 2 ij (2.3) Wenn i = j ist, dann ist σ 2 ii = σ 2 i die Varianz der i-ten Komponente. Bei einer q- dimensionalen ZVA X existieren also q q Kovarianzen σij 2, wobei diese natürlich symmetrisch sind. Wir können diese also zusammenfassen zu der Kovarianzmatrix Σ E (( X E( X))( X E( X)) ) T = Σ. (2.4) Die Kovarianzmatrix ist also eine symmetrische positiv definite Matrix. 2.2 Multivariate Normalverteilung Wir bereits erwähnt wurde, werden wir uns bei der multivariaten Statistik auf ZVA beschränken, die multivariat normalverteilt sind. Das hat zwei Gründe: 1. Ein Zufallsvektor, der entsteht aus der Summe eine grösseren Anzahl unabhängig und identisch verteilter Zufallsvektoren ist nach dem zentrale Grenzwertsatz der Statistik asymptotisch multivariat normalverteilt (dies gilt analog zu univariaten auch für multivariate 11

15 2 Multivariat normalverteilte Grundgesamtheiten ZVA). Eine solche Annahme kann in vielen Fällen gemacht werden, sollte aber immer begründet oder getestet werden. 2. Ohne die Annahme der Normalverteilung wären statistische Tests sehr komplex und eventuell nur über nicht parametrische Methoden zu lösen. Sei X = {( x, f( x)), x q } (2.5) eine q-dimensionale ZVA. x heißt multivariat NV, wenn f( x) die Form f( x) = 1 Z exp( 1 2 ( x µ)t B( x µ)) (2.6) hat, wobei B eine symmetrische, positiv-definite Matrix ist (d.h. alle Eigenwerte sind positiv) und Z der Normierungsfaktor. Bedenke, daß eigentlich f( x) = f( x, µ, B)! Diese multivariat NV ZVA ist symmetrisch um µ, d.h. Damit ist aber... ( x µ)f( x, µ, B) dx 1 dx 2...dx q = 0 (2.7) E( x µ) = 0 E( x) = µ (2.8) In der Bestimmungsgleichung von f( x, µ, B) war B noch unbestimmt. Daher bildet man nun µ... ( x µ) f( x, µ, B) dx 1 dx 2...dx q = 0 (2.9) Ausrechnen der Ableitung führt auf (I ist die Einheitsmatrix, B = B t )... Damit wiederum gilt auch (O ist die Nullmatrix) (I ( x µ)( x µ) t B) f( x, µ, B) dx 1 dx 2...dx q = 0 (2.10) E(I ( x µ)( x µ) t B) = O (2.11) und daraus folgend E(( x µ)( x µ) t B) = E(I) = I (2.12) d.h. die Matrix B ist die Inverse der Kovarianzmatrix Σ. Damit ist im Fall der multivariaten NV die gesamte Verteilung durch die Parameter µ und Σ vollständig beschrieben. 12

16 2 Multivariat normalverteilte Grundgesamtheiten 2.3 Eigenschaften der Kovarianzmatrix In Kapitel 4.4 der Vorlesung Statistik war die pdf ( probability density function ) einer multivariaten, normalverteilten ZVA X mit der Dimension q definiert worden als: f( x) = 1 Z exp( 1 2 ( x µ)t Σ 1 ( x µ)) (2.13) wobei Z = 2π q det(σ) der Normierungsfaktor ist. Die Kovarianzmatrix Σ ist eine positiv definite, symmetrische Matrix. Die Eigenvektoren e j bilden deshalb eine vollständige orthonormale Basis im IR q und die Eigenwerte λ j sind reell und positiv definit. Die Eigenwerte und die Eigenvektoren seien so angeordnet, daß gilt: λ 1 λ 2... λ q (2.14) Dann lassen sich die Eigenwertgleichungen zusammenfassen zu der Matrixgleichung ΣE = EΛ (2.15) wobei die Spalten der Matrix E die Eigenvektoren e j sind und die Matrix Λ eine Diagonalmatrix ist mit den Eigenwerten λ j als Diagonalelemente. Die Orthonormalitätsrelation lautet dann E T E = I (2.16) wobei I die Einheitsmatrix und E T die Transponierte von E ist. Wegen der Vollständigkeit kann jeder Vektor x nach den Eigenvektoren entwickelt werden. Faßt man/frau die Entwicklungskoeffizienten zum Koeffizientenvektor a zusammen, so kann man/frau schreiben x = q q a x i e i = E a x µ = a µ e i = E a µ i=1 i=1 ( x µ) = E( a x a µ ) (2.17) Der Mahalonobisabstand D 2 D 2 = ( x µ) T Σ 1 ( x µ) (2.18) kann man/frau dann auch schreiben als: D 2 = ( a x a µ ) T E T Σ 1 E( a x a µ ) (2.19) 13

17 2 Multivariat normalverteilte Grundgesamtheiten Wenn e j ein Eigenvektor von Σ zum Eigenwert λ j ist, ist e j ebenfalls auch Eigenvektor von Σ 1 zum Eigenwert λ 1 j. Dann folgt wegen der Orthonormalitätsrelation D 2 = ( a x a µ ) T Λ 1 ( a x a µ ) q (a x j a µ j = )2 (2.20) λ j j=1 Führen wir diese Koordinatentransformation für das Integral zur Berechnung der Normierungsfaktors Z in Gl. (2.13) ein, so folgt für das Volumenelement d q x die Relation d q x = det(e)d q a x = d q a x (2.21) oder Z = = q j=1 exp( q (a x j aµ j )2 )d q a x j=1 exp( 1 2 λ j (a x j aµ j )2 λ j )da j (2.22) Die Integrale unter dem Produkt haben jeweils den Wert 2πλ j. Dann erhält man/frau für den Normierungsfaktor q Z = (2π) q 2 λ j = (2π) q 2 det Σ (2.23) j=1 Wie man/frau sieht, sind die Eigenvektoren der Kovarianzmatrix offenbar ausgezeichnete Richtungen im Vektorraum IR q, nämlich genau die, für die die Kovarianzen cov(a i a j ), i j verschwinden (siehe Darstellung der Mahalanobisdistanz durch die Entwicklungskoeffizienten a). Geometrisch ist der Fall q = 2 besonders einfach zu interpretieren. Sei die Kovarianzmatrix Σ gegeben als Setzt man/frau Σ = σ2 1 c c σ 2 2 (2.24) c = σ 1 σ 2 ρ (2.25) wobei ρ der Korrelationskoeffizient zwischen ersten und zweiten Komponente der ZVA X = (X 1, X 2 ) und σ 1, σ 2 entsprechenden Standardabweichungen sind, so erhält man/frau für die Mahalanobisdistanz folgenden Ausdruck: D 2 = (x 1 µ 1 ) 2 σ2(1 2 ρ 2 ) 2ρ(x 1 µ 1 )(x 2 µ 2 ) + (x 2 µ 2 ) 2 σ 1 σ 2 (1 ρ 2 ) σ1(1 2 ρ 2 ) (2.26) 14

18 2 Multivariat normalverteilte Grundgesamtheiten 3 2-dim Gauss pdf, Eigenvektoren der Kovarianzmatrix Abbildung 3 Illustration zum zweidimensionalen normalverteilten Problem Eine Kontur konstanter Wahrscheinlichkeitsdichte f 0 ist dann durch die Gleichung D 2 (x 1, x 2 ) + 2 ln(f 0 Z) = 0 (2.27) gegeben. Dies ist die Gleichung einer Ellipse (weil σ1σ 2 2(1 2 ρ 2 ) > 0 ) mit dem Mittelpunkt ( µ 1, µ 2 ). Die große Halbachse bildet einen Winkel α mit der x-achse mit σ 1 σ 2 tan 2α = 2ρ (σ1 2 + σ2 2 ) (2.28) Die Drehung der Koordinatenachsen (x 1, x 2 ) in Richtung der Eigenvektoren von Σ dreht diese Ellipse in Normalform: D 2 (a 1, a 2 ) + 2 ln(f 0 Z) = 0 (2.29) mit und D 2 (a 1, a 2 ) = (a(x) 1 a (µ) 1 ) 2 + (a(x) 2 a (µ) 2 ) 2 (2.30) λ 1 λ 2 λ 1,2 = σ2 1 + σ (σ 2 ± 1 σ2) σ1 2 4 σ2 2 ρ2 (2.31) Die Ellipse liegt nun mit den Hauptachsen parallel zu den Koordinatenachsen ( Hauptachsentransformation ), die Längen der Hauptachsen sind proportional zu den Eigenwerten 15

19 2 Multivariat normalverteilte Grundgesamtheiten (vergl. Abb. (3)). Im Fall q > 2 betrachtet man/frau Flächen (Hyperflächen der Dimension q 1) konstanter Wahrscheinlichkeitsdichte. Für Normalverteilungen sind diese Hyperflächen Ellipsoide. Dann spannen die Eigenvektoren der Kovarianzmatrix dieses Ellipsoid auf. Die Länge der q Ellipsoidhalbachsen ist proportional zu den Eigenwerten. Wir werden in einem spätern Abschnitt sehen, daß die Eigenvektoren der Kovarianzmatrix noch eine weitere, bemerkenswerte Eigenschaft haben, die der effektivsten Darstellung. 2.4 Schätzungen der Kovarianzmatrix Analog zur Stichprobe einer univariaten ZVA kann auch die Stichproben ZVA einer multivariaten Grundgesamtheit eingeführt werden. Die Stichproben ZVA einer univariaten ZVA bei einer Stichprobenlänge m war eine Vektorwertige ZVA X (m) der Dimension m. Im Fall einer multivariaten Grundgesamtheit mit der Dimension q > 1 ist die Stichproben ZVA eine q m dimensionale Matrix X, deren Spalten jeweils ein Stichprobenelement eines q-dimensionalen Vektors enthalten und deren Zeilen der Länge m univariate Stichprobenvektoren der i-ten Komponente der Vektor ZVA enthalten. Sei die Grundgesamtheit, der die Stichprobe entnommen wurde, multivariat normalverteilt mit den Parametern µ und Σ. Es gilt nun, Schätzer für Erwartungswert und Kovarianzmatrix anzugeben. In der Vorlesung Statistik hatten wir die Maximum Likelihood Methode eingeführt als eine allgemeine Vorschrift zur Konstruktion von Schätzern. Dies wollen wir jetzt anwenden. Mit Hilfe der Definition (2.13) ist die Wahrscheinlichkeit, die m Stichprobenelemente x k zu beobachten, gegeben durch ( ) 1 f( x 1,..., x m ) = exp 1 m ( x ((2π) qm (detσ) m ) 1 k µ) T Σ 1 ( x k µ) (2.32) 2 2 Bilden wir die log-likelihood Funktion l, erhalten wir k=1 l = ln f = qm 2 ln 2π m 2 ln detσ 1 2 m ( x k µ) T Σ 1 ( x k µ) (2.33) k=1 Führen wir nun das arithmetische Mittel x der Stichprobe ein, x = 1 m m x k, (2.34) k=1 16

20 2 Multivariat normalverteilte Grundgesamtheiten so können wir die log-likelihood Funktion umschreiben zu l = qm 2 ln 2π m 2 ln detσ 1 2 m ( x k x) T Σ 1 ( x k x) k=1 } {{ } I + m 2 ( x µ) T Σ 1 ( x µ) } {{ } II (2.35) Mit Hilfe der Rechenregeln für Vektormultiplikationen könne wir den mit I bezeichneten Term umschreiben zu = k=1 m ( x k x) T Σ 1 ( x k x) m (Σ 1 ( x k x)) T ( x k x) m = Sp( ( x k x)( x k x) T Σ 1 ) = Sp(AΣ 1 ) (2.36) k=1 wobei A die sogenannte Matrix der Produktsummen der Abweichungen vom Mittelwert ist. Dann lautet die log-likelihood Funktion l = qm 2 ln 2π m 2 ln detσ 1 2 Sp(AΣ 1 ) m 2 ( x µ) T Σ 1 ( x µ) (2.37) Ableiten der log - likelihood Funktion (siehe Rechenregeln oben) nach dem Vektor µ und Nullsetzen (maximum likelihood) führt auf den Schätzer ˆ µ für den Erwartungswert m( x µ)σ 1 = 0 x T Σ 1 = ˆ µ T Σ 1 k=1 = ˆ µ = x (2.38) d.h. der arithmetische Mittelwert ist der ML Schätzer für den Erwartungswert. Setzen wir diesen wieder in die log - likelihood Funktion ein, so ist die quadratische Form II in Gl. (2.35) identisch Null und wir müssen, um den ML Schätzer für die Kovarianzmatrix zu bestimmen, nur noch die Funktion l = qm 2 ln 2π m 2 ln detσ 1 2 Sp(AΣ 1 ) (2.39) betrachten. Mit Hilfe der Eigenvektorzerlegung für die (positiv definite, symmetrische) Kovarianzmatrix Σ ist es möglich zu zeigen, dass gilt ln detσ = Sp(ln Σ) (2.40) Dann erhalten wir l = Sp( m 2 ln Σ 1 2 AΣ 1 ) (2.41) 17

21 2 Multivariat normalverteilte Grundgesamtheiten l ist damit eine Funktion der unbekannten Matrix Σ. Spurbildung und Ableitung nach Σ sind vertauschbare Operationen, so dass wir als Bestimmungsgleichung für den Schätzer der Kovarianzmatrix erhalten: m 2 Σ AΣ 2 = 0 (2.42) Bezeichnen wir mit S den Schätzer der Kovarianzmatrix, so erhalten wir ms + A = 0 S = 1 m A (2.43) als ML Schätzer der Kovarianzmatrix. Aufgelöst nach den Komponenten ergibt sich S ij = 1 m (x ik x i )(x jk x j ) m Definieren wir k=1 x i = 1 m m x ik (2.44) k=1 d i,k = x i,k x i (2.45) als ein Matrixelement für die sogenannte Datenmatrix D der zentrierten Abweichungen, so ist der ML Schätzer der Kovarianzmatrix gegeben als S = 1 m DDT (2.46) Wie im univariaten Fall ist jedoch ˆΣ nur asymptotisch unverzerrt, ein unverzerrter Schätzer ist gegeben durch S = 1 m 1 DDT (2.47) Die Schätzer für Erwartungswert und Kovarianzmatrix sind selbstverständlich wiederum ZVA. So ist der Schätzer des E-Wertes x eine multivariat normalverteilte ZVA mit Erwartungswert µ und Kovarianzmatrix Σ/m. Im univariaten Fall war die pdf der aus dem Schätzer der Varianz ˆσ 2 abgeleiteten Größe (m 1)ˆσ 2 /σ 2 die χ 2 Verteilung mit (m 1) Freiheitsgraden. Die multivariate Verallgemeinerung für den unverzerrten Schätzer der Kovarianzmatrix ist die sogenannte Wishart - Verteilung: eine pdf für Matrizen! Sei D eine Stichproben- (Daten-) matrix Stichprobenlänge m und Vektordimension q einer multivariat normalverteilten Grundgesamtheit mit Erwartungswert null und Kovarianzmatrix Σ ( N( 0, Σ)). Dann ist die pdf der positiv definiten symmetrische Matrix A = (m 1)S = DD T (2.48) 18

22 2 Multivariat normalverteilte Grundgesamtheiten die Wishartverteilung W (A, Σ, m 1) mit m 1 Freiheitsgraden (Γ(n) ist die im Kapitel 5 der Statistik I definierte Γ- Funktion): W (A, Σ, m 1) = m q 2 (det A) 2 exp( 1 2 Sp(Σ 1 A)) 2 (m 1)q 2 π q(q 1) 4 (det Σ) m 1 2 q i=1 Im Fall q = 1 ist die Wishart Verteilung identisch zur χ 2 Verteilung. Γ( m i 2 ) (2.49) Zur kompletten Beschreibung der multivariaten Normalverteilung ist aber nicht eine Schätzung von Σ gefragt, sondern eine von Σ 1. Es ergibt sich also die Frage, ob aus unserer ML Schätzung für Σ eine Inverse berechnet werden kann. Die Matrix S (oder auch S ) kann invertiert werden, wenn rg(s) = rg(σ) = q ist. Aus der Gleichung für den Schätzer und der Ungleichung für den Rang von Matrixprodukten folgt rg(s) = rg(dd T ) rg(d) min(m 1, q) (2.50) Ist also m q, so ist die geschätzte Kovarianzmatrix invertierbar, ist dagegen m < q, ist die geschätzte Kovarianzmatrix singulär und damit auch keine Schätzung der pdf möglich. In diesem Fall ist auch die Kovarianzmatrix nicht mehr positiv definit, sondern nur noch semidefinit d.h. mindestens ein Eigenwert ist identisch Null. Diese Matrix ist dann auch nicht mehr Wishart verteilt! Dieses Problem nennt man den Fluch der Dimensionen (Curse of Dimension). Es lieget darin begründet, dass die Dichte an Beobachtungspunkten in einem q dimensionalen Raum mit x q abnimmt, wenn x ein typischer eindimensionaler Abstand zwischen den Datenpunkten ist, z.b. der mittlere Zweipunkteabstand x 1 m ( xk x m 2 k ) 2 (2.51) k,k =1 Auf der anderen Seite ist der Fall m < q in der Klimatologie eigentlich der übliche Fall. Denn wenn man die Kovarianzmatrix der Anomalien der 2m Temperaturs zwischen 32,5 S und 77.5 N für einen bestimmten Monat (z.b. Januar) auf einem 5 5 Gitter (q 1656) schätzen will, so liegen nur 118 Januarfelder vor ( ) (das ist schon sehr viel im Vergleich mit anderen Daten). Eine komplette Darstellung der (angenommenen) multivariaten Normalverteilung der ZVA Temperaturanomalien im Januar im Nordatlantik an allen Gitterpunkten erscheint nicht möglich. Wir werden aber im nächsten Kapitel sehen, wie man da Abhilfe schaffen kann. 19

23 2 Multivariat normalverteilte Grundgesamtheiten Sei für die weitere Diskussion angenommen m > q, d.h. die Schätzung der Kovarianzmatrix führt auf eine nichtsinguläre Matrix S und wir können (S ) 1 berechnen. Die pdf der Matrix ZVA (S ) 1 ist ebenfalls bekannt und heißt die inverse- Wishart Verteilung: Sei A eine Wishart verteilte Matrix ZVA mit W (A, Σ, m 1). Dann ist die Matrix B = A 1 verteilt mit der pdf W 1 (B, Ψ, m 1) = det(ψ) m 1 2 (det B) m+q 2 (m 1)q 2 π q(q 1) 4 2 exp( 1 2 Sp(ΨB 1 )) q i=1 Γ( m i 2 ) (2.52) wobei Ψ = Σ 1 gesetzt wurde. Daraus läßt sich der Erwartungswert für den Schätzer (S ) 1 berechnen zu E((S ) 1 ) = m 1 m q 1 Σ 1 (2.53) Obwohl also der Schätzer der Kovarianzmatrix unverzerrt ist, ist die Inverse des Schätzers eine (möglicherweise stark) verzerrte Schätzung der Inversen der Kovarianzmatrix. Die Verzerrung ist umso größer, je schlechter die Bedingung m > q erfüllt ist. Eine unverzerrte Schätzung der inversen Kovarianzmatrix bildet man aus der inversen geschätzten Kovarianzmatrix dann wie folgt: Σ 1 = m q 1 m 1 (S ) 1 (2.54) Mit dieser Schätzung ist auch eine unverzerrte Schätzung der Mahalanobisdistanz möglich: ˆD 2 = ( x ˆ µ) T Σ 1 ( x ˆ µ) (2.55) wohingegen die intuitive Schätzung ˆD 2 = ( x ˆ µ) T (ˆΣ ) 1 ( x ˆ µ) (2.56) positiv verzerrt ist, d.h. zu große Abstände liefert, da m 1 m q 1 > 1 ist. Die Verzerrung ist im übrigen ein Folge der Schätzung der q Parameter des Erwartungswertes. Setzt man/frau diesen Erwartungswert als bekannt voraus, so verschwindet die Verzerrung der inversen geschätzen Kovarianzmatrix. 2.5 Informationskomprimierung Betrachten wir jetzt den Fall m < q. Auf den ersten Blick scheint man hier nichts machen zu können, wie auch folgendes Zitat aus dem amerikanischen Journal of Atmospheric Sciences (Chervin, 1981, Vol. 38, p.888) zu belegen scheint: 20