Vektoren und Matrizen

Transkript

1 Vektoren und Matrizen Die multivariate Statistik behandelt statistische Eigenschaften und Zusammenhänge mehrerer Variablen, im Gegensatz zu univariaten Statistik, die in der Regel nur eine Variable untersucht. Formeln mit mehreren Variablen werden am einfachsten mit Hilfe von Vektoren und Matrizen angeschrieben, daher behandeln wir im folgenden deren zugrundeliegenden Rechenregeln. 1. Grundlegendes Skalare, also einzelne Zahlen, werden als Kleinbuchstaben und kursiv, manchmal auch als griechische Buchstaben geschrieben. z.b. c 3, ξ 5.2 Ein Vektor wird häufig durch n Zahlen dargestellt und in der Statistik als ein fetter Kleinbuchstabe geschrieben 1. Ein Vektor wird üblicherweise als Spaltenvektor angegeben 2. Ein transponierter Spaltenvektor (gekennzeichent durch ein hochgestelltes t oder ) ist ein Zeilenvektor. x 2 (1) x. x 1 x n z.b. 4 3 u 1, 0 vt (2, 8, 1, 12), w Ein Vektor könnte z.b. eine an n Objekten gemessene Variable sein, etwa die Körperhöhe von 20 Personen (ergibt einen Vektor mit 20 Komponenten, also mit der Dimension 20). Ein Vektor kann aber auch mehrere Messung an einem Fall beinhalten, z.b. 14 physiologische Variablen von einem Patienten. 1. In der Mathematik und Physik wird ein Vektor meist als ein kleiner Buchstabe mit einem Pfeil darüber geschrieben. Die Notation von Vektoren und Matrizen in der Statistik, an die wir uns im folgenden halten, unterscheidet sich von jener in der Mathematik oder Physik. An sich sind all diese Notationen keine strengen Regeln sondern eher Lesehilfen. 2. Das ist eine reine Konvention. Sie ist, wie sich noch zeigen wird, recht praktisch, sonst gibt es dafür aber keinen mathematischen Grund. 1

2 2 Eine Matrix kann als eine rechteckige Anordnung von Zahlen dargestellt werden und wird meist mit einer fett und groß geschriebenen Variable bezeichnet. Die Matrix A hat die Dimensionen n m ( Zeilenanzahl Spaltenanzahl) a 11 a 12 a 1m a 21 a 22 a 2m (2) A a n1 a n2 a nm Um eine Matrix (oder einen Vektor) zu transponieren, werden Zeilen und Spalten vertauscht. Eine transponierte Matrix wird meistens mit, t oder T gekenzeichnet. ( ) M, M t Es gibt einige spezielle Arten von Matrizen, die wir oft benötigen. Quadratische Matrizen weisen gleich viel Zeilen wie Spalten auf (Dimension n n). Für eine symmetrische Matrix S gilt S S t, das heißt s ij s ji, z.b S S t Die Diagonale einer Matrix ist die Zahlenreihe von links oben (a 11 ) nach rechts unten (a nn ), also für die Matrix A die Elemente a ii, i 1... n. Die Spur (engl. trace) einer Matrix ist die Summe ihrer Diagonalelemente, tr(a) n i1 a ii. Für die obige Matrix S, zum Beispiel, ist die Diagonale (2, 4, 0, 8) und tr(s) 14. Eine Diagonalmatrix ist eine Matrix, die beliebige Werte in der Diagonale aufweist und in allen anderen Feldern 0 stehen hat, z.b D Eine Identitätsmatrix oder Einheitsmatrix ist eine Diagonalmatrix, die in allen Diagonalfeldern 1 stehen hat, z.b.

3 I In der Arbeit mit empirischen Daten werden die p Variablen, die an n Fällen erhoben worden sind, meist in Form einer n p Datenmatrix dargestellt. Das ist also eine Matrix, in deren Zeilen alle p Messungen eines Falls stehen, und die für jeden der n Fälle je eine Zeile besitzt. Wir benutzen in der Statistik Matrizen aber auch um andere Informationen zu beschreiben, etwa Kovarianz- oder Korrelationsmatrizen. Eine Kovarianzmatrix ist eine p p Matrix, die alle Varianzen und Kovarianzen der p Variablen enthält: σ1 2 σ 12 σ 1p σ 21 σ2 2 σ 2p (3) S.,..... σ p1 σ p2 σp 2 wobei σ ij die Kovarianz der i-ten und er j-ten Variable ist und σi 2 die Varianz der i-ten Variable. Eine Kovarianzmatrix ist also quadratische und da σ ij σ ji auch symmetrisch. Eine Korrelationsmatrix enthät, analog zur Kovarianzmatrix, alle Korrelationen zwischen den Variablen. Da die Korrelation einer Variable mit sich selbst immer 1 ist, stehen in der Diagonale einer Korrelationsmatrix immer nur Einser: 1 ρ 12 ρ 1p ρ 21 1 ρ 2p (4) R ρ p1 ρ p Rechnen mit Vektoren und Matrizen 2.1. Addition von Vektoren und Matrizen. Um zwei Vektoren zu addieren, werden die einzelnen korrespondierenden Komponenten der Vektoren addiert. Daraus folgt, daß die Dimension (Anzahl der Komponenten) der beiden Vektoren gleich sein muss um eine Vektoraddition durchführen zu können.

4 4 a 1 b 1 a 1 + b 1 a 2 b 2 a 2 + b 2 (5) a + b +... a n + b n a n b n z.b Die Addition von Matrizen ist analog definiert. Die Summe von A und B hat im i, j-ten Element den Wert a ij + b ij. Damit zwei Matrizen addiert werden können, müssen sie die selben Dimensionen aufweisen, also z.b. beide 3 Spalten und 3 Reihen. Beispiel: Multiplikation mit einem Skalar. Die Multiplikation eines Vektors mit einem Skalar ist folgendermaßen definiert: ca 1 ca 2 ca. ca n z.b Die Multiplikation einer Matrix mit einem Skalar ist analog definiert: ca 11 ca 12 ca 1m ca 21 ca 22 ca 2m ca ca n1 ca n2 ca nm z.b.

5 ( ) ( ) ( ) ( 3) ( 2) Vektorprodukte. Es sind verschiedene Vektorprodukte definiert. Im folgenden werden die zwei für unsere Zwecke wichtigsten dargestellt. Das innere Produkt (Skalarprodukt, dot product ) zweier Vektoren ergibt einen Skalar. Die Rechenoperation wird mit einem Multiplikationspunkt geschrieben, kann aber auch weggelassen werden. Der Konvention nach ist das innere Produkt immer ein Zeilenvektor mal ein Spaltenvektor. Ähnlich wie die Vektoraddition, ist auch das Skalarprodukt nur für zwei Vektoren der gleichen Dimension definiert. (6) a t b a t b 2 b (a 1, a 2,, a n ) a 1 b 1 + a 2 b a n b n. Beim inneren Produkt werden also die korrepondierenden Komponenten der zwei Vektoren multipliziert und dann die einzelnen Produkte addiert. Es kann daher auch so angeschireben werden: b 1 b n (7) a t b Z.B. ( ) n a i b i i ( 2) + 2 ( 1) Das äußere Produkt (Dyadisches Produkt, Kronecker Produkt) zweier Vektoren ist folgendermaßen definiert: a 1 (8) a b t a 2. a n ) (b 1 b 2 b m a 1 b 1 a 1 b 2 a 1 b m a 2 b 1 a 2 b 2 a 2 b m a n b 1 a n b 2... a n b m

6 6 Jede Komponente des einen Vektors wird mit jeder Komponente des anderen Vektors multipliziert, das Ergebnis ist eine Matrix. Das äußere Produkt wird immer als ein Spaltenvektor mal einem Zeilenvektor angegeben, etwa 1 ( ) 1 ( 2) 1 ( 1) ( 2) 2 ( 1) ( 2) 3 ( 1) Vektorprodukte finden breite Anwendung in der multivariaten Statistik (siehe etwa Kapitel 3). Man kann auch Rechenoperationen aus der univariaten Statistik mit Vektoren anschreiben. Dafür führen wir den Einsvektor ein. Einsern besteht und mit der fetten Ziffer 1 geschrieben wird. Das ist ein Vektor mit beliebiger Länge, der nur aus (9) 1 (1, 1, 1,, 1) Wir können den Einsvektor benutzen um die Summe einer Zahlenreihe zu berechnen: n (10) 1 t a 1 a a a n a i, wobei 1 ein Einsvektor mit der selben Dimensions wie a ist. Der Mittelwert von a ist demnach i1 (11) a 1 n 1t a. Die Kovarianz zweier Variablen a und b läßt sich ebenfalls mit Vektoren schreiben wenn wir annehmen, daß die beiden Variablen zentriert sind, also a b 0. (12) σ ab 1 n 1 at b. Die Varianz von a ist demnach (13) σ 2 a 1 n 1 at a. Die Korrelation zweier Variablen ist deren Kovarianz standardisiert mit den beiden Standardabweichungen. Wir können daher schreiben: (14) ρ ab a t b a t a b t b.

7 2.4. Multiplikation von Matrizen. Zwei Matrizen A und B werden miteinander multipliziert, indem jeweils die Zeilen der ersten Matrix mit den entsprechenden Spalten der zweiten Matrix skalarmultipliziert werden. Das heißt, das i, jte Element von AB ist das Skalarprodukt der iten Zeile von A mit der jten Spalte von B. Die Multiplikation von Matrizen ist nur dann möglich, wenn die Anzahl der Spalten der ersten Matrix gleich ist der Anzahl der Zeilen der zweiten Matrix. Ist A eine Matrix der Dimension l m und B eine Matrix der Dimension m n, so ist das Produkt eine Matrix mit den Dimensionen l n. Man beachte, das Produkt AB ist nicht gleich BA! Im folgenden Beispiel ist A eine Matrix mit den Dimensionen 2 3, also 2 Reihen und 3 Spalten und B ist eine Matrix mit den Dimensionen 3 2. Das Produkt AB ergibt eine Matrix mit den Dimensionen 2 2: ( ) 6 1 ( ) ( ) ( ) (1 ( 1) ( 3)) 12 6 ( ) (4 ( 1) ( 3)) Das Produkt BA ergibt eine Matrix mit den Dimensionen 3 3: 6 1 ( ) ( (6 1 + ( 1) 4) (6 2 + ( 1) 5) (6 3 + ( 1) 6) ( ) ( ) ( ) (0 1) + ( 3) 4 (0 2 + ( 3) 5) (0 3 + ( 3) 6) ) Formal: Das Produkt der Matrizen A a ij und B b ij der Dimensionen l m und m n ist die Matrix C c ij mit den Komponenten c ij m k1 a ikb kj i 1,... l, j 1,... n. Die Identitätsmatrix I hat bei der Matrizenmultiplikation die selbe Rolle wie 1 bei der skalaren Multiplikation: IA AI A für jedes A. Die Verallgemeinerung der Division, sodaß a 1 a aa 1 1 falls a 0, wird folgendermaßen definiert: Wenn eine Matrix B existiert, sodaß BA AB I, dann wird B die Inverse von A genannt und als A 1 geschrieben (Nicht jede Matrix A hat eine Inverse!). 3. Geometrische Interpretation von Vektor- und Matrizenoperationen Die hier besprochenen Vektoroperationen können auch geometrisch interpretiert werden. Es ist oft wichtig, sich diese Operationen visuell vorstellen zu können, um ein Gefühl dafür zu bekommen, was mit den Daten geschieht. Die multivariate Statistik verwendet fast ausschließlich jene Rechenoperationen, die hier vorgestellt werden Vektorlänge. Die Länge eines Vektors a, auch Vektornorm genannt, wird a geschrieben. (15) a a a a2 n a t a

8 8 Z.B. (4, 0, 1, 3) Ein Einheitsvektor ist ein Vektor mit Länge 1. Man kann einen beliebigen Vektor durch Division mit seiner Vektornorm normieren; dann hat der normierte Vektor die Länge 1. z.b.: u 0 u u u 0 u t 0 u Winkel zwischen zwei Vektoren. Eine Folge des Skalarprodukts ist folgender Zusammenhang: x t y x y cosθ wobei θ der Winkel zwischen den beiden Vektoren x und y ist. Diesen Zusammenhang können wir umgekehrt dazu benutzen, um den Winkel zwischen zwei Vektoren mit Hilfe des Skalarprodukts zu berechnen: oder cosθ xt y x y θ arccos x t y x t x y t y, x t y x y. Daraus folgt, cosθ 0 nur wenn x t y 0, und wir sagen dann, daß x und y rechtwinkelig oder orthogonal zueinander sind. Wenn x t y 0 und x t x 1, y t y 1, dann spricht man von zwei orthonormalen Vektoren. Die Vektoraddition (Abb. 1) kann als Aneinanderreihen der Vektoren vorgestellt werden. Die Summe ist dann der Vektor vom Ursprung zum Ende des letzten Vektors. Die Multiplikation eines Vektors mit einem Skalar verlängert diesen Vektor entsprechend, ändert aber nicht dessen Richtung (Abb. 2). Multiplikation mit einem negativen Wert ändert zusätzlich die Orientierung des Vektors in die genau entgegengesetzte Richtung. Das inner Produkt oder Skalarprodukt zweier Vektoren kann als Projektion verstanden werden. Wichtig ist, daß der Vektor, auf den projiziert wird, ein Einheitsvektor sein muß. Die Länge der Projektion von x auf y ist x t y y t y, oder einfach xt y s wenn y t sy s 1, d.h. y s ist ein Einheitsvektor. Diese Länge ist auch x cos(α), wobei α der Winkel zwischen x und y ist (Abb.

9 9 b a a+b Figure 1. Vektoraddition 2.5 c c Figure 2. Multiplikation x α x cos(α) ( x t y y t y y ( y Figure 3. Projektion (Schatten) des Vektores x auf den Vektor y.

10 10 3). Die eigentliche Projektion, also nicht nur die Länge sonder der projizierte Vektor selbst, ist x t y y t y y, oder xt y s y. D.h. die Projektion ist der Vektor, auf den projiziert wird mal die Länge der Projektion. a b Figure 4. Projektion von zwei-dimensionalen Datenpunkten auf einen Vektor. Abbildung 4 zeigt die Projektion mehrerer Punkte auf einen Vektor. Die Koordinaten dieser Punkte können als Vektoren vom Ursprung aufgefaßt werden. Die Projektion funktioniert daher wie in Abb. 3. v u P v P u a u t u v t v 1 u t v 0 Datenpunkte... P b Figure 5. Rotation von Punkten. Das ist gleichbedeutend mit der Projektion der Punkte auf die neuen Koordinatenachsen. Man kann eine Rotation von Datenpunkten als die Projektion auf eine orthonormale Basis, also aufeinander rechtwinkelig stehende Einheitsvektoren, verstehen. Diese Vektoren sind dann das neue Koordinatensystem. Abb. 5a zeigt einige Punkte und zwei aufeinander rechtwinkelig stehende Vektoren u and v. Die beiden Vektoren sollen Einheitsvektoren sein, also u t u v t v 1. Die grauen Punkte sind die Projektionen auf die beiden Vektoren. Die Länge der Projektionen sind dann die Koordinaten für die gedrehten Punkte (Abb. 5b). Mit Hilfe der Matrizennotation können wir diese Operation sehr einfach anschreiben. Wir wissen, daß die Länge einer Projektion p t u ist, wobei p ein Punkt (oder Ursprungsvektor) ist

11 und u der Einheitsvektor auf den projiziert wird. Wenn wir mehrere Punkte projizieren wollen, bilden wir die Datenmatrix P mit der Dimensions n 2. Die Matrix besteht also aus n Zeilen (n ist die Anzahl der Punkte) und 2 Spalten (die Anzahl der Koordinaten bzw. Dimensionen). In jeder Zeile stehen dann die Koordinaten eines Punktes. Diese Matrix wird mit dem Vektor u multipliziert. Das Ergebnis ist ein Vektor Pv, der die Skalarprodukte von u mit jeder Zeile von P enthält, also insgesamt n Elemente. Dieser Vektor enthält die Koordinaten der Punkte entlang der neuen Koordinatenachse u. Das selbe gilt für die Projektion auf v. Man kann beide Koordinaten auch in einem Schritt errechnen. Bilden wir die Matrix R sodaß R (u v). R ist also eine 2 2 Matrix, die aus den beiden Spaltenvektoren u und v besteht. Die Matrizenmultiplikation PR ergibt eine n 2 Matrix die aufgebaut ist wie P jedoch die neuen, rotierten, Koordinaten der Punkte enthält. Man nennt R eine Rotationsmatrix. Jede Matrix, deren Spalten orthonormale Vektoren sind, ist eine Rotationsmatrix Matrizenzerlegung Wir wiederholen, das äußere Produkt zweier Vektoren erzeugt eine Matrix nach folgendem Schema: beziehungsweise a a t a b t a 1 a 2 a 3 a 4 a 1 a 2 a 3 a 4 ) (b 1 b 2 b 3 ) (a 1 a 2 a 3 a 4 a 1 b 1 a 1 b 2 a 1 b 3 a 2 b 1 a 2 b 2 a 2 b 3 a 3 b 1 a 3 b 2 a 3 b 3 a 4 b 1 a 4 b 2 a 4 b 3 a 1 a 1 a 2 a 1 a 3 a 1 a 4 a 2 a 1 a 2 a 2 a 3 a 2 a 4 a 3 a 1 a 3 a 2 a 3 a 3 a 4 a 4 a 1 a 4 a 2 a 4 a 3 a 4 Wenn man auf diese Weise genügend viele Matrizen erzeugt und addiert, kann man so jede beliebige Matrix konstruieren. solchen Vektorprodukten zerlegen: Oder umgekehrt, man kann jede Matrix in eine Summe von M u 1 v t 1 g 1 + u 2 v t 2 g u n v t n g n wobei M für eine beliebige Matrix steht, u i v i für das ite Vektorprodukt und g i für einen Gewichtungsfaktor für jedes Vektorprodukt. Der Wert für die Gewichtung wird mit jedem Element des Vektorprodukts multipliziert und gibt so an, wie viel jedes einzelne Vektorprodukt zur Gesamtmatrix beisteuert. Da a a t eine quadratische und symmetrische Matrix erzeugt, kann jede beliebige quadratische und symmetrische Matrix in eine Summe der Form

12 12 M u 1 u t 1 g 1 + u 2 u t 2 g u n u t n g n zerlegt werden. 5. Eigenwertzerlegung und Singulärwertzerlegung Gegeben sei eine beliebige quadratische und symmetrische Matrix Q. Den Vektor e 1, dessen äußeres Produkt e 1.e t 1 λ 2 die bestmögliche Darstellung von Q ist, nennt man den ersten Eigenvektor von Q. Den Skalar λ i nennt man den ersten Eigenwert von Q. Der zweite Eigenvektor e 2 ermöglicht die beste Darstellung von Q unabhängig (orthogonal) von e 1 usw. Daher gilt Q e 1 e t 1 λ 1 + e 2 e t 2 λ e n e t n λ n wobei λ 1 > λ 2 > > λ n. Diese Methode kann auf beliebige rechteckige Matrizen erweitert werden indem man ein Vektorprodukt aus zwei Vektoren verwendet, sodaß R u 1 v1 t d 1 + u 2 v2 t d u n vn t d n. Ist die Matrix u 1 v 1 d 1 die bestmögliche Approximation von R, dann heien u 1 und v 1 die ersten Singulärvektoren von R und d 1 der erste Singulärwert wobei d 1 > d 2 > > d n. Dr. Philipp Mitteroecker Department of Theoretical Biology University of Vienna Althanstrasse 14, 1091 Vienna address: philipp.mitteroecker@univie.ac.at