Angewandte Multivariate Statistik Angewandte Multivariate Statistik Prof. Dr. Ostap Okhrin Ostap Okhrin 1 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Elementare Operationen Ein kurzer Exkurs in die Matrxialgebra a 11 a 1p A (n p) =..... a n1 a np Ostap Okhrin 2 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Elementare Operationen Definition Notation Transposition Summe Differenz Skalarprodukt Produkt Rang Spur Determinante Inverse Generalisierte Inverse (g-inverse) A A + B A B c A A B rank(a) tr(a) det(a) = A A 1 Tabelle: Elementare Matrixoperationen. A : AA A = A Ostap Okhrin 3 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Elementare Operationen Name Definition Notation Beispiel Skalar p = n = 1 a ( 3 ) 1 Spaltenvektor p = 1 a ( 3 ) Zeilenvektor n = 1 a ( 1 3 ) 1 Einsvektor (1,..., 1) }{{} 1 n 1 Nullvektor n ( ) 0 (0,..., 0) }{{} 0 n 0 quadratische Matrix n ( ) 2 0 n = p A(p p) 0 2 Tabelle: Spezielle Matrizen und Vektoren. Ostap Okhrin 4 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Elementare Operationen Name Definition Notation Beispiel ( ) 1 0 Diagonalmatrix a ij = 0, i j, n = p diag(a ii ) ( 0 2 ) 1 0 Einheitsmatrix diag(1,..., 1) I }{{} p 0 1 p ( ) 1 1 Einsmatrix a ij = 1, n = p 1 n 1 n ( 1 1 ) 1 2 symmetrische Matrix a ij = a ji 2 3 Tabelle: Spezielle Matrizen und Vektoren. Ostap Okhrin 5 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Elementare Operationen Name Definition Beispiel ( ) 0 0 Nullmatrix a ij = 0 0 0 1 2 4 obere Dreiecksmatrix a ij = 0, i < j 0 1 3 ( 0 0 1 1 ) idempotente Matrix A 2 1 = A 2 2 1 1 ( 2 2 ) 1 2 2 1 Orthogonalmatrix A A = I = AA 1 2 1 2 Tabelle: Spezielle Matrizen und Vektoren. Ostap Okhrin 6 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Elementare Operationen Eigenschaften einer quadratischen Matrix Für beliebige Matrizen A(n n) und B(n n) und ein Skalar c ist: tr(a + B) = tr(a) + tr(b) tr(ca) = c tr(a) ca = c n A tr(ab) = tr(ba) AB = BA AB = A B A 1 = A 1 Ostap Okhrin 7 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Elementare Operationen Eigenwerte and Eigenvektoren quadratische Matrix A(n n) Eigenwert λ = Eval(A) Eigenvektor γ = Evec(A) Aγ = λγ Mithilfe der Spektralzerlegung kann gezeigt werden, dass A = tr(a) = n j=1 n j=1 λ j λ j Ostap Okhrin 8 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Elementare Operationen Zusammenfassung: Matrixalgebra Die Determinante A ist ein Produkt der Eigenwerte von A. Die Inverse einer Matrix A existiert, falls A 0. Die Spur tr(a) ist die Summe der Eigenwerte von A. Die Summe der Spuren zweiter Matrix ist die Spur der Summe dieser beiden Matrizen. Die Spur tr(ab) entspricht tr(ba). Der Rang rank(a) ist die maximale Anzahl linear unabhängiger Zeilen (Spalten) von A. Ostap Okhrin 9 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Spektralzerlegung Spektralzerlegung Jede symmetrische Matrix A(p p) kann zerlegt werden: A = ΓΛΓ p = λ j γ j γj j=1 Λ = diag(λ 1,, λ p ) Γ = (γ 1,, γ p ) Ostap Okhrin 10 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Spektralzerlegung Kovarianzmatrix Eigenwerte: Σ = 1 λ ρ ( 1 ρ ρ 1 ) ρ 1 λ = 0 λ 1 = 1 + ρ, λ 2 = 1 ρ, Λ = diag(1 + ρ, 1 ρ) Eigenvektoren: ( ) ( ) ( 1 ρ x1 x1 = (1 + ρ) ρ 1 x 2 x 2 ) MVAspecdecomp Ostap Okhrin 11 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Spektralzerlegung Überprüfe: A = ΓΛΓ x 1 + ρx 2 = x 1 + ρx 1 ρx 1 + x 2 = x 2 + ρx 2 Γ = (γ 1, γ 2 ) = x 1 = x 2. ( / 1 2 γ 1 = 1 / 2 ( / 1 2 γ 2 = 1 / 2 ). ). ( 1 / 2 1 / 2 1 / 2 1 / 2 ) Ostap Okhrin 12 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Spektralzerlegung Eigenvektoren Die Richtung des ersten Eigenvektors ist die Hauptrichtung der Punktwolke. Der zweite Eigenvektor ist orthogonal zum ersten. Die Richtung dieses Eigenvektors ist im Allgemeinen verschieden von der Regressionsgeraden. Ostap Okhrin 13 of 46
normal sample, n=150 original data (y2), rotated data (y2) -2 0 2 4-2 0 2 original data (x1), rotated data (x1) Punktdiagramm der beobachteten Daten ( ) (Stichprobenumfang n = 150) und dieselben Daten ( ) dargestellt im Koordinatensystem (Basis) der Eigenvektoren der Kovarianzmatrix.
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Spektralzerlegung Singulärwertzerlegung (SWZ) A(n p), rank(a) = r A = Γ Λ ( ) Γ(n r), (p r), Γ Γ = = I r und Λ = diag λ 1/2 1,..., λ 1/2 r, λ j > 0. λ j = Eval(A T A) Γ und setzt sich aus den korrespondierenden Eigenvektoren AA und A A zusammen. g-inverse von A kann definiert werden durch A = Λ 1 Γ T. AA A = A Ostap Okhrin 15 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Spektralzerlegung Zusammenfassung: Spektralzerlegung Die Jordanzerlegung ist die Repräsentation einer symmetrischen Matrix bezüglich ihrer Eigenwerte und -vektoren. Die Eigenvektoren des größten Eigenwerts zeigen in die Hauprichtung der Datenwolke. Die Jordanzerlegung erlaubt die einfache Berechnung der Potenz einer Matrix A: A α = ΓΛ α Γ. A 1 = ΓΛ 1 Γ, A 1/2 = ΓΛ 1/2 Γ. Ostap Okhrin 16 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Spektralzerlegung Zusammenfassung: Spektralzerlegung Die Singulärwertzerlegung ist eine Verallgemeinerung der Jordanzerlegung für nicht-quadratische Matrizen. Die Richtung des ersten Eigenvektors der Kovarianzmatrix einer zweidimensionalen Punktwolke ist verschieden von ihrer Regressionsgeraden. Ostap Okhrin 17 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Quadratische Formen Quadratische Formen A(p p) symmetrische Matrix kann geschrieben werden als Q(x) = x Ax = p p a ij x i x j i=1 j=1 Definitheit Q(x) > 0 für alle x 0 Q(x) 0 für alle x 0 positiv-definit (pd), positiv-semidefinit (psd). A ist positiv-definit (positiv-semidefinit), falls Q(x) = x Ax positiv-definit (positiv-semidefinit) ist. Ostap Okhrin 18 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Quadratische Formen Beispiel: ( ) Q(x) = x Ax = x1 2 + x 2 2, A = 1 0 0 1 Eigenwerte: λ 1 = λ 2 = 1 positiv-definit ) Q(x) = (x 1 x 2 ) 2, A = ( 1 1 1 1 Eigenwerte λ 1 = 2, λ 2 = 0 positiv-semidefinit Q(x) = x 2 1 x 2 2 Eigenwerte λ 1 = 1, λ 2 = 1 indefinit. Ostap Okhrin 19 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Quadratische Formen Theorem Falls A symmetrisch ist und Q(x) = x Ax die korrespondierende quadratische Form ist, dann existiert eine Transformation x Γ x = y, so dass x A x = p i=1 λ i y 2 i, wobei λ i die Eigenwerte von A sind. Lemma A > 0 λ i > 0, A 0 λ i 0, i = 1,..., p. Ostap Okhrin 20 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Quadratische Formen Theorem (Theorem 2.5) Falls A und B symmetrisch sind und B > 0, dann ist das Maximum von x Ax x Bx gegeben durch den größten Eigenwert von B 1 A. Allgemeiner ist max x x Ax x Bx = λ x Ax 1 λ 2 λ p = min x x Bx, wobei λ 1,..., λ p die Eigenwerte von B 1 A bezeichnet. Der Vektor, der x Ax x Bx maximiert (minimiert), ist der Eigenvektor von B 1 A, der zum größten (kleinsten) Eigenwert von B 1 A korrespondiert. Falls x Bx = 1, man bekommt max x x Ax = λ 1 λ 2 λ p = min x Ax x Ostap Okhrin 21 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Quadratische Formen Zusammenfassung: Quadratische Formen Eine quadratische Form kann durch eine symmetrische, quadratische Matrix A beschrieben werden. Quadratische Formen können stets diagonalisiert werden. Positive Definitheit einer quadratischen Form is äquivalent zur Bestimmtheit der Eigenwerte der Matrix A. Das Maximum und Minimum einer quadratischen Form unter Nebenbedingungen kann in Form von Eigenwerten ausgedrückt werden. Ostap Okhrin 22 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Ableitungen Ableitungen f : R p R, (p 1) Vektor x: f (x) Spaltenvektor der partiellen Ableitungen { x } f (x), j = 1,..., p x j f (x) x Zeilenvektor derselben partiellen Ableitungen f (x) wird Gradient von f genannt. x Ostap Okhrin 23 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Ableitungen Ableitungen zweiter Ordnung: 2 f (x) x x (p p) Hesse-Matrix der Ableitungen zweiter Ordnung { 2 } f (x), i = 1,..., p, j = 1,..., p. x i x j Eine nützliche Identität A(p p), x(p 1) R p, a(p 1) and A = A a x x = x a x = a Ostap Okhrin 24 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Ableitungen Beispiel: f : R p R, f (x) = a x a = (1, 2), x = (x 1, x 2 ) a x x = (x 1 + 2x 2 ) x = (1, 2) = a Ostap Okhrin 25 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Ableitungen Ableitungen der quadratischen Form x Ax x = 2Ax 2 x Ax x x = 2A Ostap Okhrin 26 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Ableitungen Zusammenfassung: Ableitungen Der Spaltenvektor Der Gradient a x x f (x) x wird Gradient genannt. = x a x entspricht a. Die Ableitung der quadratischen Form x Ax x entspricht 2Ax. Die Hesse-Matrix von f : R p R ist die Matrix (p p) der partiellen Ableitungen zweiter Ordnung 2 f (x) x i x j. Die Hesse-Matrix der quadratischen Form x Ax entspricht 2A. Ostap Okhrin 27 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Blockmatrizen Blockmatrizen ( ) A11 A A(n p), B(n p), A = 12 A 21 A 22 A ij (n i p j ), n 1 + n 2 = n und p 1 + p 2 = p A + B = B = AB = ( ) A11 + B 11 A 12 + B 12 A 21 + B 21 A 22 + B 22 ( B 11 B21 ) B12 B22 ( A11 B11 + A 12B12 A 11 B21 + A 12B22 A 21 B11 + A 22B12 A 21 B21 + A 22B22 ) Ostap Okhrin 28 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Blockmatrizen A(p p)ist nicht-singulär zerlegt, so dass A 11, A 22 quadratische Matrizen sind. ( A 1 A 11 A = 12 ) A 21 A 22, wobei 22 A 1 def 21) A 11 = (A 11 A 12 A 1 A 12 = (A 11 2 ) 1 A 12 A 1 22 A 21 = A 1 22 A 21(A 11 2 ) 1 = (A 11 2 ) 1 A 22 = A 1 22 + A 1 22 A 21(A 11 2 ) 1 A 12 A 1 22 Ostap Okhrin 29 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Blockmatrizen Matrix A 11 ist nicht-singulär und A 22 nicht-singulär A = A 11 A 22 A 21 A 1 11 A 12 A = A 22 A 11 A 12 A 1 ( ) 1 b B = a A B = A ab = A 1 b A 1 a 22 A 21 (A ab ) 1 = A 1 + A 1 ab A 1 1 b A 1 a Ostap Okhrin 30 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Blockmatrizen Zusammenfassung: Blockmatrizen ( ) A11 A Für eine zerlegte Matrix A(n p) = 12 und A 21 A ( ) 22 B11 B B(n p) = 12 gilt B 21 B 22 ( A11 + B A + B = 11 A 12 + B 12 A 21 + B 21 A 22 + B 22 ). Ostap Okhrin 31 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Blockmatrizen Zusammenfassung: Blockmatrizen Das Produkt AB entspricht ( A11 B 11 + A 12B 12 A 11 B 21 + A 12B 22 A 21 B 11 + A 22B 12 A 21 B 21 + A 22B 22 ). Ostap Okhrin 32 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Blockmatrizen Zusammenfassung: Blockmatrizen Für eine nicht-singuläre Matrix A sind A 11, A 22 quadratische Matrizen ( A 1 A 11 A = 12 ) A 21 A 22 A 11 = (A 11 A 12 A 1 22 A 1 def 21) = (A 11 2 ) 1 A 12 = (A 11 2 ) 1 A 12 A 1 22 A 21 = A 1 22 A 21(A 11 2 ) 1 A 22 = A 1 22 + A 1 22 A 21(A 11 2 ) 1 A 12 A 1 22 Ostap Okhrin 33 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Blockmatrizen Zusammenfassung: Blockmatrizen ( ) 1 b Für B = und für nicht-singuläre Matrix A ist a A B = A ab = A 1 b A 1 a. (A ab ) 1 = A 1 + A 1 ab A 1 1 b A 1 a Ostap Okhrin 34 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Geometrische Aspekte Geometrische Aspekte Abstandsfunktion d : R 2p R + A = I p, Euklidischer Abstand d 2 (x, y) = (x y) A(x y), A > 0 E d = {x R p (x x 0 ) (x x 0 ) = d 2 } Beispiel: x R 2, x 0 = 0, x 2 1 + x 2 2 = 1 Norm eines Vektor bezüglich der Metrik I p x Ip = d(0, x) = x x Ostap Okhrin 35 of 46
Abstand d. d 2 (x, y) = (x y) (x y)
Kreis. A = I 2, (x 1 x 01 ) 2 + (x 2 x 02 ) 2 = d 2
Ellipsoid. E d = {x : (x x 0 ) A(x x 0 ) = d 2 }, γ j = Evec(A), A > 0
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Geometrische Aspekte Winkel zwischen Vektoren Skalarprodukt < x, y > = x y < x, y > A = x Ay Norm eines Vektors x Ip = x A = d(0, x) = x x x Ax Einheitsvektor {x : x = 1} Ostap Okhrin 39 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Geometrische Aspekte Winkel zwischen Vektoren Der Winkel zwischen den Vektoren x und y berechnet sich über: cos θ = x y x y Beispiel: Winkel = Korrelation Beobachtungen {x i } n i=1, {y i} n i=1 x = y = 0 xi y i r XY = x 2 i y 2 i = cos θ Korrelation korrespondiert zu dem Winkel zwischen x, y R n. Ostap Okhrin 40 of 46
Winkel zwischen den Vektoren. cos θ = x y x y = x 1y 1 + x 2 y 2 = cos θ 1 cos θ 2 + sin θ 1 sin θ 2 x y
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Geometrische Aspekte Spaltenraum X (n p) Datenmatrix C(X ) = {x R n a R p so that X a = x} Projektionsmatrix P(n n), P = P = P 2 (P ist idempotent) Sei b R n, a = Pb ist die Projektion von b auf C(P) Ostap Okhrin 42 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Geometrische Aspekte Projektion auf C(X ) X (n p), P = X (X X ) 1 X PX = X, P ist ein Projektor, PP = P. Q = I n P, Q 2 = Q PX = X QX = 0 p x = y x y 2 y Ostap Okhrin 43 of 46
Projektion. p x = y(y y) 1 y x = y x y 2 y
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Geometrische Aspekte Zusammenfassung: Geometrische Aspekte Ein Abstand zwischen zwei p-dimensionalen Punkten x, y ist eine quadratische Form (x y) A(x y) der Vektordifferenz (x y). Ein Abstand definiert die Norm eines Vektors. Iso-Abstandskurven eines Punktes x 0 sind alle Punkte, die denselben Abstand zu x 0 haben. Iso-Abstandskurven sind Ellipsoiden, deren Hauptachsen von den Richtungen der Eigenvektoren bestimmt werden. Die halbe Längen der Hauptachsen sind proportional zum Inversen der Wurzeln der Eigenwerte von A. Ostap Okhrin 45 of 46
Angewandte Multivariate Statistik A Short Excursion into Matrix Algebra Geometrische Aspekte Zusammenfassung: Geometrische Aspekte Der Winkel zwischen zwei Vektoren x und y ist gegeben durch cos θ = x Ay x A y A bezüglich der Metrik A. Für die Euklidische Distanz mit A = I ist die Korrelation zwischen zwei zentrierten Datenvektoren x und y ist gegeben durch den Cosinus des Winkels zwischen beiden Vektoren, d. h. cos θ = r XY. Die Projektion P = X (X X ) 1 X ist die Projektion auf den Spaltenraum C(X ) of X. Die Projektion von x R n auf y R n ist gegeben durch p x = y x y 2 y. Ostap Okhrin 46 of 46