5.Tutorium Multivariate Verfahren

Transkript

1 5.Tutorium Multivariate Verfahren - Hauptkomponentenanalyse - Nicole Schüller: und Hannah Busen: und Institut für Statistik, LMU München 1 / 18

2 Gliederung 1 Idee der Hauptkomponentenanalyse 2 Bestimmung der Hauptkomponenten 3 Lösung des Eigenwertproblems 4 Geometrische Interpretation 5 Anzahl nötiger Hauptkomponenten 2 / 18

3 Idee der Hauptkomponentenanalyse Gliederung 1 Idee der Hauptkomponentenanalyse 2 Bestimmung der Hauptkomponenten 3 Lösung des Eigenwertproblems 4 Geometrische Interpretation 5 Anzahl nötiger Hauptkomponenten 3 / 18

4 Idee der Hauptkomponentenanalyse Problemstellung Instrument zur Erklärung der Variablität der Daten Ziel: einfache Interpretierbarkeit Vereinfachung und Veranschaulichung der Daten Reduktion der Daten auf wenige möglichst aussagekräftige Hauptkomponenten Fragestellung: Wie kann die Dimension mit möglichst geringem Informationsverlust reduziert werden? Information Varianz 4 / 18

5 Idee der Hauptkomponentenanalyse Graphische Veranschaulichung 5 HK 1 4 Variable 1 3 HK Variable 2 5 / 18

6 Bestimmung der Hauptkomponenten Gliederung 1 Idee der Hauptkomponentenanalyse 2 Bestimmung der Hauptkomponenten 3 Lösung des Eigenwertproblems 4 Geometrische Interpretation 5 Anzahl nötiger Hauptkomponenten 6 / 18

7 Bestimmung der Hauptkomponenten 1. Hauptkomponente Ausgangsgrößen: Zufallsvektor: x = (X 1,..., X p ) Erwartungswertvektor: E(x) = µ Kovarianzmatrix: Σ = Cov(x) Finde die Linear-Kombination y 1 = a 1 x mit Vektor a 1 = (a 11,..., a 1p ), sodass Var(y 1 ) = a 1 Σa 1 maximal wird y 1 ˆ= 1. Hauptkomponente Nebenbedingung: a 1 2 = a 1 a 1 = 1 ansonsten ist das Problem nicht eindeutig lösbar! 7 / 18

8 Bestimmung der Hauptkomponenten 2. Hauptkomponente Finde im zweiten Schritt die Linear-Kombination y 2 = a 2 x mit Vektor a 2 = (a 21,..., a 2p ), sodass Var(y 2 ) = a 2 Σa 2 maximal wird Nebenbedingungen: 1 a 2 2 = a 2 a 2 = 1 (wie vorher) 2 Cov(y 1, y 2 ) = 0 a 1 a 2 Merke: Die ersten beiden Hauptkomponenten sind unkorreliert und stehen somit aufeinander senkrecht! 8 / 18

9 Lösung des Eigenwertproblems Gliederung 1 Idee der Hauptkomponentenanalyse 2 Bestimmung der Hauptkomponenten 3 Lösung des Eigenwertproblems 4 Geometrische Interpretation 5 Anzahl nötiger Hauptkomponenten 9 / 18

10 Lösung des Eigenwertproblems Maximierung unter Nebenbedingung (1. HK): Lagrange: ϕ(a 1 ) = a1 T Σa 1 λ(a T 1 a 1 1) a 1 max ϕ! = 2Σa 1 2λa 1 = 0 da 1 Σa 1 = λa 1 ˆ= Eigenwertproblem! a 1 ist der Eigenvektor zum größten Eigenwert λ von Σ 10 / 18

11 Lösung des Eigenwertproblems Maximierung unter Nebenbedingung (2. HK): Lagrange: ϕ(a 2 ) = a T 2 Σa 2 λ(a T 2 a 2 1) }{{} 1. NB γ(a 1 a 2 ) }{{} 2. NB a 2 max a 2 ist der Eigenvektor zum zweitgrößten Eigenwert λ von Σ Merke: Es können maximal p Hauptkomponenten bestimmt werden, was der Anzahl an betrachteten Variablen entspricht! 11 / 18

12 Lösung des Eigenwertproblems Spektralzerlegung Man erhält den Vektor der Hauptkomponenten mittels Spektralzerlegung von Σ: Σ = PΛP mit P = (p 1... p p ) Eigenvektoren von Σ (entsprechen den gesuchten a 1,..., a p ) λ 1 0 Λ =... Eigenwerte λ 1... λ p 0 λ p Kovarianz der Hauptkomponentenanalyse: λ 1 0 Cov(y) = Cov(P x) = P ΣP = Λ =... 0 λ p 12 / 18

13 Geometrische Interpretation Gliederung 1 Idee der Hauptkomponentenanalyse 2 Bestimmung der Hauptkomponenten 3 Lösung des Eigenwertproblems 4 Geometrische Interpretation 5 Anzahl nötiger Hauptkomponenten 13 / 18

14 Geometrische Interpretation Geometrische Interpretation Darstellung einer Beobachtung x im Koordinatensystem: x = x 1. x p = x x x p d.h. x 1,..., x p sind die Koordinaten von x zur kanonischen Basis y = P x x = Py x = (p 1... p p ) y 1. y p = y 1 p y p p p d.h. y 1,..., y p sind die Koordinaten von x zur Basis p 1,..., p p 14 / 18

15 Geometrische Interpretation Bemerkungen Die Hauptkomponenten stellen neue Basisvektoren dar Die Hauptkomponenten haben die Richtung der Hauptachsen der zu Σ gehörigen Ellipsen Die Größe der Eigenwerte entspricht der Varianz der Hauptkomponenten und ist somit proportional zur Länge der Basisvektoren Merke: Bei Skalenänderung ändern sich die Eigenwerte und Eigenvektoren! meist Verwendung standardisierter Daten bzw. der Korrelationsmatrix! 15 / 18

16 Anzahl nötiger Hauptkomponenten Gliederung 1 Idee der Hauptkomponentenanalyse 2 Bestimmung der Hauptkomponenten 3 Lösung des Eigenwertproblems 4 Geometrische Interpretation 5 Anzahl nötiger Hauptkomponenten 16 / 18

17 Anzahl nötiger Hauptkomponenten Erklärte Varianz der Hauptkomponenten: Gesamtvarianz: tr(σ) = p Var(x i ) i=1 Anteil erklärter Varianz durch r Hauptkomponenten r i=1 ev(r) = Var(y r i) p i=1 Var(y i) = i=1 λ i p i=1 λ i Der Anteil der Varianz, den die Hauptkomponenten erklären, ist ein ausschlaggebendes Kriterium für die Anzahl zu verwendender Hauptkomponenten! 17 / 18

18 Anzahl nötiger Hauptkomponenten Mögliche Kriterien 1 Verwende soviele Hauptkomponenten bis ein gewisser Anteil der Gesamtvarianz der Daten erklärt ist 2 Eine Hauptkomponente sollte mindestens genauso viel beitragen wie eine einzelne Variable im Durchschnitt. Im Fall normierter Variablen (Korrelationsmatrix) sind dies alle Hauptkomponenten mit Eigenwert λ > 1. 3 Betrachte eine graphische Darstellung der Eigenwerte (Scree-Plot). Verwende soviele Hauptkomponenten bis zum Knick des Graphen (Ellbogen). 18 / 18