Multivariate Analysemethoden

Transkript

1 Multivariate Analysemethoden Multivariate Distanz Multivariate Normalverteilung Minimum Distance Classifier Bayes Classifier Günter Meinhardt Johannes Gutenberg Universität Mainz

2 Ziele Methoden Multivariate Einordnen von Fällen (Versuchspersonen, Beobachtungen) in Gruppen aufgrund ihrer Werte in mehreren Meßvariablen. Maßgeblich für die Zuordnung zu eine Gruppe ist a) die Wahrscheinlichkeit des Auftretens des Falles in der Zielgruppe (falls ermittelbar) oder b) die Distanz des Falles vom charakteristischen Wert der Gruppe (Prototyp, Zentroid) Deskriptive Methoden: * Bestimmung von Distanzen und Wahrscheinlichkeiten auf dem Set der beobachteten Meßvariablen Analytische Methoden: * Bestimmung von Distanzen und Wahrscheinlichkeiten auf transformierten Meßvariablen mit dem Ziel, die Separation von Gruppen zu maimieren (Diskriminanzanalytische Methoden) Weitere Kriterien sind Kosten von Fehlklassifikationen und die a- priori Wahrscheinlichkeit von Gruppen (Allg. Likelihood-Ratio und Bayes-)

3 Iso-Distanz Konturen in D Kreis Iso-Distanz-Konturen in D Kreis mit Radius c: Alle Punkte auf dem Kreisbogen haben euklidischen Abstand c zum Kreismittelpunkt c c y c y y Der Kreis ist die Grundform der Iso-Distanz Kontur im zweidimensionalen Raum (p = ). Er entspricht im Variablenraum einer Iso-Distanz-Kontur für unkorrelierte (orthogonale) Variablen mit derselben Skalierung.

4 Iso-Distanz Konturen in D Ellipse: Skalierung Ellipse mit Ellipsenradius c: Alle Punkte auf dem Ellipsenbogen haben, auf Standardskala normiert, denselben Abstand c zum Mittelpunkt y0 cb y c y a b 0 ca v c u v Standardskala: y u v a b u

5 Iso-Distanz Konturen in D Ellipse Translation Translation zum Punkt ( 0,y 0 ) ändert an dieser Eigenschaft nichts: y ( 0, y0) c 0 y y0 a b v c u v Standard- Transformation u Standardskala: y y v a b 0 0 u

6 Iso-Distanz Konturen in D Standard- Ellipse Neigung Korrelation r Die Invarianz der Distanz im neuen Koordinatensystem mit geneigten Achsen (Korrelation der Variablen) ist über eine Rotation der Koordinaten (anticlock) erklärt: r cos c y ry y u r r u Koordinaten Korrelierte Achsen c u v v u Mit der Transformation u u a erfüllen alle Ellipsenpunkte: v u b [Tafel: cos ] c u v

7 Iso-Distanz Konturen in D Standard- Ellipse: Zeichen- Routine Ellipsen sind in kartesischen Koordinaten unpraktisch zu zeichnen. Man geht über zur Darstellung in Polarkoordinaten. c y ry y r r y polar r, y r, Es gelten die Transformationen: kartesisch kartesisch y polar rcos rsin kartesisch polar r y y tan Zum Zeichnen muß die Ellipsengleichung als Gleichung in Polarkoordinaten (Vektorlänge in Abhängigkeit des Winkels ) umgeschrieben werden

8 Standard- Ellipse: Zeichen- Routine Iso-Distanz Konturen in D Von der Darstellung in Polarkoordinaten kann einfach in kartesische Koordinaten zurückgerechnet werden (Setzen der Ellipsenpunkte) c y ry y r r y Setze y q c q rq damit q r y q c rq Verfahren [Ecel-Sheet]. Variiere von p bis p (= ein Kreisumlauf).. Für eden Winkel berechne q = tan - (). 3. Berechne dann 4. Berechne damit r. 5. Berechne dann,y: rcos y rsin

9 D-Normal Verteilung Multivariate Normalverteilung Die Funktion f e Die auf die Fläche normierte Funktion f e p hat Fläche heißt Normalverteilung (Gauss-Verteilung). Mit ihr sind Wahrscheinlichkeiten als Flächen- Anteile für z - Standardvariablen definierbar. f(z) % p z f z e p (Standard-NV) f(z) z 95.5% [Kurzübung] z z

10 Mahalanobisdistanz p-variater Fall Man bemerke daß z ist. Man habe nun nicht eine, sondern p Variablen: Mahalanobis- Distanz p Dann definiert mit Zentroid p (eder Messpunkt ist ein p- dimensionaler Vektor und der Zentroid ist ein p- dimensionaler Vektor) t Σ mit die Inverse der Varianz- Kovarianz Matri S. die verallgemeinerte quadrierte Distanz im multivariaten Raum. Sie heißt quadrierte Mahalanobis-Distanz. Σ [Ecel-Beispiel D] Σ 4

11 Multivariate Normalverteilung p D-Normal Verteilung Die Funktion f e t Σ Die auf Volumen normierte Funktion f e p / / p Σ t Σ hat Volumen p p/ Σ / heißt multivariate Normalverteilung (multivariate Gauss-Verteilung). Mit ihr sind Wahrscheinlichkeiten als Anteile des Gesamtvolumens eines p-dimensionalen Ellipsoids definiert. Die in ihrem Argument auftretende Mahalanobis-Distanz erfüllt die Bedingung: t Σ p mit einem zu setzenden alpha-fehler Niveau. Alle Mahalanobisdistanzen, die diese Bedingung erfüllen, erzeugen Konturen gleicher Wahrscheinlichkeit (iso-probability contours) mit P = - in der multivariaten Normalverteilung.

12 Multivariate Normalverteilung D-Normal Verteilung Die multivariate Normalverteilung mit p = Variablen (bivariate Normalverteilung) hat die Form f, e p r r r Die im Argument auftretende Mahalanobis-Distanz definiert eine Ellipse im zweidimensionalen Raum für ede Konstante c: t Σ c r r Diese ist eine Iso-Probability-Contour im obigen Sinne (s. multivariate NV, vorherige Folie) [Tafelbetrachtung]

13 Multivariate Normalverteilung D-Normal Verteilung f Bivariate Normalverteilung mit p = Variablen und Korrelation r = 0.6, Density-Plot 0 0 Contour-Plot P=0.95 P=0.5 P= P= [Ecel-Übung] Ellipsen gleicher Wahrscheinlichkeit und zugehöriges Distanzmaß (quadrierte Mahalanobis-Distanz)

14 NV-D- Ellipse: Zeichen- Routine 3. Berechne dann r r c Iso-Distanz Konturen in D r r Setze c c q y und temporär 0, 0 q q r r q rq r c q r rq (NV-Ellipse) Verfahren [Ecel-Sheet] Und es gilt: a) läuft von p bis p (= ein Kreisumlauf) r q b) c) rcos rsin

15 Multivariate Normalverteilung p D-Normal Verteilung Beispiel D Die Ellipsen der Form t Σ c p sind zentriert in und haben Hauptachsen mit Eigenwertbedingung Σe i e c e Eine Eigenwertzerlegung der Varianz-Kovarianz Matri liefert somit die Hauptachsen des p- variaten Ellipsoids der multivariaten Normalverteilung i i Länge = i c Länge = c

16 Minimum Distance Classifier MDC MDC-Regel Mit der Mahalanobisdistanz für eine Beobachtung zum Zentroid der Gruppe c t Σ definiere die Regel: Gruppiere in Gruppe c i, wenn gilt min,,,, i k Die Performance des MDC läßt sich mit großen Stichproben für die k Gruppen mit einer Konfusions-Matri bewerten: Häufigkeit zur Einordnung von Fall (Zeile) in Gruppe (Spalte) Case is group c c c c c h h h h k c h h h h k c h h h h allocated to group k k c h h h k k k k kk h

17 Minimum Distance Classifier Confusionmatri c c c c c h h h h k c h h h h k k c h h h h k c h h h k k k k kk h Hits Erwartete Häufigkeiten bei Zufall (anteilige Gleichverteilung) Korrekte Klassifizierungen sind die Häufigkeiten auf der Diagonalen: h o Mit den Zeilensummen h k i p h (erwartete Zellhäufigkeit, const. in der Zeile ) ˆi i i h ii hi und N der Summe aller Häufigkeiten gilt mit p i der A-priori Wahrscheinlichkeit der Gruppe c i. p i kann ggf. über p i = h i /N geschätzt werden, wenn keine Information über A-priori Wahrscheinlichkeiten vorliegt.

18 Erwartete Confusionmatri Minimum Distance Classifier Dann ist hˆ k i hˆ die erwartete Hit-Häufigkeit. ii c c c c c hˆ hˆ hˆ hˆ k c hˆ hˆ hˆ hˆ k c hˆ hˆ hˆ hˆ i i i i ik k Hits Erwartete Häufigkeiten bei Zufall (anteilige Gleichverteilung) Mit hˆ p N p p N e e e ist h o normalverteilt über die Approimation der Binomialverteilung wenn Dann testet der z- Test z h o Np N p p e N p p 9 gilt. e e e e c hˆ hˆ hˆ hˆ k k k k kk die Hitrate des MDC gegen den Zufall.

19 Bayesian Classifier A-priori Wahrscheinlichkeit der Gruppen A-posteriori WK Ma-Aposteriori WKn Classifier Normalverteilungsannahme Man habe Information über die A-priori Wahrscheinlichkeiten der Gruppen c : Dann liefert eine der Beobachtung A-posteriori Wahrscheinlichkeit,,,, P c P c P c P c P c k nach ihrer eine korrektere Zuordnung als nur nach der kürzesten Distanz zum Gruppenzentroid. Regel: Gruppiere in Gruppe c i, wenn gilt i ma,,,, k P c P c P c P c P c Um die A-posteriori WKn zu berechnen, muss für die Likelihood- Funktionen die Annahme der multivariaten Normalverteilung gelten.

20 Bayesian Classifier Likelihoods A-posteriori WK Mit der multivariaten Normalverteilung haben die Likelihoods die Form mit P c f c e p / / p Σ t Σ der quadrierten Mahalanobisdistanz zum Gruppenzentroid s- Raum c Der sraum ist durch alle Gruppen vollständig partitioniert. c c 3 Es gilt: c c c k Normalverteilungsannahme c 4 Und wegen der Disunktheit: P P c P c P c k

21 Likelihoods Da Bayesian Classifier P c P c P c (Def. der bedingten Wahrscheinlichkeit), folgt Satz der totalen WK Satz von Bayes P P c P c P c P c P c P c Und damit k k P c i i Pci P c P c P c der Satz von Bayes für die A-posteriori WK der Gruppe c i, gegeben die multivariate Beobachtung Normalverteilungsannahme Die approimative Gültigkkeit der multivariaten NV kann durch Q-Q-Plot Methoden überprüft werden.