Mehrdimensionale Skalierung

Transkript

1 Mehrdimensionale Skalierung Datenanalyse Dietmar Maringer Abteilung für Quantitative Methoden, WWZ der Universität Basel Herbstsemester 2010 D Maringer: Datenanalyse Mehrdimensionale Skalierung (1)

2 Problemstellung bisherige Situation für n Objekte wurden p Merkmale erfasst in weiterer Folge wurden... Unterschiede zwischen Objekten ermittelt (Distanzmasse) Merkmale auf Zusammenhänge untersucht (Covarianzen, Korrelation) neue Fragestellung falls man die Distanzen von Objekten mit (vielen) verschiedenen Merkmalen kennt, kann man die Lage der Objekte vereinfacht darstellen? typischerweise: graphische Darstellung im 2-dimensionalen Raum Methode: (Metrische) Mehrdimensionale Skalierung (weiterführende) Literatur: Handl (2002), Abschnitte D Maringer: Datenanalyse Mehrdimensionale Skalierung (2)

3 Distanzen und Positionierung Ausgangssituation gegeben: Matrix D mit euklidischen Distanzen Bsp.: D = 5 0 3, also d 12 = 5, d 13 = 4 und d 23 = gesucht: Punkte im 2-dimensionalen Raum, für die diese Abstände gelten graphische Lösung für 3 Objekte in R 2 Positionierung der ersten beiden Objekte (=Punkte): ein Objekt erhält Position x 1 = (0,0) zweites Objekt ist d 12 entfernt, also z.b. rechts vom 1. Objekt x 2 = (d 12,0) oder darüber x 2 = (0,d 12 ) Bsp.: falls d 12 = 5, dann ist x 1 = (0,0) und x 2 = (5,0) eine gültige Lösung allgemein: alle Punkte auf einem Kreis mit Mittelpunkt x 1 mit Radius d 12 kommen in Frage D Maringer: Datenanalyse Mehrdimensionale Skalierung (3)

4 Distanzen und Positionierung graphische Lösung für 3 Objekte in R 2 (Fortsetzung) Positionierung des dritten Objektes: Kreis um x 1 mit Radius d 13 Kreis um x 2 mit Radius d 23 Schnittpunkte: sind d 13 von x 1 und d 23 von x 2 entfernt x 3 Voraussetzung: d 12 d 13 +d 23 d 13 d 23 x 1 d 12 x 2 Problem: Lösung ist nicht eindeutig, denn Drehen, Spiegeln oder Verschieben ändert nichts an den Distanzen D Maringer: Datenanalyse Mehrdimensionale Skalierung (4)

5 Distanzen und Positionierung Ermittlung der Distanz zwischen Objekte i und j quadrierte Euklidische Abstände: dij 2 p = p p p (x im x jm ) 2 = x 2 im + x 2 jm 2 (x im x jm ) m=1 m=1 m=1 m=1 }{{}}{{}}{{} =b ii =b jj =b ij mit b ii = x i x i, b jj = x j x j, b ij = x i x j = d 2 ij = b ii +b jj 2b ij b 11 b 12...b 1n b 21 b 22...b 1n daher: B =.... = XX b n1 b n2...b nn Distanzmatrix D kann aus B ermittelt werden D Maringer: Datenanalyse Mehrdimensionale Skalierung (5)

6 Distanzen und Positionierung Zusammenhang zwischen Datenmatrix X und Matrix B Spektralzerlegung von B: B = UΛU mit U = [u1 u 1... u n ] wobei der Spaltenvektor u i der i-te Eigenvektor von B ist λ λ 2 0 Λ = eine Diagonalmatrix mit den entsprechenden λ n Eigenwerten von B, λ i, in der Hauptdiagonale λ1 0 0 Λ λ 2 0 = , somit Λ0.5 Λ 0.5 = Λ 0 0 λn daher: XX = B = UΛ }{{ 0.5 }} Λ 0.5 {{ U } = YY =Y =Y D Maringer: Datenanalyse Mehrdimensionale Skalierung (6)

7 Distanzen und Positionierung Zusammenhang zwischen Distanzmatrix D und Matrix B Distanzmatrix D kann aus Matrix B ermittelt werden... d 2 ij = b ii +b jj 2b ij... und umgekehrt b ij = 0.5(d 2 ij b ii b jj ) es lässt sich zeigen (siehe Handl (2002), Seiten ): neue Distanzmatrix A = [a ij ] mit a ij = 1 2 d2 ij Überleitung in Matrix B = [b ij ]: b ij = a ij n 1 n k=1 a ik n 1 n k=1 a kj + 1 n nm=1 n 2 a k=1 km D Maringer: Datenanalyse Mehrdimensionale Skalierung (7)

8 Distanzen und Positionierung Reduktion der Dimensionen ursprüngliche (quadrierte) Distanz: d 2 ij = p m=1 (x im x jm ) 2 Reduktion auf q Dimensionen (mit q < p): Positionen der Objekte: Koordinaten in der f -ten Dimension: y f (quadrierte) Distanzen: d ij 2 = q f =1 (y if y jf ) 2 idealerweise: möglichst viel der ursprünglichen Distanzen soll erhalten bleiben d2 ij sollte möglichst nahe an dij 2 sein D Maringer: Datenanalyse Mehrdimensionale Skalierung (8)

9 Metrische mehrdimensionale Skalierung Ermittlung der Darstellung im zweidimensionalen Raum, R 2 wie vorhin 1 Bestimmung von B mit Hilfe von von A 2 Spektralzerlegung von B = UΛ }{{ 0.5 }} Λ 0.5 {{ U } =Y =Y 3 man wähle die beiden grössten (normierten) Eigenvektoren, λ 1 und λ 2 und dazu gehörige Eigenvektoren u 1 und u 2 [ ] λ1 0 4 daraus Λ 1 = und U 0 1 = [u 1 u 2 ] λ 2 5 Y = U 1 Λ D Maringer: Datenanalyse Mehrdimensionale Skalierung (9)

10 Metrische mehrdimensionale Skalierung Beispiel: Steuereinnahmen der Kantone (Quelle: Bundesamt für Statistik) In der Datei Steuern.csv sind die uerich Genf Steuereinnahmen 9 unterschiedlichen Steuerarten (Einkommens-, Vermögens-, Ertragssteuer, etc.) von Schweizer Kantonen im Jahr 2005 zusammengefasst, absteigend Waadt sortiert nach Gesamtsteuereinnahmen. Bern X = read.table( Steuern.csv,header=T,sep= ; ) Wie (un)ähnlich sind sich die 10 Kantone mit den höchsten Steuereinnahmen? Können diese im 2-dimensionalen Raum dargestellt werden? in R für gegebene Distanzmatrix D: D = dist(x[1:10, -1]) ignoriere 1. Spalte mit Kantonsnamen MDS = cmdscale(d) m$points[,2] m$points[,2] 4e+05 2e+05 0e+00 2e+05 3e+06 2e+06 1e+06 0e+00 1e+06 uerich Basel St Tessin Basel Lands St. Gallen Aargau 3e+06 2e+06 1e+06 0e+00 1e+06 m$points[,1] Bern Waadt Genf Luzern Basel St Aargau St. Basel Lands Gallen Tessin Luzern 3e+06 2e+06 1e+06 0e+00 1e+06 m$points[,1] D Maringer: Datenanalyse Mehrdimensionale Skalierung (10)

11 Metrische mehrdimensionale Skalierung Praktische Aspekte wie viele Dimensionen benötigt man mindestens? (oder: reicht eine 2-dimensionale Darstellung?) es gilt: n nj=1 i=1 dij 2 = 2n n 1 i=1 λ i Eigenvektoren können hier auch negativ ( sein; nur positive einbeziehen! ki=1 ) mindestens k Dimensionen, so dass λ i / ( n 1 i=1 λ i ) α in R: m = cmdscale(d, eig=true) Eigenwerte sind dann unter m$eig abfrufbar falls keine exakte Darstellung möglich, weil Dreicksungleichung verletzt (d 12 > d 13 +d 23 ) Addition einer Konstanten c zu allen Elementen von D abseits der Hauptdiagonale (also: d ij = d ij +c für alle Paare i j) besonders sinnvoll für intervall-skalierte Daten in R: cmdscale(d, add=true) D Maringer: Datenanalyse Mehrdimensionale Skalierung (11)

12 Metrische mehrdimensionale Skalierung Beispiel: Autos in der Datei Autos70er80er.csv sind für Autos, die Anfang der 70er ( ) bzw. Anfang der 80er ( ) in Amerika, Europa oder Japan auf den Markt gekommen sind, die Durchschnitte verschiedener Merkmale erfasst. Laden der Daten: Daten = read.table( Autos70er80er.csv,header=T,sep= ; ) X = Daten[,-1] rownames(x) = Daten[,1] erste Spalte (Bezeichnungen) ignorieren Bezeichnungen übernehmen Ermittlung der Eigenwerte bei Skalierung auf 5 Dimensionen: m = cmdscale(dist(x), k=5, eig=true) die Eigenwerte betragen (m$eig) λ 1 = , λ 2 = 1 202, λ 3 = 91, λ 4 = 9 und λ 5 = 0.2 λ 1 deutlich grösster Eigenvektor, Werte können daher ohne grossen Verlust in R 1 dargestellt werden Amerika_70er Amerika_80er Europa_80er Europa_70er Japan_80er Japan_70er D Maringer: Datenanalyse Mehrdimensionale Skalierung (12)