Multidimensional Scaling (MDS)

Transkript

1 Ludwig-Maximilians-Universität München Institut für Statistik Multidimensional Scaling (MDS) Myriam Hatz Statistische Methoden in der Psychometrie Lehrveranstaltung im Wintersemester 2015/16 Dozent: Dr. Steffen Unkel München, 26. Februar 2016 Myriam Hatz Multidimensional Scaling / 39

2 Gliederung 1 Einleitendes Beispiel 2 Grundlagen Proximitäten Distanzfunktionen Stressfunktion 3 MDS-Verfahren Klassische Skalierung SMACOF-Algorithmus 4 Fazit Myriam Hatz Multidimensional Scaling / 39

3 Einleitendes Beispiel Gliederung 1 Einleitendes Beispiel 2 Grundlagen Proximitäten Distanzfunktionen Stressfunktion 3 MDS-Verfahren Klassische Skalierung SMACOF-Algorithmus 4 Fazit Myriam Hatz Multidimensional Scaling / 39

4 Einleitendes Beispiel Anwendungsbeispiel Ziel der MDS Ähnlichkeiten (bzw. Unähnlichkeiten) zwischen Objekten mithilfe von Distanzen zwischen Punkten in einem niedrig dimensionierten Raum darstellen. Ursprünge im Bereich der Psychologie Welche Einflussfaktoren spielen für den Menschen im Hinblick auf die Wahrnehmung von Ähnlichkeiten eine Rolle? Myriam Hatz Multidimensional Scaling / 39

5 Einleitendes Beispiel Studie von Myron Wish aus dem Jahr 1971 Welche Merkmale veranlassen Personen zwei Länder als ähnlich zu bezeichnen? Probanden: 18 Studenten Vergleich von 12 Ländern Ähnlichkeit auf einer Skala von 1 sehr unähnlich bis 9 sehr ähnlich Ähnlichkeitsscore = Mittelwert über alle Probanden Myriam Hatz Multidimensional Scaling / 39

6 Einleitendes Beispiel Ähnlichkeitsscore-Matrix Country Brazil Congo Cuba Egypt France India... Brazil - Congo Cuba Egypt France India Myriam Hatz Multidimensional Scaling / 39

7 Einleitendes Beispiel MDS-Darstellung Myriam Hatz Multidimensional Scaling / 39

8 Einleitendes Beispiel MDS-Darstellung mit Dimensionsachsen under- Congo pro West France Jugoslavia developed developed pro Communist China Myriam Hatz Multidimensional Scaling / 39

9 Einleitendes Beispiel Einsatzgebiete von MDS Explorative Methode Testen von strukturellen Hypothesen Untersuchung von psychologischen Strukturen Urteilsbildung von Ähnlichkeiten Myriam Hatz Multidimensional Scaling / 39

10 Grundlagen Gliederung 1 Einleitendes Beispiel 2 Grundlagen Proximitäten Distanzfunktionen Stressfunktion 3 MDS-Verfahren Klassische Skalierung SMACOF-Algorithmus 4 Fazit Myriam Hatz Multidimensional Scaling / 39

11 Grundlagen Proximitäten Proximitäten Proximitäten entsprechen Abstand, Nähe, Ähnlichkeit oder Unähnlichkeit von Objekten. Direkte Proximitäten Ableitung aus anderen Maßen möglich Korrelationen Distanzmaße Co-occurence -Indizes MDS legt Proximitätentransformation und Distanzfunktion für die Darstellung der Punkte im MDS-Raum fest. Myriam Hatz Multidimensional Scaling / 39

12 Grundlagen Distanzfunktionen Distanzfunktionen Distanzfunktionen bestimmen die Distanz zwischen zwei Objekten X i und X j. L p -Distanz: δ ij = ( r k=1 mit r = Anzahl an Variablen und Proximitäten-Matrix = (δ ij ). X ik X jk p ) 1 p, p 1 (1) Distanzfunktionen bestimmen aber auch die Abstände der einzelnen Objekte in einer Konfiguration. Myriam Hatz Multidimensional Scaling / 39

13 Grundlagen Stressfunktion Shepard-Diagramm Das Shepard-Diagramm visualisiert die Güte einer MDS-Lösung, indem die Proximitäten gegen ihre entsprechenden Distanzmaße abgetragen werden. Distanzen Proximitäten Myriam Hatz Multidimensional Scaling / 39

14 Grundlagen Stressfunktion Informationsverlust Eine Verlustfunktion drückt die Streuung der Punkte um die Regressionslinie aus. Der Informationsverlust entspricht der Summe der Residuen für alle Punkte i und j: eij 2 = [f (p ij ) d ij (X)] 2 (2) i<j i<j mit f (p ij ) = ˆd ij (X) ˆ= optimal transformierte Proximitäten und d ij ˆ= Abstände der Punkte in der Konfiguration X. Myriam Hatz Multidimensional Scaling / 39

15 Grundlagen Stressfunktion Stressfunktion Durch normieren der Verlustfunktion erhält man den Güteindex Stress. Dieser stellt ein interpretierbares Maß für die Güte einer MDS-Lösung dar. Stress = i<j [ˆd ij (X) d ij (X)] 2 i<j d ij 2(X) (3) Bei einer perfekten Anpassung der Konfigurationsdistanzen an die Daten nimmt der Stress einen Wert von Null an. Myriam Hatz Multidimensional Scaling / 39

16 Grundlagen Stressfunktion Einflussfaktoren der Stressfunktion n, die Anzahl an Beobachtungen m, die Dimensionalität des MDS-Raums MDS-Modell Fehleranteil in den Daten Ties bei der ordinalen MDS Sollten bei der Interpretation des Stress beachtet werden Myriam Hatz Multidimensional Scaling / 39

17 Klassische Skalierung Gliederung 1 Einleitendes Beispiel 2 Grundlagen Proximitäten Distanzfunktionen Stressfunktion 3 MDS-Verfahren Klassische Skalierung SMACOF-Algorithmus 4 Fazit Myriam Hatz Multidimensional Scaling / 39

18 Klassische Skalierung Klassische Skalierung Analytische Lösung der MDS ohne Iterationen. Idee Angenommen Unähnlichkeiten entsprechen Distanzen: Welche Koordinaten erklären diese am besten? Objekte als Punkte in einer möglichst niedrig dimensionierten Konfiguration darstellen, sodass d ij δ ij. Dimensionen verschiedener k-dimensionaler klassischer Skalierungen sind dabei genestet. Myriam Hatz Multidimensional Scaling / 39

19 Klassische Skalierung Koordinatenbestimmung mit klassischer Skalierung (1) Als Input wird die (quadrierte) euklidische Distanzmatrix D = (d ij ) benötigt mit: d 2 ij = (x i x j ) (x i x j ). 1. Konstruiere aus D die Matrix A = (a ij ) = ( 1 2 d 2 ij ). 2. Erhalte die Skalarproduktmatrix B = HAH dabei ist H = I 1 n 11 Zentrierungsmatrix. B hat dann die Elemente b ij = a ij a i a j + a Myriam Hatz Multidimensional Scaling / 39

20 Klassische Skalierung Koordinatenbestimmung mit klassischer Skalierung (2) 3. Eigenwertzerlegung: B = PΛP mit Λ = diag(λ 1,..., λ n ), λ 1 λ n und P, die Matrix der normierten Eigenvektoren 4. Sei Λ + eine Matrix mit den k größten positiven Eigenwerten von B auf der Diagonalen und P + die entsprechenden k Spalten von P. Dann ist die Koordinatenmatrix gegeben durch X = P + Λ+. 5. Die Zeilen von X entsprechen dann den Koordinaten der Objekte. Myriam Hatz Multidimensional Scaling / 39

21 Klassische Skalierung Anmerkungen Es wird dabei folgende Verlustfunktion minimiert: ( L(X) = H D (2) Λ (X)) 2 Außerdem gilt bezeichnet die Frobenius-Norm Z = tr ( ZZ ) x j = 1 N x ij = 0 n i=1 j = 1,..., k Der Schwerpunkt der Konfiguration liegt also im Koordinatenursprung. Myriam Hatz Multidimensional Scaling / 39

22 Klassische Skalierung Übersicht Wähle die Konfiguration in R k, deren Koordinaten durch die k größten Eigenvektoren von B bestimmt werden. Wenn D eine euklidische Distanzmatrix ist, nur positive Eigenwerte möglich. Gute Approximation, wenn die k größten Eigenwerte von B große positive Werte und die restlichen nahe 0 Bei leicht negativen Eigenwerten trotzdem sinnvolle Darstellung möglich Myriam Hatz Multidimensional Scaling / 39

23 Anwendungsbeipiel - klassiche Skalierung Beispiel - Lund (1974) Forschungsinteresse Ähnlichkeitsbeziehungen zwischen sieben norwegischen Parteien untersuchen. Kommunistische Partei Sozialistische Partei Arbeiterpartei Liberale Zentrumspartei Christliche Volkspartei Konservative 14 Versuchspersonen sollten Distanz zwischen zwei Parteien angeben (insgesamt 42 Paarvergleiche je Proband). Der Referenzwert lag bei 10 und stellte die Distanz zwischen Arbeiterpartei und Liberale dar. Myriam Hatz Multidimensional Scaling / 39

24 Anwendungsbeipiel - klassiche Skalierung Distanzmatrix Anordnung der Parteien spielte eine Rolle arithmetisches Mittel der jeweiligen Distanzwerte symmetrische Distanzmatrix: KP SP AP L Z CV K KP SP AP L = D Z CV K Myriam Hatz Multidimensional Scaling / 39

25 Anwendungsbeipiel - klassiche Skalierung MDS-Auswertung Kommunistische Partei Sozialistische Partei Arbeiterpartei Liberale Zentrumspartei Konservative Christliche Volkspartei sozialistisch nicht sozialistisch Myriam Hatz Multidimensional Scaling / 39

26 Anwendungsbeipiel - klassiche Skalierung Umsetzung in R Myriam Hatz Multidimensional Scaling / 39

27 SMACOF-Algorithmus Gliederung 1 Einleitendes Beispiel 2 Grundlagen Proximitäten Distanzfunktionen Stressfunktion 3 MDS-Verfahren Klassische Skalierung SMACOF-Algorithmus 4 Fazit Myriam Hatz Multidimensional Scaling / 39

28 SMACOF-Algorithmus SMACOF-Algorithmus Iterative Lösung der MDS Idee Minimiere den Stress einer MDS Lösung durch eine iterative Majorisierung. SMACOF ˆ= Stress Majorization of a Complicated Function. Myriam Hatz Multidimensional Scaling / 39

29 SMACOF-Algorithmus Raw-Stress Der zu minimierende Raw-Stress ist hierbei allgemein folgendermaßen definiert: σ r (X) = i<j w ij (δ ij d ij (X)) 2, (4) dabei sind w ij Gewichte mit den Eigenschaften w ij > 0 und i<j w ijδij 2 = n(n 1)/2. Je nach MDS-Anwendung können verschiedene Gewichte eingesetzt werden. Das smacof -Package in R spezifiziert diese Gewichte automatisch. Außerdem benötigt es δ ij, welche Unähnlichkeiten messen. Myriam Hatz Multidimensional Scaling / 39

30 SMACOF-Algorithmus Prinzip der iterative Majorisierung Sei f (x) eine beliebige komplizierte Funktion. Bestimme das Minimum von f (x) durch iteratives Ersetzen mit einer Hilfsfunktion g(x, z), mit festem Wert z. Anforderungen an g(x, z) als Majorisierungsfunktion: g(x, z) sollte einfacher zu minimieren sein als f (x). f (x) g(x, z). Die Hilfsfunktion sollte die Stützstelle z berühren, das heißt f (z) = g(z, z). Das Minimum x von g(x, z) liegt folglich zwischen f (x ) und f (z): f (x ) g(x, z) g(z, z) = f (z). (5) Myriam Hatz Multidimensional Scaling / 39

31 SMACOF-Algorithmus Illustration zweier Iterationen [Quelle: Borg und Groenen (2010), Figure 8.4] Myriam Hatz Multidimensional Scaling / 39

32 SMACOF-Algorithmus Majorisierungsalgorithmus 1. Setze Startwert z = z Finde Update x (u) für das gilt g(x (u), z) g(z, z). 3. Stoppe, falls f (z) f (x (u) ) < ɛ. 4. Setze z = x (u) und gehe zu Schritt 2. Myriam Hatz Multidimensional Scaling / 39

33 SMACOF-Algorithmus Majorisierung der Stress-Funktion Wird die Majorisierungs-Ungleichung in (5) eingehalten, kann auch die Stress-Funktion mit mehr als einer Variable minimiert werden. Die Stress-Funktion kann geschrieben werden als σ r (X) = w ij δij 2 + w ij dij 2 (X) 2 w ij δ ij d ij (X) i<j i<j i<j = ηδ 2 }{{} + η 2 (X) }{{} 2ρ(X) }{{} konstant in X gewichtete Summe der gewichtete Summe quadrierten Distanzen der Distanzen Weitere Umformung der von X abhängigen Terme möglich Myriam Hatz Multidimensional Scaling / 39

34 SMACOF-Algorithmus η 2 (X) = i<j w ij d 2 ij (X) Es gilt η 2 (X) = trx VX (6) mit v ij = w ij, falls i j n v ii = w ij. j=1,j i rang(v) = n 1 Matrix besitzt keinen vollen Rang Myriam Hatz Multidimensional Scaling / 39

35 SMACOF-Algorithmus ρ(x) = i<j w ij δ ij d ij (X) Weiterhin gilt ρ(x) = trx B(X) X trx B(Z)Z, (7) wobei die Matrix B(Z) folgende Elemente besitzt w ijδ ij falls i j d ij (Z) 0 b ij = d ij (Z) 0 falls i j d ij (Z) = 0 n b ii = b ij. j=1,j i Myriam Hatz Multidimensional Scaling / 39

36 SMACOF-Algorithmus Majorisierungsungleichung für Stress-Funktion σ r (X) = η 2 δ + trx VX 2trX B(X)X η 2 δ + trx VX 2trX B(Z)Z = τ(x, Z). (8) Minimum von τ(x, Z) erhält man analytisch durch Nullsetzen der Ableitung und lösen der Gleichung für X: τ(x, Z) = 2VX 2B(Z)Z! = 0 X = V 1 B(Z)Z Hierfür wird die Inverse von V benötigt Abhilfe durch Guttman Transformation, mittels der Moore-Penrose Inversen V + = (V + 11 ) 1 n 2 11 : X [u] = V + B(Z)Z Myriam Hatz Multidimensional Scaling / 39

37 SMACOF-Algorithmus Übersicht SMACOF-Algorithmus Start: k := 0, setze beliebigen Startwert Z = X [0] und berechne σ r [0] = σ r (X [0] ) k := k + 1 Update X [k] mit Hilfe der Guttman Transformation Berechne σ r [k] = σ r (X [k] ) und setzte Z = X [k] nein σ r [k-1] σ r [k] < ε oder k=max. Iteration? Ende ja Myriam Hatz Multidimensional Scaling / 39

38 Anwendungsbeispiel - SMACOF Beispiel - Rosenberg und Kim (1975) Forschungsinteresse Ähnlichkeitsbeziehung zwischen 15 Terminologien zur Beschreibung von Verwandtschaftsverhältnissen. Grandfather Grandson Cousin Daughter Father Grandmother Aunt Nephew Brother Mother Granddaughter Niece Sister Son Uncle Studenten sollten benennen, welche Begriffe sie aufgrund ihrer Ähnlichkeit in eine gemeinsame Gruppe einsortieren. Für jeden Studenten wurde eine Unähnlichkeitsmatrix erstellt. Paare werden mit 1 codiert, wenn Begriffe in unterschiedlichen Gruppen und 0, wenn Begriffe in der gleichen Gruppe. Myriam Hatz Multidimensional Scaling / 39

39 Anwendungsbeispiel - SMACOF Distanzmatrix δ ij ˆ= Prozentsätze, wie oft Begriffspaare nicht einer gemeinsamen Gruppe zugeordnet wurden. Aunt Brother Cousin Daughter Father... Aunt Brother Cousin Daughter Father Granddaughter Myriam Hatz Multidimensional Scaling / 39

40 Anwendungsbeispiel - SMACOF Distanzmatrix δ ij ˆ= Prozentsätze, wie oft Begriffspaare nicht einer gemeinsamen Gruppe zugeordnet wurden. Aunt Brother Cousin Daughter Father... Aunt Brother Cousin Daughter Father Granddaughter Myriam Hatz Multidimensional Scaling / 39

41 Anwendungsbeispiel - SMACOF Umsetzung in R - Package smacof Daten (kinshipdelta) dort zu finden. Benötigt immer Unähnlichkeitsdaten. Falls nur Ähnlichkeiten gegeben können diese mit sim2diss() transformiert werden. Symmetrische Unähnlichkeitsmatrizen: smacofsym() Wichtige Argumente: delta: Übergabe einer symmetrischen Distanzmatrix. ndim: Anzahl der Dimensionen type: legt die Transformation der Proximitäten fest. Myriam Hatz Multidimensional Scaling / 39

42 Anwendungsbeispiel - SMACOF Mögliche Transformationen der Proximitäten Transformation ˆdij Ratio b δ ij mit b > 0 Intervall a + b δ ij mit a, b 0 Spline Polynomfunktion von δ ij Ordinal Rangordnung der δ ij bleibt erhalten Ratio Intervall Spline Ordinal Proximitäten d_ij Proximitäten d_ij Proximitäten d_ij Proximitäten d_ij Myriam Hatz Multidimensional Scaling / 39

43 Anwendungsbeispiel - SMACOF Ratio MDS mit SMACOF Dimensionsvergleich ergibt folgende Stresswerte: wie erwartet! Eine Dimension Zwei Dimensionen Drei Dimensionen Myriam Hatz Multidimensional Scaling / 39

44 Anwendungsbeispiel - SMACOF Zwei-Dimensionale MDS-Lösung Dimension Uncle Grandfather Nephew Grandson Cousin Brother Son Father Aunt Niece Granddaughter Sister Daughter Mother Grandmother Dimension 1 Myriam Hatz Multidimensional Scaling / 39

45 Fazit Gliederung 1 Einleitendes Beispiel 2 Grundlagen Proximitäten Distanzfunktionen Stressfunktion 3 MDS-Verfahren Klassische Skalierung SMACOF-Algorithmus 4 Fazit Myriam Hatz Multidimensional Scaling / 39

46 Fazit Fazit Vorrangig als explorative Analysemethode genutzt Strukturen in Daten aufzeigen. Einschränkung auf Ähnlichkeitsstrukturen Viele verschiedene MDS-Verfahren verfügbar metrische Verfahren nicht-metrische Verfahren aggregierende Verfahren nichtaggregierende Verfahren Flexibilität auch durch Transformationen der Proximitäten und verschiedenen Gewichtungen Konfigurationen lassen sich meist intuitiv interpretieren. Liegt allerdings im Auge des Betrachters. Myriam Hatz Multidimensional Scaling / 39

47 Vielen Dank für Ihre Aufmerksamkeit! Myriam Hatz Multidimensional Scaling / 39

48 Bartholomew, D.J., Steele, F., Moustaki, I. und Galbraith, J. I. (2008). Analysis of Multivariate Social Science Data, Chapman and Hall/CRC, Boca Raton. Borg, I. und Groenen, P. J. F. (2010), Modern multidimensional scaling, Springer, Berlin London. Borg, I., Groenen, P. J. F. und Mair, P. (2013), Applied multidimensional scaling, Springer, Berlin London. Hamerle, A. und Pape, H. (1996), Grundlagen der mehrdimensionalen Skalierung, in L. Fahrmeir, A. Hamerle und G. Tutz (eds), Multivariate statistische Verfahren, Walter de Gruyer, Berlin. Mair, P., De Leeuw, J. und Groenen, P. J. F. (2015). Multidimensional scaling in R: SMACOF. URL: Mardia, K. V., Kent, J. T. und Bibby, J. M. (1980). Multivariate Analysis, Academic Press. Myriam Hatz Multidimensional Scaling / 39