Die Clusteranalyse Clusteranalyse. Grundidee Mögliche Anwendungsgebiete gg Vorgehensweise Beispiele. methodenlehre ll Clusteranalyse

Transkript

1 Clusteranalyse Thomas Schäfer SS Die Clusteranalyse Grundidee Mögliche Anwendungsgebiete gg Vorgehensweise Beispiele Thomas Schäfer SS

2 Die Clusteranalyse Grundidee: Eine heterogene Gesamtheit von Fällen (Personen/Objekte) soll in homogene Gruppen oder Cluster aufgeteilt werden. Dabei wird die Ähnlichkeit der Fälle auf allen relevanten Variablen berücksichtigt Die zwei zentralen Fragen: Wie wird Ähnlichkeit von Fällen bestimmt? Wie wird die Gruppenaufteilung vorgenommen, wenn die Ähnlichkeit zwischen Fällen bekannt ist? Analyse einer heterogenen Gesamtheit von Objekten, mit dem Ziel, homogene Teilmengen zu identifizieren. Thomas Schäfer SS Clusteranalyse: mögliche Anwendungen Aufteilung von Personen/Objekten in Subgruppen Erstellen von Typologien Marktforschung (Konsumentengruppen, Kaufverhalten, Produktanalyse) Differenzieren von Bevölkerungsgruppen Thomas Schäfer SS

3 Clusteranalyse: Vorgehensweise Bestimmung der Ähnlichkeit Auswahl des Fusionierungsalgorithmus Prüfung der Merkmalsausprägung für je 2 Personen oder Objekte und Messung der Unterschiede/ Übereinstimmungen mit Hilfe eines Zahlenwertes (Proximitätsmaß) Personen/Objekte werden aufgrund ihrer Ähnlichkeitswerte zu Gruppen zusammengefasst. Bestimmung der Clusterzahl Entscheidung über Clusteranzahl, Zielkonflikt: Handhabbarkeit (geringe Clusteranzahl) & hohe Lösungsgüte gg (hohe Clusterzahl) Interpretation der Cluster und Überprüfen der Güte Inhaltliche Interpretation der resultierenden Cluster Thomas Schäfer SS Bestimmung der Ähnlichkeit Variable1 Variable2 Variable j Objekt1 Objekt2. : : Objekt k Rohdatenmatrix Objekt1 Objekt2. : : Objekt k Objekt1 Objekt2 Objekt k Distanz oder Ähnlichkeitsmatrix Thomas Schäfer SS

4 Proximitätsmaße (Ähnlichkeits bzw. Distanzmaße) bei Nominal Skalen Tanimoto Koeffizient M Koeffizient Kulczynski Koeffizient RR Koeffizient Dice Koeffizient. bei metrischen Skalen L 1 Norm L 2 Norm Q Korrelations Koeffizient Mahalanobis Distanz Thomas Schäfer SS Rohdatenmatrix α β γ δ ε ζ Objekt 1 Objekt Objekt Objekt nicht vorhanden 1 vorhanden Thomas Schäfer SS

5 Eigenschaft vorhanden (1) Objekt 1 Eigenschaft nicht iht vorhanden (0) Zeilensumme Objekt 2 Eigenschaft vorhanden (1) Eigenschaft nicht vorhanden (0) b d a c a+c b+d Spaltensumme a+b c+d m Thomas Schäfer SS Rohdatenmatrix α β γ δ ε ζ Objekt 1 Objekt Objekt b Objekt a c Thomas Schäfer SS

6 Nichtübereinstimmung soll keine Rolle spielen z. B. Tanimoto Koeffizient: a Tanimoto Koeff. = a + b + c Nichtübereinstimmung soll berücksichtigt werden (z. B. bei echt dichotomen Daten) z. B. M Koeffizient (Simple Matching): a + d M = a + b + c + d Fall x Fall y + + a c b d + Eigenschaft vorhanden Eigenschaft nicht vorhanden a: Anzahl der Variablen, in denenfürbeidefälle die Eigenschaft vorhanden ist b: Anzahl der Variablen, in denen die Eigenschaft für Fall x vorhanden ist, aber für Fall y nicht usw. Thomas Schäfer SS Aufbau der Distanz oder Ähnlichkeitsmatrix Objekt 1 Objekt 2 Objekt 3 : Objekt k Objekt 1 Objekt 2 Objekt 3 Objekt k 1? 1?? 1??? 1 Thomas Schäfer SS

7 echte Ähnlichkeitsmaße z.b. Q Korrelationskoeffizient (wennkovariation inhaltlich wichtig ist) Abstandsmaße z. B. Minkowski Metriken (wennabsoluter Abstand inhaltlich wichtig ist) z.b. City Block Metrik (L 1 Norm), Euklidische Distanz (L 2 Norm) Thomas Schäfer SS Ähnlichkeitsermittlung bei metrischer Variablenstruktur am häufigsten angewandte Distanznorm: Minkowski Metriken City Block Metrik: r = 1: d a, b = J j= 1 X aj X bj x, x : Wert der Variablen j bei den Objekten k,l (j=1,2, J) k,j l,j d k,l: Distanz der Objekte k und l r > _ 1 : Minkowski Konstante Euklidische Distanz: r = 2 (oft auch quadriert): d a, b = J j= 1 X aj X bj 2 Thomas Schäfer SS

8 Variable k,2 - X l,2 X k k X - X k,1 l,1 l Variable 1 Thomas Schäfer SS Zur Messung der Ähnlichkeit zwischen Objekten sind Distanzmaße immer dann geeignet, wenn der absolute Abstand zwischen Objekten von Interesse ist und die Unähnlichkeit dann als um so größer anzusehen ist, wenn zwei Objekte weit entfernt voneinander liegen. Ähnlichkeitsmaße immer dann geeignet, g wenn der primäre Ähnlichkeitsaspekt im Gleichlauf zweier Profile zu sehen ist, unabhängig davon, auf welchem Niveau die Objekte liegen. Thomas Schäfer SS

9 Jahr Unternehmen A Unternehmen B Gewinn die Profile beider Unternehmen sind gleich, ein Ähnlichkeitsmaß würde einen hohen Wert liefern die beiden Unternehmen haben aber absolut gesehen einen großen Abstand, ein Distanzmaß würde daher einen kleinen Wert liefern Thomas Schäfer SS Clusteralgorithmen Clusterverfahren Graphentheoretische Verfahren Hierarchische Verfahren Partitionierende Verfahren Optimierungsverfahren agglomerativ divisiv Austauschverfahren Iteriertes Minimaldistanz Verfahren Single Linkage Complete Linkage Average Linkage Centroid Median Ward Thomas Schäfer SS

10 Clusteralgorithmen Partitionierende Verfahren Anfangsgruppierung vorgeben Sukzessive Verlagerung von Objekten in andere Gruppen Zielkriterium: Minimierung der Varianz innerhalb der Gruppen (Gruppeneinteilung reversibel) Hierarchische Verfahren a) agglomerativ: anfangs so viele Gruppen wie Fälle, sukzessives Zusammenfassen der Gruppen b) divisiv: anfangs alle Fälle in einer Gruppe, sukzessives Aufteilen der Fälle in Gruppen (Gruppeneinteilung nicht reversibel) Thomas Schäfer SS Algorithmen für hierarchische Clusteranalyse Single linkage (nächster Nachbar) Complete linkage (entferntester Nachbar) Average linkage: mittlere Distanz aller Fälle eines Clusters von allen Fällen des anderen Clusters Thomas Schäfer SS

11 Algorithmen für hierarchische Clusteranalyse Single Linkage Das Single Linkage Verfahren neigt zur Kettenbildung und kann daher Ausreißer ausfindig machen. Nachdem man diese entfernt hat, kann man mit Verfahren fortfahren, die schöne homogene Cluster bilden, z.b. Average Linkage oder Ward. Ward Verfahren Vereinige diejenigen Objekte, die die Streuung in einer Gruppe am wenigsten erhöhen (homogene Cluster). Thomas Schäfer SS Bestimmung der Clusterzahl nach statistischen Kriterien z.b. Entwicklung des Heterogenitätsmaßes (z.b. per Fehlerquadratsumme) Dendrogramm durch sachlogisch Überlegungen Konflikt zwischen der Heterogenitätsanforderung der Clusterzahl und der Handhabbarkeit der Clusterlösung auf die Clusterzahl beschränken (nicht nach den in den Clustern zusammengefassten Fällen gehen) Thomas Schäfer SS

12 Bestimmung der Clusterzahl Das Heterogenitätsmaß gibt die durchschnittliche Unähnlichkeit der Objekte in den Clustern an. Diese steigt natürlich, je weniger Cluster manwählt. Günstig ist es, nach einem Sprung in diesem Maß zu suchen. Es gibt immer einen Schritt weniger als ursprüngliche Fälle. Von der Gesamtzahl der Fälle zieht man den Schritt vor dem Sprung ab, um die Anzahl der Cluster zu bestimmen. Hier z.b = 5 mögliche Sprünge Thomas Schäfer SS Bestimmung der Clusterzahl Das Dendrogramm gibt das Heterogenitätsmaß gewissermaßen grafisch wieder und hilft so, die Anzahl von Clustern zu bestimmen. Man sucht sozusagen die größte Distanz, auf der nichts passiert. Thomas Schäfer SS

13 Interpretation der Cluster Nach der Bestimmung der Clusterzahl müssen die Cluster interpretiert werden. Dazu schaut man, welche Werte die Fälle in den Clustern nun auf den Ausgangsvariablen haben, mit denen die Analyse gemacht wurde. Weiterhin kann man sich überlegen, was die Fälle in den Clustern verbinden könnte. Eine Möglichkeit dafür ist, dass man sich potenzielle Variablen die für die Clusterung verantwortlich sein könnten anzeigen lässt (Label immer als String). So könnte man z.b. finden, dass bei zwei Clustern das eine Cluster aus Frauen, das andere aus Männern besteht. Thomas Schäfer SS Beispiel Clusteranalyse mit den 4 Entscheidungsstilen des DMQ (Vigilance, Hypervigilance, Buckpassing, Procrastination) aufgrunddieser dieser Variablen sollen Cluster von Studierenden gesucht werden, die sich ähnlich sind betrachten wir 20 Studierende (Fälle) und beginnen zunächst mit dem Single Linkage Verfahren (nächster Nachbar), um mögliche Ausreißer zu entdecken Ausreißer Thomas Schäfer SS

14 Beispiel nach Entfernen der Ausreißer suchen wir mit dem Ward Verfahren nach homogenen Clustern Thomas Schäfer SS Beispiel für die gefundenen Cluster sehen wir uns die Werte der enthaltenen Personen auf den Ausgangsvariablen an, um zu sehen, wie genau sie sich unterscheiden (z.b. mit Boxplots) Thomas Schäfer SS

15 Beispiel die gefundenen Cluster können anhand der Ausgangsvariablen näher beschrieben werden sie können von nun an hinsichtlich h hverschiedener Anwendungen einzeln betrachtet oder untersucht werden (z.b. für Forschungszwecke) untersucht man zusätzlich, ob die Cluster sich durch bestimmte Merkmale (Label) systematisch unterscheiden, kann man auch das als weiteres Forschungsergebnis benutzen Thomas Schäfer SS Beispiel 2 Studie von Jankowski und Zill (2009) Lassen sich Bands (bspw. Korn, Metallica) nach bestimmten Kriterien (bspw. p Anzahl der Mitglieder, Liedanzahl, amerikanisch oder nicht, Bewertung) zu Clustern gruppieren? 13 Versuchspersonen (in verschiedene Alben hineingehört) Thomas Schäfer SS

16 Beispiel 2 diese Informationen könnte man z.b. nutzen, um CDs im Geschäft nach Ähnlichkeit zu gruppieren Thomas Schäfer SS Beispiel 3 Wie lassen sich die Stadtteile von Chemnitz zu homogenen Clustern zusammenfassen? Variablen: Altersstrukturt Geschlecht Familienstand Ausländeranteil Bevölkerungsdichte Bevölkerungsentwicklung Haushalte (Größen, Formen) Mobilität/Wanderungen Hilfebedürftigkeit Flächen im Stadtteil Struktur der Wohngebäude Wohnungsgrößen Bausubstanzen Wahlergebnisse Bundestagswahl 2005 Chempirica ( Thomas Schäfer SS

17 Clusteranalyse mit SPSS I Thomas Schäfer SS Clusteranalyse mit SPSS II Thomas Schäfer SS

18 Vergleich Faktorenanalyse Clusteranalyse Gemeinsame Ausgangsbasis Fälle Variablen (meist) Variablen (meist) Fälle Korrelations Distanz /Ähnlichkeit (meist) matrix (meist) Variablen Fälle matrix ZIEL Dimensionsreduktion Gruppenbildung Thomas Schäfer SS