Reader Teil 5: Clusteranalyse

Transkript

1 r. Katharina est Sommersemester Mai 2011 Reader Teil 5: Clusteranalyse WiMa-raktikum ei der Clusteranalyse wollen wir Gruppen in aten auffinden. ie Aufgabe ist, in vorhandenen aten Klassen resp. Cluster so zu bestimmen, dass sich die lemente einer Klasse ähneln währed diejenigen aus unterschiedlichen Klassen möglichst unterschiedlich sind. etrachten Sie dazu die Abbildung 1. Wie ließe sich da gruppieren? Relativer Anteil der andwirtschaft in % ruttosozialprodukt Abbildung 1: ie aten sind rhebungen der U aus dem Jahr ie waagrechte Achse zeigt das ruttosozialprodukt, die senkrechte den relativen Anteil der andwirtschaft am ruttosozialprodukt. ie unkte stellen die änder da, sind jedoch unbeschriftet. Seite 1 von 5

2 Katharina est: Wima-raktikum Reader 1 Vorgehen der Clusteranalyse ie Verfahren der Clusteranalyse unterscheiden sich im Aufbau in ihrem istanz- bzw. Ähnlichkeitsbegriff und ihrer algorithmischen Ausrichtung. artitionierende Verfahren ine Zielfunktion soll optimiert werden. Zu diesem Zweck wird eine artition der unkte festgelegt und diese werden mittels ermutationen und anderen Austauschfunktionen den einzelnen Klassen zugeordnet. Hierbei ist die Anzahl der Klassen von vornherein feststehend. Hierarchische Verfahren s kann der top-down oder der bottom-up Ansatz gewählt werden. abei wird von der feinsten (jedes lement in einer eigenen Menge) resp. gröbsten artition (eine Menge) ausgegangen. Anschließend werden diese artitionen zusammengefasst resp. aufgespalten. Augenscheinlich ist, dass hier eine Abbruchbedingung von Nöten ist, denn sonst endet man mit der gröbsten resp. feinsten artition. 2 istanz- und Ähnlichkeitsmaße 2.1 efinition des istanzmaßes in istanzmaß auf dem Raum S ist eine Abbildung δ : S S [0, ) mit δ(x, x) = 0 und δ(x, y) = δ(y, x) für x, y S. Natürlich ist eine Metrik auch ein istanzsmaß. er Abstand zweier eobachtungen wird durch den Abstand ihrer Merkmalsvektoren angegeben, gemessen mit δ. 2.2 eispiele von istanzmaßen ie bekanntesten istanzmaße sind durch p-normen erzeugte Metriken, genannt Minkowski-Metriken. abei ist δ p (x, y) = x y p und ( n ) 1/p x p := x i p, (1) i=1 die bekanntesten istanzmaße sind p = 1: Manhattan-Metrik, p = 2: uklidische Abstand, p = : Maximumsabstand. Seite 2 von 5

3 Katharina est: Wima-raktikum Reader in weiteres wichtiges istanzmaß ist die Mahalanobis-istanz, gegeben durch wobei δ S := S y,n := 1 n 1 ( (y i y j ) T S y,n 1 (y i y j )) 1/2, (2) n i=1 die empirische Kovarianzmatrix der Werte y 1,... y n R r ist. (y i y j )(y i y j ) T (3) 2.3 igenschaften von istanzmaßen Skaleninvarianz in istanzmaß δ ist skaleninvariant auf der Menge {y 1,..., y n }, falls δ(y i, y j ) = δ(αy i, αy j ) gilt für alle i, j {1,..., n} und alle iagonalmatrizen α = diag(α 1,..., α r ). Translationsinvarianz in istanzmaß δ ist translationsinvariant auf der Menge {y 1,..., y n }, falls δ(y i, y j ) = δ(y i + z, y j + z) gilt für alle i, j {1,..., n} und alle z R r. nvarianz unter orthogonalen Transformationen in istanzmaß δ ist invariant unter orthogonalen Transformationen auf der Menge {y 1,..., y n }, falls δ(y i, y j ) = δ(αy i, αy j ) gilt für alle i, j {1,..., n} und alle orthogonalen Matrizen α, d. h. α T α = r, wobei r die inheitsmatrix des R r ist. ie Minkovski-Metriken sind zwar translationsinvariant, jedoch nicht skaleninvariant. er euklidische Abstand ist darüber hinaus noch invariant unter orthogonalen Transformationen. ie Mahalanobis-istanz ist so beliebt, da sie sowohl skalen- als auch translationsinvariant ist, desweiteren auch invariant unter orthogonalen Transformationen. 2.4 efinition des Ähnlichkeitsmaßes in Ähnlichkeitsmaß auf dem Raum S ist eine Abbildung ρ : S S [0, 1] mit ρ(x, x) = 1 und ρ(x, y) = ρ(y, x) für x, y S. Natürlich sind istanz- und Ähnlichkeitsmaße verwandt, allein schon dadurch, dass zwei unkte, die bezüglich eines istanzmaßes einen kleinen Abstand haben, ähnlich sind. Überlegen Sie sich, wie diese ineinander übergeführt werden können. nsbesondere bei kategorialen aten werden lieber (aus historischen Gründen) ausgewiesene Ähnlichkeitsmaße verwendet. 2.5 eispiele von Ähnlichkeitsmaßen ie bekanntesten Ähnlichkeitsmaße bei ummy-kodierten Merkmalsvektoren sind Seite 3 von 5

4 Katharina est: Wima-raktikum Reader Jacard-Koeffizient, gegeben durch ρ J (i, j) := y T i y j r (1 y i ) T (1 y j ) 1 {(1 y i ) T (1 y j )<r} + 1 {(1 y i ) T (1 y j )=r}, Czekanowsky-Koeffizient, gegeben durch ρ X (i, j) := 2y T i y j y T i y j + r (1 y i ) T (1 y j ) 1 {(1 y i ) T (1 y j )<r} + 1 {(1 y i ) T (1 y j )=r}, M-Koeffizient, gegeben durch ρ M (i, j) := yt i y j + (1 y i ) T (1 y j ). r 3 Hierarchische Verfahren 3.1 Single-inkage-Verfahren Hierbei wird der Abstand zweier Mengen A, als der minimale Abstand der lemente, δ(a, ) = min δ(i, j) i A,j definiert. ie Methode wird als Single-inkage- oder Nearest-Neighbour-Verfahren bezeichnet. 3.2 Complete-inkage-Verfahren er Abstand zweier Mengen A, ist der maximale Abstand der lemente, δ(a, ) = max δ(i, j). i A,j ie Methode wird als Complete-inkage- oder urthest-neighbour-verfahren bezeichnet. 3.3 Average-inkage-Verfahren er Abstand zweier Mengen A, mit A = n A, = n wird hier gemittelt über die inzelabstände, definiert. δ(a, ) = 1 n A n i A j δ(i, j) Seite 4 von 5

5 Katharina est: Wima-raktikum Reader single N K average complete median K N N K N K Abbildung 2: endrogramme der oberen andwirtschaftsdaten für verschiedene hierarchische Verfahren, von links nach rechts: single linkage, average linkage, complete linkage, median. 3.4 Zentroid- und Median-Verfahren ei dieser Abstandsmessung wird jeweils ein Schwerpunkt der Menge gebildet, also Y A := 1 n A i A y i und Y := 1 n j y j. as Zentroid-Verfahren gibt dann als Abstand zweier Mengen δ(a, ) = δ 2 (Y A, Y ) 2, während das Median-Verfahren δ(a, ) = δ 1 (Y A, Y ), wählt. 4 Abbruch des hierarchischen rozesses 4.1 arstellung der Clusterbildung as Vorgehen des Vereinigens kann mit einem endrogramm dargestellt werden. Hierbei werden Klassen minimaler istanz verbunden. ie istanzen werden durch die Abstände zwischen den Verbindungen kodiert, siehe dazu die Abbildung 2 So kann visuell eine geeignete istanz, in der das Verfahren abgebrochen wird, bestimmt werden. arüber hinaus erhält man eine schöne Visualisierung des ffektes der verschiedenen Abstandsmaße. 4.2 Clusteranzahl as visuelle Vorgehen von oben kann auch funktional aufbereitet werden. azu wird eine unktion ϕ mittels ϕ(k) := min δ(a, ) (4) A, artition zur Zeit k+1 definiert, die Abstände der Zukunft abbildet und deren Steigung dann ein Abbruchkriterium liefert. Seite 5 von 5