Clusteranalyse. Clusteranalyse. Fragestellung und Aufgaben. Abgrenzung Clusteranalyse - Diskriminanzanalyse. Rohdatenmatrix und Distanzmatrix

Transkript

1 TECHNISCHE UNIVERSITÄT MÜNCHEN-WEIHENSTEPHAN MATHEMATIK UND STATISTIK INFORMATIONS- UND DOKUMENTATIONSZENTRUM R. Biometrische und Ökonometrische Methoden II SS 00 Fragestellung und Aufgaben Abgrenzung - Diskriminanzanalyse Rohdatenmatrix und Distanzmatrix Proximitätsmaße und Merkmalsvariablen Distanzmaße bei quantitativen Merkmalen Euklidische Distanz Pearsonsche Distanz Manhattan-Metrik Gower-Distanz Mahalanobis-Distanz Klassifikationsverfahren Complete-Linkage-Verfahren Single-Linkage-Verfahren Average-Linkage-Verfahren Ward-Verfahren Centroid-Verfahren Median-Verfahren McQuitty-Verfahren k-mittelwerte-verfahren Eigenschaften der Klassifikationsverfahren

2 Fragestellung Aufgaben Einordnung von Objekten in Gruppen anhand von mehreren Merkmalen Beispiel: Klassifikation Optimale Aufteilung einer Menge von Objekten in möglichst homogene Gruppen anhand ihrer Merkmale Untersuchungsobjekte: Betriebskenngrößen: Landwirtschaftliche Betriebe Landwirtschaftliche Nutzfläche Großvieheinheiten Betriebseinkommen etc. Beispiel: Einteilung von Pflanzenbeständen in Fruchtarten anhand ihres Rückstreuverhaltens bei verschiedenen Wellenlängen Datenreduktion Einteilung in Betriebe ähnlicher Wirtschaftsweise, evtl. Pflanzenbaubetriebe, Tierhaltungsbetriebe, Gemischtbetriebe Vereinfachte Darstellung einer Menge von Objekten Auffinden von Mustergruppen oder Mustertypen n p x ik Objekte o i Merkmalsvariablen x k Ausprägung des k-ten Merkmals des i-ten Objekts (i=1,...,n, k=1,...,p) Beispiel: Welches Rückstreuverhalten ist für einen gesunden Zuckerrübenbestand typisch? Hypothesenerzeugung Auffinden von Hypothesen über die Merkmale bzw. die Gruppeneinteilung. Merkmal 2 Merkmal 2 Beispiel: Hat ein gesunder Zuckerrübenbestand ein signifikant anderes Rückstreuverhalten als ein kranker Bestand? Merkmal 1 Merkmal 1

3 Gruppenzugehörigkeit unbekannt Einordnung von Objekten in ähnliche Gruppen unüberwachte Klassifikation (unsupervised classification) Klassifikation Ausgangssituation n Objekte o i, i = 1,2,...,n p quantitative, qualitative oder binäre Merkmalsvariablen Rohdatenmatrix X n p = (), k = 1,2,...,p Merkmal 1 þ Merkmal k þ Merkmal p Objekt 1 x11 þ x1k þ x1p!!!! Objekt i x þ x þ x i1 ik ip!!!! Objekt n x þ x þ x n1 nk np Diskriminanzanalyse Gruppenzugehörigkeit bekannt Einordnung neuer Objekte in bekannte Gruppen überwachte Klassifikation (supervised classification) Gruppe 1 Gruppe 2 Für jedes Objektpaar (o i,o j) ist eine Distanz d ij definiert Distanzmatrix D n n = (d ij), i,j = 1,2,...,n Objekt 1 þ Objekt i þ Objekt n Objekt 1 d11 þ d1i þ d1n!!!! Objekt i d þ d þ d i1 ii in!!!! Objekt n d þ d þ d n1 ni nn Gruppe 3 Gesucht: Aufteilung der n Objekte in g Gruppen Objekte einer Gruppe möglichst ähnlich (kleine Distanz) Gruppen untereinander möglichst unähnlich (große Distanz) neue Objekte Untersuchung der Gruppenunterschiede Klassifikation mit Diskriminanzanalyse Fragen: Welches Proximitätsmaß wird gewählt? Welches Klassifikationsverfahren legt Einteilung fest? Wieviele Gruppen sind zu unterscheiden?

4 Proximitätsmaße Distanzmaße bei quantitativen Merkmalen Ähnlichkeitsmaße: Quantifizieren die Ähnlichkeit zwischen zwei Objekten. Je größer der Wert, desto ähnlicher sind die beiden Objekte. Distanzmaße: Quantifizieren die Unterschiedlichkeit zwischen zwei Objekten. Je größer der Wert, desto unähnlicher sind die beiden Objekte. Euklidische Distanz d 2 (O i,o j )' d 2 p 2 (O i,o j )' j k'1 j p k'1 Pearsonsche Distanz &x jk 2 &x jk 2 (quadriert) Merkmalsvariablen Binär: Merkmal vorhanden (1) oder nicht (0) Tanimoto-Koeffizient Russel & Rao (RR)-Koeffizient Simple Matching (M)-Koeffizient Nominal und Ordinal: Transformation in binäre Merkmale Quantitativ: Metrische Merkmale Euklidische Distanz Pearsonsche Distanz Manhattan-Metrik Gower-Distanz Mahalanobis-Distanz d P (O i,o j )' Manhattan-Metrik d 1 (O i,o j )' j p Gower-Distanz k'1 d G (O i,o j )' j p k'1 j p k'1 &x jk 2 s 2 k &x jk Mahalanobis-Distanz &x jk r k mit r k 'max k &min k d 2 M ' x i &x ) j S &1 x i &x j mit s rc ' 1 n n j i'1 x ir &x.r x ic &x.c

5 Fette - Fettsäuremuster Hierarchische Agglomerative Klassifikationsverfahren Buttersäure Laurinsäure Myristinsäure [g / 100 g] Palmitinsäure Stearinsäure Ölsäure Linolsäure Linolensäure Anfang: n Gruppen mit jeweils einem Objekt Schrittweise Fusion ähnlicher Objekte oder Gruppen Reduzierte Distanzmatrix Heterogenitätsmaß der Partition h(p) = min d µ Darstellung der Partitionen P durch ein Dendrogramm Kuhmilch Maisöl Palmkernfett Rindertalg Schweinefett Sojaöl Verfahren d (µ)8 Complete-Linkage max(d,d ) 8 µ8 Single-Linkage min(d,d ) 8 µ8 Fette - Euklidische Distanzen Average-Linkage n d 8 %n µ d µ8 n %n µ Ward (n %n 8 )d 8 %(n µ %n 8 )d µ8 &n 8 d µ n %n µ %n 8 Kuhmilch Maisöl Palmkernfett Rindertalg Schweinefett Sojaöl Centroid n d 8 %n µ d µ8 n %n µ & n n µ d µ (n %n µ ) 2 Kuhmilch 0 Maisöl Palmkernfett Rindertalg Schweinefett Sojaöl Median McQuitty d 8 %d µ8 2 d 8 %d µ8 2 & d µ 4

6 Fette - Complete-Linkage Fette - Complete-Linkage Euklidische Distanzmatrix D: * * * * * * Fusion von 2 (Maisöl) und 6 (Sojaöl) h = min d = d = µ 26 Bestimmung der neuen Distanzen: d = max(d,d ) = d = 66.0 (26) d = max(d,d ) = d = 73.4 (26) d = max(d,d ) = d = 54.6 (26) d = max(d,d ) = d = 60.7 (26) Reduzierte Distanzmatrix D : 1 (26) * (26) 66.0 * * * * Reduzierte Distanzmatrix D : 1 (26) * (26) 66.0 * * * * Fusion von 4 (Rindertalg) und 5 (Schweinefett) h = min d = d = µ 45 Bestimmung der neuen Distanzen: d (45)1 = max(d 41,d 51) = d 41 = 23.6 d (45)(26) = max(d 4(26),d 5(26) ) = d 5(26) = 60.7 d (45)3 = max(d 43,d 53) = d 43 = 64.5 Reduzierte Distanzmatrix D : 1 (26) 3 (45) 1 * (26) 66.0 * * (45) *

7 Fette - Complete-Linkage Fette - Complete-Linkage Reduzierte Distanzmatrix D : 1 (26) 3 (45) 1 * (26) 66.0 * * (45) * Fusion von (45) und 1 (Kuhmilch) h = min d = d = µ (45)1 Bestimmung der neuen Distanzen: d = d = max(d,d ) = d = 66.0 (1(45))(26) (145)(26) 1(26) (45)(26) 1(26) d = d = max(d,d ) = d = 64.5 (1(45))3 (145)3 13 (45)3 (45)3 Reduzierte Distanzmatrix D : (145) (26) 3 (145) * (26) 66.0 * * Reduzierte Distanzmatrix D : (145) (26) 3 (145) * (26) 66.0 * * Fusion von (145) und 3 (Palmkernfett) h = min d = d = µ (145)3 Bestimmung der neuen Distanzen: d = d = max(d,d ) = d = 73.4 (3(145))(26) (1345)(26) 3(26) (145)(26) 3(26) Reduzierte Distanzmatrix D : (1345) (26) (1345) * (26) 73.4 * Fusion von (1345) und (26) zu (123456) h = min d = d = µ (1345)(26)

8 Fette - Complete-Linkage Iterative Klassifikationsverfahren Partitionen Dendrogramm Partition Index Gruppen P (1), (2), (3), (4), (5), (6) P (1), (26), (3), (4), (5) P (1), (26), (3), (45) P (145), (26), (3) P (1345), (26) P (123456) h Iterative Verbesserung einer gegebenen Anfangspartition k-mittelwerte-verfahren (k-means-procedure) Anfangspartition aufgrund hierarchischem Verfahren zufällig willkürlich Verschiebung von Objekten in verschiedene Gruppen Kriterien: Abstandsquadratsummenkriterium Varianzkriterium Determinantenkriterium Spurkriterium Lokales (jedoch i.a. kein globales) Minimum Kuhmilch Rindertalg Schweinefett Palmkernfett Maisöl Sojaöl

9 Betriebe Betriebe - Klassifikation MTB > Retrieve "TPG_BETR.MTW". Retrieving worksheet from file: TPG_BETR.MTW MTB > Print 'LN' 'GV/ha' 'AK'. Data Display Row LN GV/ha AK MTB > Cluo 'LN' 'GV/ha' 'AK'; SUBC> Complete; SUBC> Euclidean; SUBC> Dendrogram. Cluster Analysis of : LN; GV/ha; AK Euclidean Distance, Complete Linkage Amalgamation Steps Step No. of Simil. Dist. Clusters New No. of obs. clusters level level joined cluster in new cluster Final Partition Number of clusters: 1 No. of Within cluster Aver. dist. Max. dist. obs. sum of squares from centroid from centroid Cluster

10 Betriebe - Dendrogramme Betriebe - Dendrogramme Similarity Complete-Linkage - Euklidischer Abstand Similarity Average-Linkage - Euklidischer Abstand Similarity Single-Linkage - Euklidischer Abstand Average-Linkage - Quadratischer Euklidischer Abstand Similarity

11 Betriebe - Dendrogramme Betriebe - Ward-Klassifikation Distance Distance Ward - Euklidischer Abstand Ward - Manhattan-Metrik MTB > Name c4 'Ward' MTB > Cluo 'LN' 'GV/ha' 'AK'; SUBC> Ward; SUBC> Pearson; SUBC> Standardize; SUBC> Number 3; SUBC> Dendrogram; SUBC> Title "Ward - Pearsonscher Abstand"; SUBC> Type 2 3 4; SUBC> Member 'Ward'. Cluster Analysis of : LN; GV/ha; AK Standardized Variables, Pearson Distance, Ward Linkage Amalgamation Steps Step No. of Simil. Dist. Clusters New No. of obs. clusters level level joined cluster in new cluster : : : : : : : : : : : : : : : : Final Partition Number of clusters: 3 No. of Within cluster Aver. dist. Max. dist. obs. sum of squares from centroid from centroid Cluster Cluster Cluster Cluster Centroids Variable Cluster1 Cluster2 Cluster3 Grand centrd LN GV/ha AK Distances Between Cluster Centroids Cluster1 Cluster2 Cluster3 Cluster Cluster Cluster

12 Betriebe - k-means-klassifikation Betriebe - Vergleich Ward - k-means MTB > Name c5 'k-means' MTB > KMean 'LN' 'GV/ha' 'AK'; SUBC> Init 'Ward'; SUBC> Standardize; SUBC> Member 'k-means'. K-means Cluster Analysis: LN; GV/ha; AK Standardized Variables Final Partition Number of clusters: 3 No. of Within cluster Aver. dist. Max. dist. obs. sum of squares from centroid from centroid Cluster Cluster Cluster Cluster Centroids Variable Cluster1 Cluster2 Cluster3 Grand centrd LN GV/ha AK MTB > Print 'LN' 'GV/ha' 'AK' 'Ward' 'k-means'. Data Display Row LN GV/ha AK Ward k-means Distances Between Cluster Centroids Cluster1 Cluster2 Cluster3 Cluster Cluster Cluster Similarity Ward - Pearsonscher Abstand

13 Eigenschaften der einzelnen Klassifikationsverfahren Complete-Linkage: dilatierend kleine homogene Gruppen betont Gruppenunterschiede Single-Linkage: kontrahierend große Gruppen betont Zusammenhang in den Gruppen Average-Linkage: zwischen Complete- und Single-Linkage Ward-Verfahren: leistungsfähig sehr homogene Gruppen Centroid-Verfahren: weniger empfehlenswert Median-Verfahren: weniger empfehlenswert McQuitty-Verfahren: weniger empfehlenswert k-means-verfahren: Verbesserung einer hierarchischen Anfangspartition