Combinatorial optimisation and hierarchical classication

Transkript

1 Universität zu Köln Zentrum für Angewandte Informatik Prof. Dr. R. Schrader Seminar im Wintersemester 2007/2008 Ausgewählte Kapitel des Operations Research Combinatorial optimisation and hierarchical classication Teil III von Judith Ernst 1

2 Inhaltsverzeichnis 1 Einleitung 3 2 Subdominante Theorie Subdominante Begrie und Denitionen Analytischer Zugang zu Subdominanten Eigenschaften von Subdominanten Subdominantes Theorem Subdominante Ultrametriken Zusammenfassung und Ausblick 9 4 Literatur 9 2

3 1 Einleitung Das Thema Combinatorial optimisation and hierarchical classication handelt von dem Problem Daten so zu ordnen, dass ähnliche zusammengefasst und unterschiedliche getrennt werden. Dabei geht man dem Problem nach, einen geeigneten Ähnlichkeitsbegri zu schaen. Diese Arbeit baut auf zwei Teilen auf und befasst sich mit sogenannten Subdominanten, über die Ultrametriken abgeschätzt werden. Ziel ist es, eine Clusterstruktur für eine gegebene Datenmenge zu erhalten. Damit wird die Homogenität der Elemente einer Klasse und die Abgrenzung zu einer anderen Klasse optimiert und dabei eine schärfere Strukturierung geschaen. Da hierbei Ultrametriken eine wichtige Rolle spielen, mag folgende Proposition einen ersten Einstieg in die Konstruktionsvorschrift zur Erzeugung einer Ultrametrik geben. Proposition 1 Sei d eine Dissimilarity auf X. Sei G ein vollständiger Graph mit X als Knotenmenge, seine Kanten sind durch d gewichtet (d(x,y) ist das Gewicht der Kante xy). T bezeichnet einen minimal spannenden Baum von G. Dann erhält man eine Ultrametrik genau dann, wenn d(x,y) das gröÿte Gewicht einer Kante in T zwischen x und y ist. 2 Subdominante Theorie 2.1 Subdominante Begrie und Denitionen Ziel ist es nun, eine Dissimilarity durch eine Metrik bestmöglichst abzuschätzen. Dies führt zu folgender Denition: Sei M eine Menge von Dissimilarities auf X. Dann ist S(M, d) = max{d : d M und d d} die Menge der kleinsten Dissimilarities d, die eine gegebene Dissimilarity d nach unten bestmöglichst abschätzt. d d ist dabei komponentenweise zu verstehen, d.h. d (x, y) d(x, y) x, y X. Man unterscheidet drei Fälle: 3

4 Fall 1: S(M, d) d D. Ein Element d dieser Menge wird als kleinste maximale Dissimilarity von d bezeichnet. Fall 2: S(M, d) = 1 d D. Das einzige Element d dieser Menge wird als schwache Subdominante von d bezeichnet. Fall 3: S(M, d) = 1 d D und d ist Maximum. Das einzige Element d dieser Menge wird als M-Subdominante von d bezeichnet. Fall 3 beinhaltet Fall 2 und Fall 2 beinhaltet Fall 1. Das folgende Beispiel dient der Veranschaulichung des Unterschieds zwischen Fall 2 und Fall 3: d x y z t x y d x y z t x y n d x y z t x y Der Unterschied zwischen den beiden Fällen ist, dass in Fall 2 das einzige Element von S(M, d) kein Maximum ist, d.h. wir haben d M, aber nicht d d Analytischer Zugang zu Subdominanten Man kann Subdominanten analytisch bestimmen, indem man folgende Optimierungsaufgabe löst. Für p < : min{ d d p p : d M und d d} Dabei bezeichnet d d p p = d(x, y) d (x, y) p. x X, y Y Das Ergebnis der Optimierungsaufgabe ist allerdings nicht zwingend eine Subdominante, was folgendes Beispiel zeigt: d x y z t x y d x y z t x y d n x y z t x n 2 y n

5 d d p p = 2 1 p = 1 p = 1, d.h. das Optimierungsproblem lässt sich lösen und d stellt somit eine M-Subdominante dar. d d n p p = 1 n p + 1 n p = 2, d.h. das Optimierungsproblem ist nicht n p lösbar ( lim d d n p p = 0) n Eigenschaften von Subdominanten Folgende Eigenschaften stellen eine Charakterisierung von Subdominanten dar: (i) d M (ii) d = d (iii) d d (iv) d = d d = d Bem. 1 besagt, dass die Subdominante selbst wieder eine Dissimilarity darstellt. Bem. 2 besagt, dass die Subdominante der Subdominante wieder eine Subdominante ist. Bem. 3 folgt unmittelbar aus der Denition. Bem. 4 stellt die Eindeutigkeit der Subdominante dar Subdominantes Theorem Über die Existenz von Subdominanten zu gegebenen Metriken informiert das nachfolgende Theorem 1: Theorem 1 Ultrametriken (U) und 2-Ultrametriken (2U) besitzen Subdominanten. Dieses Theorem motiviert nach Subdominanten für gegebene Ultrametriken bzw. 2-Ultrametriken zu suchen. Dies ist Bestandteil des folgenden Abschnitts. 2.2 Subdominante Ultrametriken Ausgehend von einer gegebenen Dissimilarity, wird eine subdominante Ultrametrik durch den folgenden Algorithmus erhalten: 5

6 Algorithm 1 Input: eine Dissilmilarity d auf X Output: eine subdominante Ultrametrik u Variable: X i, eine Teilmenge von X; p, ein Element von X; eine Funktion f : X R + Initialisierung: u = d Sei p X X i = {p} (beliebig) x X \ {p} setze f(x) = Für i = 1 bis n 1: x X \ X i überprüfe: wenn d(p, x) < f(x), dann setze f(x) = d(p, x) Bestimme x X \ X i : min{f(y) : y X \ X i = f(x)} p = x x X \ X i überprüfe: wenn d(p, x) > f(p), dann setze u(p, x) = f(p) X i+1 = X i {p} Gebe u aus 6

7 Das Ergebnis des Algorithmus soll im Folgenden an den Beispieldaten von Henley illustriert werden: Abb. 1 Henley Daten, Dissimilarities X = {Sheep,..., Bear} (n = 12) i = 1 Wähle X 1 = {Sheep}, setze x X \ {Sheep} : f(x) = x X \ {Sheep} gilt d(sheep, x) < f(x) = f(x) = d(sheep, x) Suche min{f(y) : y X \ Sheep} = 0.18 mit y = {Goat} p = Goat Überprüfe, ob d(goat, x) > f(goat) = u(goat, Sheep) Das gilt hier nicht, setzte X 2 = X 1 {Goat} = {Sheep.Goat} i = 2 Auf gleiche Weise erhält man dann p = Horse. Nach i 1 Iterationsschritten erhält man schlieÿlich folgende hierarchische Clusterstruktur: Abb. 2 hierarchische Clusterstruktur, subdominante Dissimilarities 7

8 Vergleicht man dieses Ergebnis mit der Clusterstruktur in Abb. 3, welche auf der Dissimilarity nach Robinson basiert, so erkennt man: In Abb. 3 sind die Elemente Dog, Cow, Sheep und Bear erst auf einem höheren Niveau zu einem Cluster zusammengefasst als in Abb. 2. Man stellt fest, dass das Clustering maÿgeblich von der Metrik abhängt. Abb. 3 hierarchische Clusterstruktur, Robinsonian Dissimilarities Während Proposition 1 eine Konstruktionsvorschrift für die Erzeugung einer Ultrametrik d liefert, ist das Ergebnis von Proposition 2 schärfer. Es liefert nämlich eine Konstruktionsvorschrift für die Erzeugung subdominanter Ultrametriken d. Proposition 2 Sei d eine Dissimilarity auf X. Sei G der vollständige Graph mit X als Knotenmenge, seine Kanten sind durch d gewichtet (d(x, y) ist das Gewicht der Kante xy). T bezeichnet einen minimal spannenden Baum von G. Dann erhält man die subdominante Ultrametrik d von d wie folgt: d (x, y) ist das gröÿte Gewicht einer Kante in T zwischen x und y. Der Unterschied zwischen den beiden Propositionen liegt darin, dass man in Propositon 1 aus einem minimal spannenden Baum eine Ultrametrik erhält, während dies in Proposition 2 für subdominante Ultrametriken nicht gilt. 8

9 Der minimal spannende Baum lässt sich mit Hilfe des Prim Algorithmus konstruieren, der auch in Algorithmus 1 seine Anwendung ndet. Beide Konstruktionsvorschriften (Proposition 1 und 2) sind dadurch in der Komplexität O(n 2 ), wobei n die Dimension des Grundraums X bezeichnet. 3 Zusammenfassung und Ausblick In den vorhergegangenen Teilen wurde der Zusammenhang zwischen Dissimilarities und Clusterstrukturen deutlich gemacht. Dabei wurde weiterhin darauf hingewiesen, dass durch verschiedene Dissimilarities verschiedene Clusterstrukturen entstehen. In dieser Arbeit standen nun subdominante Ultrametriken im Fokus des Interesses. Mit Algorithmus 1 bzw. Proposition 2 erhält man aus einer gegebenen Dissimilarity eine subdominante Ultrametrik. Für die in Proposition 2 beschriebene Konstruktionsvorschrift ist die Erzeugung minimal spannender Bäume essentiell. Der Algorithmus 1 wurde beispielhaft auf die Daten von Henley angewendet. Das Ergebnis zeigt Abb. 2. Ein Vergleich mit der Clusterstruktur aus Abb. 3 deutet daraufhin, dass Clusterstrukturen maÿgeblich von der erzeugten Metrik abhängen. Für die Erzeugung weiterer Metriken gibt es ähnliche Algorithmen, speziell für 2-Ultrametriken von der Komplexität O(n 4 ), für die man wiederrum eine andere Clusterstruktur erhält. Auf diese soll in dieser Arbeit jedoch nicht weiter eingegangen werden. Der interessierte Leser wird auf die angegebene Literaturquelle verwiesen. 4 Literatur J.-P. Barthelemy, F. Bruckner, C. Osswald; Combinatorial optimisation and hierarchial classication; Ann Oper Res (2007) 153: S