5.4 Hierarchische Verfahren

Transkript

1 Ziel Grundlagen Konstruktion einer Hierarchie von lustern (meist repräsentiert durch ein sog. Dendrogramm), ) so dass immer die luster mit minimaler i Distanz verschmolzen werden Dendrogramm ein Baum, dessen Knoten jeweils einen luster repräsentieren, mit folgenden Eigenschaften: die Wurzel repräsentiert die ganze DB die Blätter repräsentieren einzelne Objekte ein innerer Knoten repräsentiert einen luster bestehend aus allen Objekten des darunter liegenden Teilbaums

2 Beispiel eines Dendrogramms Grundlagen Distanz zwischen 1 den lustern Typen von hierarchischen Verfahren (meistens best-first Heuristiken) Bottom-Up Konstruktion des Dendrogramms (agglomerative) Top-Down Konstruktion des Dendrogramms (divisive) 0

3 gglomeratives hierarchisches lustering 1. Bilde initiale luster, die jeweils aus einem Objekt bestehen, und bestimme die Distanzen zwischen allen Paaren dieser luster. 2. Bilde einen neuen luster aus den zwei lustern, welche die geringste Distanz zueinander haben. 3. Bestimme die Distanz zwischen dem neuen luster und allen anderen lustern. 4. Wenn sich alle Objekte in einem einzigen luster befinden: Fertig, andernfalls wiederhole ab Schritt 2.

4 Distanzfunktionen für luster Die Verfahren unterscheiden sich anhand ihrer Distanzfunktionen für luster Beliebte Distanzfunktionen (lustermodell: Kompaktheit): Single Link omplete Link verage Link Sei eine Distanzfunktion dist(x,y) für Paare von Objekten gegeben Seien X, Y luster, d.h. Mengen von Objekten. 63

5 Single-Link Distanz Definition: distsl( X, Y ) min dist( x, y) Eigenschaften: x X, y Y Effiziente Implementierung (z.b. SLINK): O(n 2 ) Single-Link Effekt: kettenförmige luster, luster werden durch wenige, kettenförmig verteilte Objekte vereinigt luster mit starker Streuung luster mit langgezogener Struktur

6 omplete-link Distanz Definition: distl( X, Y ) max dist( x, y) x X, y Y Eigenschaften: Effiziente Implementierung (z.b. LINK): O(n 2 ) omplete-link Effekt Kleine, stark abgegrenzte luster Gleichgroße, konvexe luster

7 Definition: verage-link Distanz 1 distl ( X, Y ) dist( x, y) X Y Eigenschaften: X xx, yy Keine effiziente Implementierung Kompromiss zwischen Single- und omplete-link nsatz

8 Diskussion + erfordert keine Kenntnis der nzahl k der luster + findet nicht nur ein flaches lustering, sondern eine ganze Hierarchie + ein einzelnes lustering kann aus dem Dendrogramm gewonnen werden, z.b. mit Hilfe eines horizontalen Schnitts durch das Dendrogramm (erfordert aber wieder nwendungswissen: wo ist ein sinnvoller Schnitt?) - Entscheidungen können nicht zurückgenommen werden (best first search) - Single-Link-Effekte, omplete-link-effekte - Ineffizienz: Laufzeitkomplexität von mindestens O(n 2 ) für n Objekte

9 Dichtebasiertes hierarchisches lustering [nkerst, Breunig, Kriegel & Sander 1999] für einen konstanten MinPts-Wert sind dichte-basierte luster bzgl. eines kleineren vollständig ä in lustern bzgl. eines größeren enthaltenh l MinPts = in einem DBSN-ähnlichen Durchlauf gleichzeitig das lustering für verschiedene Dichte-Parameter bestimmen zuerst die dichteren Teil-luster, dann den dünneren Rest-luster kein Dendrogramm, sondern eine auch noch bei sehr großen Datenmengen übersichtliche Darstellung der luster-hierarchie lustermodell: Dichte

10 Grundbegriffe Kerndistanz eines Objekts o bzgl. und MinPts Kerndistanz, MinPts ( o) UNDEFINIER T, MinPtsDist anz( o), wenn RQ( o,ε) sonst MinPts Erreichbarkeitsdistanz eines Objekts p relativ zu einem Objekt o Erreichbarkeitsdistanz, MinPts UNDEFINIER N T wenn RQ ( o,ε) MinPts ( p, o) max{ Kerndistanz( o), dist( o, p)}, sonst MinPts = 5 q p o Kerndistanz(o) o Erreichbarkeitsdistanz(p,o) Erreichbarkeitsdistanz(q,o)

11 lusterordnung OPTIS liefert nicht direkt ein (hierarchisches) lustering, sondern eine lusterordnung bzgl. e und MinPts lusterordnung bzgl. e und MinPts beginnt mit einem beliebigen bi Objekt als nächstes wird das Objekt besucht, das zur Menge der bisher besuchten Objekte die minimale Erreichbarkeitsdistanz besitzt ore-distance Kerndistanz Reachability-distance Erreichbarkeits- 4 distanz 18 lusterordnung

12 lgorithmus OPTIS Datenstrukturen SeedList speichert Punkte mit aktueller Erreichbarkeitsdistanz aufsteigend sortiert lusterorder resultierende lusterordnung wird schrittweise aufgebaut Hauptschleife: SeedList = ; WHILE es gibt noch unmarkierte Objekte in DB DO IF SeedList = THEN füge beliebiges noch unmarkiertes Objekt in lusterorder ein mit Erreichbarkeitsdistanz ; ELSE füge erstes Objekt aus der SeedList mit aktueller Erreichbarkeitsdistanz in lusterorder ein; // sei obj das zuletzt in lusterorder eingefügte Objekt markiere obj als bearbeitet; FOR LL neighbor RQ(obj, ) DO // insert/update neighbor in SeedList mit referenzobjekt obj SeedList.update(neighbor, obj);

13 lgorithmus OPTIS Einfügen/Updaten eines Objekts o in SeedList Beachte: Für alle Objekte p in SeedList ist die aktuelle aktuelle Erreichbarkeitsdistanz p.rdist gespeichert. SeedList ist nach p.rdist aufsteigend sortiert (als Heap organisiert) Referenzobjekt: obj SeedList :: update(o, obj) Berechne Erreichbarkeitsdistanz,MinPts (o, obj) =: rdistneu_o; IF o ist bereits in SeedList THEN IF rdistneu_o o.rdist THEN o.rdist := rdistneu_o; verschiebe o in SeedList (nach vorne); // aufsteigen im Heap ELSE // o ist noch nicht in SeedList => normales Einfügen in Heap füge o mit o.rdist := rdistneu_o in SeedList ein;

14 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R seed list:

15 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach D E G F H 44 B coredistance I K M N L P R seed list: (B,40) (I, 40)

16 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B seed list: (I, 40) (, 40)

17 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I seed list: (, 20) (K, 20) (L, 31) (, 40) (M, 40) (R, 43)

18 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I seed list: (L, 19) (K, 20) (R, 21) (M, 30) (P, 31) (, 40)

19 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L seed list: (M, 18) (K, 18) (R, 20) (P, 21) (N, 35) (, 40)

20 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M seed list: (K, 18) (N, 19) (R, 20) (P, 21) (, 40)

21 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K seed list: (N, 19) (R, 20) (P, 21) (, 40)

22 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K N seed list: (R, 20) (P, 21) (, 40)

23 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K N R seed list: (P, 21) (, 40)

24 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K N R P seed list: (, 40)

25 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K N R P seed list: (D, 22) (F, 22) (E, 30) (G, 35)

26 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K N R P D seed list: (F, 22) (E, 22) (G, 32)

27 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K N R P D F seed list: (G, 17) (E, 22)

28 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K N R P D F G seed list: (E, 15) (H, 43)

29 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K N R P D F G E seed list: (H, 43)

30 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K N R P D F G E H seed list: -

31 Example Database (2-dimensional, 16 points) = 44, MinPts = 3 reach E G D H F 44 B I K M N L P R B I L M K N R P D F G E H

32 Erreichbarkeits-Diagramm Zeigt die Erreichbarkeitsdistanzen (bzgl. und MinPts) derobjekte als senkrechte, nebeneinanderliegende Balken in der durch die lusterordnung der Objekte gegebenen Reihenfolge Erreic chbarkeit tsdistanz Erreic chbarkeit tsdistanz lusterordnung

33 Parameter-Sensitivität MinPts = 10, = 10 MinPts = 10, = 5 MinPts = 2, = optimale Parameter kleineres kleineres MinPts lusterordnung ist robust gegenüber den Parameterwerten gute Resultate wenn Parameterwerte groß genug

34 Heuristische Parameter-Bestimmung wähle größte MinPts-Distanz aus einem Sample oder berechne durchschnittliche MinPts-Distanz für gleichverteilte Daten MinPts glätte Erreichbarkeits-Diagramm it vermeide single- bzw. MinPts-link Effekt

35 Manuelle nalyse der luster Mit Erreichbarkeits-Diagramm gibt es luster? wieviele luster? sind die luster hierarchisch geschachtelt? wie groß sind die luster? Erreichbarkeits-Diagramm

36 utomatisches Entdecken von lustern -luster [nkerst, Breunig, Kriegel, Sander 99] luster = Til Teilsequenz der lusterordnung mit mindestens MinPts Punkte 1. beginnt in einem Gebiet x-steil abfallender Erreichbarkeitsdistanzen 2. endet in einem Gebiet x-steil steigender Erreichbarkeitsdistanzen bei etwa demselben absoluten Wert lustertree [Sander, Qin, Lu, Niu, Kovarsky 02] luster sind geteilt durch signifikante ifik lokale l Maxima Gradientlustering [Brecheisen, Kriegel, Kröger, Pfeifle 04] Kombination aus -luster und lustertree