5.3 Dichtebasiertes Clustering

Transkript

1 5.3 Dichtebasiertes lustering DSN Shared Nearest Neighbor (SNN) lustering Erkennt luster unterschiedlicher orm und Größe at robleme bei lustern mit unterschiedlicher Dichte Verbesserung: anderer Ähnlichkeitsbegriff Ähnlichkeit zwischen zwei Objekten, wenn sie beide sehr nahe zu einer eferenzmenge sind Ähnlichkeit wird durch die eferenzmenge bestätigt Ähnlichkeit z.. durch die nzahl gemeinsamer nächster Nachbarn definieren (d.h. ist die Menge der nächsten Nachbarn) Shared Nearest Neighbor (SNN) Ähnlichkeit: SNN k -similarity(p,q) = NN(p, k) NN(q, k) NN(o, k) = Menge der k-nächsten Nachbarn von Objekt o (vgl. Kap. 2.2) SNN 6 -similarity(, ) = 4 k = 6 SNN 6 -similarity(, ) = Dichtebasiertes lustering Einfaches SNN-lustering [arvis, atrick 73]: 1. erechnung der Ähnlichkeitsmatrix und des Ähnlichkeitsgraphen für alle Objekt-aare p,q D: berechne SNN k -similarity(p,q) SNN k -Ähnlichkeitsgraph: Knoten = Objekten Kante zwischen jedem Objektpaar p,q mit Gewicht SNN k -similarity(p,q) Keine Kanten mit Gewicht 0 2. Generiere luster ösche alle Kanten, deren Gewicht unterhalb eines Grenzwerts τ liegen luster = verbundenen Komponenten im resultierenden Graphen Datensatz SNN 5 Ähnlichkeitsgraph Generiere luster 223

2 5.3 Dichtebasiertes lustering roblem: Thresholdτ schwer zu bestimmen kleine Variationen führen zu stark unterschiedlichen Ergebnissen ild aus: [Ertöz, Steinbach, Kumar 03] ösung [Ertöz, Steinbach, Kumar 03] Kombiniere SNN-Ähnlichkeit mit dichtebasierten Konzepten SNN-Dichte: nzahl der unkte innerhalb eines spezifizierten adius ε bzgl. SNN-Ähnlichkeit SNN k -density(p,ε) = {q SNN k -similarity(p,q) ε} Dichtebasiertes lustering SNN-Dichte eispiel: Daten (ild (a)) k = 50, ε = 20 ild (b): Kernpunkte alle unkte mit SNN-Dichte 34 ild (c): andpunkte alle unkte mit SNN-Dichte 17 ild (d): auschen alle unkte mit SNN-Dichte < 17 ild aus: [Ertöz, Steinbach, Kumar 03] nalogie zu DSN: ε = 20, mints = 34 Kernpunkt p: mehr als mints unkte haben 20 oder mehr der 50 nächsten Nachbarn mit p gemeinsam 225

3 5.3 Dichtebasiertes lustering SNN-lustering lgorithmus [Ertöz, Steinbach, Kumar 03] Eingabe: k, ε, mints 1. erechne Ähnlichkeitsmatrix und -graph (siehe einfaches SNN-lustering) 2. erechne die SNN k -Dichte für jeden unkt bzgl. ε 3. estimme Kernpunkte bzgl. mints (alle unkte mit einer SNN-Dichte mints) 4. Vereinige Kernpunkte p,q, wenn SNN k -similarity(p,q) ε 5. Ordne Nicht-Kernpunkt p einem luster zu, wenn es ein Kernpunkt q gibt, mit SNN k -similarity(q,p) ε 6. lle anderen Nicht-Kernpunkte sind auschen DSN mit SNN-Ähnlichkeit Dichtebasiertes lustering Diskussion Unterschied zu DSN DSN mit Euklidischer Distanz: nur luster, die dichter sind als der Grenzwert (spezifiziert durch mints und ε) SNN-Dichte eines unktes p: nzahl der unkte, die mind. ε nächste Nachbarn mit p gemeinsam haben unabhängig von der eigentlichen Dichte arametrisierung Wahl von k ist kritisch: Zu klein: auch relativ gleichverteilte luster werden wegen lokalen Variationen gesplittet viele kleine luster Zu groß: wenige große, gut-separierte luster mints, ε < k 227

4 Ziel Grundlagen Konstruktion einer ierarchie von lustern (Dendrogramm), so dass immer die luster mit minimaler Distanz verschmolzen werden Dendrogramm ein aum, dessen Knoten jeweils ein luster repräsentieren, mit folgenden Eigenschaften: die Wurzel repräsentiert die ganze D die lätter repräsentieren einzelne Objekte ein innerer Knoten repräsentiert einen luster bestehend aus allen Objekten des darunter liegenden Teilbaums 228 eispiel eines Dendrogramms Grundlagen Distanz zwischen den lustern Typen von hierarchischen Verfahren ottom-up Konstruktion des Dendrogramms (agglomerative) Top-Down Konstruktion des Dendrogramms (divisive) 229

5 lgorithmus Single-ink [ain & Dubes 1988] gglomeratives hierarchisches lustering 1. ilde initiale luster, die jeweils aus einem Objekt bestehen, und bestimme die Distanzen zwischen allen aaren dieser luster. 2. ilde einen neuen luster aus den zwei lustern, welche die geringste Distanz zueinander haben. 3. estimme die Distanz zwischen dem neuen luster und allen anderen lustern. 4. Wenn alle Objekte in einem einzigen luster befinden: ertig, andernfalls wiederhole ab Schritt Distanzfunktionen für luster Die Verfahren unterscheiden sich anhand ihrer Distanzfunktionen für luster Single ink ompleteink verage ink Sei eine Distanzfunktion dist(x,y) für aare von Objekten gegeben Seien X, Y luster, d.h. Mengen von Objekten. 231

6 Definition: Single-ink Distanz dists( X, Y ) = min x X, y Y dist( x, y) Eigenschaften: Effiziente mplementierung (z.. SNK): O(n 2 ) Single-ink Effekt: kettenförmige luster, luster werden durch wenige, kettenförmig verteilte Objekte vereinigt luster mit starker Streuung luster mit langgezogener Struktur 232 Definition: dist( X, Y ) = Eigenschaften: omplete-ink Distanz max x X, y Y dist( x, y) Effiziente mplementierung (z.. NK): O(n 2 ) omplete-ink Effekt Kleine, stark abgegrenzte luster Gleichgroße, konvexe luster 233

7 verage-ink Distanz Definition: dist( X, Y ) = X 1 Y x X, y Y dist( x, y) Eigenschaften: Keine effiziente mplementierung Kompromiss zwischen Single- und omplete-ink nsatz 234 Diskussion + erfordert keine Kenntnis der nzahl k der luster + findet nicht nur ein flaches lustering, sondern eine ganze ierarchie + ein einzelnes lustering kann aus dem Dendrogramm gewonnen werden, z.. mit ilfe eines horizontalen Schnitts durch das Dendrogramm (erfordert aber wieder nwendungswissen) - Entscheidungen können nicht zurückgenommen werden - Single-ink-Effekte, omplete-ink-effekte - neffizienz aufzeitkomplexität von mindestens O(n 2 ) für n Objekte 235

8 Dichtebasiertes hierarchisches lustering [nkerst, reunig, Kriegel & Sander 1999] für einen konstanten Mints-Wert sind dichte-basierte luster bzgl. eines kleineren ε vollständig in lustern bzgl. eines größeren ε enthalten 1 Mints = 3 2 ε2 ε1 in einem DSN-ähnlichen Durchlauf gleichzeitig das lustering für verschiedene Dichte-arameter bestimmen zuerst die dichteren Teil-luster, dann den dünneren est-luster kein Dendrogramm, sondern eine auch noch bei sehr großen Datenmengen übersichtliche Darstellung der luster-ierarchie 236 Grundbegriffe Kerndistanz eines Objekts p bzgl. ε und Mints Kerndistanz ε, Mints UNDENE T, wenn Q( o,ε) < Mints ( o) = MintsDist anz( o), sonst Erreichbarkeitsdistanz eines Objekts p relativ zu einem Objekt o Erreichbarkeitsdistanz ε, Mints UNDENET, wenn Q( o,ε) < Mints ( p, o) = max{ Kerndistanz( o), dist( o, p)}, sonst Mints = 5 q p o ε Kerndistanz(o) Erreichbarkeitsdistanz(p,o) Erreichbarkeitsdistanz(q,o) 237

9 lusterordnung OTS liefert nicht direkt ein (hierarchisches) lustering, sondern eine lusterordnung bzgl. ε und Mints lusterordnung bzgl. ε und Mints beginnt mit einem beliebigen Objekt als nächstes wird das Objekt besucht, das zur Menge der bisher besuchten Objekte die minimale Erreichbarkeitsdistanz besitzt ore-distance Kerndistanz eachability-distance Erreichbarkeitsdistanz lusterordnung 238 Datenstrukturen lgorithmus OTS Seedist speichert unkte mit aktueller Erreichbarkeitsdistanz aufsteigend sortiert lusterorder resultierende lusterordnung wird schrittweise aufgebaut auptschleife: Seedist = ; WE es gibt noch unmarkierte Objekte in D DO Seedist = TEN füge beliebiges noch unmarkiertes Objekt in lusterorder ein mit Erreichbarkeitsdistanz ; ESE füge erstes Objekt aus der Seedist mit aktueller Erreichbarkeitsdistanz in lusterorder ein; // sei obj das zuletzt in lusterorder eingefügte Objekt markiere obj als bearbeitet; O neighbor Q(obj, ε) DO Seedist.update(neighbor, obj); // insert/update neighbor in Seedist mit referenzobjekt obj; 239

10 lgorithmus OTS Einfügen/Updaten eines Objekts o in Seedist eachte: ür alle Objekte p in Seedist ist die aktuelle Erreichbarkeitsdistanz p.rdist gespeichert. Seedist ist nach p.rdist aufsteigend sortiert (als eap organisiert) eferenzobjekt: obj Seedist :: update(o, obj) erechne Erreichbarkeitsdistanz ε,mints (o, obj) =: rdistneu_o; o ist bereits in Seedist TEN rdistneu_o o.rdist TEN o.rdist := rdistneu_o; verschiebe o in Seedist (nach vorne); // aufsteigen im eap ESE // o ist noch nicht in Seedist füge o mit o.rdist := rdistneu_o in Seedist ein; // normales Einfügen in eap 240 ε=, Mints = 3 E D G seed list: 241

11 ε=, Mints = 3 E G D coredistance ε seed list: (,40) (, 40) 242 ε=, Mints = 3 E D G seed list: (, 40) (, 40) 243

12 ε=, Mints = 3 D E G seed list: (, 20) (K, 20) (, 31) (, 40) (M, 40) (, 43) 2 ε=, Mints = 3 E D G seed list: (, 19) (K, 20) (, 21) (M, 30) (, 31) (, 40) 245

13 ε=, Mints = 3 D E G seed list: (M, 18) (K, 18) (, 20) (, 21) (N, 35) (, 40) 246 ε=, Mints = 3 D E G M seed list: (K, 18) (N, 19) (, 20) (, 21) (, 40) 247

14 ε=, Mints = 3 D E G M K seed list: (N, 19) (, 20) (, 21) (, 40) 248 ε=, Mints = 3 E D G M K N seed list: (, 20) (, 21) (, 40) 249

15 ε=, Mints = 3 D E G M K N seed list: (, 21) (, 40) 250 ε=, Mints = 3 E D G M K N seed list: (, 40) 251

16 ε=, Mints = 3 D E G M K N seed list: (D, 22) (, 22) (E, 30) (G, 35) 252 ε=, Mints = 3 E D G M K N D seed list: (, 22) (E, 22) (G, 32) 253

17 ε=, Mints = 3 D E G M K N D seed list: (G, 17) (E, 22) 254 ε=, Mints = 3 E D G M K N D G seed list: (E, 15) (, 43) 255

18 ε=, Mints = 3 D E G M K N D G E seed list: (, 43) 256 ε=, Mints = 3 E D G M K N D G E seed list: - 257

19 ε=, Mints = 3 D E G M K N D G E 258 Erreichbarkeits-Diagramm Zeigt die Erreichbarkeitsdistanzen (bzgl. ε und Mints) der Objekte als senkrechte, nebeneinanderliegende alken in der durch die lusterordnung der Objekte gegebenen eihenfolge Erreichbarkeitsdistanz Erreichbarkeitsdistanz lusterordnung 259

20 arameter-sensitivität Mints = 10, ε = Mints = 10, ε = 5 Mints = 2, ε = optimale arameter kleineres ε kleineres Mints lusterordnung ist robust gegenüber den arameterwerten gute esultate wenn arameterwerte groß genug 260 euristische arameter-estimmung ε wähle größte Mints-Distanz aus einem Sample oder berechne durchschnittliche Mints-Distanz für gleichverteilte Daten Mints glätte Erreichbarkeits-Diagramm vermeide single- bzw. Mints-link Effekt

21 Manuelle nalyse der luster Mit Erreichbarkeits-Diagramm gibtesluster? wieviele luster? sind die luster hierarchisch geschachtelt? wie groß sind die luster? Erreichbarkeits-Diagramm 262 utomatisches Entdecken von lustern ξ-luster [nkerst, reunig, Kriegel, Sander 99] Teilsequenz der lusterordnung beginnt in einem Gebiet ξ-steil abfallender Erreichbarkeitsdistanzen endet in einem Gebiet ξ-steil steigender Erreichbarkeitsdistanzen bei etwa demselben absoluten Wert enthält mindestens Mints unkte 263

22 utomatisches Entdecken von lustern lustertree [Sander, Qin, u, Niu, Kovarsky 02] luster sind geteilt durch signifikante lokale Maxima: Minimale nzahl der unkte zwischen 2 Maxima ichtwert: 0.5 % der Datenbank Verhältnis zwischen Erreichbarkeitsdistanz des lokalen Maximas und der durchschnittlichen Erreichbarkeitsdistanzen links und rechts des Maximas in der lusterordnung ichtwert: 0.75 significant local maxima luster-tree insignificant local maxima 4 5 oot Gradientlustering utomatisches Entdecken von lustern [recheisen, Kriegel, Kröger, feifle 04] Teilsequenzen der lusterordnung beginnt/endet mit nflexion oint Gradientvektor nflexion ndex nflexion oint, wenn (o) > t Gradient Determinante allunterscheidung: (o) > t and GD(o) > 0 Startpunkt oder erster unkt außerhalb des lusters (o) > t and GD(o) < 0 Endpunkt oder zweiter unkt innerhalb des lusters g(x,y) g(y,z) g(z,a) x y z a width g(x,y) = y. x. (y) = cos ϕ( g(x,y), g(y,z) ) GD( g(x,y), g(y,z) ) = ϕ 2 ϕ 1 width y. x. - width y. z. cos ϕ 1 = cos ϕ 265 2

23 5.5 esondere nwendungen Übersicht lustering mit kategorischer ttribute Grundlagen, lgorithmus k-modes Verallgemeinertes dichtebasiertes lustering Grundlagen, lgorithmus GDSN, eispiele lustering mit kategorischen ttributen Grundlagen [uang 1997] k-medoid-lgorithmus wesentlich langsamer als k-means- lgorithmus k-means-verfahren nicht direkt für kategorische ttribute anwendbar gesucht ist ein nalogon zum entroid eines lusters Numerische ttribute entroid x einer Menge von Objekten minimiert TD(, x) = dist( p, x) p Kategorische ttribute Mode m einer einer Menge von Objekten minimiert TD(, m) = dist( p, m) p ( m ist nicht unbedingt ein Element der Menge ) m = (m 1,..., m d ), dist eine Distanzfunktion für kategorische ttribute, z.. d 0 falls xi = y dist( x, y) = δ( xi, yi) mit δ( xi, yi) = i= 1 1 sonst i 267

24 5.5.1 lustering mit kategorischen ttributen estimmung des Modes Die unktion TD(, m) = dist( p, m) p wird minimiert genau dann, wenn für m = (m 1,..., m d ) und für alle ttribute i, i = 1,..., d, gilt: es gibt in i keinen häufigeren ttributwert als m i Der Mode einer Menge von Objekten ist nicht eindeutig bestimmt. eispiel Objektmenge {(a, b), (a,c), (c, b), (b,c)} (a, b) ist ein Mode (a, c) ist ein Mode lustering mit kategorischen ttributen nitialisierung lgorithmus k-modes keine zufällige artitionierung sondern k Objekte aus der Datenmenge als initiale Modes luster-epräsentanten Mode anstelle des entroids Distanzfunktion anstelle der quadrierten euklidischen Distanz Distanzfunktion für Datensätze mit kategorischen ttributen 269

25 5.5.2 Verallgemeinertes dichtebasiertes lustering lustering ausgedehnter Objekte Mittelpunkt- Transformation erücksichtigung der läche und nicht-räumlicher ttribute natürlicher egriff der Verbundenheit Verallgemeinertes dichtebasiertes lustering lgorithmus GDSN [Sander, Ester, Kriegel & Xu 1998] Grundidee für dichte-basierte luster : ε-nachbarschaft enthält mindestens Mints unkte Distanz ε N ε Mints Nred(o,p) reflexiv, symmetrisch für aare von Objekten Verallgemeinerung MinWeight(N) beliebiges rädikat für Mengen von Objekten Verallgemeinerte Nachbarschaft N Nred (o) = {p Nred(o, p)} Verallgemeinerte minimale Kardinalität MinWeight(N Nred (o)) Nred-Nachbarschaft hat mindestens das Gewicht MinWeight 271

26 5.5.2 Verallgemeinertes dichtebasiertes lustering eispiele Nred dist(p,q) ε intersect(p,q) Nachbarzelle und ähnliche arbe MinWeight cardinality(...) Minoints Summe der lächen true 5 % der Gesamtfläche Verallgemeinertes dichtebasiertes lustering lgorithmus GDSN dasselbe algorithmische Schema wie DSN anstelle einer Q(o,ε)-nfrage eine N Nred -nfrage anstelle der edingung Q(o,ε) Mints das MinWeight-rädikat auswerten aufzeitkomplexität O(n logn) bei geeigneter Unterstützung der N Nred -nfrage eliebige Nachbarschaftsprädikate denkbar 273