Kapitel 14: Clustering

Transkript

1 Kaptel 4: Bespel : Customer Segmentaton Gegeben: Große Datenbank mt Kundendaten, de Egenschaften und Käufe der Kunden n der Vergangenhet enthält. Zel: Gruppen von Kunden mt ähnlchem Verhalten fnden, Kunden mt ungewöhnlchem Verhalten fnden. Data Warehousng und Mnng: - Data Warehousng und Mnng: - Bespel : CAD Datenbanken Gegeben: Große Datenbank, de abstrakte Beschrebung von Bautelen enthält (Feature-Vektoren). Zel: Fnde homogene Gruppen ähnlcher Bautele, fnde Repräsentanten für jede Gruppe, verwende dese Standardtele anstelle der spezellen Tele Verklenerung der Zahl der Typen von Telen, de produzert werden. : Allgemene Problembeschrebung () Gegeben: Ene Datenmenge mt d-dmensonalen Data Items. Fnde: atürlche Parttonerung der Daten n mehrere Cluster (k Anzahl deser Cluster) und nose. De Cluster sollten so gewählt sen, daß Items m glechen Cluster ähnlch snd Intra-cluster Smlarty wrd mamert, Items n unterschedlchen Clustern verscheden snd Inter-cluster Smlarty wrd mnmert. Data Warehousng und Mnng: - 3 Data Warehousng und Mnng: - 4

2 : Allgemene Problembeschrebung () Her: Parttonerung des Datenbestands, Überlappung der Cluster aber auch möglch. Problemstellung n hochdmensonalen Merkmalsräumen st etwas anders. Anforderungen Effektve und effzente Algorthmen für große hochdmensonale Datenbestände mt hohem ose-antel erfordern Skalerbarket hnschtlch Anzahl der Datenpunkte (), Anzahl der Dmensonen (d), ose-antel. Data Warehousng und Mnng: - 5 Data Warehousng und Mnng: - 6 Alternatve Ansätze Dsclamer Methoden baserend auf Parttonerung k-means, k-medods Herarchsche Methoden, CURE Methoden baserend auf Lnks Dchte-baserte Methoden DBSCA, DECLUE Thema ncht: We gut geben de Punkte/Poston der Punkte de Wrklchket weder? Wann st Punktmenge en Cluster? Kene allgemene Antwort möglch (vgl. Dchte-Bld). Bespel: We wählt man de Schwellenwerte für de enzelnen Verfahren? We snnvoll snd de Cluster-Defntonen, de den enzelnen Verfahren zugrundelegen? Data Warehousng und Mnng: - 7 Data Warehousng und Mnng: - 8

3 Crteron Functon K-Means: Bespel Zel von : Optmerung der Crteron Functon. Verbretete Crteron Functon für Metrc Spaces: k r r E = d, m r = C ( ) Erklärungen: k gegeben. Mnmere E. Illustraton: Wenn Punkt m falschen Cluster, wrd E größer. 3 3 z Data Warehousng und Mnng: - 9 Data Warehousng und Mnng: - 0 K-Means Verfahren m Überblck () K-Means Verfahren m Überblck () Medod Punkt, der als Surrogat für den Schwerpunkt enes Clusters dent. (Medod = Seed) Bestmme k Medods (p,,p k ) für enen gegebenen Datenbestand (Intalserung), Ordne jeden Datenpunkt dem nächsten Medod zu; mnmere Dstance Stop Krterum: Iteratver Algorthmus (Hll Clmbng) Verschebe jeden Medod n Rchtung des Schwerpunkts der hm zugeordneten Menge von Punkten, eue Zuordnung (s.o.). k = j= d(p ), j Data Warehousng und Mnng: - Data Warehousng und Mnng: -

4 Intalserungsphase K-Means Parameter und Varanten Zel der Intalserungsphase Fnden von möglchst guten Medods, Greedy-Verfahren: Medods enen nach dem anderen auswählen, Medods snd Datenpunkte, neuen Medod so wählen, daß Abstand zu bshergen Medods groß genug st, z. B. Punkt, dessen Mndestabstand zu anderen Medods mamal st. Genaues Stop Krterum d. h. Ende, wenn bestmmte Anzahl von Schrtten kene Verbesserung brngt, oder Verbesserung nur noch relatv klen Algorthmus nur mt Sample anstatt mt ganzem Datenbestand laufenlassen; Parameter: Größe der Stchprobe, Mehrere Runs mt unterschedlcher Intalserung; Parameter: Anzahl der Runs (Anderersets: Epermente zegen, daß fünf Durchläufe mt unterschedlchen Samples zufredenstellende Ergebnsse lefern). Data Warehousng und Mnng: - 3 Data Warehousng und Mnng: - 4 Wann st en Medod schlecht CLARAS () und sollte m nächsten Schrtt durch anderen Punkt ersetzt werden? Medod des Clusters mt den wengsten Punkten, Medod enes Clusters mt wenger als /k*mndev Punkten Konstante vermutlch Outler oder Tel enes anderen Clusters Darstellung des Problems als Graph: Jeder Knoten entsprcht Menge von Objekten, de Medode snd. Sehr großer Graph, wrd ncht eplzt erzeugt. Kante zwschen zwe Knoten gdw. en Objekt unterschedlch. CLARAS betrachtet n jedem Schrtt en Sample von achbar-knoten. Data Warehousng und Mnng: - 5 Data Warehousng und Mnng: - 6

5 CLARAS Illustraton CLARAS () {p, p, p 3 } {p, p, p 4 } {p, p, p 5 } {p, p 3, p 5 } CLARAS betrachtet n jedem Schrtt en Sample von achbar-knoten. Parameter: Anzahl der betrachteten achbarn, Anzahl der Runs. Tendenzell wenger unkontrollert als bsherges Verfahren, da mehrere achbarn betrachtet werden.... {p, p, p 6 } z Data Warehousng und Mnng: - 7 Data Warehousng und Mnng: - 8 Dchte-Basertes Verfahren Überscht, Data Set Influence Functon Densty Functon Influence Functon: Enfluß enes Datenpunkts auf sene achbarschaft, Densty Functon: Summe der Enflüsse aller Datenpunkte. - -Algo. Defntonen von (quanttatven) Egenschaften von Clustern, z. B. Radus enes Clusters, Zugrundelegende Datenstruktur: CF-Tree ( CF = Feature), Aufbau des CF-Tree (erster Schrtt des -Algorthmus), -Algorthmus. Data Warehousng und Mnng: - 9 Data Warehousng und Mnng: - 0

6 () () - Balanced Iteratve Reducng and usng Herarches Annahme: Verfügbares Memory st beschränkt. - Egenschaften des -Algorthmus: I/O-Kosten wachsen lnear mt der Größe des Datenbestands, wenn CF-Tree n Hauptspecher paßt, ene Iteraton lefert berets en, zusätzlche (optonale) Schrtte lefern besseres. Anzahl k der gewünschten Cluster st Parameter des Algorthmus. Data Warehousng und Mnng: - Data Warehousng und Mnng: - Defntonen Defntonen - Cluster {X } se gegeben. Centrod: Radus: X Durchmesser: 0 R = = = = X ( X X0 ) D = = j= ( X X j ) ( ) -,..., Indces der Punkte n Cluster, +,..., dto. Cluster. Durchschnttlche Inter-Cluster Dstanz von Cluster und : + r r X X = j= + D = ( ) j Data Warehousng und Mnng: - 3 Data Warehousng und Mnng: - 4

7 Feature () Feature () - Informaton, de zu jedem Cluster mtführt - Feature CF=(, LS, SS) st aggregerte Informaton über enen Cluster: Anzahl der Punkte m Cluster, LS = X = SS = (X ) = - Centrod und Radus aus CF berechenbar. Fngerübung, empfohlen. Mergen von zwe Clustern: Feature des neuen Clusters läßt sch trvalerwese aus denen der Ausgangscluster berechnen. z Data Warehousng und Mnng: - 5 Data Warehousng und Mnng: - 6 CF-Tree () CF-Tree () - CF-Tree st höhenbalancerter Baum. Jedem Knoten des Baums entsprcht en Cluster. Wenn Knoten zu Cluster A n Knoten zu Cluster B enthalten st, st A n B enthalten. Höhenbalancerter Baum mt zwe Parametern: B Fan-Out, T Schwellenwert (Durchmesser (oder Radus) enes Blatt-Clusters muß klener als T sen.) - Innere Knoten enthalten Enträge der Form [CF, chld ]. (CF st Feature von chld.) Data Warehousng und Mnng: - 7 Data Warehousng und Mnng: - 8

8 Enfügen n den CF-Tree () Enfügen n den CF-Tree () - ode-splttng: De am wetesten vonenander entfernten Punkte snd de Seeds. Zuordnung der Punkte zum näheren Seed. - Man ordnet Punkte n Baum en. Jeder Punkt wandert n den Knoten, zu dessen Schwerpunkt er den klensten Abstand hat. (We bem B+-Baum.) Punkt paßt n ken Blatt (wegen Schwellenwert T) neuer Blatt-Cluster, Knoten werden gesplttet, sobald der Cluster zu groß wrd, d. h. zuvele Tel-Cluster. Data Warehousng und Mnng: - 9 Data Warehousng und Mnng: - 30 Feature Enfügen n den CF-Tree (3) - Informaton, de zu jedem Cluster mtführt - Feature CF=(, LS, SS) st aggregerte Informaton über enen Cluster: Anzahl der Punkte m Cluster, LS = X = SS = (X ) = - Spltten der Knoten funktonert mt den Features, man braucht ncht de Punkte selbst. Illustraton. arbetet nur mt aggregerten Werten, damt möglchst vel m Hauptspecher ablaufen kann. Data Warehousng und Mnng: - 3 Data Warehousng und Mnng: - 3

9 Enfügen n den CF-Tree (4) Intalserungsphase: Illustraton - Problem: Gesplttet wrd, wenn Knoten voll, ken Zusammenhang zur Qualtät des aktuellen s. Zwschenzetlches Zusammenfassen von Geschwster-Knoten, wenn snnvoll (Merge): Man spart Platz, - Knotengröße: 4 neu bessere Qualtät des. Data Warehousng und Mnng: - 33 Data Warehousng und Mnng: - 34 Intalserungsphase: Illustraton Fortsetzung Enfügen n den CF-Tree Merge - Knotengröße: 4 - Merge passert ggf. m Anschluß ans Splttng, wr betrachten de Knder des Knotens, der zwe neue Knoten nach Splttng enthält. Man faßt de zwe Knder mt mnmalem Abstand zu enem neuen Knoten zusammen (falls ncht dentsch mt jenem Splt-Ergebns). Mergen erfordert ggf. Resplttng der Knder. Sobald Knoten, der enem Seed entsprcht, voll, wrd anderer Knoten enfach aufgefüllt. Data Warehousng und Mnng: - 35 Data Warehousng und Mnng: - 36

10 Algorthmus n Oracle - Aufbau des CF-Trees, euanordnung der Subcluster n den Blättern durch globalen -Algorthmus (wegen Skewed Input und Splttng gemäß Page Sze), Centrode der Cluster als Seeds, euvertelung der Datenpunkte. Model buld vs. model apply. Buld: Identfkaton von Clustern. Apply: Zuordnung von Datenpunkten zu Clustern. z Data Warehousng und Mnng: - 37 Data Warehousng und Mnng: Ergebnsse n Oracle System generert Regeln, de -Ergebns beschreben. Regeln spezfzeren Boundng Bo. Bespel: f AGE >= 5 and AGE <= 40 and HEIGHT >= 5.0ft and HEIGHT <= 5.5ft then CLUSTER = 0 - Probleme mt hochdmensonalen Räumen Interessante Cluster snd. d. R. ncht Cluster n allen Dmensonen. y z z Data Warehousng und Mnng: - 39 Data Warehousng und Mnng: - 40

11 - Probleme mt hochdmensonalen Räumen () Ansätze funktoneren ncht, z. B. zu gernge Dchte mt Dchte-baserten Ansätzen, es ergbt sch kene snnvolle Strukturerung der Daten mt herarchschen Verfahren. Problem, das m Hochdmensonalen mehr Gewcht hat: Dmensonen, n denen Punkte Cluster blden, müssen erst enmal gefunden werden. Dmensonen können ncht apror gepruned werden. - Input: Problem Statement Anzahl der Cluster, de der Algorthmus fnden soll: k, durchschnttlche Anzahl der Dmensonen pro Cluster: l, M. E. etwas wllkürlch, daß der Benutzer dese Parameter vorgeben muß, st aber be desem Verfahren so. Output: Parttonerung der Daten n k+ Mengen Warum k+ Mengen anstatt k Mengen? Telmenge D der Menge der Dmensonen für jeden Cluster. Bespel. Data Warehousng und Mnng: - 4 Data Warehousng und Mnng: - 4 Defntonen Überscht über den Algorthmus Manhattan Dstance Manhattan Segmental Dstance normalsert de Anzahl der Dmensonen heraus: d D (, ) =(Σ D, -, )/ D Intalserungsphase (we bsher), schrttweses Verfenern der Zwschenergebnsse (Hll Clmbng, m Prnzp auch we gehabt). we be - - Data Warehousng und Mnng: - 43 Data Warehousng und Mnng: - 44

12 Illustraton Ermtteln der Dmensonen zu enem Medod () Untersched zum bshergen Verfahren: Zu jedem Medod Menge von Dmensonen eplzt wählen (n jedem Schrtt neu, nachdem Medode ermttelt wurden). Dazu für jeden Medod m Punkte nahe be m betrachten. L steht für dese Menge von Punkten. Genauer: δ = mn j (dst(m, m j )) Localty L Menge der Punkte, deren Abstand von m klener st als δ. Data Warehousng und Mnng: - 45 Data Warehousng und Mnng: - 46 Ermtteln der Dmensonen zu enem Medod () Ermtteln der Dmensonen zu enem Medod (3) - L δ L m m m 3 - Berechnung der -Dstanz der Punkte n L pro Dmenson j: X,j m 4 Was wäre also de Localty von m 3? Data Warehousng und Mnng: - 47 Data Warehousng und Mnng: - 48

13 Ermtteln der Dmensonen zu enem Medod (4) Ermtteln der Dmensonen zu enem Medod (5) - X,y m X, - Auswahl der Dmensonen, für de de Punkte nahe be m snd. d Mttel der Dstanzen X,j j= über de Dmensonen: Y = ( steht für Cluster.) d Standardabwechung: σ = ( X,j Y ) j d Data Warehousng und Mnng: - 49 Data Warehousng und Mnng: - 50 Ermtteln der Dmensonen zu enem Medod (6) Ermtteln der Dmensonen zu enem Medod (7) X,y Y m X, X,y Y X m, - - Wenn X,j Y negatv, dann st Dmenson j wchtg Medod. Ansonsten ncht. Im Folgenden: Betrachtung mehrerer Cluster glechzetg. Data Warehousng und Mnng: - 5 Data Warehousng und Mnng: - 5

14 Ermtteln der Dmensonen zu enem Medod (8) Ermtteln der Dmensonen zu enem Medod (9) Interessanter Cluster typscherwese ncht Cluster n allen Dmensonen. y l (durchschnttlche Anzahl von Dmensonen per Cluster) gegeben. We Dmensonen zu ordnen? z - - Auswahl der Dmensonen, n der Punkte nahe be m legen Fortsetzung: Snd Punkte n Dmenson j näher be m als m Durchschntt? Ja, wenn X,j Y negatv. Data Warehousng und Mnng: - 53 Data Warehousng und Mnng: - 54 Ermtteln der Dmensonen zu enem Medod (0) Ermtteln der Dmensonen zu enem Medod () X,y Y m X, X,y Y X m, - - Auswahl der Dmensonen, n der Punkte nahe be m legen Fortsetzung: Jetzt Verglech der Dfferenz für unterschedlche Cluster. X,j Y Herfür Z,j berechnen: Z,j = σ Z,j sorteren (für alle und alle j) und jedem Cluster sene Dmensonen zuordnen. Data Warehousng und Mnng: - 55 Data Warehousng und Mnng: - 56

15 Bestmmung der Cluster Lnk-baserte Methode () Für jeden Punkt Berechnung der Manhattan Segmental Dstance zu jedem Medod, Zuordnung des Punkts zum nächsten Medod. Erster Schrtt: Alle Punkte, deren Dstanz klener als d st, verbnden. - - z Data Warehousng und Mnng: - 57 Data Warehousng und Mnng: - 58 Lnk-baserte Methode () Mnmalanzahl von achbar-punkten: 4 Dünne den Datenbestand aus. für kategorsche () Bespel: Warenkorbanalyse Kunden mt Klenkndern kaufen Wndeln, Babynahrung, Spelzeug, usw. Kunden mt hohem Enkommen kaufen Trüffeln, Kavar, Champagner, usw. snd Boolsch. - - Data Warehousng und Mnng: - 59 Data Warehousng und Mnng: - 60

16 für kategorsche () Probleme bem mt kategorschen n () Boolsche hatten wr berets kommt Item n Transakton vor oder ncht. : Allgemenerer Fall Werteberech st ncht {true, false}, sondern rgendene endlche Menge von Werten, z. B. {braun, schwarz, weß, } Algorthmen verwenden üblcherwese Eukldsche Dstanz. Funktonert gut für numersche. - - Data Warehousng und Mnng: - 6 Data Warehousng und Mnng: - 6 Probleme bem mt kategorschen n () Probleme bem mt kategorschen n (3) Datenbestände mt kategorschen n dagegen: Anzahl der Items/Anzahl der st tendenzell groß (mehrere tausend), verglchen mt Größe typscher Transakton. Kunden mt ähnlchem Kaufverhalten (d. h. glecher Cluster) haben weng Items gemensam. (Bespel: Cluster, der teuren Markenartkeln entsprcht). Verknüpfung zwschen desen Transaktonen ergbt sch durch andere Transaktonen. - - Datenbestände mt kategorschen n dagegen (Forts.): Mengen der Items, de Cluster bestmmen, haben unterschedlche Größen. Große Menge: Vele Paare von Transaktonen haben wenge Items gemensam. Abstände der Transaktonen vom Durchschntt snd größer n großem Cluster. Data Warehousng und Mnng: - 63 Data Warehousng und Mnng: - 64

17 - Schwächen tradtoneller Algorthmen Bespel () MST Algorthmus (MST = mnmum spannng tree) Jedes Objekt st zunächst separater Cluster. Algorthmus fndet dann Paare von Clustern, deren Abstand mnmal st. Merge deser beden Cluster, repräsentert durch Centrod. Wederholung der letzten beden Schrtte, bs Abbruchkrterum erfüllt. - Schwächen tradtoneller Algorthmen Bespel () Input-Daten: {,, 3, 5}, {, 3, 4, 5}, {, 4}, {6} Input-Daten als Punkte: (,,,0,,0), (0,,,,,0), (,0,0,,0,0), (0,0,0,0,0,) Eukldscher Abstand. Zunächst Merge der ersten beden Punkte; Centrod des neuen Clusters st (0.5,,,0.5,,0). Dann: Merge des drtten und des verten Punkts. Dese Punkte entsprechen Transaktonen, de ken Item gemensam haben. Data Warehousng und Mnng: - 65 Data Warehousng und Mnng: - 66 Weteres Bespel () Weteres Bespel () Input: Jaccard Koeffzent quantfzert Ähnlchket von zwe Transaktonen T und T: T T T T Datenbestand {,, 3}, {, 4, 5}, {,, 4}, {, 3, 4}, {,, 5}, {, 3, 5}, {, 3, 4}, {, 4, 5}, {, 3, 5}, {3, 4, 5}, {,, 6}, {,, 7}, {, 6, 7}, {, 6, 7} MST Algorthmus. - - Fragen: Was st der Werteberech des Jaccard Koeffzenten? We seht en natürlches der o. g. Menge von Transaktonen aus, unabhängg vom Algorthmus? Fndet der Algorthmus deses? Ist das mmer der Fall? Data Warehousng und Mnng: - 67 Data Warehousng und Mnng: - 68

18 Weteres Bespel (3) Weteres Bespel (4) Fragen: Was st der Werteberech T T des Jaccard Koeffzenten? T T 0 bs : 0, wenn Schnttmenge leer;, wenn Mengen dentsch. We seht en natürlches der o. g. Menge von Transaktonen aus, unabhängg vom Algorthmus? {,, 3}, {, 4, 5}, {,, 4}, {, 3, 4}, {,, 5}, {, 3, 5}, {, 3, 4}, {, 4, 5}, {, 3, 5}, {3, 4, 5}, {,, 6}, {,, 7}, {, 6, 7}, {, 6, 7} - - Fragen: Fndet der Algorthmus deses? Ist das mmer der Fall? und dskrmneren ncht., können n beden Clustern vorkommen. Wenn z. B. 3 und 6 als erstes zusammengefaßt werden. Data Warehousng und Mnng: - 69 Data Warehousng und Mnng: - 70 Beobachtungen Lösung: Lnks MST Algorthmus & Jaccard Koeffzent verglechen nur zwe Punkte/Transaktonen; achbarschaft blebt unberückschtgt. Im Bespel snd, kene dskrmnerenden Items. - - Zwe Punkte snd achbarn, wenn Ähnlchket größer als Schwellenwert. Anzahl von Lnks zwschen zwe Punkten := Anzahl gemensamer achbarn deser Punkte. Merge von Clustern/Punkten mt mamaler Lnk-Anzahl. Fngerübung, empfohlen: Zegen Se, daß deser Ansatz m Bespel zu korrektem führt, wenn (Schwellenwert) θ=0.5 und Jaccard Koeffzent. Data Warehousng und Mnng: - 7 Data Warehousng und Mnng: - 7

19 Crteron Functon () Crteron Functon () Zel von : Optmerung ener Crteron Functon. Gängge Crteron Functon für metrsche Räume: k r r E = d, m r = C ( ) Erklärungen: k gegeben. Mnmere E. Illustraton: Wenn Punkt m falschen Cluster, wrd E größer. - - Wr wollen Summe von lnk(p q, p r ) mameren für Paare p q, p r von Datenpunkten, de zu glechem Cluster gehören, mnmeren für Paare p q, p r von Datenpunkten n unterschedlchen Clustern. Data Warehousng und Mnng: - 73 Data Warehousng und Mnng: - 74 Crteron Functon (3) Crteron Functon, de das lestet muß mamert werden : E l = k n = p, p C q r lnk n ( p, p ) q + f ( θ ) n Größe des Clusters Zähler erwartete Gesamtanzahl von Lnks n C, baserend auf Anzahl von Punkten. r - - Crteron Functon Crteron Functon (4) E = = p, p C ( p, p ) lestet das ncht Ergebns wäre, wo alle Punkte n enem Cluster. k q r lnk q r Data Warehousng und Mnng: - 75 Data Warehousng und Mnng: - 76

20 Crteron Functon Illustraton Vertelung der Punkte: l Anzahl der Lnks n lnker Wolke, l Anzahl der Lnks n rechter Wolke. Erster Fall: Alle Punkte n glechem Cluster. l + l + l + l E = 0 = Zweter Fall: Zwe Cluster. 0 l l l + l E = + 0 = mt kategorschen Dmensonen Zusammenfassung st schwerg, wenn Dmensonen kategorsch snd. otwendgket, achbarschaft zu berückschtgen, wurde demonstrert. Lösung wurde vorgestellt Algorthmus muß ncht geändert werden, Abstand wrd geändert. Data Warehousng und Mnng: - 77 Data Warehousng und Mnng: - 78 Lteratur () Lteratur () Raymond g und Jawe Han. Effcent and Effectve Methods for Spatal Data Mnng. Proceedngs of the 0th Int'l Conference on Very Large Databases, 994. Tan Zhang, Raghu Ramakrshnan und Mron Lvny. : An Effcent Data Method for Very Large Databases. Proceedngs of the 997 ACM SIGMOD Internatonal Conference on Management of Data. Charu Aggarwal et al. Fast Algorthms for. Proceedngs of the 999 ACM SIGMOD Internatonal Conference on Management of Data. Sudpto Guha, Rajeev Rastog und Kyuseok Shm. ROCK: A Robust Algorthm for Categorcal s. Data Warehousng und Mnng: - 79 Data Warehousng und Mnng: - 80

21 Prüfungsfragen, bespelhaft Welche -Verfahren kennen Se? Erklären Se -Verfahren XY. Warum funktoneren herkömmlche -Verfahren n hochdmensonalen Merkmalsräumen ncht? Skzzeren Se ene möglche Lösung. Erklären Se, warum mt kategorschen n besonders st? Warum st Lnk-basertes her hlfrech? Data Warehousng und Mnng: - 8