Clustering mit dem K-Means-Algorithmus (Ein Experiment)

Transkript

1 Clustering mit dem K-Means- (Ein Experiment) Andreas Runk 7. März 2013

2 Index Andreas Runk Clustering mit dem K-Means- 2/40

3 Ziele: des K-Means Finde/erstelle geeignetes Testcorpus möglichst gute Clustering-Ergebnisse möglichst effizient und skalierbar Andreas Runk Clustering mit dem K-Means- 3/40

4 K-Means Eigenschaften: Erste Veröffentlichung von [Steinhaus(1956)] und Namensgebung durch [MacQueen(1967)] laut [Bock(2007)] EM- Anzahl Cluster (k) wird vom Benutzer bestimmt [MacQueen(1967)] Terminiert nicht immer (Datenpunkte können zwischen Clustern springen) Ergebnisse zufällig, da zufällige Wahl der Start-Means Abbildung: [Wikipedia(2012b)] Andreas Runk Clustering mit dem K-Means- 4/40

5 K-Means Implementierter K-Means 1 : 1: Setze zufällig k Start-Means 2: d = 3: solange d > Schwellwert / Zuordnungen sich ändern 4: für alle Dokumente Assignment Step 5: Füge Dokument dem nächst-ähnlichen Cluster hinzu 6: für alle Cluster Update Step 7: Setze neue Werte des Means kleinster Abstand zu den Dokumenten in seinem Cluster 8: d = Abstand der alten und neuen Means 1 vgl. [MacKay(2003)] oder siehe auch [Haenelt(2012c)] Andreas Runk Clustering mit dem K-Means- 5/40

6 Eigenschaften der Eigenschaften der Architektur Versionen Programmiersprache: C++ (OO) Lines Of Code: ca (2300 ohne Kommentare) Anzahl Versionen: 4 Benutzte Bibliotheken: Boost Random, OpenMP, Google Sparse Hash Andreas Runk Clustering mit dem K-Means- 6/40

7 Erklärung der folgenden Darstellung Eigenschaften der Architektur Versionen Darstellung der Veränderung zur vorherigen Version in Tabellen Werte die nicht in der jeweiligen Versionstabelle enthalten sind, wurden zur vorherigen Version nicht verändert Durch ein + werden zusätzliche Eigenschaften des jeweiligen Bereiches dargestellt. Sollte eine Auswahl der jeweiligen Eigenschaft eingefügt werden, so bezieht sich diese auf alle bisher implementierten Attribute. Sonstige Eigenschaften zeigen eine Ersetzung an. Der (teilweise) in Klammern angegebene Wert ist die Gesamtersparnis an Wörtern nach dem WordCount-Schritt Andreas Runk Clustering mit dem K-Means- 7/40

8 Aufbau Eigenschaften der Architektur Versionen Modell Worttrenner Wordcount Termgewichtung Distanzfunktion Erste Means Vector Leerzeichen Array einfache Häufigkeit euklidisch zufällige Werte pro Wort zwischen 0 und max{wortzahl} Andreas Runk Clustering mit dem K-Means- 8/40

9 Struktur Eigenschaften der Architektur Versionen WordCount -countofwords -documentname -words FileReader FileWriter Cluster -clustermembers -meanwordcounts -newmeanwordcounts -words +addnewclustermember() Distance -euclideandistance() KMeans -clusters: list<cluster> -compareoldandnewclusters() -setrandommean() +KMeans() ThermWeighting -frequencyweighting() Abbildung: Klassendiagramm Andreas Runk Clustering mit dem K-Means- 9/40

10 Überblick Komplexitäten Eigenschaften der Architektur Versionen Folgende Abkürzungen werden verwendet: k = Anzahl Cluster n = Länge des längsten Dokuments m = Anzahl Dokumente l = Länge des längsten Wortes c = Anzahl Rechenkerne Andreas Runk Clustering mit dem K-Means- 10/40

11 Version 1 Eigenschaften der Architektur Versionen Worttrenner Wordcount Termgewichtung Distanzfunktion Erste Means Leerzeichen Array einfache Häufigkeit euklidisch zufällige Werte pro Wort zwischen 0 und max{worthäufigkeit} Standard K-Means Clustering [MacQueen(1967)] Andreas Runk Clustering mit dem K-Means- 11/40

12 Version 1 Eigenschaften der Architektur Versionen Komplexitäten: WordCount: O(m n 2 ) K-Means Assign: O(k m n 3 ) K-Means Update: O(k m 2 n 3 ) Probleme: Start Means sind weit von den realen Dokumenten entfernt viele Iterationen nötig Schlechte Performance Es sind viele kurze Wörter in den Texten enthalten, die wenig Information liefern ( ist, und usw.) sogenannte Stoppwörter. Andreas Runk Clustering mit dem K-Means- 12/40

13 Version 2 Eigenschaften der Architektur Versionen Worttrenner Wordcount Termgewichtung Distanzfunktion Erste Means + Sonderzeichen ( 3%) Hashmap + Stoppwortentfernung ( 7%) + normalisierte Termfrequenz + tf-idf-gewichtung + Auswahl Cosinus zufällige Dokumente K-Means++ Clustering [Arthur and Vassilvitskii(2007)] Andreas Runk Clustering mit dem K-Means- 13/40

14 Version 2 Eigenschaften der Architektur Versionen Komplexitäten: WordCount: O( m c n2 ) vs. O(m n 2 ) K-Means Assign: O(k m c n) vs. O(k m n3 ) tf-idf: O(k m2 c n) K-Means Update: O( k c m2 n 3 ) vs. O(k m 2 n 3 ) Probleme: Means zufällig Clustering zufällig langsam, bei vielen Daten (zu viel RAM-Verbrauch) Andreas Runk Clustering mit dem K-Means- 14/40

15 Version 3 Eigenschaften der Architektur Versionen Wordcount Distanzfunktion Erste Means + häufigste 10 % aller Wörter bzgl. der Worthäufigkeit werden verwendet + Dice-Koeffizient + Auswahl entfernteste Dokumente Andreas Runk Clustering mit dem K-Means- 15/40

16 Version 3 Eigenschaften der Architektur Versionen Komplexitäten: WordCount: O( m c n2 ) K-Means Assign: O(k m c n) tf-idf: O(k m2 c n) K-Means Update: O( k c m2 n 2 ) vs. O( k c m2 n 3 ) Probleme: Flektierte Formen eines Wortes werden jeweils als eigene Wörter gezählt. Dies kann unerwünscht sein. (bsp. Lied Lieder) Andreas Runk Clustering mit dem K-Means- 16/40

17 Version 4 Eigenschaften der Architektur Versionen Wordcount Distanzfunktion + ähnliche Worte, wie vorher beschrieben werden als eines gewertet (Folie 40) ( 17.5%) + Jaccard-Koeffizient + Overlap-Koeffizient Komplexitäten: WordCount: O( m2 c n2 l 2 ) vs. O( m c n2 ) K-Means Assign: O(k m c n) tf-idf: O(k m2 c n) K-Means Update: O( k c m2 n 2 ) Andreas Runk Clustering mit dem K-Means- 17/40

18 Struktur gemäß Version 4 Eigenschaften der Architektur Versionen WordCount -countofwords -documentname -words -wordswithcounts(v2) FileReader FileWriter Cluster -clustermembers -meanwordcounts -newmeanwordcounts -words +addnewclustermember() Distance KMeans -clusters: list<cluster> -compareoldandnewclusters() -setdocumentmeanwithmostdistance(v3) -setrandomdocumentmean(v2) -setrandommean() +KMeans() -euclideandistance() -cosinedistance(v2) -dicecoefficientdistance(v3) -jaccardcoefficientdistance(v4) -overlapcoefficientdistance(v4) -numberofdocuments ThermWeighting -frequencyweighting() -normalizedtermfrequency(v2) -termfrequencyinversedocumentfrequency(v2) Abbildung: Klassendiagramm Andreas Runk Clustering mit dem K-Means- 18/40

19 Daten Daten Effektivitätstests Performancetests PATENTCORPUS128: 128 Patente nach [Polar(2012)], benutzt für Performance. Sprache: englisch WikiDocs: 32 Artikel aus der Wikipedia [Wikipedia(2012a)] Kategorien (8): Geschichte, Kunst, Mathe, PC, Medizin, Musik, Sport, Essen Sprache: deutsch Andreas Runk Clustering mit dem K-Means- 19/40

20 Daten Effektivitätstests Performancetests Erwünschtes Ergebnis gemäß intellektuellem Clustering Andreas Runk Clustering mit dem K-Means- 20/40

21 Version 1 Daten Effektivitätstests Performancetests Andreas Runk Clustering mit dem K-Means- 21/40

22 Version 1 Daten Effektivitätstests Performancetests Aufgrund der zufälligen Means entstehen zufällige Lösungen. Cluster 0 enthält fast alle Dokumente, da die zufällig gewählte Anzahlt der Wörter nächsten an den Dokumenten lag Erreicht mit (keine Auswahl der Häufigkeitsfunktion und der Distanzfunktion möglich): - Einfacher Häufigkeit - Euklidischer Distanz Distanz- und Häufigkeitsfunktionen führen möglicherweise dazu, dass alle Dokumente nahe beieinander liegen Andreas Runk Clustering mit dem K-Means- 22/40

23 Version 2 Daten Effektivitätstests Performancetests Andreas Runk Clustering mit dem K-Means- 23/40

24 Version 2 Daten Effektivitätstests Performancetests Aufgrund der zufälligen Means entstehen zufällige Lösungen. Erreicht mit (keine Auswahl der Distanzfunktion möglich): - Einfacher Häufigkeit - Kosinus-Distanz Cluster 2 enthält viele Dokumente möglicherweise führt die gewählte Distanzfunktionen dazu, dass alle Dokumente nahe beieinander liegen Andreas Runk Clustering mit dem K-Means- 24/40

25 Version 3 Daten Effektivitätstests Performancetests Andreas Runk Clustering mit dem K-Means- 25/40

26 Version 3 Daten Effektivitätstests Performancetests Ergebnisse dieser Version reproduzierbar, da Startwerte nicht mehr zufällig angenommen werden Getestet wurden alle möglichen Kombinationen der hier implementierten Termfrequenz- und Distanzfunktionen. Dem intellektuellen Clustering ähnlichstes Ergebnis dieser Version wurde erreicht mit: - Einfacher Häufigkeit - Dice-Koeffizient-Distanz Aufgrund der Wahl von Distanz- und Termgewichtungsfunktionen kann die beste Kombination von den Benutzenden gewählt werden. bessere Aufteilung der Cluster Andreas Runk Clustering mit dem K-Means- 26/40

27 Version 4 Daten Effektivitätstests Performancetests Andreas Runk Clustering mit dem K-Means- 27/40

28 Version 4 Daten Effektivitätstests Performancetests Lösung dieser Version, welche der erwünschten Lösung am ähnlichsten ist. Ergebnisse dieser Version reproduzierbar, da Startwerte nicht mehr zufällig angenommen werden Getestet wurden alle möglichen Kombinationen der hier implementierten Termfrequenz- und Distanzfunktionen. Dem intellektuellen Clustering ähnlichstes Ergebnis dieser Version wurde erreicht mit: - Einfacher Häufigkeit - Jaccard-Koeffizient-Distanz - Zusammenfassung von Wörtern und Wortformen auf der Basis der Editierdistanz (Folie 40) Andreas Runk Clustering mit dem K-Means- 28/40

29 Testrechner Daten Effektivitätstests Performancetests System: Ubuntu CPU: Intel Q GHz RAM: 8 GB Andreas Runk Clustering mit dem K-Means- 29/40

30 Laufzeiten Daten Effektivitätstests Performancetests Andreas Runk Clustering mit dem K-Means- 30/40

31 K-Means einfach zu implementieren Wenn Qualität erforderlich erheblicher Mehraufwand Gute Clustering-Ergebnisse möglich Ausblick: Vergleich mit anderen Verfahren könnte mehr Aufschluss über Effektivität und Effizienz geben Ein Stemming könnte bessere Ergebnisse als die Editierdistanz ermöglichen. Andreas Runk Clustering mit dem K-Means- 31/40

32 Bibliography I [Arthur and Vassilvitskii(2007)] David Arthur and Sergei Vassilvitskii. k-means++: The advantages of careful seeding. Proceedings of the eighteenth annual ACM-SIAM symposium on Discrete algorithms, 7: , URL Last visited: [Bock(2007)] Hans-Hermann Bock. Origins and extensions of the k-means algorithm in cluster analysis URL Last visited: [Haenelt(2012a)] Karin Haenelt. Information Retrieval Modelle: Vektor-Modell. Kursfolien URL Modelle_Vektor.pdf. Last visited: Andreas Runk Clustering mit dem K-Means- 32/40

33 Bibliography II [Haenelt(2012b)] Karin Haenelt. Ähnlichkeitsmaße für Vektoren. Kursfolien (erste Fassung ) URL VektorAehnlichkeit.pdf. Last visited: [Haenelt(2012c)] Karin Haenelt. Clustering. Kursfolien URL http: //kontext.fraunhofer.de/haenelt/kurs/folien/haenelt_clustering.pdf. Last visited: Andreas Runk Clustering mit dem K-Means- 33/40

34 Bibliography III [MacKay(2003)] David MacKay. Chapter 20. an example inference task: Clustering. Information Theory, Inference and Learning Algorithms. Cambridge University Press., 2: , URL Last visited: [MacQueen(1967)] J. B. MacQueen. Some methods of classification and analysis of multivariate observations. In Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability, pages , URL Last visited: [Polar(2012)] Andrew Polar. Patentcorpus, URL Last visited: Andreas Runk Clustering mit dem K-Means- 34/40

35 Bibliography IV [Reinelt(2011)] Gerhard Reinelt. Effiziente Algorithmen 2. Universität Heidelberg, (Vorlesungsskript). [Steinhaus(1956)] H. Steinhaus. Sur la division des corp materiels en parties. Bull. Acad. Polon. Sci, 1: , [Wikipedia(2012a)] Wikipedia. Wikipedia, URL Last visited: [Wikipedia(2012b)] Wikipedia. Wikipedia K-Means, URL Last visited: Andreas Runk Clustering mit dem K-Means- 35/40

36 Speicher Termgewichte Distanzmaße Editier-Distanz Vielen Dank für Ihre Aufmerksamkeit Gibt es Fragen? Andreas Runk Clustering mit dem K-Means- 36/40

37 Speicher Speicher Termgewichte Distanzmaße Editier-Distanz Andreas Runk Clustering mit dem K-Means- 37/40

38 Termgewichte [Haenelt(2012a)] Speicher Termgewichte Distanzmaße Editier-Distanz Einfache Häufigkeit: f i,m = freq i,m Normalisierte Termfrequenz: tf i,m = freq i,m max l freq l,m tf-idf-gewichtung: tfidf i,m = tf i,m log N n i freq i,m N n i := Anzahl von Term t i in Dokument m := Gesamtzahl Dokumente := Anzahl Dokumente in denen Term t i vorkommt Andreas Runk Clustering mit dem K-Means- 38/40

39 Distanzmaße [Haenelt(2012b)] Speicher Termgewichte Distanzmaße Editier-Distanz Euklidisch: Cosinus: Dice-Koeffizient: Jaccard-Koeffizient: Overlap-Koeffizient: n k=1 w x,k w y,k n k=1 w x,k w y,k n k=1 w 2 n x,k k=1 w y,k 2 2 n k=1 w n x,k w y,k k=1 w x,k+ n k=1 w y,k n k=1 w n x,k w y,k k=1 w x,k+ n k=1 w y,k n k=1 w x,k w y,k n k=1 min{w x,k,w y,k } min{ n k=1 w x,k, n k=1 w y,k} n = X Y w m,i = Termgewicht von Term t i in Dokument m Andreas Runk Clustering mit dem K-Means- 39/40

40 Editier-Distanz Speicher Termgewichte Distanzmaße Editier-Distanz Berechnung von Wortähnlichkeiten δ = Kosten einer Lücke = Kosten von x i nach y j α xi,y j EditDist (A B) [Reinelt(2011)] 1: Setze A[i, 0] = iδ, für i = 1,..., p und A[0, j] = jδ, für j = 1,..., q 2: für alle j = 1,..., q 3: für alle i = 1,..., p 4: A[i, j] = min{a xi,y j + A[i 1, j 1], δ + A[i 1, j], δ + A[i, j 1]} rückgabe A[m,n] Laufzeit: O(p q) = O(l 2 ) Speicherbedarf: O(p q) = O(l 2 ) In den hier vorgestellten wurde eine Buchstaben Ersetzung und bis zu drei Lücken erlaubt. Also α xi,y j := 3 für x i y j, 0 sonst, δ := 1 und falls EditDist 3 Terme werden als gleich betrachtet. Andreas Runk Clustering mit dem K-Means- 40/40