Universität Duisburg-Essen, Standort Duisburg Institut für Informatik und interaktive Systeme Fachgebiet Informationssysteme

Transkript

1 Universität Duisburg-Essen, Standort Duisburg Institut für Informatik und interaktive Systeme Fachgebiet Informationssysteme Studienprojekt Invisible Web (Dipl.-Inform. Gudrun Fischer - WS 2003/04) Blockseminar ( ) Thema 3: Text-Clustering Foliensatz

2 Text-Clustering 1 Was ist Clustering? 2 Arten von Clustering 3 Clustern von Textdokumenten 4 Literatur 2

3 1 Was ist Clustering? Clustering ist ein Retrievalmodell Mengen von ähnlichen Dokumenten (Cluster) werden gebildet Retrieval ohne explizite Fragestellung ein Ähnlichkeitsmaß wird genutzt, um die Cluster zu berechnen Ausgangspunkt ist die sogenannte Cluster-Hypothese : Man kann nämlich zeigen, dass die Ähnlichkeit der relevanten Dokumente untereinander und der irrelevanten Dokumente untereinander größer ist als die zwischen anderen (zufälligen) Teilmengen der Dokumentenkollektion. [2] 3

4 1 Was ist Clustering? Ziel des Clustering: Identifikation einer endlichen Menge von Clustern Dokumente im gleichen Cluster sollen möglichst ähnlich sein Dokumente aus verschiedenen Clustern sollen möglichst unähnlich zueinander sein Die berechneten Cluster können auf drei Arten genutzt werden: Zur Suche (potentiell) relevanter Dokumente zu einem schon bekannten relevanten Dokument. Cluster Retrieval: Wenn kein relevantes Dokument bekannt ist, kann dieses Verfahren benutzt werden, um ein potentielles Cluster zu lokalisieren. Cluster-Browsing 4

5 1 Was ist Clustering? Vorteile von Clustering: Überblick über den Inhalt einer sehr großen Datenmenge Identifikation der verborgenen Ähnlichkeit Erleichterung der Suche nach ähnlichen Dokumenten Beispiel 1 : 1 aus [5] übernommen 5

6 2 Arten von Clustering 2.1 agglomeratives Clustering 2.2 partitionierendes Clustering 2.3 hierarchisches Clustering 6

7 2.1 agglomeratives Clustering Ablauf von agglomerativem Clustering: vorgegebener Schwellenwert für die Ähnlichkeit einmaliger Durchlauf der Dokumente mit dem Ziel, Dokumente zu (schon vorhandenen) Clustern hinzuzufügen existiert noch kein Cluster wird ein neues Cluster gebildet 7

8 2.2 partitionierendes Clustering Ablauf von partitionierendem Clustering: vorzugebene Anzahl k zu bildender Cluster bestimmt werden k seed -Dokumente, die hinreichend unterschiedlich sind jedes dieser Dokumente bildet den Kern eines der k Cluster die übrigen Dokumente werden dann jeweils dem ähnlichsten Cluster hinzugefügt Dadurch werden die Dokumente in disjunkte Cluster eingeteilt, so dass gilt: jedes Cluster besteht aus mindestens einem Dokument jedes Dokument ist höchstens in einem Cluster enthalten 8

9 2.3 hierarchisches Clustering es wird eine Hierarchie von Clustern gebildet Clustertypen: disjunkte Cluster Cluster, die in einem größeren Cluster enthalten sind Cluster, die aus der Vereinigung von bereits bestehenden Clustern gebildet werden Mit beiden Arten von Clustering (agglomeratives und partitionierendes) kann durch iteratives Anwenden ein hierarchisches Clustering realisiert werden und damit ein interaktives Browsen des Nutzers durch die einzelnen Cluster. 9

10 2.3 hierarchisches Clustering flaches Clustering: hiearchisches Clustering: 10

11 3 Clustern von Textdokumenten 3.1 Probleme beim Clustern von Textdokumenten 3.2 prinzipielle Vorgehensweise beim Text Clustering 3.3 bisherige Algorithmen 3.4 Algorithmen zur Lösung der genannten Probleme 11

12 3.1 Probleme beim Clustern von Textdokumenten hohe Dimensionalität der Daten ( Terme / Dimensionen) Verwendung von schwachbesetzten Datenstrukturen oder Methoden zur Verringerung der Dimensionalität sehr große Datenbank (z.b. world wide web) sehr effiziente Algorithmen und skalierbare Datenbanken werden benötigt Finden von verständlichen Beschreibungen der Cluster, da diese den Nutzer durch den Prozess des Browsen leiten 12

13 3.2 prinzipielle Vorgehensweise beim Text Clustering 1. Preprocessing Entfernen von inhaltlich irrelevanten Informationen Elimination von Stoppworten (stopwords) Einteilung der Dokumente in Terme Umwandlung der Terme in Stammform (stemming) 2. Festlegung eines Ähnlichkeitsmaßes z.b. für das VRM (Vektor-Raum-Modell): Ein Dokument wird durch den Vektor d = (tf 1,..., tf m ) repräsentiert (tf i : Häufigkeit des Terms i in diesem Dokument). Ein typisches Ähnlichkeitsmaß für das VRM ist das Kosinusmaß: sim(d 1, d 2 ) = d 1 d 2 d 1 2 d 2 2 Dabei ist d i 2 die euklidische Norm des Vektors d i und repräsentiert das Skalarprodukt. 3. Berechnung der Ähnlichkeitsmatrix für alle möglichen Dokumentenpaare 4. Berechnung der Cluster 13

14 3.3 bisherige Algorithmen Verfahren für agglomeratives Clustering Algorithmen für partitionierendes Clustern Nachteile der Algorithmen 14

15 3.3.1 Verfahren für agglomeratives Clustering Bedingungen für die Aufnahme eines Dokuments d k in ein Cluster C l. Single-Link: Complete-Link: Average-Link: α max d i C l sim(d k, d i ) α min d i C l sim(d k, d i ) α 1 C l d i C l sim(d k, d i ) α entspricht dem vogegebenen Schwellenwert für die Ähnlichkeit. 15

16 3.3.2 Algorithmen für partitionierendes Clustern Die Anzahl k der Cluster ist vorgegeben. k-means In mehreren Schritten werden die Dokumente jeweils dem ähnlichsten Cluster zugeordnet, das durch seinen Mittelwert (Zentroid) repräsentiert ist. bisecting k-means Ausgehend von 2 durch k-means gebildeten Clustern wird k-means iterativ auf den jeweils bisher größten Cluster angewandt, solange bis k Cluster entstanden sind. k-medoid Wie k-means, nur daß die Dokumente dem ähnlichsten Cluster zugeordnet werden, das durch ein mittleres Dokument repräsentiert ist. 16

17 3.3.3 Nachteile der Algorithmen Nachteile der bisherigen Algorithmen: Grundlage ist das VRM die Algorithmen clustern den vollständigen Vektorraum die berechneten (virtuellen) Zentroiden sind nicht dazu geeignet als verständliche Beschreibung der Cluster zu dienen Daraus resultiert die Motivation einen neuen Ansatz für das Text-Clustering zu suchen, der nicht auf dem VRM basiert. 17

18 3.4. Algorithmen zur Lösung der genannten Probleme Idee der Algorithmen Definitionen FTC (Frequent Term-based Clustering) HFTC (Hierarchical Frequent Term-based Clustering) Evaluierung von FTC und HFTC 18

19 3.4.1 Idee der Algorithmen Idee: Es werden Mengen von Termen betrachtet, die in einem festgelegten Anteil aller Dokumente vorkommen (Frequent Term Set [FTS]); dadurch wird die Dimensionalität verringert. Ein Cluster(-Kanididat) besteht aus allen Dokumenten, die alle Terme von einem FTS beinhalten. Die FTS können als Beschreibungen der Cluster genutzt werden. Ablauf der Algorithmen: 1. bilden der FTS 2. solange bis ein Clustering entstanden ist: (a) bilden von Cluster-Kandidaten (b) auswählen der tatsächlichen Cluster durch ein Auswahlkriterium 19

20 3.4.2 Definitionen Datenbank mit Textdokumenten D i Menge aller Terme t j, D i T 0 minsup 1 prozentuale Abdeckung der Dokumente, die ein FTS haben muss cov(s), S T Abdeckung von S, d.h. D = {D 1,..., D m } T = {t 1,..., t n } cov(s) = {D i D S D i } F = {F 1,..., F p } Menge aller FTS bzgl. minsup, d.h. F = {F i T cov(f i ) minsup D } C = {F i F cov(f i ) = D} i I f j = {F i R F i D j } Clustering Anzahl der FTS, die D j abdecken R ist die Menge der noch abzuarbeitenden F i s 20

21 3.4.2 Definitionen Wie wird der beste Cluster-Kandidat ausgewählt? Ziel ist es, ein Clustering mit minimaler Überschneidung der einzelnen Cluster zu finden. 1. Standard-Überschneidung SO(C i ) = D j C i (f j 1) C i einfach zu berechnen Cluster-Kandidaten (FTS) mit wenigen Termen werden bevorzugt, da jede Teilmenge eines FTS wieder ein FTS ist 2. Entropie-Überschneidung EO(C i ) = D j C i 1 f j ln( 1 f j ) steigt mit wachsendem f j monoton an Cluster-Kandidaten (FTS) mit mehr Termen als bei der SO werden bevorzugt, wodurch die Clustering-Qualität steigt 21

22 3.4.3 FTC (Frequent Term-based Clustering) FTC (database D, float minsup) { } //entspricht den Cluster-Beschreibungen SelectedTermSets := {}; n := D ; //effizienter Algorithmus zum Bestimmen der FTS ( apriori ) //jede Teilmenge aus einem FTS ist wieder ein FTS RemainingTermSets := DetermineFrequentTermsets(D, minsup); while ( cov(selectedtermsets n) { for each (set in RemainingTermSets) { calculate overlap for set; } BestCandidate := element of RemainingTermSets with minimum overlap; SelectedTermSets := SelectedTermSets BestCandidate; RemainingTermSets := RemainingTermSets \ BestCandidate; Remove all documents in cov(bestcandiate) from D and from the coverage of all of the RemainingTermSets; } return SelectedTermSets and the cover of the elements of SelectedTermSets; 22

23 3.4.3 FTC (Frequent Term-based Clustering ) - Beispiel Datenbank: [1] [Sonntag, Freizeit, Kino] [4] [Fernseher, Lautsprecher, Freizeit, Kino] [2] [schwimmen, Freizeit, Schwimmbad] [5] [Bademeister, schwimmen, Whirlpool] [3] [Monitor, Computer, Lautsprecher] ########################## Schritt 0 ########################## Frequent term set und Ueberschneidung [schwimmen] [Lautsprecher] [Freizeit] [Freizeit, Kino] [Kino] BestCandidate: [schwimmen] selectedtermsets: [[schwimmen]] remainingtermsets: [[Lautsprecher], [Freizeit], [Freizeit, Kino], [Kino]] Datenbank: [1] [Sonntag, Freizeit, Kino] [4] [Fernseher, Lautsprecher, Freizeit, Kino] [3] [Monitor, Computer, Lautsprecher] 23

24 3.4.3 FTC (Frequent Term-based Clustering ) - Beispiel ########################## Schritt 1 ########################## Frequent term set und Ueberschneidung [Lautsprecher] [Freizeit] [Freizeit, Kino] [Kino] BestCandidate: [Lautsprecher] selectedtermsets: [[schwimmen], [Lautsprecher]] remainingtermsets: [[Freizeit], [Freizeit, Kino], [Kino]] Datenbank: [1] [Sonntag, Freizeit, Kino] ########################## Schritt 2 ########################## Frequent term set und Ueberschneidung [Freizeit] [Freizeit, Kino] [Kino] BestCandidate: [Freizeit] selectedtermsets: [[schwimmen], [Lautsprecher], [Freizeit]] remainingtermsets: [[Freizeit, Kino], [Kino]] Datenbank: Cluster-Beschreibungen: [[schwimmen], [Lautsprecher], [Freizeit]] 24

25 3.4.4 HFTC (Hierarchical Frequent Term-based Clustering) Durch mehrfache Ausführung von FTC kann ein hierarchisches Clustering realisiert werden: 1. Anwenden von FTC auf alle FTS mit Kardinalität k=1 (1-FTS) 2. solange noch neue Cluster gebildet werden können: (a) Die neuen Cluster ebenfalls mit FTC clustern, allerdings nun mit den k+1-fts. Dabei werden nur die k+1-fts genommen, von denen die k-fts Teilmengen sind, d.h. k-fts k+1-fts. Als Ergebnis erhält man einen Baum von Cluster-Beschreibungen, der in der Wurzel mit einer leeren Beschreibung (alle Dokumente) beginnt. 25

26 3.4.4 HFTC (Hierarchical Frequent Term-based Clustering) - Beispiel HFTC Ergebnis: 26

27 3.4.5 Evaluierung von FTC und HFTC FTC (Frequent Term-based Clustering): effizienter als andere Algorithmen automatische Generierung der Cluster-Beschreibungen Vergleichbare Cluster-Qualität HFTC (Hierarchical Frequent Term-based Clustering): kann im Gegensatz zu anderen Algorithmen ein überlappendes hierarchisches Clustering erzeugen die Cluster-Qualität ist etwas schlechter als bei anderen Algorithmen das Clustering ist verständlicher und einfacher zu durchbrowsen 27

28 4 Literatur [1] Florian Beil, Martin Ester, Xiaowei Xu: Frequent Term-Based Text Clustering, [2] Prof. N. Fuhr: Information Retrieval, Skriptum zur Vorlesung im SS 02, index.html [3] Fonny Cendekia Vera: Text Mining : Grundlagen, Verfahren, und Anwendungen, Beitraege/Text%20Mining%20Vortrag.pdf [4] Matthias Pretzer: Clustering und Klassifikation, [5] Prof. Dr.-Ing. Wolfgang Lehner: Grundlagen des Clustering, Clustering-WebVersion.pdf 28