Datenstrukturen und Algorithmen. Christian Sohler FG Algorithmen & Komplexität

Transkript

1 Datenstrukturen und Algorithmen Christian Sohler FG Algorithmen & Komplexität 1

2 Clustering: Partitioniere Objektmenge in Gruppen(Cluster), so dass sich Objekte in einer Gruppe ähnlich sind und Objekte in unterschiedlichen Gruppen sich unterscheiden Anwendungen: Vereinfachung von Daten und verlustbehaftete Datenkompression Erkennung von Mustern Anwendungsgebiete: Maschinelles Lernen, Bioinformatik, Statistik, Datenkompression, Bilderkennung, Spracherkennung, etc. 2

3 Modellierung algorithmischer Probleme: Was sind Objekte? Wann sind sich Objekte ähnlich? Was ist das Ziel des Clustering? Geeignete Problemformulierung? Oft nicht eindeutig möglich Exakte Formulierung meist nicht effizient lösbar Trade-off: Einfachheit gegen Realismus 3

4 Beispiel 1: Problem: mehrdeutige Begriffe bei Websuche Beispiele: Jaguar, Armstrong Mögliche Abhilfe: - Clustering von Webseiten - Falls es zu einem Anfragebegriff mehrere Cluster gibt, dann stellt Suchmaschine Rückfragen Für Rückfragen wäre ein Repräsentant jedes Clusters hilfreich Wann sind Webseiten ähnlich? 4

5 Beispiel 1 (Problemformulierung): Idee: Ähnlichkeit über Statistik der auftauchenden Wörter Wichtig sind Wörter, die normalerweise selten auftreten, in der betrachteten Seite aber häufig sind Definition (TFIDF): Sei eine Menge von n Textdokumenten gegeben. Es sei tf(d,t) die Häufigkeit von Wort t in Dokument d und sei df(t) die Anzahl Dokument, die Wort t enthalten. Dann ist die TFIDF (term frequency inverse document frequency) von t in d definiert als tfidf(d,t) = tf(d,t) log(n/df(t)). 5

6 Beispiel 1 (Problemformulierung): Jedes Dokument d wird durch TFIDF Vektor repräsentiert, der für jedes t den Wert tfdidf(d,t) enthält Damit ist jedes Dokument ein Punkt in einem hochdimensionalen Raum Wann sind TFIDF Vektoren ähnlich? Sind alle Einträge eines Vektors genau doppelt so groß wie die eines anderen, so sind sie sich ähnlich (die eine Seite enthält nur mehr Text) Betrachte daher Winkel zwischen den TFIDF-Vektoren Ähnlichkeit zweier Webseiten x,y wird durch Cosinus der TFIDF Vektoren gemessen 6

7 Beispiel 1 (Problemformulierung): Finde k Gruppen mit zugehörigen Repräsentanten, so dass die Summe des Cosinus der Winkel der TFIDF- Vektoren zu dem Vektor ihres Repräsentanten maximiert wird α 7

8 Beispiel 1 (Problemformulierung): Finde k Gruppen mit zugehörigen Repräsentanten, so dass die Summe des Cosinus der Winkel der TFIDF- Vektoren zu dem Vektor ihres Repräsentanten maximiert wird 8

9 Beispiel 1 (Problemformulierung 2): Idee: Verweist eine Seite auf zwei andere Seiten, so sind haben diese Seiten ähnlichen Inhalt B A C 9

10 Beispiel 1 (Problemformulierung 2): Idee: Verweist eine Seite auf zwei andere Seiten, so sind haben diese Seiten ähnlichen Inhalt B A C Seite B und C sind ähnlich, weil auf sie von A aus verwiesen wird (Die Seiten werden von A zitiert) 10

11 Definition (Co-Citation Graph): Sei G=(V,E) ein gerichteter Graph. Der ungerichtete (gewichtete) Co-Citation Graph H=(V,F) von G hat eine Kante zwischen zwei Knoten u, w, g.d.w. es einen Knoten v V gibt mit (v,u) E und (v,w) E. Das Gewicht einer Kante (u,w) im Co-Citation Graph ist die Anzahl der Knoten v V mit (v,u) E und (v,w) E

12 Beispiel 1 (Problemformulierung 2): Finde k Gruppen, so dass das durchschnittliche Intracluster Kantengewicht des Co-Citation Graph maximiert wird

13 Beispiel 1 (Problemformulierung 2): Finde k Gruppen, so dass das durchschnittliche Intracluster Kantengewicht des Co-Citation Graph maximiert wird Es gibt 6 mögliche Intra-Cluster Kanten mit Gesamtgewicht 8: Qualität des Clusterings ist also 4/

14 Beispiel 1 (Problemformulierung 2): Finde k Gruppen, so dass das durchschnittliche Intracluster Kantengewicht des Co-Citation Graph maximiert wird Es gibt 4 mögliche Intra-Cluster Kanten mit Gesamtgewicht 4: Qualität des Clusterings ist also

15 Diskussion: Zwei völlig verschiedene Modellierungen desselben Problems Welche ist besser? Verschiedene Aspekte: Welche Formulierung liefert bessere Ergebnisse Experimente machen Welche Formulierung kann man effizient lösen? Keine eindeutige Antwort möglich! 15

16 Beispiel 2: Verlustbehaftete Datenkompression von Bildern Ansatz: Reduktion der Farbtiefe Bitmap: 8 Bits für jeden der 3 RGB Werte (Farbtiefe 24 Bits) Reduktion auf wenige Farben Ansatz: Clustering des Farbraums eines Bildes, d.h. der Menge der RGB-Vektoren Eingabe ist also Punktmenge im 3D 16

17 Beispiel 2 (Problemformulierung): Benötigen k Repräsentanten Repräsentanten nicht notwendigerweise Teil der Eingabe (wir dürfen neue Farben wählen Repräsentant sollte der Durchschnitt aller Punkte ein Wir minimieren folgende Zielfunktion: Finde k Zentren (Repräsentanten) und k Cluster C 1,,C k, so dass minimiert wird. k Σ Σ (d(p,c ))² i=1 p C i i 17

18 Beobachtung: Sei P eine Punktmenge und seien Zentren c,, c 1 k gegeben. Dann erhält man ein für diese Punktmenge optimales Clustering, indem man jeden Punkt dem nächstgelegenen Zentrum zuordnet. 18

19 Beobachtung: Sei P eine Punktmenge und seien Zentren c,, c 1 k gegeben. Dann erhält man ein für diese Punktmenge optimales Clustering, indem man jeden Punkt dem nächstgelegenen Zentrum zuordnet. 19

20 Definition: Sei P eine Menge von n Punkten im R. Dann heißt der Punkte µ(p) = Σ p /n Schwerpunkt von P. p P (Dabei werden die Punkte als Vektoren aufgefasst.) d 20

21 Lemma: Sei P eine Menge von n Punkten im R. Dann wird die Funktion f(x) = Σ (d(p,x))² minimiert durch µ(p). p P d 21

22 Wir wissen: Bei vorgegebenen Zentren wird die bestmögliche Lösung durch Zuweisung der Punkte zum nächstgelegenen Zentrum erzielt Bei vorgegebenen Clustern wird die beste Lösung erzielt, indem man als Zentrum jedes Clusters den Schwerpunkt des Clusters wählt 22

23 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 23

24 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 24

25 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 25

26 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 26

27 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 27

28 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 28

29 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 29

30 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 30

31 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 31

32 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 32

33 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 33

34 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 34

35 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 35

36 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 36

37 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k 37

38 Lloyds Algorithmus(P,k) 1. Wähle k unterschiedliche Zentren c,,c beliebig 2. Solange sich die Zielfunktion verbessert 3. Partitioniere P so in Cluster C,, C, dass C die 1 k i Punkte aus P enthält, deren nächstgelegenes Zentrum c ist i 4. Für jedes 1 i k sei c µ(c ) i i 1 k Laufzeit: O(nkd) pro Iteration des Algorithmus 38

39 Lemma: Lloyds Algorithmus konvergiert nach O(2 ) Iterationen. Lemma: Die von Lloyds Algorithmus berechnete Lösung ist nicht notwendigerweise eine optimale Lösung (die berechnete Lösung ist ein lokales aber kein globales Minimum). nk 39

40 Lemma: Lloyds Algorithmus konvergiert nach O(k ) Iterationen. Lemma: Die von Lloyds Algorithmus berechnete Lösung ist nicht notwendigerweise eine optimale Lösung (die berechnete Lösung ist ein lokales aber kein globales Minimum). n Qualität der berechneten Lösung hängt stark von Startlösung ab! 40

41 Können wir andere Aussagen machen? Z.B.: die Kosten (gemäß Zielfunktion) für die berechnete Lösung sind höchstens doppelt so groß wie die einer optimalen Lösung (Einen solchen Algorithmus würde man Approximationsalgorithmus nennen) Nein, solche Aussagen kann man nicht machen! 41

42 Neues algorithmisches Verfahren (lokale Suche): Berechnet Lösung durch lokale Verbesserung Algorithmus konvergiert nach endlich vielen Schritten Berechnete Lösung ist lokales Minimum aber nicht immer auch ein globales Häufig relativ einfach zu implementieren und in der Praxis effizient 42

43 Offene Probleme Genauere Analyse von Lloyds Algorithmus bzw. Varianten, die immer eine gute Approximation der optimalen Lösung garantieren Clustering Verfahren für sich bewegende Objekte (Sensornetzwerke, Mobilfunk, etc.) Viele neue Anwendungsmöglichkeiten (z.b. Web Spam Detection) 43

44 Zusammenfassung: Viele unterschiedliche Clustering Probleme Lloyds Algorithmus O(nkd) pro Iteration Konvergiert Keine Garantie für Lösungsqualität Lokales Suchverfahren 44