Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Tobias Scheffer Christoph Sawade

Transkript

1 Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Christoph Sawade Heute: Niels Landwehr

2 Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer Ansatz: Gaußsche Mischmodelle Bayesscher Ansatz: Gaußsche Mischmodelle + Priors Scheffer/S Sawade: S prachtech hnologie 2

3 Clusteranalyse: Was ist Clustern? Wir haben Datenpunkte Z.B. Wir wollen Einteilung der Datenpunkte in Cluster Scheffer/S Sawade: Sprachtech hnologie 3

4 Clusteranalyse: Was ist Clustern? Annahme oft, dass Datenpunkte zu verschiedenen Klassen gehören aber wir sehen keine Klassenlabels! Nicht-überwachtes Lernen: rekonstruiere Klassen ohne Labels Scheffer/S Sawade: Sprachtech hnologie 4

5 Clusteranalyse: Anwendungen Überblick über eine Dokumentenkollektion Z.B. Suchmaschine: Suchwort Kohl Liefert grosse Menge von Dokumenten Helmut Kohl (Politik) Kohl s (US Kaufhaus) Scheffer/S Sawade: S prachtech hnologie Kohl (Gemüse) Idee: zeige dem Nutzer die Cluster, um genauere Auswahl des Themas zu ermöglichen 5

6 Clusteranalyse: Anwendungen Spam Kampagnen identifizieren Spam-Kampagne: große Menge ähnlicher (aber nicht gleicher) s Eine Kampagne ist ein deutlicher Cluster ähnlicher e- mails Attribute z.b. Worte die im Text auftauchen Scheffer/S Sawade: S prachtechnologie 6

7 Clusteranalyse: Anwendungen Erstellen der Wortklassen für n-gram Klassenmodelle Erinnerung Vorlesung 3: n-gram Klassenmodell Wir sehen uns [Montag Dienstag Mittwoch ] Nachmittag Wortklassen entsprechen Clustern Attribute z.b. Auftreten der Worte in bestimmten Kontexten t Scheffer/S Sawade: S prachtech hnologie 7

8 Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer Ansatz: Gaußsches Mischmodell Bayesscher Ansatz: Gaußsches Mischmodell + Priors Scheffer/S Sawade: S prachtech hnologie 8

9 Problemstellung Clustering (Deterministisch) i ti Gegeben Daten mit Anzahl vermuteter Cluster Gesucht Zuweisung der Daten zu Clustern Clusterzentren Andere Attributtypen (binär, nominal) möglich Oft problematisch (woher wissen wir K?) z.b. Scheffer/S Sawade: S prachtech hnologie So dass Abstand zwischen Punkten im selben Cluster klein und der Abstand zwischen Punkten in verschiedenen Clustern groß ist 9

10 Problemstellung Clustering (Deterministisch) i ti Gegeben Daten mit Anzahl vermuteter Cluster Gesucht Zuweisung der Daten zu Clustern Clusterzentren Andere Attributtypen (binär, nominal) möglich Oft problematisch (woher wissen wir K?) z.b. Scheffer/S Sawade: S prachtech hnologie So dass der quadratische Abstand zum Clusterzentrum minimiert wird: 10

11 K-Means Algorithmus Gleichzeitiges Min. über und schwierig Iterativer Algorithmus: Abwechselnde Minimierung Starte mit zufälligen Update Expectation Maximization Iteriere bis Konvergenz Scheffer/S Sawade: S prachtech hnologie Konvergenz sicher, weil J immer sinkt aber im Allgemeinen nur lokales Optimum 11

12 K-Means Algorithmus Expectation Schritt Einfach: ordne jeden Punkt dem ihm nächsten Cluster(zentrum) zu Scheffer/S Sawade: S prachtechnologie 12

13 K-Means Algorithmus Maximization Schritt Ableitungen Null setzen Scheffer/S Sawade: S prachtechnologie 13

14 K-Means Algorithmus Maximization Schritt Scheffer/S Sawade: Sprachtechnologie 14

15 Scheffer/Sawade: Sprachtechnologie 15 K-Means: Beispiel K = 2

16 Scheffer/Sawade: Sprachtechnologie 16 K-Means: Beispiel K = 2

17 Scheffer/Sawade: Sprachtechnologie 17 K-Means: Beispiel K = 2

18 Scheffer/Sawade: Sprachtechnologie 18 K-Means: Beispiel K = 2

19 Scheffer/Sawade: Sprachtechnologie 19 K-Means: Beispiel K = 2

20 Scheffer/Sawade: Sprachtechnologie 20 K-Means: Beispiel K = 2

21 Scheffer/Sawade: Sprachtechnologie 21 K-Means: Beispiel K = 2

22 K-Means: Beispiel K = 2 Kostenfunktion J fällt kontinuierlich Scheffer/S Sawade: Sprachtechnologie Iterationen 22

23 Kommentare K-Means Einfach zu implementieren Relativ schnell: O(NK) per Iteration Beschleunigung durch Datenstrukturen zur effizienten Berechnung des nächsten Clusterzentrums möglich Nur lokales Optimum garantiert unterschiedliche Startwerte = unterschiedliche Lösungen Nicht probabilistisch Muss Anzahl Cluster vorgeben Scheffer/S Sawade: S prachtech hnologie 23

24 Probabilistisches Clustern besser Clustern sollte Konfidenz liefern: für einige Datenpunkte können wir keine sichere Entscheidung treffen! Ursprüngliche Klassen Beobachtete Daten (nicht beobachtet) Probabilistische Cluster Clustern Scheffer/S Sawade: S prachtech hnologie Sicher Cluster 3! Cluster 1 oder 2? 24

25 Vorgegebene Anzahl von Clustern? Woher wissen wir, wie viele Cluster in Daten? Manchmal klar aus der Anwendungsdomäne Oftmals aber auch unklar Scheffer/S Sawade: S prachtechnologie Anzahl Cluster sollte vom Clustering Algorithmus (soweit möglich) mit bestimmt werden 25

26 Überblick Problemstellung/Motivation Deterministischer Ansatz: k-means Probabilistischer Ansatz: Gaußsches Mischmodell Bayesscher Ansatz: Gaußsches Mischmodell + Priors Scheffer/S Sawade: S prachtech hnologie 26

27 Probabilistisches Clustern mit Generativem Modell Idee: Generatives Modell, dass die Daten erzeugt haben könnte Clusterzugehörigkeit ist eine versteckte Variable in diesem Modell Modell hat Parameter (Familie von Modellen) Clustering: Gegeben die Daten Suche Parameter, so dass die Wahrscheinlichkeit dass Modell mit Parametern Daten erzeugt hat: Scheffer/S Sawade: S prachtech hnologie Likelihood 27

28 Probabilistisches Clustern: Gaußsches Mischmodell Ersetze feste Clusterzuweisungen durch entsprechende Zufallsvariablen Zufallsvariable Clusterzugehörigkeit g Generatives probabilistisches Modell Wähle erst einen Cluster Generiere dann Datenpunkt aus Cluster k Scheffer/S Sawade: S prachtechnologie 28

29 Probabilistisches Clustern: Gaußsches Mischmodell Verteilung über Cluster: Mischgewichte Wahrscheinlichkeit, Daten aus Cluster k zu sehen Resultierende Verteilung über z Gaußverteilung der Daten gegeben g Cluster Gaußverteilung Clusterzentrum Clusterkovarianz Scheffer/S Sawade: S prachtech hnologie Gesamtmodell: 29

30 Beispiel Gaußsches Mischmodell Gaußsches Mischmodell, K = 3, 500 Datenpunkte gezogen Clusterzentren Mischgewichte Clusterkovarianzen Geben an, wie die Punkte um das Clusterzentrum streuen 30 Scheffer/S Sawade: Sprachtechnologie

31 Multivariate Gaußverteilung Dichtefunktion Mittelwert (Mean) Kovarianz Beispiel D=2 Scheffer/S Sawade: S prachtech hnologie 31

32 Multivariate Gaußverteilung Dichtefunktion Mittelwert (Mean) Kovarianz Kovarianzmatrix beschreibt wie Dichte um den Mittenwert streut Scheffer/S Sawade: S prachtech hnologie 32

33 Gaußsches Mischmodell: Darstellung als Graphisches h Modell Abhängigkeit zwischen Variablen und graphisch darstellbar graphisches Modell Gegeben Daten, haben wir auch N Zufallsvariablen für Clusterzugehörigkeit Scheffer/S Sawade: S prachtechnologie Plate Notation Beobachtete Variable 33

34 Problemstellung Gaußsches Mischmodell Clustering (Maximum Likelihood) Gegeben Daten Gesucht Mischgewichte Clusterzentren Clusterkovarianzen So dass (logarithmische) Likelihood maximal: Scheffer/S Sawade: S prachtech hnologie Daraus lassen sich Clusterzugehörigkeiten berechnen 34

35 Problemstellung Gaußsches Mischmodell Clustering (Maximum Likelihood) Gegeben Daten Gesucht Mischgewichte Clusterzentren Clusterkovarianzen Scheffer/S Sawade: S prachtechnologie 35

36 EM Algorithmus für Maximum Likelihood Erinnerung (Vorlesung 4): Expectation-Maximization Algorithmus zur Maximierung der Likelihood Daten bestehen aus X (sichtbar) und Z (versteckt, hier Clusterzugehörigkeit) Idee: Likelihood Maximierung i wäre leicht, wenn wir X und Z hätten Scheffer/S Sawade: S prachtech hnologie Werte aller ZV in Modell beobachtet! b t! 36

37 Erinnerung: EM Algorithmus Aber Z nicht beobachtet! Idee: maximiere e Q-Funktion to Iteriere Expectation: Maximization: Parameterwert im letzten Schritt Scheffer/S Sawade: S prachtech hnologie Theorem (Konvergenz): Allerdings nur lokales Maximum 37

38 EM für Gaußsches Mischmodell Likelihood für vollständige Daten XZ X,Z Z ist allerdings unbekannt! Scheffer/S Sawade: Sprachtechnologie 38

39 EM für Gaußsches Mischmodell Q-Funktion für Gaußsches Mischmodell Scheffer/S Sawade: Sprachtechnologie Q-Funktion = Likelihood, in der die durch ihre Erwartungswerte ( Responsibilities ) ersetzt wurden! (Expectation Schritt) 39

40 EM für Gaußsches Mischmodell Expectation Schritt: Berechnung der Responsibilities Bayes Regel Scheffer/S Sawade: S prachtechnologie 40

41 EM für Gaußsches Mischmodell Maximization Schritt: maximiere in Ergebnis (ohne Beweis): Wir definieren Erwartete Anzahl von Punkten in Cluster k Dann Scheffer/S Sawade: S prachtech hnologie Erwarteter Anteil von Punkten in Cluster k Gewichteter Mittelwert für Cluster k 41

42 EM für Gaußsches Mischmodell Maximization Schritt: maximiere in Ergebnis (ohne Beweis): Definieren Erwartete Anzahl von Punkten in Cluster k Dann Scheffer/S Sawade: S prachtech hnologie Gewichtete Kovarianz für Cluster k 42

43 Vergleich mit K-Means EM Zusammenfassung: Starte mit zufälligen Expectation: berechne Responsibilities weiche Clusterzugehörigkeiten Maximization: i Weiche Berechnung der neuen Clusterzentren Scheffer/S Sawade: S prachtech hnologie Gaußsches Mischmodell + EM Weicher K- Means 43

44 Vergleich mit K-Means (formal) Gaußsches Mischmodell mit festen Clusterkovarianzen Expectation: Maximization: Für ε 0 harte Berechnung der neuen Clusterzentren Scheffer/S Sawade: S prachtechnologie Im Grenzfall ε 0 wird Gaußsches Mischmodell zu K-Means 44

45 Scheffer/Sawade: Sprachtechnologie 45 Beispiel Gaußsches Mischmodell Clustering

46 Scheffer/Sawade: Sprachtechnologie 46 Beispiel Gaußsches Mischmodell Clustering

47 Scheffer/Sawade: Sprachtechnologie 47 Beispiel Gaußsches Mischmodell Clustering

48 Scheffer/Sawade: Sprachtechnologie 48 Beispiel Gaußsches Mischmodell Clustering

49 Scheffer/Sawade: Sprachtechnologie 49 Beispiel Gaußsches Mischmodell Clustering

50 Problem I: Singularitäten EM maximiert Likelihood Problem: Singularität für Likelihood wird unendlich für! Overfitting : Modell zu sehr an Daten angepasst In der Praxis: Während EM diesen Fall detektieren und entsprechende Clusterkomponente neu initialisieren Scheffer/S Sawade: S prachtechnologie 50

51 Problem II: Wie bestimmt man Anzahl der Cluster? Likelihood Funktion Je mehr Komponenten wir zulassen, desto größer wird (bis Anzahl Komponenten = N) Modell mit N Clustern nutzlos! Likelihood kann nicht über Anzahl Cluster entscheiden Ebenfalls Overfitting Phänomen Scheffer/S Sawade: S prachtech hnologie 51

52 Diskussion Gaußsches Mischmodell Probabilistisches Verfahren Singularitäten gua Anzahl Cluster muss vorgegeben g werden Problem ist der Maximum Likelihood Ansatz ML Ansatz erlaubt, Parameter zu sehr an den Datensatz anzupassen (Overfitting) Lösung: Regularisierung durch Prior Scheffer/S Sawade: S prachtech hnologie 52

53 Überblick Problemstellung/Motivation Deterministischer Ansatz: k-means Probabilistischer Ansatz: Gaußsches Mischmodell Bayesscher Ansatz: Gaußsches Mischmodell + Priors Scheffer/S Sawade: S prachtech hnologie 53

54 Prior Verteilungen für Gaußsches Mischmodell Gaußsches Mischmodell kann durch Prior Verteilungen erweitert werden ZV Prior-Verteilung Erwartung für Parameterwerte (degenerative Fälle unwahrscheinlich) Gesamtverteilung Scheffer/S Sawade: S prachtech hnologie 54

55 Prior Verteilungen für Gaußsches Mischmodell Prior auf Mischgewichten: Dirichlet Verteilung Hyperparameter Normalisierer Beispiel K = 2 Konjugierter Prior: Günstig für Bayessche Inferenz (Posterior hat dieselbe Form wie Prior) Scheffer/S Sawade: S prachtech hnologie 55

56 Prior Verteilungen für Gaußsches Mischmodell Gesucht: Nur vereinfachter Fall: univariate Gaußverteilung Konjugierter Prior: Normal Gamma Verteilung Normal-Gamma Verteilung mit Scheffer/S Sawade: S prachtech hnologie Hyperparameter, p die Form der Verteilung bestimmen 56

57 MAP Lösung Gaußsches Mischmodell Maximum a posteriori Parameterschätzung: Anpassung des EM Algorithmus: maximiere Entsprechende Änderung im M-Schritt notwendig (keine Details) Scheffer/S Sawade: S prachtech hnologie 57

58 Vorteile von MAP gegenüber ML Löst das Problem der Singularitäten Prior verhindert den Fall Scheffer/S Sawade: Sprachtechnologie 58

59 Vorteile von MAP gegenüber ML Löst das Problem, dass wir Anzahl Cluster vorgeben müssen Lösungen für Mischgewichte im Modell mit Prior: oft Grund (anschaulich): h) Scheffer/S Sawade: S prachtech hnologie Automatischer Trade-off zwischen begrenzter Modellkomplexität und Anpassung an Daten 59

60 Bayessche Lösung MAP Bayes Wenn Hauptinteresse Clusterzugehörigkeit ist, wollen wir eigentlich die Bayessche Lösung Maximum a posteriori Lösung kann als (grobe) Approximation an Bayes-Lösung verstanden werden Algorithmen für die Bayessche Lösung: Variational Inference, Sampling (keine Details) 60 Scheffer/S Sawade: S prachtech hnologie

61 Zusammenfassung Clusterproblem Deterministischer Ansatz: K-Means Schnell, einfach, nicht probabilistisch Versteckte Variable (Clusterzugehörigkeit) Konstruiere Modell, das die Daten erzeugt haben könnte Probabilistischer Ansatz mit Gaußschem Mischmodell Allgemeiner + eleganter als K-Means Training mit EM Algorithmus Pi Prior-Verteilungen il auf Parametern um Overfitting zu vermeiden 61 Scheffer/S Sawade: S prachtech hnologie

62 Scheffer/Sawade: Sprachtechnologie 62 Fragen?

63 Acknowledgements Folien (insb. Grafiken) basierend auf C. Bishop, Pattern Recognition and Machine Learning, Kapitel 9/10 Scheffer/S Sawade: S prachtechnologie 63