Clustering B EM-Algorithmus Automatische Bestimmung der Clusteranzahl

Transkript

1 Clustering B EM-Algorithmus Automatische Bestimmung der Clusteranzahl Daniel Birkmaier, Erlangen,

2 Inhalt EM-Algorithmus Grundlegendes Details Anwendung Beispiel Automatische Bestimmung der Cluster-Anzahl Grundlegendes Χ 2 -Statistiken Arten Prüfgrößen Beziehungen zum k-means-algorithmus Bootstrap-Verfahren Beispiel 2

3 EM-Algorithmus Grundlegendes

4 Geschichte des EM-Algorithmus 1974 Entdeckung durch Goodman Häufige Verwendung von Autoren in bestimmten Spezialfällen 1977 Verallgemeinerung der Konvergenzanalyse auf breitere Klasse von Problemen durch Dempster, Laird und Rubin Wichtiges Instrument für statische Analyse 1983 Veröffentlichung korrekter, nicht exponentieller Konvergenzanalyse durch Jeff Wu 4

5 Erinnerung an den k-means-algorithmus Schritt 1: Zufällige Zuordnung der Objekte zu k Clustern Schritt 2: Berechnung der Cluster-Zentren mit arithmetischem Mittel Schritt 3: Neuzuordnung der Objekte zum Cluster-Zentrum mit minimaler euklidischer Distanz Schritt 4: Iteration Bei Änderung der Cluster-Zuordnung der Objekte Wiederholung ab Schritt 2 5

6 Unterschiede zwischen k-means- und EM-Algorithmus Verallgemeinerung des k-means-algorithmus (Ausnahme: TwoStep-Cluster) Schritt 2: Berechnung der Klassenzentren und Klassenanteilswerte Arithmetisches Mittel Maximum-Likelihood-Schätzung Schritt 3: Klassenzuordnung Minimale euklidische Distanz Zuordnungswahrscheinlichkeit Deterministische Zuordnung der Objekte zu den Klassen Probabilistische Zuordnung der Objekte zu den Klassen Beschreibung und Interpretation einer Klassenlösung analog zu k- Means Unterschiede kaum bei Klassenzentren, eher bei Klassenanteilswerten 6

7 EM-Algorithmus Schritt 1: Zufällige Zuordnung der Objekte zu k Clustern Schritt 2: Berechnung der Cluster-Zentren mit Maximum-Likelihood-Schätzung Schritt 3: Neuzuordnung der Objekte zum Cluster-Zentrum mit höchster Zuordnungswahrscheinlichkeit Schritt 4: Iteration Bei Änderung der Cluster-Zuordnung der Objekte Wiederholung ab Schritt 2 7

8 Möglichkeiten der Beschreibung und Interpretation äquivalent k-means-algorithmus Prüfung jeder Variable auf signifikanten Beitrag zur Klassentrennung (Streuung der Variablen und F-Wert) Berechnung paarweiser Unterschiede von Klassen in den Variablen Zusammenfassung von Variablen innerhalb einer Klasse zu Gruppen Prüfung auf signifikante Abweichungen von den Gesamtmittelwerten durch Berechnung von z-werten Beschreibung und inhaltliche Validitätsprüfung durch Deskriptionsvariablen bi-/multivariate Verfahren 8

9 Vorteile des EM-Algorithmus Gute Vergleichbarkeit Modellierbarkeit von Messfehlern in den Variablen Kleinere Anfälligkeit für Verzerrungen durch irrelevante Variablen Ermittlung von erwartungstreuen Schätzern für Cluster-Zentren Formal besser begründete Maßzahlen für Bestimmung der Cluster- Zahl Modellierung unterschiedlicher Variablentypen möglich 9

10 Nachteile des EM-Algorithmus Konvergente und stabile Lösungen benötigen größere Stichproben Verletzung von zu treffenden Annahmen kann zu verzerrten Schätzungen führen Untersuchung der Identifikation des zu schätzenden Modells 10

11 EM-Algorithmus Details

12 Konzept der lokalen Unabhängigkeit Zentral für EM-Algorithmus Modellvorstellung: Grundstein der Daten: K latente/unbeobachtete Klassen Erklärung der Zusammenhänge zwischen den untersuchten manifesten/beobachteten Variablen durch Klassen Einführung der (latenten) Klassen als Kontrollvariablen in die Analyse Verschwinden der empirischen Zusammenhänge Unabhängigkeit manifester Variablen innerhalb jeder Klasse 12

13 Modellansatz K latente Klassen Paarweise Unabhängigkeit aller Variablen innerhalb jeder Klasse Anteilswert π(k) jeder Klasse k an der Grundgesamtheit 2 Normalverteilung mit einem Erwartungswert μ kj und der Varianz σ kj für jede Klasse k und jede Variable j 13

14 Normalverteilung der Variablen Zusammensetzung des beobachteten Wertes x gj der Variablen X j eines Objekts g einer Klasse k: Klassenmittelwert μ kj Fehlerterm ε gj ε gj ist Realisierung einer normalverteilten Zufallsvariable ξ kj Erwartungswert 0 2 Varianz σ kj ξ kj paarweise unabhängig: cov(ξ kj, ξ kj* ) = 0 14

15 Grundlegende Stochastikwerte Gesamtmittelwert für eine Variable: μ j = k Kovarianz zwischen zwei Variablen: σ jj = k π (k )μ kj Varianz einer Variablen: σ j 2 = σ jj = k π (k )(μ kj μ j )(μ kj μ j ) π (k )σ 2 kj + π (k )(μ kj μ j ) 2 k 15

16 Bedingte Wahrscheinlichkeiten Bedingte Wahrscheinlichkeit für das Auftreten eines Objektes g mit bestimmtem Wert x gj für die Variable j in der Klasse k: π (x gj k ) = ϕ(x gj μ kj, σ kj ) = Bedingte Wahrscheinlichkeit für die Zugehörigkeit eines Objektes g zu einer Klasse k: π (g k ) = j π(x gj k ) 1 2πσ kj e (x gj μ kj ) σ kj 16

17 Maximum-Likelihood-Schätzung Likelihood-Funktion L: L = g k Log-Likelihood-Funktion LL: LL = lnl = g π (k )π (g k ) ln k π (k )π (g k ) Schätzwertbestimmung durch Funktionsmaximierung 17

18 EM-Algorithmus Anwendung

19 Grundprinzip des EM-Algorithmus Expectation-Schritt (E-Schritt): Abschätzung der Zuordnungswahrscheinlichkeiten π(k g) Annahme: Modellparameter π(k), µ kj und σ kj sind gegeben Maximization-Schritt (M-Schritt): Abschätzung der Modellparameter π(k), µ kj und σ kj Annahme: Zuordnungswahrscheinlichkeiten π(k g) sind gegeben 19

20 EM-Algorithmus Schritt 1: Zufällige Zuordnung der Objekte zu k Clustern Schritt 2: E-Schritt Berechnung der Cluster-Zentren mit Maximum-Likelihood-Schätzung Schritt 3: M-Schritt Neuzuordnung der Objekte zum Cluster-Zentrum mit höchster Zuordnungswahrscheinlichkeit Schritt 4: Iteration Bei Änderung der Cluster-Zuordnung der Objekte Wiederholung ab Schritt 2 20

21 Annahme Wahrscheinlichkeit für Auftreten einer Klasse bei Objekt g gegeben π (k g ) Vorsicht! Annahme entspricht nicht den Tatsachen Nicht verwechseln mit der bisher verwendeten Wahrscheinlichkeit: π (g k ) 21

22 Folgerung Log-Likelihood-Funktion LL = g ln k Vereinfachung π (k ) π (g k ) LL = g = g k k π (k g )(lnπ(k ) + ln π (g k )) π (k g )( lnπ(k ) + j lnπ( x gj k ) ) 22

23 Schätzung von π(k g) Satz von Bayes P( A B ) = P (B A)P( A) P(B) Schätzung p(k g) von π(k g) p(k g ) = k p (k )p(g k ) p (k )p (g k ) 23

24 EM-Algorithmus - Schritt 1 Berechnung oder Eingabe von Startwerten für Modellparameter oder Zuordnungswahrscheinlichkeiten (Bei Startwerten hierfür gehe zu Schritt 3) 24

25 EM-Algorithmus - Schritt 2 Schätzung der Zuordnungswahrscheinlichkeiten π(k g): p(k g ) = i Hierbei gilt: k p(g k ) = i j p (k ) p (g k ) i 1 i 1 p (k ) p (g k ) i 1 i 1 ϕ( p (x gj k ) = x gj x, s kj) i 1 j i 1 kj i 1 Mittig tiefgestellter Index: Iterationszähler 25

26 EM-Algorithmus - Schritt 3 Schätzung der Modellparameter π(k), µ kj und σ kj p(k ) = i x kj = i s 2 = i kj g g g g p (k g ) i n p (k g ) x gj i p i p (k g ) i (k g ) ( x gj x kj)2 i g p(k g ) i 26

27 EM-Algorithmus - Schritt 4 Prüfung der Konvergenz Abbruch des Algorithmus unter folgenden Bedingungen: Verbesserung der Log-Likelihood-Funktion unter Schwellenwert (zum Beispiel 10-7 ) und/oder Maximale Abweichung aufeinanderfolgender Schätzwerte unter Schwellenwert (zum Beispiel 10-4 ) 27

28 Anzahl zu schätzender Parameter Anzahl Art K - 1 Klassenanteilswerte π(k) (Definition eines Anteilwertes durch Bedingung, dass die Summe aller Werte gleich 1 ist.) Km Klassenzentren µ kj : Erwartungswerte jeder Variablen für jede Klasse Km Klassenvarianzen: Varianzen σ kj 2 jeder Variablen für jede Klasse K(1 + 2m) - 1 Gesamtzahl zu schätzender Parameter =: m K 28

29 Überwachung der lokalen Unabhängigkeit Abspeicherung der Klassenzuordnungswahrscheinlichkeiten p(k g) Berechnung einer Varianz-Kovarianz-Matrix W k für jede Klasse (Gewichte: p(k g)) Unabhängigkeit W k ist Diagonalmatrix Möglichkeiten: Likelihood-Quotienten-Test Bivariate Residuen 29

30 Überwachung der Klassenüberlappungen Große Beeinflussung der Konvergenz und Stabilität Überwachung sinnvoll Gefahr für Instabilität ab bestimmtem Überlappungsanteil stark erhöht Überwachungsmöglichkeiten: Dichotomisierung der Zuordnungswahrscheinlichkeiten und Berechnung aller Ausprägungskombinationen (Schwelle: 1/K) Fuzzy-Clustering-Messzahlen Empirische Stabilitätsuntersuchungen 30

31 Beispiel Zweidimensional Nicht überlappende Klassen 31

32 EM-Algorithmus Automatische Bestimmung der Cluster-Anzahl

33 Grundprinzip Ausführung des EM-Algorithmus Für verschiedene Anzahlen von Klassen Mit verschiedenen Startwerten je Klasse Anwendung von Χ 2 -Statistiken Bootstrap-Verfahren Berechnungen für jede Klassenanzahl K 33

34 Χ 2 -Statistiken Ausmaß der durch das Modell unerklärbaren Beziehungen zwischen den Variablen Je größer die Statistik, desto schlechter das Modell 34

35 Indikator-Variablen Sichtbare Klassenvariablen y Latente Klassenvariablen Unsichtbare Klassenvariablen x Kovariaten Variablen z mit direktem Einfluss auf Indikator-Variablen und/oder Latente Klassenvariablen 35

36 Datenmuster Für ein Datenmuster i* haben alle enthaltenen Fälle i dieselben Ausprägungen in den Indikatoren und Kovariaten w i := Fallgewicht n i* := Auftrittshäufigkeit des Datenmusters i* n i = w i i i 36

37 Weitere Annahmen und Voraussetzungen Kovariatenmuster wie bei Datenmuster i* u i Fallanzahl für Kovariatenmuster u i n u i Bedingte multinomiale Wahrscheinlichkeit für Datenmuster i* bei Kovariatenmuster f (y i z i ) Erwartete Zellhäufigkeiten m i = n ui f (y i z i ) u i 37

38 Χ 2 -Statistiken Likelihood-Ratio-Χ 2 -Statistik I L 2 = 2 n i ln n i m i = 1 i Pearson-Χ 2 -Statistik I Χ 2 = i = 1 2 n i m i n Cressie-Read-Χ 2 -Statistik I CR 2 = 1,8 i = 1 (( n n i 3 i m )2 i 1) 38

39 Anzahl Freiheitsgrade Anzahl an beobachteten Indikatoren im Kovariatenmuster i* T u Anzahl der Kategorien des t-ten beobachteten Indikators M ut Anzahl Freiheitsgrade U df = min( u = 1 T u 1) ) ( M ut, n m K t = 1 Freiheitsgrade df beruhen auf der Stichprobengröße n, wenn die Anzahl der unabhängigen Zellen in der hypothetischen Kreuztabelle größer ist als die Stichprobengröße 39

40 Informationsmaße - Likelihood-Funktion Akaike-Informationsmaß: AIC K AIC K = L K 2 2df Akaike-3-Informationsmaß: AIC3 K AIC3 K = L K 2 3 df Bayes'sches Informationsmaß: BIC K BIC K = L K 2 df ln n Konsistentes Akaike-Informationsmaß: CAIC K CAIC K = L K 2 df ln (n + 1) 40

41 Informationsmaße - Problem Ähnliche Ergebnisse bei Beurteilung eines Modellvergleichs Große Anzahl Freiheitsgrade df Nicht verwertbare Ergebnisse möglich bei Berechnung mit L 2 Notwendigkeit der Berechnung mit LL I LL = w i ln f (y i z i ) i = 1 41

42 Informationsmaße - Log-Likelihood-Funktion Akaike-Informationsmaß: AIC K AIC K = 2m K LL K Akaike-3-Informationsmaß: AIC3 K AIC3 K = 3m K 2LL K Bayes'sches Informationsmaß: BIC K BIC K = m K ln n 2LL K Konsistentes Akaike-Informationsmaß: CAIC K CAIC K = m K ln (n + 1) 2LL K 42

43 Unähnlichkeitsindex Englisch: Dissimilarity Index DI = n + i = 1 I ( n i m i m i ) 2n Stärke der Abweichung der beobachteten und geschätzten Zellhäufigkeiten voneinander Für perfekte Modellanpassung zu verändernder Teil der Stichprobe 43

44 Berechnungen für jede Klassenanzahl K Prozentuelle Verbesserung zum Nullmodell: PV0 K PV0 K = 1 LL K LL 0 Prozentuelle Verbesserung zu vorausgehendem Modell: PV K PV K = 1 LL K LL K 1 Informationsmaß Unähnlichkeitsindex Veraltet: Likelihood-Quotienten-Statistiken 44

45 Beziehungen von EM- und k-means-modellprüfgrößen PV0 K η K 2 (Erklärte Streuung) Auswahl von Lösungen mit bestimmtem Mindestwert für PV0 K PV K PRE K (Prozentuale Verbesserung zu vorheriger Lösung) Auswahl von Lösungen mit starkem Abfall bei nachfolgender Lösung Informationsmaße F max (Maximale F-Statistik) Auswahl von Lösung mit kleinstem Informationsmaß Likelihood-Quotienten-Statistiken Bealsche F-Werte Auswahl der Lösung, die im Vergleich zu allen vorausgehenden Lösungen signifikant ist nachfolgenden Lösungen nicht signifikant ist (Zur Signifikanzprüfung sind Bootstrap-Verfahren zu empfehlen) 45

46 Bootstrap-Verfahren Lieferungen von Wahrscheinlichkeiten für Modellprüfgrößen Statistiken besitzen keine Χ 2 -Verteilungen Approximative Eigenschaften nicht erfüllt Heute Bootstrap-Verfahren empfohlen statt Χ 2 -Statistiken 46

47 Beispiel Zweidimensional Überlappende Klassen 47

48 Noch Fragen?

49 Anhang

50 Literaturverzeichnis Johann Bacher, Andreas Pöge, Knut Wenzig (2010): Clusteranalyse - Anwendungsorientierte Einführung in Klassifikationsverfahren. Oldenbourg Verlag München. ISBN Stuart Russell, Peter Norvig (2004): Künstliche Intelligenz. Pearson Studium. ISBN Bing Liu (2011): Web Data Mining Exploring Hyperlinks, Contents, and Usage Data. Springer. ISBN Rob Sullivan (2012): Introduction to Data Mining for the Life Sciences. Springer. ISBN Ian H. Witten, Eibe Frank, Mark A. Hall (2011): Data Mining Practical Machine Learning Tools and Techniques. Morgan Kaufmann. ISBN

51 Literaturverzeichnis Dempster, A.P.; Laird, N.M.; Rubin, D.B. (1977). "Maximum Likelihood from Incomplete Data via the EM Algorithm". Journal of the Royal Statistical Society, Series B 39 (1): JSTOR MR Sundberg, Rolf (1974). "Maximum likelihood theory for incomplete data from an exponential family". Scandinavian Journal of Statistics 1 (2): JSTOR MR Rolf Sundberg Maximum likelihood theory and applications for distributions generated when observing a function of an exponential family variable. Dissertation, Institute for Mathematical Statistics, Stockholm University. 51

52 Literaturverzeichnis Sundberg, Rolf (1976). "An iterative method for solution of the likelihood equations for incomplete data from exponential families". Communications in Statistics Simulation and Computation 5 (1): doi: / MR Danksagung von Dempster, Laird und Rubin: S. 3, 5 und 11. G. Kulldorff Contributions to the theory of estimation from grouped and partially grouped samples. Almqvist & Wiksell. Anders Martin-Löf "Utvärdering av livslängder i subnanosekundsområdet" ("Evaluation of sub-nanosecond lifetimes"). ("Sundberg formula") Martin-Löf, Per The notion of redundancy and its use as a quantitative measure of the discrepancy between a statistical hypothesis and a set of observational data. Scand. J. Statist. 1 (1974), no. 1,

53 Literaturverzeichnis Sundberg, Rolf (1976). "An iterative method for solution of the likelihood equations for incomplete data from exponential families". Communications in Statistics Simulation and Computation 5 (1): doi: / MR Danksagung von Dempster, Laird und Rubin: S. 3, 5 und 11. G. Kulldorff Contributions to the theory of estimation from grouped and partially grouped samples. Almqvist & Wiksell. Anders Martin-Löf "Utvärdering av livslängder i subnanosekundsområdet" ("Evaluation of sub-nanosecond lifetimes"). ("Sundberg formula") Martin-Löf, Per The notion of redundancy and its use as a quantitative measure of the discrepancy between a statistical hypothesis and a set of observational data. Scand. J. Statist. 1 (1974), no. 1,

54 Literaturverzeichnis Per Martin-Löf Statistics from the point of view of statistical mechanics. Lecture notes, Mathematical Institute, Aarhus University. ("Sundberg formula" credited to Anders Martin-Löf). Per Martin-Löf Statistika Modeller (Statistical Models): Anteckningar från seminarier läsåret (Notes from seminars in the academic year ), with the assistance of Rolf Sundberg. Stockholm University. ("Sundberg formula") Wu, C. F. Jeff (Mar. 1983). "On the Convergence Properties of the EM Algorithm". Annals of Statistics 11 (1): doi: /aos/ JSTOR MR

55 Literaturverzeichnis PMartin-Löf, P. The notion of redundancy and its use as a quantitative measure of the deviation between a statistical hypothesis and a set of observational data. With a discussion by F. Abildgård, A. P. Dempster, D. Basu, D. R. Cox, A. W. F. Edwards, D. A. Sprott, G. A. Barnard, O. Barndorff-Nielsen, J. D. Kalbfleisch and G. Rasch and a reply by the author. Proceedings of Conference on Foundational Questions in Statistical Inference (Aarhus, 1973), pp Memoirs, No. 1, Dept. Theoret. Statist., Inst. Math., Univ. Aarhus, Aarhus,