Kapitel 6: Unüberwachtes Lernen. Maschinelles Lernen und Neural Computation

Transkript

1 Kaptel 6: Unüberwachtes Lernen 107

2 Clusterng Gegeben: ene Menge von Punkten (Bespelen), ungelabelt (.e. Klasse unbekannt) Gesucht: ene Menge von Clustern (Cluster- Zentren), de de Daten möglchst gut beschreben ( Vektorquantserung ) k mnmere 2 D = ( x ) j w = 1 j: x C (Summe der Abstände zu allen Zentren, quadratscher Quantserungsfehler) j 108

3 K-means Clusterng Gradentenverfahren D w = 0 w = x n new 1 j= 1 Neues Cluster-Zentrum st Mttelwert der Punkte m Cluster Mehrere Iteratonen notwendg n j 109

4 Clusterng als NC: Compettve Learnng Archtektur we Perceptron Setze Gewnner auf 1, alle anderen auf 0 Wähle Gewnner (am stärksten aktverte Unt) n ( ) = 2 x j f x wj = 1 f... Gauss; we RBFN wnner-take-all Gewnner lernt (Instar Regel): Δw = η( x w ) j j 110

5 Matlab>demos>neural networks>other demos>chapter 14>compettve learnng Geometrsche Interpretaton Gewchtsvektoren und Inputs snd Punkte m Raum Gewnner wählen = fnde nähesten Gewchstvektor Instar: Zehe Gewchtsvektor zu Input hn Resultat: Gruppen n den Daten werden gefunden Input stochastsche Varante von k-means! 111

6 Egenschaften Clusterng nach k-means st Gauss sches Clusterng (symmetrsche Streuung) Auftelung des Raumes: Vorono Tesselaton Möglche Probleme: Lokale Mnma (be schlechter Intalserung) Verzerrung durch Ausresser 112

7 Netlab>demgmm1.m Clusterng wrd als Dchteschätzung betrachtet p ( x ) j = Gaussan Mxtures als Clusterng ( x μ ) k 2 π j exp 2 = 1 2πσ 2σ Anschrebbar we Klassfkatonsproblem: Gaussvertelung Pror (π ) Posteror des Clusters p ( ) ( x j ω ) P( ω ) P ω x j = p( x j ) EM-Algorthmus (max. Lkelhood): μ new n k = 1 = n P k = 1 ( ω x, μ ) P ( ω x, μ ) k k x k Dchte (GMM) Gewchteter Mttelwert, analog zu k-means 113

8 Vortele der GMM Vortele: Probabltscher Rahmen Zugehörgket zu Clustern angebbar (Posteror) Ausgeprägthet von Clustern bestmmbar Modellauswahl möglch (anhand der Lkelhood) k-means: optmale Anzahl der Clusters ncht lecht bestmmbar 114

9 Netlab>demgmm3.m, demgmm4.m Erweterungen Erweterung auf belebge Gauss- Vertelungen möglch K-means: entsprcht Mahalonobs Dstanz (berückschtgt Varanzen nnerhalb der Cluster) Gewöhnlche (sphärsche) Gauss-Funktonen Belebge Gauss-Funktonen 115

10 Ncht-Gauss sches Clusterng Nur als Mxture von Gauss schen Zentren beschrebbar Wenn natürlche Cluster gefunden werden sollen: Nur parametrsch möglch (d.h. Form der Cluster bekannt) Ansonsten: Identfkatonsproblem 116

11 Andere Formen des Clusterng Andere Dstanz-(Ähnlchkets-)Maße z.b. Manhattan-Dstanz, Rankng Andere Fehler-(Krterums-)Funktonen z.b. Kohäson nnerhalb des Clusters, Entrope Herarchsches Clusterng Dendrogramme ART mt verschedenen Vglanzen 117

12 Selforganzng Maps (SOM) Kohonen (1981, 1990) Nachbarschaft defnert We CL: wnner-take-all, Instar Aber Nachbarn lernen mt Δw j = ηn ( x, x )( x w ) j wn j Nachbarschaftsfunkton, wrd m Laufe des Tranngs Klener (Stablserung) 118

13 Venet2>uebung4.exe; Matlab>demos>2dm. selforganzng map SOM: Geometrsche Interpretaton 3x3 SOM Topologsche Bezehung der Clusters blebt wetgehend bestehen Benachbarte Unts entsprechen benachbarten Clustern Datenraum wrd auf de 2-dm. Struktur abgebldet ( Karte ) Dent zur Vsualserung hochdmensonaler Daten 2-dm. Struktur wrd n den hochdmensonalen Raum engepasst - Projekton 119

14 Bespel: poltsche Konflkte Daten: Konflkte und Vermttlungsversuche set 1945 (Bercovtch & Langely 1993) 6 Dmensonen: Dauer Poltsche Macht A Poltsche Macht B Poltsche Rechte B Intator Vermttlunsgerfolg 2 dm. Vsualserung 120

15 SOM Durch schlechte Intalserung kann k-means zu sub-otpmalen Lösungen führen (lokales Mnmum) SOM: durch Mtzehen der Nachbarn wrd der Datenraum besser abgedeckt (lokale Mnma können vermeden werden) Zusätzlch: Topologsche Bezehung Mehr Zentren n Berechen hoher Dchte 121

16 Multdmensonale Skalerung Aufgabe: Blde hochdmensonale (n-d) Daten auf nedrge Dmensonaltät (k-d) ab, sodaß Abstände zwschen den Punkten annähernd glech bleben (Dmensonsredukton) Funktonert gut, wenn Daten auf k-dm. Manngfaltgket legen (z.b. gekrümmte Fläche) 122

17 SOM als MDS MDS entsprcht dem Prnzp der topologschen Erhaltung n der SOM SOM st Clusterng + MDS (mt Verzerrung abh. von Dchte)! Berech Berech 2 123

18 Topologsche Darstellung Zwschenzustände durch Gewchtung mttels Dstanz zu Zentren Ausgeprägte Grenzen darstellbar (U-Map, Ultsch) 124

19 Alternatve: Sammon Mappng Mnmere Dfferenz aller Abstände: Abstand D = ( d( x ) ( ), x j d x, x j d( x, x ) j< Orgnalpunkte Nachtel: hoher Berechnungsaufwand Lösung: zuerst Clusterng, dann Sammon Mappng (wenger Punkte); Flexer 1996 Aber: Gleche Probleme mt lokalen Mnma we k-means ~ j ~ 2 Punkte n der Map Normalserung 125

20 Probleme der SOM Kene probablstsche Beschrebung Konvergenz ncht garantert Es gbt kene Fehlerfunkton, de mnmert wrd! Clusterng und MDS beenflussen enander (bedes kann suboptmal sen) Es st schwer abschätzbar, ob SOM gut st oder ncht Empfehlung: SOM nur zur Vsualserung ensetzen! (ncht zum Clusterng oder für überwachte Probleme) Genau überlegen, was Krterum st; Alternatven suchen 126

21 Netlab>demgtm1.m, demgtm2.m Generatve Topographc Mappng (GTM) Bshop et al. (1996) Nchtlneares Mappng von ener Gtterstruktur auf ene Gaussan Mxture (z.b. durch MLP) Zentrum abh. von Gtterpunkt k π t p( t x,w) = exp = 1 2πσ GMM mt Randbedngungen Probablstsche Formulerung, umgeht vele der Probleme der SOM ( y( x, W) ) 2σ 2 2 Aus Bshop et al. (1996), Neural Computaton 10(1), Aus Netlab Demo demgtm2.m 127

22 Praktsche Aspekte Auch für unüberwachte Verfahren gelten m wesentlchen de 7 Schrtte: 1. Schtung (Ausreßer) 2. Vorverarbetung: Skalerung der Merkmale beenflusst de Dstanz Normalserung 3. Merkmalsselekton: rrelevante Merkmale können Clusterng erschweren: 128

23 Kreuzvalderung für unüberwachtes Lernen 4. Modellschätzung mttels Kreuzvalderung: be k-means problematsch be GMM: Lkelhood-Funkton als Fehlerfunkton ( Loss -Funkton) 129

24 Kombnaton von überwachtem mt unüberwachtem Lernen Unüberwachte Verfahren allene egnen sch nur für unüberwachte Probleme! Be überwachtem Problem (gelabelte Daten) kann unüberwachtes Verfahren engesetzt werden als Intalserung Vorstrukturerung Bespele: SOM oder GTM als Intalserung enes RBFN Learnng Vector Quantzaton ARTMAP 130

25 Learnng Vector Quantzaton (LVQ) Kohonen (1990) Ordne Unts Klassen zu Δw = η x w Kf c, k = η (, k ) ( x) = k ( x w ) Kf c( x) k, k hnbewegen, wenn rchtge Klasse wegbewegen, wenn falsche Klasse nearest neghbor Verfahren mt Vektorquantserung (ncht jeder Tranngspunkt gespechert) Verglechbar mt Dchteschätzung der class-condtonals 131

26 Zusammenfassung Unüberwachte neuronale Netz-Verfahren rehen sch ebenfalls nahtlos n de Statstk Compettve Learnng = k-means GMM als probablstsches Clusterngverfahren SOM als Multdmensonale Skalerung + Clusterng, aber mt Problemen 132