9. Clustern und Klassifizieren

Transkript

1 03. JULI 2006: BLATT Cluster ud Klassfzere 9.. Eletug Uter Klassfkato wrd de Zuordug vordeferter Klassfkatore (etwa sytaktsche Kategore aus eer Grammatk) zu Obekte verstade - userem Fall zu sprachlche Ehete. D.h. de Kategore, zu dee ezele Obekt zugeordet werde solle, sd vordefert. Im Gegesatz dazu werde bem Clusterg kee Kategore vorgegebe, soder de Kategore etstehe erst durch de Grupperugsprozeß. Es st allerdgs möglch (ud oft otwedg) möglche Mege der Cluster ud evt. Größe der Cluster zu bestmme. Bem automatsche statstsche Clusterg geht es um de Etelug vo sprachlche Obekte Gruppe vo ählche Obekte. Obekte köe se: Wörter Sätze Texte Awedug köe wr us etwa de automatsche sematsche Etelug vo Wörter durch de Hzuzehug hres Kotextes vorstelle. Im Folgede geht exemplarsch um das Clusterg vo Wörter - d.h. de Zusammefassug vo Wörter zu Gruppe vo ählche Wörter. Als Merkmale - d.h. Etelugskrterum - für das Clusterg kommt erster Le de Dstrbuto der Wörter (bzw. Wortforme) m Kotext Frage - d.h. mest adere Wörter de der Textumgebug der zu klassfzerede Wörter auftauche. Ebefalls Frage kommt de Dstrbuto der Wörter eer Sammlug vo Texte. Zum Cluster vo Obekte müsse wr zwe Voraussetzuge erfülle:. wr müsse e Ählchketsmaß zwsche Obekte defere, d.h. e Maß, we sehr sch zwe Obekte gleche (etwa Wörter eem Korpus, oder auch Dokumet m Iformato Retreval). 2. Wr müsse Algorthme defere, de Aufgrud der Ählchket zwsche Obekte, ee größere Mege vo Obekte Gruppe vo ählche Obekte (Cluster) etelt.

2 03. Jul 2006: Blatt Ählchketsmaße 9.2. Vektore ud Vektorählchket (Mag-Schütze 296ff, Kap f) Vektore köe heragezoge werde, um de Kotext ees Wortes oder de Ihalt ees Dokumets zu beschrebe. E Vektor st ee geordete Mege vo umersche Werte mt N-Dmesoe. Um zwe Vektore vergleche zu köe, sollte se deselbe Azahl vo Dmesoe bestze. Folgedes etwa st e 3-dmesoaler Vektor 7 x 3 0 We ma seht, wrd e Vektor durch ee Buchstabe mt eem Pfel darüber otert. Spezalfall ees Vektors sd de sogeate bäre Vektore se sd ee geordet Folge vo Nulle ud Ese (d.h. de Wert köe ur 0 ud se): x 0 Als Vektor lässt sch u etwa de Umgebug ees Wortes darstelle. Nehme wr etwa folgede Matrx, de de Wörter agbt, de m Kotext vo Herschel, Jupter, Satur ud Uraus auftauche: Wort/Kotext umkrese etdecke Durchmesser leuchte lache Herschel Jupter Satur Uraus Abbldug 5 Kotextmatrx De Kotext vo Herschel köte ma u etwa durch folgede Vektor darstelle: Sprechstude ach Verebarug

3 03. JULI 2006: BLATT x Astatt der Häufgkete der Kotextwörter köte ma auch hre bedgte Wahrschelchkete etrage. I ee bäre Vektor köte ma dese Vektor umforme, dem alle Werte >0 glech setzt (also ur kodert, ob ee Wort m Kotext auftrtt oder cht. Folgede Begrff werde och beötgt: Läge ees Vektors x 2 x (otert mt zwe sekrechte Strche): De Wurzel aus de summerte Quadrate der Werte m Vektor. Normalserter Vektor E Vektor mt der Läge. Skalarprodukt (egl. dot product) x y x y Für zwe Vektore lasse sch u uterschedlche Ählchketsmaße defere, de folgeder Tabelle aufgelstet sd. Maß Defto Eschräkuge Amerkuge Efache Überestmmug x y ur bäre Vektore Summe aller Eträge bede Vektore, de sd. Dce-Koeffzet 2 x y ur bäre Vektore Läge der x + y Schttmege beder Vektore durch de Summe der Läge beder Vektore

4 03. Jul 2006: Blatt 58 Jaccard-Koeffzet x y x y ur bäre Vektore Eukldsche Dstaz x y ( x y ) 2 Dstazmaß! Mahatta-Metrk, L- Metrk Cosus x y ach Mag-Schütze Dstazmaß! v.a. für Vektore, de Sekrechte Strche sd bedgte her Betragsstrche Wahrschelchkete ethalte x y Sd de Vektore x y ormalsert (Läge ) st deser Wert efach das Skalarprodukt Adere Dstaz/Ählchketsmaße Nebe Vektorählchketsmaße köe wr für de Ählchkete zweer Rehe eer Kookkurezmatrx we obe auch probablstsche Maße verwede. Dazu wrd zuächst für edes Kotextwort de bedgte Wahrschelchket gegebe das zu klassfzerede Wort errechet (dese st glech der Häufgket des Kotextwortes getelt durch de aufsummerte Häufgkete aller Kotextwörter). Als Ählchketsmaße werde Mag-Schütze u och geat (303f.): Dstazmaß Defto Eschräkuge Amerkuge Kullback-Lebler (KL)-Dstaz D( p q) p p log q cht symetrsch Iformatosradus D( p p + q p + q KL-Dstaz vom ) + D( q ) 2 2 Mttelwert beder Wahrschelchkete Sprechstude ach Verebarug

5 03. JULI 2006: BLATT Clusterg 9.3. Type vo Clusterg Herarchsches Clusterg Es wrd ee Herarche vo Cluster erzeugt. Je ach Vorgeheswese wrd e erstes Cluster, das alle Obekte ethält über mehrere Schrtte hweg kleere Cluster zerlegt (top-dow) oder zahlreche klee Cluster, de afags ur Obekt ethalte, werde zu mmer größere Cluster zusammegesetzt. Ncht-herarchsches Clusterg De Obekte werde drekt durch geeget Algorthme eer Zahl vo Cluster zugetelt. Hartes vs. weches Clusterg Bem harte Clusterg gehört edes Obekt etweder e Cluster oder cht. Es gbt kee graduerbare Gruppezugehörgket. Bem weche Clusterg ka edes Obekt eem Cluster mehr oder weger agehöre Sgle-lk / complete-lk Clusterg Der K-meas Clusterg-Algorthmus Voraussetzug: Azahl der zu bldede Cluster; afäglche Cluster-Zetre (belebg gewählt); Ählchketsmaße zwsche Obekte (mest Eukldsche Dstaz oder Mahatta-Metrk) Algorthmus:. Wese edes Obekt dem ählchste Clusterzetrum zu; 2. Bereche de eue Mttelwert für edes Cluster (Mttelwert für ede Posto de Vektore) 3. Wederhole de Prozedur, bs sch chts mehr ädert Der EM-Algorthmus zum "weche" Cluster Exkurs Normalvertelug (a. Gaußsche Vertelug) Zum Verstäds der Aweug des EM-Algorthmus m Clusterg st es ötg, de sog. Gaußsche Vertelug zu kee, de auch Normalvertelug geat wrd.. Se st symmetrsch, umodal (hat ur

6 03. Jul 2006: Blatt 60 e Maxmum) ud glockeförmg. Se st deswege bedeutsam, wel vele Varable Zufallsprozesse zur Normalvertelug ege - d.h. es gbt ee Häufug bem Mttelwert, ud ober- bzw. uterhalb des Mttelwerts falle de Werte so ab, dass de Kurve zuächst steler, da weder flacher wrd. De Formel für de Normalvertelug eer Dchtekurve mt Normalvertelug st: x µ 2 f(x σ, µ ) exp( ( ) ) σ 2π 2 σ I deser Formel st: x der Wert, für de de Wahrschelchket berechet werde soll; sgma ( ) de Varaz, (mü) der Mttelwert. Abbldug 6 De Kurve eer Normalvertelug Aufgrud der Form wrd dese Kurve auch als Glockekurve bezechet. Bespel für Normalverteluge: E Bespel st de Zahl der Wappe/Köpfe be N Müzwürfe. Für größere N ähert sch de Kurve der Wahrschelchkete für de ezele Häufgkete der Normalvertelug a. Nehme wr a, wr werfe ee Müze 00-mal. We ma u de Wahrschelchkete aufgrud der Bomalvertelug berechet, stelle wr fest, dass das Balkedagramm see Schetelpukt be 50-mal Kopf hat. Des se u user Mttelwert für de Berechug der Normalvertelugskurve. De Stadardabwechug lässt sch ebefalls aus de Werte der Bomalvertelug ablete ud beträgt userem Fall 5. Betrachtet ma de bede Graphke ute stellt ma fest, dass de Kurve der Normalvertelug der Bomalvertelug sehr stark ähelt. Sprechstude ach Verebarug

7 03. JULI 2006: BLATT 6 Wahrschelchket be 00 Müzwürfe (Bomalvertelug) 0,09 0,08 0,07 Bomalwahrschelchket 0,06 0,05 0,04 0,03 Rehe 0,02 0, Zahl der Köpfe Abbldug 7 Bomalvertelug für de Zahl der Köpfe be 00 Müzwürfe (fare Müze) deutlch st de Aährug der Kurve a de Kurve eer Normalvertelug (s.u.) Normalvertelug 0,09 0,08 0,07 0,06 Wahrschelchket 0,05 0,04 0,03 Rehe 0,02 0, Zahl der Versuche Abbldug 8 Normalvertelug für de Mttelwert 50, ud de Stadardabwechug 5 (etsprcht obgem Müzwurfexpermet). Fortsetzug EM-Algorthmus Doch u zurück zum EM-Algorthmus

8 03. Jul 2006: Blatt 62 Voraussetzug für Ih st weder ee Matrx vo Kookkureze, wobe dese ormalsert se sollte. Aahme st, dass dese Matrx d.. ee Mege vo Vektore X{ x... x } vo M zugrude legede ubekate probablstsche Prozesse P erzeugt werde, de ormalvertelte Date erzeuge. De Erzeugugswahrschelchket ees Vektors x durch ee Prozess P st de Wahrschelchket der Clusterzugehörgket des ageommee Clusters C. d.h. eder Prozess etsprcht, salopp gesproche, eem Clustererzeugugsmechasmus; de Zahl der Prozesse (M) st glech de Zahl der ageommee Cluster. Zel des EM-Algorthmus st es, de Parameter der ageommee Prozesse zu bestmme, d.h. de Mttelwert ud de Varaz. Dazu muss zuächst ausgerechet werde köe, mt welcher Wahrschelchket de gegebee Date (d.h. de Vektore) durch dese Prozesse geerert werde. Herzu verwede wr de obe dskuterte Wahrschelchket ees Wertes aufgrud der Normalvertelug, wobe wr desem Fall cht auf ezele Werte x ees Vektors operere, soder über de gesamte Vektor arbete. De Formel für de Wahrschelchket vo Vektore aufgrud der Normalvertelug st we folgt: Her st: ( x, µ, Σ) 2π m exp Σ ( 2 x µ ) T Σ ( x µ ) x der Vektor, für de de Realserugswahrschelchket aufgrud der adere Parameter berechet werde soll; µ der Mttelwert-Vektor; der Mttelwert vo Vektore wrd berechet, dem für ede Dmeso der Vektore das arthmetsche Mttel berechet wrd; Σ de Kovarazmatrx, dese kodert de Abwechuge aller Werte aller Vektore vom Mttelwert- Vektor;? T st de Trasposto eer xy Matrx; d.h. de Vertauschug der Dmesoe x ud y. π st de Kostate PI (3,4 ); Berechug der Wahrschelchkete userer Date aufgrud des gegebee Modells Mthlfe deser Formel köe wr ede Prozesse P ud alle Vektore x de Wahrschelchket erreche, dass deser Vektor vo desem Prozess geerert wrd. We wr u fürede Prozess P ee Gewchtug g festlege köe wr de Gesamtwahrschelchket aller Date aufgrud der gegebee Zufallsprozesse (d.h. letztlch Clusterrepräsetatoe) bereche: L k g ( x, µ, Σ ) Sprechstude ach Verebarug

9 03. JULI 2006: BLATT 63 De Summe st für ee gegebee Vektor de mt g gewchtete Summe der Wahrschelchkete, dass er vo de Zufallsprozesse P geerert wrd -, µ, Σ ) st dabe de Wahrschelchket, dass der Vektor ( x x vo eem (ormalvertelte) Zufallsprozess P mt de Parameter µ Σ erzeugt wrd. Das Produkt st de Gesamtwahrschelchket aller Date, d.h., de Produkt der Wahrschelchket für alle Vektore. Nu wsse wr also, we wahrschelch usere Date aufgrud ees Modells sd. We wr u de Wahrschelchket der Date kee st de ächste Aufgabe, ee Algorthmus zu fde, der dese Wahrschelchket durch Veräderug der Parameter Des st der EM-Algorthmus. Algorthmusablauf µ Σ möglchst hoch macht. Italserug Als Afagswerte setze wr fest: - de Zahl der Zufallsprozesse d.h. de Zahl der ageommee Cluster; - de Mttelwert deser Zufallsprozess dese köe zufällge Vektore se, oder de Clusterzetre, de wr aus eem adere Clustergalgorthmus (z.b. K-Meas) gewoe habe; - ee belebge Italserug der Kovarazmatrx; Afagsberechug Wr bereche u de de Wahrschelchket userer Date aufgrud des gegebee Modells (s.o.) ud Merke se us. Nee wr se L 0. Schrtt - E-Schrtt (Expecto / Erwartug) Nu bereche wr de bedgte Wahrschelchket h für ede Vektor ud ede Clustererzeugede Prozess P, dass der Vektor vo dem erzeugede Prozess geerert wrd, m Verhälts dazu dass er vo adere Prozesse geerert wrd: ( x, µ, Σ ) h k ( x, µ, Σ ) l l l 2. Schrtt - M-Schrtt - Maxmerug Deser Schrtt st de Apassug des Modells a de Ergebsse des vorherge Schrtts:

10 03. Jul 2006: Blatt 64 Mthlfe dese Maßes bereche wr u ee eue gewchtete Mttelwert für ede Prozess, der sch aus alle Vektore, dem Grad hrer Zugehörgket zum Cluster (dem Prozess) ergbt, ud ee eue gewchtete Varaz. De Gewchtug st bede Fälle ebe de Wahrschelchket h.für de Clusterzughörgket des Vektors µ Σ h x h h ( x µ )( x µ ) h T Schleßlch muss och das Gewcht g edes Prozesses P eu berechet werde ( st her de Zahl aller Vektore): g h Damt habe wr u alle Parameter des Modells eu berechet. Wederberechug der Wahrschelchket der Date Wr bereche u wederum de de Wahrschelchket userer Date aufgrud des eu berechete Modells Nee wr se L. Ist se größer als L 0, wederhole wrd Schrtt ud Schrtt 2; ud zwar so lage bs L cht mehr sgfkat größer st als L -. Auf dese Wese bekomme wr e Modell, das usere Date ausgehed vo de Afagparameter, möglchst wahrschelch macht. Allerdgs ka es se, dass deses Modell cht das wrklch optmalste Modell st sd de Afagsparameter uglücklch gewählt, ka das Ergebs aus cht optmale Cluster bestehe. Sprechstude ach Verebarug