Biosignale und Benutzerschnittstellen

Transkript

1 Biosigale ud Beutzerschittstelle - Klassifikatio Vorlesug WS 0/03 Biosigale ud Beutzerschittstelle Toke Modelig / Klassifikatio Prof. Dr. Taja Schultz Dipl.-Math. Michael Wad

2 Biosigale ud Beutzerschittstelle - Klassifikatio Vorlesugspla Bereits bekat: Biomediziische Messkette Etstehug vo Biosigale Erfassug ud Vorverarbeitug des Sigals Dieser Vorlesugsteil befasst sich mit Grudlage der Klassifikatio.

3 Biosigale ud Beutzerschittstelle - Klassifikatio Literatur Christopher M. Bishop: Patter Recogitio ad Machie Learig. Spriger, 006 Lieare Klassifikatio: Kapitel 4 Kerelmethode: Kapitel 6 SVM: Kapitel 7 Aus diesem Buch stamme eie Reihe Bilder dieser Vorlesugsfolie, sie sid etspreched gekezeichet. Nello Christiaii: Support Vector ad Kerel Machies Tutorial Olie verfügbar: 3

4 Biosigale ud Beutzerschittstelle - Klassifikatio Überblick: Klassifikatiossystem für Biosigale Ergebis Biosigal Etstehug Ausbreitug Erfassug Sigalabhägig Applikatiosabhägig Sigalverarbeitug, z.b. A/D-Wadlug (abtaste, quatisiere) Artefaktbereiigug, Normalisierug evtl. Festerug, Etraktio relevater Merkmale Kompressio Traiig + Klassifikatio Applikatioe Traiig d. Klassifikators: evtl. überwachte Kompressio (LDA) Toke Modelig: GMMs, SVMs, evtl. (!) Sequece Modelig: HMMs evtl. Adaptio Modelle Sigalverarbeitug, Merkmalsetraktio Test (Durchführug der Klassifikatio): Erkeug Idetifizierug / Verifizierug User Thema für heute 4 Wisse A/D-Wadlug Aaloges Sigal

5 Biosigale ud Beutzerschittstelle - Klassifikatio Überblick Eiführug Mustererkeug Klassifikatore ichtparametrische Verfahre liearer Klassifikator Gaussklassifikator Traiig eies Gaussklassifikators EM-Algorithmus K-Meas Support Vector Machies 5

6 Biosigale ud Beutzerschittstelle - Klassifikatio Toke Modelig Toke modelig: Modellierug eizeler Datepukte (z.b. Frames, siehe letzte Vorlesuge). Bereche Wahrscheilichkeit, dass Frame zu eier gewisse Klasse gehört. Toke modelig: maschielles Lere ud maschielle Klassifikatio. I dieser Vorlesug werde wir eiige wichtige Klassifikatiosmethode keelere. Beispiel: Erkeug eizeler Sprachlaute, Erkeug vo Beutzerzustäde mit EEG (Hirströme), Gesichtserkeug Oft etwickelt sich ei Prozess zusätzlich i der Zeit, da ist toke modelig (für sich allei) icht ausreiched (Beispiel Sprache) Wir wolle außerdem die Abfolge der Tokes modelliere: sequece modelig (ächster Vorlesugsblock). Toke modelig befasst sich icht mit der zeitliche Abfolge der Tokes. Toke modelig ud sequece modelig: häge meist eg zusamme. 6

7 Biosigale ud Beutzerschittstelle - Klassifikatio Mustererkeug Überblick über Methode der maschielle Klassifikatio (Mustererkeug, Patter Recogitio) Fast alle Verfahre, die wir verwede, sid statistisch, d.h. es wird icht vo eiem Wisse über die Eigeschafte der zu erkeede Date ausgegage, soder auf Basis eies Traiigsdatesatzes wird ei Modell der Date traiiert. Die Klassifikatio (Test) geschieht durch Auswertug dieses Modells. Patter Recogitio statistical kowledge / coectioist supervised usupervised parametric oparametric liear 7 oliear

8 Biosigale ud Beutzerschittstelle - Klassifikatio Defiitioe Grudlegede Uterscheiduge bei statistischer Mustererkeug: überwachtes/uüberwachtes Lere: Sid bei der Lerphase eakte Zuorduge der Traiigsmuster zu Klasse vorhade, oder müsse diese i irgedeier Form abgeschätzt werde? Möglicherweise sid icht eimal die Klasse bekat, die überhaupt erkat werde solle. parametrische/ichtparametrische Modellierug: Parametrischer Modellierug: Ma immt a, dass die Date eier gewisse Wahrscheilichkeitsverteilug folge, ud ma schätzt die Parameter dieser Verteilug ab. Bei ichtparametrischer Modellierug ist solch eie Aahme icht vorhade ma arbeitet direkt auf de Date. 8

9 Biosigale ud Beutzerschittstelle - Klassifikatio Überwachtes / Uüberwachtes Traiig überwacht uüberwacht Überwachtes Traiig: Die zugehörige Klasse ist für jedes Sample aus dem Traiigsdatesatz bekat. Fürs Traiig sicher gut, aber oft ur mit sehr hohem Aufwad zu bekomme (Beispiel Spracherkeug: mauelles Labelig durch Phoetiker!) Uüberwachtes Traiig: Die Zuordug der Traiigsdate ist icht bekat, auch die Gesamtmege der Klasse muss evetuell erst ermittelt werde. Date orde Klasse zu optimiere klassebasierte Modelle 9

10 Biosigale ud Beutzerschittstelle - Klassifikatio Überblick Eiführug Mustererkeug Klassifikatore ichtparametrische Verfahre liearer Klassifikator Gaussklassifikator Traiig eies Gaussklassifikators EM-Algorithmus K-Meas Support Vector Machies 0

11 Biosigale ud Beutzerschittstelle - Klassifikatio Parze Widows Ei Beispiel für eie ichtparametrische Klassifikator: Parze widows Es wird keie Aahme über die Verteilug getroffe, die Klassifikatio wird direkt aus de Date abgeleitet. Zwei Klasse c ud c (Kreuze ud Kreise) i eiem zweidimesioale Featureraum (oder Merkmalsraum). Features (Merkmale) sid Datepukte (Vektore), die aus eier beliebige Vorverarbeitug etstade sid (s. letzte Vorlesug) y Zu welcher Klasse gehört der rote Ster (ee wir ih )?

12 Biosigale ud Beutzerschittstelle - Klassifikatio Parze Widows Wähle ei (quadratisches/kreisförmiges/...) Fester der Größe V. Zähle Azahl der Samples (Muster) s k jeder Klasse k, die i das Fester V falle. Beispiel: 4 Kreise, Kreuz -> wahrscheilich ist der Ster als Kreis zu klassifiziere. Formale Regel: P(Sample gehört zu c k ) s k s y

13 Biosigale ud Beutzerschittstelle - Klassifikatio Parze Widows Problem: Klassifikatio ist vo der Festergröße abhägig Zu kleies Fester: schlechte, erratische Abschätzug, fragmetierter Merkmalsraum, Ausreißer werde icht erkat Zu großes Fester: schlechte Auflösug Eie Lösugsmöglichkeit: mache Festergröße vo Datedichte abhägig Alterativ: Betrachte icht ei festes Fester, soder eie feste Zahl ächster Nachbar k-earest-eighbors 3

14 Biosigale ud Beutzerschittstelle - Klassifikatio K-Nearest Neighbors (KNN) Beschreibug des Algorithmus: Fide k ächste Nachbar des zu klassifizierede Samples. Bestimme die häufigste Klasse uter de k Nachbar (take a vote). Weise dieser Klasse zu (oder gib Wahrscheilichkeit zurück, wie vorher) Beispiel: k=9, 7 Kreis, Kreuz => klassifiziere als Kreis Auch der knn-algorithmus hat ähliche Probleme wie die Parze-Fester: Diesmal muss ma ei geeigetes k fide! ? 4

15 Biosigale ud Beutzerschittstelle - Klassifikatio Nachteile der knn/parze-klassifikatore Problem: Verschiedee Klasse habe uterschiedliche Variaze wird vo knn-klassifikator igoriert We die Traiigssamples (zumidest aäherd) ormalverteilt sid, bietet sich der Gaussklassifikator (parametrisch, kommt später) a. Problem: Bei viele Traiigsdate ist der Recheaufwad sehr hoch. Verwede Histogramme astelle des gesamte ursprügliche Datesatzes. Trotzdem oft besser: parametrischer Klassifikator -> verwede Modelle astelle der Ursprugsdate 5

16 Biosigale ud Beutzerschittstelle - Klassifikatio Überblick Eiführug Mustererkeug Klassifikatore ichtparametrische Verfahre liearer Klassifikator Gaussklassifikator Traiig eies Gaussklassifikators EM-Algorithmus K-Meas Support Vector Machies 7

17 Biosigale ud Beutzerschittstelle - Klassifikatio Liearer Klassifikator Sei ei Eigabevektor. Ei liearer Klassifikator ist gegebe durch die lieare Fuktio mit eiem Gewichtsvektor w ud eiem bias b. Das Eigabesample wird der Klasse C zugeordet, we y() 0, aderfalls wird es der Klasse C zugeordet. R, R : "Etscheidugsregioe" T y( ) w b. Quelle: Bishop, Figure 4., Seite 8 8

18 Biosigale ud Beutzerschittstelle - Klassifikatio Liearer Klassifikator Liearer Klassifikator: Featureraum wird i zwei Teile geteilt, die durch eie Hyperebee mit der Gleichug w T =0 separiert sid. Der skalare Parameter b bestimmt die Positio der Hyperebee. We es eie Hyperebee gibt, die alle Eigabevektore fehlerlos tret, heiße die Klasse liear separierbar. I der Prais: eher icht liear separierbar. 9 Quelle: Bishop, Figure 4., Seite 8

19 Biosigale ud Beutzerschittstelle - Klassifikatio Liearer Klassifikator: Mehrere Klasse Geeralisierugsmöglichkeite für eie Klassifikatiosaufgabe, die mehr als zwei Klasse umfasst: Beutzug vo K- Klassifikatore, vo dee jeder eie Klasse vo de Samples i alle adere Klasse tret: oe-vs-the-rest classifier. Alterativ ka ma K(K-)/ biäre Klassifikatore verwede, vo dee jeder ei Paar vo Klasse tret: oe-versus-oe-classifier. Diese beide Methode habe de Nachteil, dass sich für gewisse Samples möglicherweise gar kei eideutiges Klassifikatiosergebis fide lässt. Dieses Problem ka ma vermeide, idem ma vo Afag a K lieare Fuktioe der Form y k ( ) w T k b k betrachtet ud ei Sample der Klasse k zuordet, we gilt: y ( ) y ( )j k k j 0 Quelle: Bishop, Figure 4.a, Seite 83

20 Biosigale ud Beutzerschittstelle - Klassifikatio Liearer Klassifikator: Normalisierug Normalisierug Je ach Awedug ka folgede geäderte Schreibweise ützlich sei: Wir defiiere erweiterte Traiigsvektore ud Gewichtsvektore ~ ud Da wird die Klassifizierugsfuktio zu ~ w w b y( ~ ) w b d.h. wir suche jetzt eie Hyperebee durch de Ursprug eies erweiterte Featureraumes, desse Dimesioalität um eis höher ist als diejeige des ursprügliche Featureraums. (Sicherheitshiweis: Featureraum ist ei ziemlich abstrakter Begriff, der Featureraum ka i verschiedee Situatioe gaz uterschiedlich aussehe.) w~ T T~

21 Biosigale ud Beutzerschittstelle - Klassifikatio Liearer Klassifikator: Traiig Wir betrachte zwei Methode, die Parameter für de lieare Klassifikator zu bestimme: Miimierug des quadratische Fehlers Der Perzeptro-Algorithmus I alle Fälle sei,..., N die Mege der Traiigssamples. Jedes vo ihe sei ei D-dimesioaler Vektor. Zielwert: Für K Klasse defiiere wir für jedes Eigabesample eie Vektor mit K Kompoete, der agibt, zu welcher Klasse ei Sample gehört. Beispiel: Es soll 5 Klasse gebe, ud sei i ei Sample aus Klasse. Da defiiere wir t i = (0,, 0, 0, 0) T. Für probabilistische Modelle wäre auch ichttriviale Zielwerte (mit mehrere ichtverschwidede Kompoete) dekbar.

22 Biosigale ud Beutzerschittstelle - Klassifikatio Miimierug des quadratische Fehlers User Ziel: Wir wolle eie Fehlerfuktio für die Klassifikatio defiiere, die da aalytisch miimiert werde ka. Meistes verwedet ma i solch eiem Fall de quadratische Fehler: Immer positiv We wir Miimierug durch Ableite ud Nullsetze durchführe, müsse wir die Nullstelle eier lieare Fuktio suche 3

23 Biosigale ud Beutzerschittstelle - Klassifikatio Miimierug des quadratische Fehlers Ziel: Die Summe der Quadrate der Klassifikatiosfehler soll miimiert werde (least-squares-approach). Betrachte eie Klassifikator, i dem jede Klasse durch eie lieare Fuktio T yk ( ) wk bk, k,..., K beschriebe wird. Wir verwede die ormalisierte Form ohe de Bias-Vektor ud schreibe alle K Gleichuge i eier Matri ~ y ( ) W ~ y=(y,..., y K ) T ist ei K-dimesioaler Spaltevektor, ud W ~ ist demetspreched eie K(D+) -Matri. Ei Sample wird derjeige Klasse zugeordet, für die y k () am größte ist. Wir gruppiere auch die Samples: X ~ sei eie (D+)N-Matri, dere Spalte die erweiterte Eigabesamples ethalte....ud wir fasse die Zielwerte ebefalls i eier Matri zusamme. T sei eie KN-Matri, die i jeder Spalte die Zielwerte t ethält. ~ 4

24 Biosigale ud Beutzerschittstelle - Klassifikatio Miimierug des quadratische Fehlers Die sum-of-squares-fehlerfuktio lautet u ~ ~~ ~~ T Err ( W ) Tr( WX T)( WX T) Durch Ableite ach W ~ ergibt sich eie Lösug, die die Fehlerfuktio miimiert: ~ W ~ TX Dabei ist X ~ die "pseudo-iverse" Matri zu X ~. Vorteile dieser Methode: mathematisch relativ eifach geschlossee Lösug des Problems. 5

25 Biosigale ud Beutzerschittstelle - Klassifikatio Miimierug des quadratische Fehlers Die Sum-of-squares-Methode hat aber auch Nachteile, die Formulierug der Fehlerfuktio sorgt dafür, dass korrekte Klassifikatioe mit hohem Zielwert sogar falsche Klassifikatioe ausgleiche köe. Das Bild zeigt die Treug zweier Klasse, grü eigezeichet ist eie gute Treugsliie, der least-squares-approach gibt die violette Treugsliie! Erzeugt wird dieser Fehler durch die (korrekt klassifizierte) Samples ute rechts! Adere Algorithme (Perzeptro, SVM) mache diese Fehler icht. Quelle: Bishop, Figure 4.4, Seite 86 6

26 Biosigale ud Beutzerschittstelle - Klassifikatio Perzeptro Das Perzeptro: ist ei sehr eifaches Beispiel für ei euroales Netzwerk. Es hadelt sich um ei eizeles Neuro, das die Ausgabe + bzw. - habe soll, we ei Eigabevektor zur Klasse C bzw. C gehört. Im lieare Fall ist die Ausgabe des Perzeptros gegebe durch we w y( ) we w 0 0 für eie gewisse Gewichtsvektor w, der das bias i eier Kompoete ethält (ormalisierte Form). T T 7

27 Biosigale ud Beutzerschittstelle - Klassifikatio Perzeptro Perzeptro: Alterative Formulierug für lieare Klassifikatio. Dieser Algorithmus betrachtet die Eigabesamples ud berechet daraus iterativ ei Update für de Gewichtsvektor w, bis ei Abbruchkriterium erfüllt ist. Die Lösug für w ist also diesmal icht i geschlosseer Form gegebe. Das Perzeptro mit der Klassifikatiosformel we w y( ) we w 0 0 ist ichts aderes als der übliche lieare Klassifikator. Ka auch Grudbaustei für kompliziertere euroale Netze sei. T T 8

28 Biosigale ud Beutzerschittstelle - Klassifikatio Perzeptro Perzeptro-Algorithmus Defiitioe: Leicht geäderte Defiitio des Zielwerts: Für Klasse C, C sei für terscheidug vo zwei Klasse sei für ei gegebees Sample i : t i we i C we i C Wir suche eie Hyperebee (gegebe durch w) durch de Nullpukt (ormalisierte Form ohe bias), so dass möglichst für alle Samples gilt: tw T > 0, d.h. das Vorzeiche vo w T sollte demjeige vo t etspreche. Der Perzeptro-Algorithmus ist fehlerbasiert: I jedem Schritt hat ei Sample ur Auswirkuge auf das Traiig, we es falsch klassifiziert wird. 9

29 Biosigale ud Beutzerschittstelle - Klassifikatio Perzeptro Perzeptro-Algorithmus Durchführug: Sei i ei Vektor, der falsch klassifiziert wurde. Abstad zur Etscheidugshyperebee: d i = d( i ) = w T i. Dieser Abstad ka als Koste des Fehlers aufgefasst werde. Durch Gradieteabstieg ergibt sich eie Update-Regel für de Gewichtsvektor w, die die Kostefuktio (uter geeigete Voraussetzuge) miimiert: w wt d falls i Dabei durchläuft i die Mege der Traiigssamples i i i falsch klassifiziert Dieses Gewichtsupdate wird so lage durchgeführt, bis ei geeigetes Abbruchkriterium erfüllt ist. Falls die Klasse liear separierbar sid, fidet der Algorithmus eie geeigete Hyperebee i edlich viele Schritte, falls die Klasse aber icht separierbar sid, köte der Algorithmus uter Umstäde gar icht kovergiere. 30

30 Biosigale ud Beutzerschittstelle - Klassifikatio Überblick Eiführug Mustererkeug Klassifikatore ichtparametrische Verfahre liearer Klassifikator Gaussklassifikator Traiig eies Gaussklassifikators EM-Algorithmus K-Meas Support Vector Machies 3

31 Biosigale ud Beutzerschittstelle - Klassifikatio Gaussklassifikator Gaussklassifikator: Eier der wichtigste Klassifikatore überhaupt. Der Gaussklassifikator modelliert die Verteilug vo Datepukte mit Hilfe der (mehrdimesioale) Gaussverteilug oder Normalverteilug Wir bestimme für jede Klasse vo Samples die Parameter derjeige Gaussverteilug, die die Lage der Traiigssamples im Featureraum möglichst gut beschreibt. Die eigetliche Klassifikatio basiert da auf der Auswertug der Dichtefuktio der Gaussverteilug. 3

32 Biosigale ud Beutzerschittstelle - Klassifikatio Gaussklassifikator Warum sid Gaussverteiluge so wichtig (icht ur für Klassifikatio)? Aus Stochastik: zetraler Grezwertsatz - die Summe vieler uabhägiger Zufallsvariable kovergiert gege eie Gaussverteilug. Daher köe wir viele zufällige Prozesse, besoders we sie mit eiem gewisse Fehler oder eier gewisse Toleraz behaftet sid, gut mit eier Gaussverteilug modelliere. Beliebige Verteiluge lasse sich gut als Summe vo Gaussverteiluge darstelle. Mathematisch sid Gaussverteiluge eifach zu behadel. 33

33 Biosigale ud Beutzerschittstelle - Klassifikatio Gaussverteilug Für eie skalare Variable hat die Gaussverteilug die folgede Dichtefuktio: N(, ) ep ( ) Dabei ist μ der Mittelwert ud σ die Variaz der Verteilug. Die Dichtefuktio ist ei kotiuierliches Maß für die Wahrscheilichkeitsmasse, die auf eie bestimmte Pukt der -Achse etfällt. 34

34 Biosigale ud Beutzerschittstelle - Klassifikatio Gaussverteilug Im Fall mit D Dimesioe ist die Dichtefuktio: T N(, ) ep ( ) ( ) D/ / ( ) Hierbei ist μ der Mittelwertsvektor ud Σ die Kovariazmatri. Die Diagoalelemete vo Σ sid die Variaze der eizele Kompoete des Zufallsvektors, die weitere Kompoete sid die Kovariaze der betreffede Kompoetepaare. Ute liks: Asicht eier zweidimesioale Gaussverteilug Ute rechts: Koturliie vo zwei Verteiluge mit allgemeier (liks) bzw. diagoaler (rechts) Kovariazmatri Quelle: C. M. Bishop, Patter Recogitio ad Machie Learig. Spriger, 006 Figure.8, Seite 84 35

35 Biosigale ud Beutzerschittstelle - Klassifikatio Gaussklassifikator Um eie Klassifikator basiered auf Gaussverteiluge zu defiiere, verwede wir für jede zu uterscheidede Klasse eie Gaussdichtefuktio. Seie also N( μ i,σ i ) (i=,..., N) die Dichtefuktioe der Verteiluge der Klasse C i (i=,..., N). Die Verteiluge werde also getret modelliert. Die Klassifikatio basiert auf der Auswertug der Dichtefuktio eier mehrdimesioale Gaussverteilug. 36

36 Biosigale ud Beutzerschittstelle - Klassifikatio Durchführug der Gaussklassifikatio N( μ i,σ i ) (i=,..., K): Dichtefuktioe der Verteiluge der Klasse C i (i=,..., K). Die Dichte solle scho traiiert sei (wie, kommt später). Für ei Eigabesample bereche wir jetzt für jede Klasse de Wert y i =N( μ i,σ i ). wird da der Klasse zugeordet, für die y i de höchste Wert aimmt. Alterativ ka dieser Dichtewert für de ächste Klassifikatiosschritt weiterverwedet werde (z.b. we och eie Sequezmodellierug folgt -> HMMs). Beachte: Die Werte y i stelle keie Wahrscheilichkeite dar (sie köe sogar viel größer als sei). Hiweis: Im Prizip geht diese Methode auch für adere Verteiluge als Gaussverteiluge. Wir werde och die Gauss-Mischverteiluge keelere. 37

37 Biosigale ud Beutzerschittstelle - Klassifikatio Gaussklassifikator: Beispiel für Klassifikatio Es ergebe sich im Featureraum gewisse Etscheidugsregioe. Diese müsse keieswegs zusammehäged sei (Beispiel?). Ute: mögliche Etscheidugsregioe bei Gaussklassifikator. Vertikale Achse: Wert vo y. Horizotale Achse: Samples (). Ei Sample, das i Regio R i fällt, wird als zur Klasse i gehöred erkat. Iteressater wird das gaze, we der Featureraum mehr als eie Dimesio hat. 38

38 Biosigale ud Beutzerschittstelle - Klassifikatio Gaussklassifikator: Traiig Jeder statistische Klassifikator muss vor Verwedug traiiert werde. Gegebe: Samples,..., N, die zu eier Klasse C i gehöre Suche: geeigete Parameter μ,σ (Mittelwert ud Kovariazmatri) Atwort: Wir wähle μ,σ so, dass die abgeschätzte Verteilug der Samples maimale Wahrscheilichkeit hat. Da ergebe sich für Mittelwert ud Kovariazmatri : N i N i N : ( i )( i ) N T Das kee wir scho vo der PCA-Berechug! Dieses Maimum-Likelihood (ML)-Abschätzug ist die Methode, eie Gaussklassifikator zu traiiere, isbesodere weil sie mathematisch eifach ud sehr uaufwedig ist. Dies ist keie iterative Methode ma schätzt die Parameter ab ud ist fertig. Abschätzug ist für jede Klasse getret durchzuführe. Nachher erweiter wir diese Methode auf Gauss-Mischverteiluge. 39

39 Biosigale ud Beutzerschittstelle - Klassifikatio Gaussklassifikator: Traiig Wir führe die Abschätzug vo Mittelwert ud Variaz für alle Klasse durch. Damit habe wir usere Gaussklassifikator i seier eifachste Form gebaut. Bei weige Traiigsdate (oft) sid Variate möglich, typisch: Traiiere ur Diagoalwerte der Kovariazmatrize, die adere Werte werde auf Null gesetzt. Es gibt übriges och adere Methode, geeigete Parameter für die Gaussverteiluge zu fide. Beispielsweise köe die μ i ud Σ i so optimiert werde, dass auf eiem etsprechede Validatiosdatesatz der Klassifikatiosfehler möglichst klei wird (diskrimiatives Traiig). Diese Methode habe allerdigs typischerweise de Nachteil, sehr aufwedig zu sei. Diskrimiative Traiigsmethode werde i der Vorlesug Methode der Biosigalverarbeitug (immer im Sommersemester) behadelt. 40

40 Biosigale ud Beutzerschittstelle - Klassifikatio Gauss-Mischverteiluge I der Regel beutzt ma eie Gaussklassifikator icht ur mit eier Gaussverteilug pro Klasse, soder mit mehrere. Ermöglicht fleiblere Apassug der Verteilug a de vorhadee Datesatz. Gauss-Mischverteiluge sid i der Lage, beliebige Dichte zu approimiere. Beispiel: eie Verteilug ist gelb agedeutet Eie Gaussglocke (liks) ist eie sehr ugeaue Approimatio Zwei Gaussglocke (rechts) sid viel besser liks Approimatio 4

41 Biosigale ud Beutzerschittstelle - Klassifikatio Gauss-Mischverteiluge Gauss-Mischverteiluge: beim Test wird icht eie Gaussverteilug ausgewertet, soder mehrere. Zusätzlich wird i der Regel zu jeder Gaussverteilug och ei Gewicht w m (m=,..., M, M Azahl der Verteiluge) bestimmt. Die Dichtefuktio p Mi () immt da folgede Form a: p Mi ( ) w N(, M m M m w m m ( ) m m ) T ep ( m) m ( D/ / m) m Gewicht Dichte für jede Eizelverteilug 4

42 Biosigale ud Beutzerschittstelle - Klassifikatio Gauss-Mischverteiluge Vor- ud Nachteile vo Gauss-Mischverteiluge Fleibilität: Modellierug gut a die vorhadee Date apassbar Ma ka z.b. die Azahl der Verteiluge vo der Traiigsdatemege (pro Klasse) abhägig mache. Fleible Eistellug der gewüschte Parametermege (Fluch der Dimesioalität wo liegt die optimale Größe?) Parameter Tyig: Wir köe auch Parameter spare (z.b. we icht geug Traiigsdate vorhade sid)! Wir köe für verschiedee Klasse idetische Mischverteiluge, aber mit uterschiedlicher Gewichtug der eizele Verteiluge, verwede. Beispiel Sprache: Modelliere uterschiedliche Kotete eies Phoems mit idetische Gaussverteiluge, aber uterschiedliche Miturgewichte. 43

43 Biosigale ud Beutzerschittstelle - Klassifikatio Gauss-Mischverteiluge Beispiel für Etscheidugsregioe bei eier Gauss-Mischverteilug Es gibt drei Etscheidugsregioe, die wieder icht zusammehäged sei müsse. 44

44 Biosigale ud Beutzerschittstelle - Klassifikatio Traiierbarkeit Die Azahl der Verteiluge muss aber gut gewählt sei! Abhägig vo Mege der Traiigsdate Beispiel: Zu uterscheide sid zwei Phoeme Jedes Phoem wird mit eier Gauss-Mischverteilug modelliert Azahl der eizele Verteiluge steht auf der -Achse, auf der y-achse steht die Fehlerrate Die verschiedee Kurve sid für uterschiedliche Azahl a Triaigssamples 45

45 Biosigale ud Beutzerschittstelle - Klassifikatio Überblick Eiführug Mustererkeug Klassifikatore ichtparametrische Verfahre liearer Klassifikator Gaussklassifikator Traiig eies Gaussklassifikators EM-Algorithmus K-Meas Support Vector Machies 46

46 Biosigale ud Beutzerschittstelle - Klassifikatio Traiig vo Gauss-Mischverteiluge Vorhi: eizele Gaussverteilug durch Maimum-Likelihood-Abschätzug vo Mittelwert ud Kovariazmatri traiierbar Problem: Wie viele Verteiluge wolle wir traiiere, ud welche Samples solle welcher Verteilug zugeordet werde? Beim Traiig vo Gauss-Mischverteiluge habe wir (im Gegesatz zum Fall mit ur eier Gaussverteilug) ei doppeltes Optimierugsproblem: Eierseits hägt die optimale Form der Gaussverteiluge vo de zugeordete Samples ab. Adererseits hägt die Zuordug der Samples vo de Verteiluge ab. Diese Zuordug ist außerdem keie feste Zuordug, soder eie probabilistische Zuordug! Wir mache wieder Maimum-Likelihood-Traiig, wolle also diejeige Verteilugsparameter fide, die die Wahrscheilichkeit der gegebee Samples maimiert. 47

47 Biosigale ud Beutzerschittstelle - Klassifikatio Traiig vo Gauss-Mischverteiluge Beim Traiig, d.h. bei der Maimum-Likelihood-Abschätzug, eier Gauss- Mischverteilug habe wir ei doppeltes Optimierugsproblem. Eie aalytische Lösug dieses Doppelproblems ist icht bekat. Stattdesse verwedet ma eie iterative Algorithmus, der Zuordug ud Verteilugsparameter schrittweise ud je abwechseld optimiert, de EM (epectatio maimizatio)-algorithmus. Der EM-Algorithmus ist recht aufwedig, zur schelle Iitialisierug des Traiigs: K-Meas-Algorithmus. Aahme: Gewüschte Azahl der Gaussglocke bekat (z.b. durch Erfahrug). Es gibt auch Algorithme (mache wir i dieser Vorlesug icht), die automatisch die Azahl der Gaussglocke bestimme ("Split-ad-Merge", z.b. Ueda et al., Split ad Merge EM Algorithm for Improvig Gaussia Miture Desity Estimates, Joural of VLSI Sigal Processig 6, 000) 48

48 Biosigale ud Beutzerschittstelle - Klassifikatio Allgemeier EM-Algorithmus Der EM-Algorithmus ist ei allgemeies Verfahre zur Bestimmug vo Maimum-Likelihood-Schätzwerte bei probabilistische Modelle. Die kokrete Durchführug des Verfahres hägt vo der Gestalt der Modelle ab, dere Parameter optimiert werde solle. Wir mache de EM-Algorithmus hier ur für Gauss-Mischverteiluge. Grudidee: zweistufiges iteratives Verfahre. Estimatio Step: Es wird eie probabilistische Zuordug der Samples zu de Gaussverteiluge berechet.. Maimizatio Step: Die Parameter der Modelle werde so optimiert wie vorhi Die Wahrscheilichkeit der Beobachtug wird maimiert uter der Aahme der Zuordug vo Schritt Diese Schritte werde abwechseld durchgeführt, möglichst bis sich der Erwartugswert icht oder kaum mehr ädert. Da hat ma ei lokales Maimum gefude. 49

49 Biosigale ud Beutzerschittstelle - Klassifikatio Epectatio Maimizatio EM-Algorithmus für Gaussverteiluge Durchführug: Seie wieder,..., N die Eigabesamples. Wir wolle traiiere: K Gaussverteiluge N k (μ k, Σ k ) ud ihre Miturgewichte w k zu Begi beliebig iitialisiert Sei γ,k die Wahrscheilichkeit, dass Sample zur Verteilug k gehört. Da habe wir zwei Schritte, die bis zum Erreiche eies Abbruchkriteriums je abwechseld wiederholt werde: Estimatio Step Maimizatio Step 50

50 5 Biosigale ud Beutzerschittstelle - Klassifikatio Epectatio Maimizatio Estimatio Step: Bereche für alle Samples,..., N de Wert γ,k : Dabei ist N k ( ) der Wert der Dichtefuktio vo N k a der Stelle. Es gilt offesichtlich Maimizatio Step: Mit der obe berechete probabilistische Zuordug der Samples zu Verteiluge bereche wir u eue Mittelwerte ud Kovariazmatrize sowie Miturgewichte der eizele Verteiluge. i i i k k k N w N w k P ) ( ) ( ) gehört zu Verteilug (,, k k N k k k,, : N T k k k k k,, ) )( ( : N k k N w, :

51 Biosigale ud Beutzerschittstelle - Klassifikatio Epectatio Maimizatio Iterpretatio: Im Maimizatio-Step wird jede Gaussverteilug eizel abgeschätzt wie immer, ur dass jedes Sample mit dem Wert γ,k gewichtet wird. Dieses γ,k ist die Zuordugswahrscheilichkeit eies Traiigsvektors zu eier Verteilug. Die γ,k köe elemetar berechet werde. Die Grafik ute zeigt die Iitialisierug ud de Ablauf des EM-Algorithmus ach jeweils L Schritte. Quelle: C. M. Bishop, Patter Recogitio ad Machie Learig. Spriger, 006 Figure 9.8, Seite 437 5

52 Biosigale ud Beutzerschittstelle - Klassifikatio Epectatio Maimizatio Ma ka zeige, dass der EM-Algorithmus i jedem Schritt die log-likelihood Fuktio (also im Prizip die Gesamtwahrscheilichkeit) der Traiigssamples,..., erhöht. Dabei ist die log-likelihood Fuktio defiiert als l p( N K,..., ) l wk Nk ( ) k Daraus ergibt sich als mögliches Abbruchkriterium für die EM-Iteratio, dass sich der Wert der log-likelihood Fuktio icht mehr stark ädert. Alterativ (mit etwas Erfahrug) ka ma auch eifach eie feste Zahl Iteratioe vorgebe. 53

53 Biosigale ud Beutzerschittstelle - Klassifikatio K-Meas-Algorithmus Der K-Meas-Algorithmus: Ziel: Bestimme eie Klassestruktur vo eier Mege vo N Samples im D-dimesioale Raum (Clusterig) Die Azahl der Klasse K sei dabei vorab festgelegt Welche Struktur ist sivoll? Mache wir s us eifach ud verlage wie üblich die Miimierug des quadratische Fehlers, i diesem Fall ist der Fehler der Abstad zwische eiem Pukt ud dem Mittelpukt seier Klasse. D.h. we (k) (=,..., N k ) die Pukte der Klasse k bezeichet ud μ (k) de Mittelwert der Klasse k, da wolle wir miimiere. K k Problem: Die μ (k) häge selber vo der Klassezuordug ab! Beste Zuordug ka ma icht so eifach ausreche (ist ei NP-hartes Problem) Verwede iterative Algorithmus! J K N ( k ) ( k ) 54

54 Biosigale ud Beutzerschittstelle - Klassifikatio K-Meas-Algorithmus Der Algorithmus besteht aus de folgede Schritte, die bis zu eier Abbruchbedigug wiederholt werde:. Iitialisiere die Mittelwerte der K Klasse (fest!) beliebig. Nächste-Nachbar-Klassifikatio: Orde jedes Sample der Klasse zu, dere Mittelwert es am ächste liegt. 3. Update: Reche auf Basis der eue Zuordug eue Klassemittelwerte aus. 4. Iteratio: We Abbruchbedigug icht erfüllt, sprige zu. Mögliche Abbruchbediguge: Feste Azahl Iteratioe Der Fehler J ist uter eie vorher gewählte Grezwert gefalle Die Klassezuordug ädert sich icht mehr oder ur och weig 55

55 Biosigale ud Beutzerschittstelle - Klassifikatio K-Meas-Algorithmus: Resultat Ei Beispiel für die Wirkug vo K-Meas: liks eie Puktwolke ohe jede weitere Iformatio ute ach dem K-Meas-Clusterig: der Algorithmus hat eie schöe Struktur gefude (mit k=3). Die Klassemittelpukte sid als Quadrate eigezeichet. Applets ud och viel mehr zum Ausprobiere: 56

56 Biosigale ud Beutzerschittstelle - Klassifikatio K-Meas-Algorithmus: Bemerkuge Bemerkuge: Der K-Meas-Algorithmus ist mit dem EM-Algorithmus verwadt! Durch de Verzicht auf die Berechug vo Variaze ud eie eifachere Distazfuktio gerigerer Recheaufwad Der K-Meas-Algorithmus wird oft verwedet, um iitiale Mittelwerte für eie Gauss-Mischverteilug zu fide ud daach de EM-Algorithmus azuwede (!) 57

57 Biosigale ud Beutzerschittstelle - Klassifikatio K-Meas-Algorithmus: Probleme Typische Probleme sid: Der Algorithmus kovergiert machmal ur zu eiem lokale Optimum. Der Iitialisierug der Mittelwerte im erste Schritt ist oft kritisch da der Algorithmus i der Prais schell kovergiert, ka ma ih mehrfach mit uterschiedliche Startwerte durchlaufe lasse. Der Algorithmus ka auch weiger als K Klasse erzeuge, we ach dem Zuordugsschritt eie Klasse gar keie Samples mehr bekommt. 58

58 Biosigale ud Beutzerschittstelle - Klassifikatio K-Meas-Algorithmus: Probleme Durch die fehlede Berücksichtigug der Variaze ka das Ergebis suboptimal sei. Beispiel (Quelle: Wikipedia (deutsch), "EM-Algorithmus"): K-Meas erzeugt eie ugeaue Klassezuordug Der EM-Algorithmus ist hier viel besser (ist atürlich gut, dass die Samples gaussverteilt sid!) 59

59 Biosigale ud Beutzerschittstelle - Klassifikatio Überblick Eiführug Mustererkeug Klassifikatore ichtparametrische Verfahre liearer Klassifikator Gaussklassifikator Traiig eies Gaussklassifikators EM-Algorithmus K-Meas Support Vector Machies 60

60 Biosigale ud Beutzerschittstelle - Klassifikatio Support Vector Machies Support Vector Machies (SVMs): effiziete ud eifache Möglichkeit, de lieare Klassifikator ichtliear zu mache. Grudidee:. die Datepukte werde mit eier ichtlieare Trasformatio i eie hochdimesioale Featureraum trasformiert... so dass im Featureraum die Treug liear erfolge ka.. die Klassifikatiosregel mit Hilfe des Skalarprodukts umzuformuliere... so dass die Berechuge viel eifacher werde, als sie eigetlich aussehe 3. Die Trehyperebee wird so gewählt, dass der margi (Rad) maimal ist. 4. Dies macht die Klassifikatio robuster ud (als Nebeeffekt) effizieter. Wir werde us diese vier Pukte jetzt geauer aschaue. 6

61 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Asatz Zuächst ei paar vereifachede Aahme: Wir suche eie lieare Treug zwische zwei Klasse. Wir ehme a, dass die Klasse auch wirklich liear trebar sid. Da gibt es viele mögliche Trehyperebee! Eie Möglichkeit zur lieare Treug (Miimierug des quadratische Fehlers) kee wir scho. Welche Bedigug wolle wir jetzt a die Trehyperebee stelle? 6

62 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Maimum Margi-Kriterium Kriterium: Fide die Treliie (rot), die de Abstad zu de ächste Datepukte maimiert! Diese Lösug ist i der Regel eideutig. Der Abstad heißt margi. Das Kriterium ergibt sich aus theoretische Überleguge der Lertheorie, wichtig für us ist die Geeralisierugsfähigkeit: Ma ka zeige, dass ubekate Datepukte besoders gut klassifiziert werde köe. Liks: Defiitio der margi, rechts ist i rot die Hyperebee eigezeichet, die die margi maimiert. Quelle: C. M. Bishop, Patter Recogitio ad Machie Learig. Spriger, 006 Figure 7., Seite 37 63

63 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Maimum Margi-Kriterium Nehme wir also zwei Klasse. Wie beim lieare Klassifikator Datepukte,..., N Zielwerte t,..., t N : We zur erste/zweite Klasse gehört, sei t =+/-. Klassifikatioskriterium wie vorher: Die Parameter des Klassifikators sid der Gewichtsvektor w ud das Bias b. T Wir bereche y( ) w b ud setze y =y( ). Das Eigabesample wird der Klasse C zugeordet, we y =y( )>0, aderfalls wird es der Klasse C zugeordet. Wege der Voraussetzug, dass die Date liear trebar sid, gilt stets t y >0. Der Abstad d eies Puktes zur Trehyperebee: d w T w b y( w ) t y( w ) Quelle: Bishop, Figure 4. 64

64 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Maimierug des Margi Für jedes Traiigssample ist der Abstad zur Treebee also gegebe durch d t y w t T ( w b) w Der margi ist das Miimum aller dieser Abstäde! mi t y w mi t T ( w w b) Quelle: Bishop, Figure 7. Die Lösug für w ud b, die die größte margi hat, errechet sich durch Maimierug über die Parameter w ud b: ( w opt, b opt T ) arg ma mi t ( w b) w, b w 65

65 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Maimierug des Margi User Asatz ist also ( w opt, b opt T ) arg ma mi t ( w b) w, b w Dieser Ausdruck ist schlecht aalytisch zu fasse. Wir köe aber eie Skalierug w κw ud b κb durchführe, ohe de Abstad der Samples zur Trehyperebee zu veräder, ud beutze diese Möglichkeit, die Gleichug mi T t ( w b) ( ) als Nebebedigug zu wähle. Daraus folgt isbesodere, dass t T ( w b) für alle Diese Darstellug et ma die kaoische Darstellug der Trehyperebee. 66

66 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Maimierug des Margi Der Ausdruck ( w opt vereifacht sich damit zu, b opt T ) arg ma mi t ( w b) w, b w opt opt ( w, b ) arg ma arg mi w w, b w w, b Wo ist der Bias-Parameter b higekomme? Das Optimierugsproblem hat die N Nebebediguge T t( w b),n,...,n... da taucht er wieder auf. (Die Eistez der Nebebediguge ergibt sich aus (*) vo der letzte Folie.) 67

67 68 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Maimierug des Margi Lösug für Optimierugsproblem: Eiführug vo N Lagrage-Multiplikatore a,..., a N. Es ergibt sich die Lagrage-Fuktio Jetzt müsse wir die Maima vo L bezüglich w, b ud a fide. Zuächst leite wir ach w ud b ab, Nullsetze ergibt Setzt ma diese Beziehuge i L ei, ergibt sich die duale Repräsetatio des Maimum-Margi-Problems Diese Fuktio ist uter de Nebebediguge zu optimiere. Dabei ist die Kerel-Fuktio k (vorerst) folgedermaße defiiert: N T b w t a w a w b L ) ( ),, ( N N t a t a w 0, N N m m m m N k t t a a a a L ), ( ) ( ~ 0,ud,..., 0, N t a N a ' '), ( k T

68 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Maimierug des Margi Was habe wir bis hier erreicht? Wir habe eie Neuformulierug des Maimierugsproblems gefude. Zu maimiere sid och die Parameter a, dere Azahl der Azahl der Datepukte etspricht. Das köe ziemlich viele sei. Warum habe wir icht eifach direkt miimiert? Der eigetliche Vorteil ist die Neuformulierug des Problems mit Hilfe der Kerel-Fuktio (sehe wir gleich). Trotzdem lässt sich die Maimierug der a effiziet durchführe, ist ei Stadardverfahre. Das bias b bereche wir achher. 69

69 70 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Klassifikatio ud Sparsity We wir die a berechet habe, köe wir eue Datepukte klassifiziere, idem wir die Beziehug vo vorhi i die Gleichug für y eisetze: Es ergibt sich, wieder mit der Kerel-Fuktio, Ei Datepukt wird der Klasse C /C zugeordet, we y() größer als/kleier als Null ist. N t a w b k t a b w y N T ), ( ) (

70 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Klassifikatio ud Sparsity y( ) b Ist das icht etrem aufwedig auszureche? Nei, de es ka gezeigt werde, dass für die Traiigssamples gilt: Etweder es ist a = 0, da spielt dieses Sample keie Rolle mehr, oder es gilt t y =. We t y =, da liegt dieser Pukt geau auf dem Rad! Das sid aber i.d.r. ur sehr weige Datepukte. Diese spezielle Pukte (rechts eigekreist) habe eie Name: Sie heiße Support Vectors. Nur die Support Vectors werde für die Klassifikatio och beötigt! Diese Eigeschaft macht die Klassifikatio sehr effiziet! Ma et sie Sparsity. w T N a t k(, ) b 7 Quelle: Bishop,Figure 7., Seite 37

71 7 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Bias Wir wollte och das Bias b bereche. Dazu ehme wir eie Support Vector ud setze die Gleichug t y = i ei. Wir bekomme ud köe damit das b ausreche. Geauer wird das Ergebis, we wir über alle Support Vectors mittel. b k t a y N ), ( ) ( b k t a t y t N l l! ), ( ) (

72 Biosigale ud Beutzerschittstelle - Klassifikatio Übergag zu ichtliearer Klassifikatio Die Hauptawedug vo SVMs ist ichtlieare Klassifikatio. Was mache wir i so eiem Fall? Suche ach ichtlieare Trefuktioe astatt eier Hyperebee Ka sehr aufwedig sei (viele Parameter, viel zu reche) Wie ka us der Formalismus, de wir etwickelt habe, bei so etwas helfe? Quelle: Wikipedia (deutsch), Support Vector Machie 73

73 Biosigale ud Beutzerschittstelle - Klassifikatio Übergag zu ichtliearer Klassifikatio Wir mache eie Trick: Astatt eie ichtlieare Trefuktio zu suche, mache wir eie ichtlieare Abbildug Φ der Datepukte i eie hochdimesioale Featureraum! I diesem tree wir die Date da liear. Quelle: Wikipedia (egl.), Support Vector Machie 74

74 Biosigale ud Beutzerschittstelle - Klassifikatio Übergag zu ichtliearer Klassifikatio User Ziel: Trasformiere die Samples i eie hochdimesioale Featureraum, i dem sie liear trebar sid. Wie köte so eie Fuktio aussehe? Beschräke wir us auf maimal quadratische Abbilduge, köe wir z.b. Φ folgedermaße defiiere: (, ) (,,,,,) Betrachte liks eie Mege icht liear trebarer Klasse i der Ebee. Nach der Trasformatio habe wir 6 Dimesioe, ei geeigeter zweidimesioaler Schitt durch diese Raum gibt die Situatio rechts: Jetzt sid usere Klasse liear trebar! 75 ur Dimesioe dargestellt!

75 Biosigale ud Beutzerschittstelle - Klassifikatio Der Kerel-Trick Problem: Der Aufwad, die Fuktio Φ zu bereche, ist immer och so hoch, dass bisher ichts gewoe ist. Aber: Um die SVM zu traiiere ud um die Klassifikatio durchzuführe, brauche wir lediglich die Werte der Kerelfuktio: k(, ) ( ) ( ) We ma Φ geeiget wählt, ist dies viel eifacher zu bereche als Φ selbst. Dies bezeichet ma als de Kerel-Trick. Er spielt auch für viele weitere Aweduge eie Rolle. 76

76 Biosigale ud Beutzerschittstelle - Klassifikatio Kerelfuktioe Welche Kerel gibt es? Kerel sid symmetrische, positiv semidefiite Fuktioe......ud jede symmetrische, positiv semidefiite Fuktio ist ei Kerel (d.h. ei Skalarprodukt) i eiem (möglicherweise uedlichdimesioale) Featureraum (Mercers Theorem). Typische Kerelfuktioe sid: Polyomiale Kerel T d T d k (, y) ( y) oder k(, y) ( y ) Gauss-Kerel k(, y) ep y liearer Kerel: T k(, y) ( y) 77

77 78 Biosigale ud Beutzerschittstelle - Klassifikatio Kerelfuktioe Wir mache ei Beispiel für Kerelfuktioe. Der Kerel im zweidimesioale Raum mit d= gehört zur Abbildug vo vorhi: De: Das Skalarprodukt Φ() Φ(y) ergibt sich zu Wer möchte bestreite, dass sich k eifach bereche lässt? Dieser Trick ist der Hauptgrud, warum wir SVMs gut verwede köe! d T y y k ) ( ), (,),,,, ( ) ( ), ( ) ), ( ), (( ) (,),,,, (,),,,, ( ) ( ) ( y k y y y y y y y y y y y y y y y y y

78 Biosigale ud Beutzerschittstelle - Klassifikatio SVMs: Zusammefassug Die Haupteigeschafte der SVMs: Featureraum: Die Klassifikatio mit eier ichtlieare Treug wird durchgeführt, idem die Date i eie Featureraum verschobe werde, wo sie liear trebar sid. Wege des Kerel tricks ist die Kompleität hadhabbar. Sparsity: Zur Klassifikatio muss ma vo alle Traiigssamples ur weige betrachte, ämlich die, die am ächste a der Trehyperebee liege. Maimum Margi: Das Traiig beruht auf dem lertheoretisch optimale Margi-Kriterium. Rechts: Beispiel für eie SVM-Treug. Die support vectors sid eigekreist. Quelle: C. M. Bishop, Patter Recogitio ad Machie Learig. Spriger, 006 Figure 7., Seite 37 79

79 Biosigale ud Beutzerschittstelle - Klassifikatio Lieare SVM: Slack Variables I der Prais werde wir ur sehr selte Datemege habe, die wirklich liear trebar sid. Daher muss ma och zusätzliche Bediguge eiführe, die es erlaube, dass eizele Datepukte auch falsch klasssifiziert werde dürfe. Um trotzdem sivoll optimiere zu köe, werde also etsprechede Fehlerterme eigeführt, die slack variables. Die Details behadel wir icht, das Grudprizip der Optimierug bleibt gleich. 80

80 Biosigale ud Beutzerschittstelle - Klassifikatio SVMs: Treug mehrerer Klasse Was passiert, we wir mehr als zwei Klasse tree wolle? Die SVM ist grudsätzlich eie Methode zur Treug zweier Klasse. Wie bei der lieare Klassifikatio gibt es verschiedee Algorithme, etwa oeversus-oe, oe-versus-may,... Je ach Aufgabestellug, Verteilug der Datepukte etc. köe diese Asätze uterschiedliche Vor- ud Nachteile habe. 8

81 Biosigale ud Beutzerschittstelle - Klassifikatio Zusammefassug Was habe wir gelert? Klassifikatio mit statistischer Methode: Traiig + Test Lieare Klassifikatio, zwei Algorithme Der Gaussklassifikator!!! Modellierug durch Gaussverteiluge Maimum-Likelihood-Abschätzug Mischverteiluge ud der EM-Algorithmus Voreweg och ei K-Meas Support Vector Machies 8