Kapitel 5: Klassifikation

Transkript

1 Ludwg-Maxmlans-Unverstät München Insttut für Informatk Lehr- und Forschungsenhet für Datenbanksysteme Skrpt zur Vorlesung Knowledge Dscovery n Databases m Sommersemester 2015 Kaptel 5: Klassfkaton Vorlesung: PD Dr. Arthur Zmek Übungen: Dr. Tobas Emrch Skrpt 2015 Johannes Aßfalg, hrstan Böhm, Karsten Borgwardt, Martn Ester, Eshref Januzaj, Karn Kalng, Peer Kröger, Jörg Sander, Matthas Schubert, Arthur Zmek

2 5. Klassfkaton Inhalt deses Kaptels 5.1 Grundbegrffe der Klassfkaton 5.2 Bewertung von Klassfkatoren 5.3 Bayes-Klassfkatoren 5.4 Nächste-Nachbarn-Klassfkatoren 5.5 Entschedungsbaum-Klassfkatoren 5.6 Neuronale Netze 5.7 Support Vector Machnes und Kernel Learnng 2

3 5.1 Grundbegrffe der Klassfkaton Das Klassfkatonsproblem Gegeben: Ene Menge O von Objekten des Formats (o 1,..., o d mt Attrbuten A, 1 d, und Klassenzugehörgket c : c = {c 1,..., c k } Gesucht: de Klassenzugehörgket für Objekte aus DB \ O en Klassfkator K : DB Abgrenzung zum lusterng Klassfkaton: Klassen a pror bekannt lusterng: Klassen werden erst gesucht Verwandtes Problem: Vorhersage (Predcton gesucht st der Wert für en numersches Attrbut Methode z.b. Regresson (sehe Kaptel 6. 3

4 Enfacher Klassfkator Bespel ID Alter Autotyp Rsko 1 23 Famle hoch 2 17 Sport hoch 3 43 Sport hoch 4 68 Famle nedrg 5 32 LKW nedrg Enfacher Klassfkator f Alter > 50 then Rskoklasse = Nedrg; f Alter 50 and Autotyp=LKW then Rskoklasse=Nedrg; f Alter 50 and Autotyp LKW then Rskoklasse = Hoch. 4

5 Der Prozess der Klassfkaton Konstrukton des Modells Tranngsdaten Klassfkatons- Algorthmus NAME RANK YEARS TENURED Mke Assstant Prof 3 no Mary Assstant Prof 7 yes Bll Professor 2 yes Jm Assocate Prof 7 yes Dave Assstant Prof 6 no Anne Assocate Prof 3 no Klassfkator f rank = professor or years > 6 then tenured = yes 5

6 Der Prozess der Klassfkaton Anwendung des Modells Unbekannte Daten (Jeff, Professor, 4 Tenured? Klassfkator yes manchmal: kene Klassfkaton unbekannter Daten sondern nur besseres Verständns der Daten 6

7 Überblck über Klassfkatonsmethoden Tranngsmenge mt 3 Klassen 3 Klassenbereche (weß, grau, schwarz Klassfkatoren legen bem Tranng m Allgemenen Klassengrenzen fest. Aber: Es gbt vele Methoden, Klassengrenzen aus Tranngsdaten abzuleten. => Unterschedlche Klassfkatoren ( statsche Kl., Entschedungsbäume, Support Vektor Maschnen, knn-klassfkatoren, neuronale Netze, 7

8 Motvaton der Klassfkatonsmethoden(1 1-dmensonale Projekton Klassengrenzen Bayes Klassfkatoren Unterschedung durch Dchtefunktonen. Unterschedung durch Vorono-Zellen (1 nächster Nachbar Klassfkator NN-Klassfkator 8

9 Motvaton der Klassfkatonsmethoden( Entschedungsbäume 3 Festlegen der Grenzen durch rekursve Untertelung n Enzeldmenson. 4 Grenzen über lneare Separaton Support Vektor Maschnen 9

10 Intuton und Grundannahmen Es gbt enen (natürlchen, technschen, sozaldynamschen, Prozess (m statstschen Snne, der de beobachteten Daten O als Telmenge der möglchen Daten D erzeugt bzw. für en x D ene Klassenentschedung für ene Klasse c trfft. De beobachteten Daten snd Bespele für de Wrkung des Prozesses. Es gbt ene deale (unbekannte Funkton, de enen Bespel-Datensatz auf de zugehörge Klasse abbldet: f: D Aufgabe des Lernalgorthmus st es, ene möglchst gute Approxmaton h von f zu fnden: ene Hypothese, de de gegebenen Daten erklärt (und m Idealfall hlft, den Prozess zu verstehen, der de Daten erzeugt hat. 10

11 Intuton und Grundannahmen Bespel: f : Sky ArTemp Humdty Wnd Water Forecast {Yes,No} Sky ArTemp Humdty Wnd Water Forecast EnjoySport Sunny Warm Normal Strong Warm Same Yes Sunny Warm Hgh Strong Warm Same Yes Rany old Hgh Strong Warm hange No Sunny Warm Hgh Strong ool hange Yes Gbt es en generelles Konzept, wann Sport getreben wrd? Lernen braucht Annahmen (Bas, z.b.: Das Konzept st ene Konjunkton ausgewählter Attrbutwerte. 11

12 Intuton und Grundannahmen Sky ArTemp Humdty Wnd Water Forecast EnjoySport Sunny Warm Normal Strong Warm Same Yes Sunny Warm Hgh Strong Warm Same Yes Rany old Hgh Strong Warm hange No Sunny Warm Hgh Strong ool hange Yes Möglche Hypothesen für Yes unter deser Annahme: <Sunny,?,?,?,?,?> <Sunny,?,?,Strong,?,?> <?,Warm,?,?,?,?> <?,Warm,?,Strong,?,?> <Sunny,Warm,?,?,?,?> <Sunny,Warm,?,Strong,?,?> 12

13 Intuton und Grundannahmen Durch de Annahmen enes Klassfkators wrd der Raum möglcher Hypothesen (lernbarer Konzepte defnert. x 1 = <Sunny, Warm, Hgh, Strong, ool, Same> x 2 = <Sunny, Warm, Hgh, Lght, Warm, Same> h 1 = <Sunny,?,?,Strong,?,?> h 2 = <Sunny,?,?,?,?,?> h 3 = <Sunny,?,?,?,ool,?> Snd komplexere Annahmen snnvoll (erlaubt auch Dsjunktonen, Negatonen? 13

14 Intuton und Grundannahmen Konjunktve Hypothesen für Yes: <Sunny,?,?,?,?,?> <?,Warm,?,?,?,?> <Sunny,Warm,?,?,?,?> Neue Daten: <Sunny,?,?,Strong,?,?> <?,Warm,?,Strong,?,?> <Sunny,Warm,?,Strong,?,?> Sky ArTemp Humdty Wnd Water Forecast EnjoySport Sunny Warm Normal Strong ool hange Yes loudy Warm Normal Strong ool hange Yes Rany Warm Normal Strong ool hange No kene konsstente Hypothese unter unserer Annahme möglch: spezfschste Hypothese <?, Warm, Hgh, Strong, ool, Same> für postve Bespele st berets zu generell (deckt auch das negatve Bespel ab Dsjunktves Konzept: f Sky=Sunny or Sky = loudy, then Yes ermöglcht Auflstung aller Lernbespele als Hypothese. Allgemen: Ohne enschränkende Annahmen kann Auswendglernen ncht ausgeschlossen werden. 14

15 Intuton und Grundannahmen Verschedene Klassfkatonsalgorthmen baseren auf verschedenen Annahmen (unterschedlcher Bas

16 5.2 Bewertung von Klassfkatoren Grundbegrffe Ene Datenbank DB repräsentert ene Domäne durch das Sample der vorhandenen Daten. O DB st de Menge der Objekte, be denen de Klassenzugehörgket berets bekannt st. Se K en Klassfkator und se TR O de Tranngsmenge. Problem der Bewertung: Gewünscht st gute Performanz auf ganz DB, aber de Qualtät auf DB\O st grundsätzlch unbekannt. Klassfkator st für TR optmert. Test auf TR erzeugt n der Regel vel bessere Ergebnsse, als auf DB\TR. Daher ken realstsches Bld der Performanz auf DB. Overfttng 16

17 Bewertung von Klassfkatoren Tran-and-Test Bewertung ohne Overfttng durch Auftelen von O n : Tranngsmenge TR zum Lernen des Klassfkators (Konstrukton des Modells Testmenge TE zum unabhänggen Bewerten des Klassfkators Zel: Abschätzen der Erfolg- bzw. Fehlerrate des Klassfkators Daher: Test-Daten müssen unabhängg von Tranngsdaten sen Tranngs- und Testdaten sollen das Problem angemessen wederspegeln (z.b. proportonale Antele der verschedenen Klassen 17

18 Bewertung von Klassfkatoren m-fache Überkreuz-Valderung snnvolle manuelle Auftelung n Tranngs- und Testmenge ncht trval Tran-and-Test ncht anwendbar, wenn nur wenge Objekte mt bekannter Klassenzugehörgket vorhanden snd. Stattdessen: m-fache Überkreuz-Valderung (m-fold ross- Valdaton tele de Menge O zufällg n m glech große Telmengen verwende jewels m 1 Telmengen zum Tranng und de verblebende Telmenge zur Bewertung kombnere de erhaltenen m Klassfkatonsfehler wederhole das Verfahren mehrmals 18

19 Bewertung von Klassfkatoren Ablauf 3-fache Überkreuzvalderung (3-fold ross Valdaton Se n = 3 : Menge aller Daten mt Klassennformaton de zu Verfügung stehen a b c 1 fold: Testmenge 2 fold: Testmenge 3 fold: Testmenge Tranngsmenge 1 2 a b 3 c Klassfkator Tranngsmenge Klassfkatons -ergebnsse 1 3 a c 2 b Klassfkator Tranngsmenge Klassfkatons -ergebnsse 2 3 b c 1 a Klassfkator Klassfkatons -ergebnsse gesamtes Klassfkatonsergebns 19

20 Bewertung von Klassfkatoren zusätzlche Anforderung: Stratfkaton Proportonaltät der Klassen erhalten zumndest: jede Klasse sollte n Tranngsmenge enthalten sen snnvoll: Vertelung der Klassen sollte n Tranngs- und Testmenge de Vertelung auf dem gegebenen Problem wederspegeln Standard: 10-fache, stratfzerte Kreuzvalderung, 10-mal wederholt (Erfahrungswerte 20

21 Bewertung von Klassfkatoren Alternatve: Bootstrap blden ener Tranngsmenge aus ener gegebenen Datenmenge durch Zehen mt Zurücklegen. jedes Sample hat de gleche Größe we de ursprünglche Tranngsmenge en Sample enthält durchschnttlch 63% der Ausgangsbespele (enge mehrfach, etwa 37% gar ncht: en enzelnes Bespel n enem Datensatz mt n Bespelen hat be jedem Zehen de hance 1/n gezogen zu werden, wrd also mt Wahrschenlchket 1-1/n ncht gezogen nach n-mal Zehen st en bestmmtes Element mt Wahrschenlchket n 1 ncht gezogen worden n 1 n 1 für große n st 1 e n daher auch der Name bootstrap für dese Samplng-Methode Im Allgemenen eher optmstsche Fehlerschätzung 21

22 Bewertung von Klassfkatoren Alternatve: Leave-one-out (auch: Jackknfe Tranngsmenge wrd gebldet durch Weglassen enes enzgen Elementes, deses wrd als Test-Objekt verwendet Verfahren wrd wederholt für alle Objekte der gelabelten Daten, Fehler-Abschätzung gemttelt Vortel: ken Zufallselement Nachtel: garantert ncht stratfzert Im Allgemenen eher pessmstsche Fehlerschätzung 22

23 Bewertung von Klassfkatoren Ergebns des Tests : Konfusonsmatrx (confuson matrx Klasse 1 klassfzert als... Klasse1 Klasse 2 Klasse 3 Klasse 4 other tatsächlche Klasse... Klasse 2 Klasse 3 Klasse 4 other korrekt klassfzerte Objekte Aus der Konfusonsmatrx lassen sch u.a. folgende Kennzahlen berechnen: Accuracy, lassfcaton Error, Precson und Recall. 23

24 Bewertung von Klassfkatoren Gütemaße für Klassfkatoren Se K en Klassfkator, TR O de Tranngsmenge, TE O de Testmenge. Bezechne (o de tatsächlche Klasse enes Objekts o, K(o de von K vorhergesagte. Klassfkatonsgenaugket (classfcaton accuracy von K auf TE: GTE ( K = { o TE K( o = ( o} TE Tatsächlcher Klassfkatonsfehler (true classfcaton error FTE ( K = { o TE K( o ( o} TE Beobachteter Klassfkatonsfehler (apparent classfcaton error F ( o TR K o o TR K { ( ( } = TR 24

25 Bewertung von Klassfkatoren Recall: Antel der Testobjekte ener Klasse, de rchtg erkannt wurden. Se = {o TE (o = }, dann st Recall TE ( K, { o K( o = = ( o} Tatsächl. Klasse (o Zugeordnete Klasse K(o K Precson: Antel der zu ener Klasse zugeordneten Testobjekte, de rchtg erkannt wurden. Se K = {o TE K(o = }, dann st Precson TE ( K, = { o K K( o K = ( o} 25

26 Bewertung von Klassfkatoren wetere Gütekrteren für Klassfkatoren Kompakthet des Modells z.b. Größe enes Entschedungsbaums Interpreterbarket des Modells Wevele Enschten vermttelt das Modell dem Benutzer? Effzenz der Konstrukton des Modells der Anwendung des Modells Skalerbarket für große Datenmengen für sekundärspecherresdente Daten Robusthet gegenüber Rauschen und fehlenden Werten 26

27 5.3 Bayes-Klassfkatoren Statstsche Klassfkatoren Was snd Bayes-Klassfkatoren? Klassen werden durch statstsche Prozesse beschreben Beruht auf dem Satz von Bayes Bestmme Wahrschenlchketen, mt denen jeder Prozess das Objekt erklärt (lass-membershp-probablty Vorhersage der wahrschenlchsten Klasse (Maxmum Lkelhood lassfcaton 1-dmensonale Projekton Klassengrenzen 27

28 Überblck Bayes Klassfkatoren Grundlagen statstscher Klassfkatoren 1. A-pror und A-posteror Wahrschenlchketen 2. Regel von Bayes 3. Maxmum Lkelhood Klassfkaton Klassfkatoren und statstsche Prozesse 1. Naïve Bayes 2. Bayes Netzwerke 3. LDA 4. multvarate Gauß-Prozesse 28

29 Bayes-Klassfkatoren Grundlagen Regeln und Fakten zur Klassfkaton werden mt Hlfe des Satzes von Bayes als bedngte Wahrschenlchketen formulert A-Pror-Wahrschenlchketen modelleren Faktenwssen über de Häufgket ener Klasse und das Auftreten von Merkmalen, z.b. 20% der Objekte snd Äpfel 30% snd Orangen 50% der Objekte snd rund 40% haben Farbe orange A-Pror Wahrsch. f. Klassenzugehörgk. A-Pror Merkmalshäufgket Bedngte Wahrschenlchketen ( A-Posteror modelleren Zusammenhänge zwschen Klassen und Merkmalen: 100% der Orangen snd rund: P (rund Orange = 100% 100% der Äpfel snd rund: P (rund Apfel = 100% 90% der Orangen snd orange: P (orange Orange = 90% 29

30 Bayes-Klassfkatoren Be enem gegebenen Merkmals-Vektor M lässt sch de Wahrschenlchket der Klassenzugehörgket zu Klasse mt dem Satz von Bayes ermtteln: P( M = P( M P( P( M Im Bespel: Wahrschenlchket, dass en oranges Objekt ene Orange st: De entsprechenden Wahrschenlchketen werden aus den Tranngsdaten geschätzt. = c j P( M P( P( P( M P(orange Orange P(Orange P( Orange orange = = = P(orange 0.4 j j

31 Bayes-Klassfkaton Der Bayes-Klassfkator schätzt de Wahrschenlchket der Klassenzugehörgket enes Merkmalsvektors Zur endeutgen Zuordnung enes Klassen-Labels geht man mest nach dem Prnzp Maxmum Lkelhood vor: = argmax P( M = argmax P( M P( P( M = argmax P( M P( Da P(M be allen glech st, st nur das Produkt zu optmeren. Bespel: P(Apfel M = 32% P(Orange M = 32% = Kw P(Kw M = 36% 31

32 Schätzung der Wahrschenlchketen A pror Wahrschenlchketen Mestens: relatve Häufgket n den Tranngsdaten. Bsp: 7 Orangen, 2 Äpfel, 1 Sten => 7 P( Orange = = % A Posteror Wahrschenlchketen Statstscher Prozess modellert Zusammenhänge zwschen Merkmalen und ener Klasse Unterschede verwendeter Prozesse: Abhänggket der Merkmale (Korrelaton oder Unabhänggket Verwendete Vertelungsfunktonen der Merkmalswerte (dskret, Normalvertelung, Multnomalvertelung Beschaffenhet der Objekte (Vektor, Sequenz 32

33 1-dmensonale Vertelungen Dskrete Merkmale Auszählen relatver Häufgketen Bsp: 3 P( Form = rund A = = 75% P( Farbe = grün A = = = 50% 4 2 ID Form Farbe Klasse 1 rund orange A 2 rund grün A 3 rund gelb A 4 eckg grün A 5 oval weß B Problem: (Form = oval => Klasse A Man verwendet häufg Smoothng, d.h. P(x Klasse > ε. mt 0 < ε << 1. D.h. 0 P( Form = oval A = = 0% 4 0 P( Form = oval A = max, ε = ε 4 33

34 1-dmensonale Vertelungen Kontnuerlche metrsche Attrbute dskrete Approxmaton P ( 9.0 < Durchmesser 9.5 Orange = 10% P ( 9.5 < Durchmesser 10.0 Orange = 30% P (10.0 < Durchmesser 10.5 Orange = 30% P (10.5 < Durchmesser 11.0 Orange = 10% P (11.0 < Durchmesser 11.5 Orange = 5% R1 Wahrschenlchkets-Dchtefunktonen z.b. Orangen haben enen Durchmesser von 10±1 cm: p(durchmesser Orange = N (10, 1 mest Berechnung nach Normalvertelung: P( x = 1 e 2πσ ( x µ 2 2σ 2 wobe µ = x TR x TR und σ = x TR ( x µ TR 2 34

35 Motvaton Be hochdmensonalen Merkmalsvektoren schwerge Schätzung der bedngten Wahrschenlchketen P(M und damt P( M: M besteht aus velen enzelnen Komponenten, de UND-verknüpft snd: P( M1 M 2... P( P( M1 M 2... = P( M1 M 2... Be d verschedenen Merkmalen und jewels r verschedenen Werten ergeben sch r d verschedene Merkmalskombnatonen Probleme: De Wahrschenlchketen lassen sch ncht mehr abspechern Man bräuchte >> r d Tranngsdatensätze, um de Wahrschenlchket der enzelnen Merkmalskombnatonen überhaupt ermtteln zu können 35

36 Naïve Bayes-Klassfkaton Lösung deses Problems bem naven Bayes-Klassfkator: Annahme der bedngten Unabhänggket d.h. be jeder enzelnen Klasse werden de Merkmale so behandelt als wären se vonenander statstsch unabhängg: Was bedeutet des? Klasse=Orange: M 2 = Gewcht P (M 1 M 2 = P (M 1 P (M 2 M 1 = Durchmesser Annahme kann falsch sen Des führt ncht unbedngt dazu, dass de Klassfkaton versagt Aber schlechte Lestung, wenn alle Merkmale be mehreren Klassen etwa glech vertelt snd Unterschede nur n Relatonen der Merkmale zuenander 36

37 37 Nave Bayes-Klassfkaton Damt st de Wahrschenlchket der Zugehörgket zur Klasse : Auch her st der Nenner für alle Klassen glech, so dass nur der Zähler zu maxmeren st:... (... ( (... ( = M M P M M P P M M P = k j k j k j j M P P M P P ( ( ( ( = j j M P P } ( ( argmax{

38 Bayes-Netzwerke Grundbegrffe Graph mt Knoten = Zufallsvarable und Kante = bedngte Abhänggket Jede Zufallsvarable st be gegebenen Werten für de Vorgänger-Varablen bedngt unabhängg von allen Zufallsvarablen, de kene Nachfolger snd. Für jeden Knoten (Zufallsvarable: Tabelle der bedngten Wahrschenlchketen Traneren enes Bayes-Netzwerkes be gegebener Netzwerk-Struktur und allen bekannten Zufallsvarablen be gegebener Netzwerk-Struktur und telwese unbekannten Zufallsvarablen be a pror unbekannter Netzwerk-Struktur 38

39 Bayes-Netzwerke Bespel Famly Hstory Smoker FH,S FH, S FH,S FH, S L Lungancer Emphysema ~L PostveXRay Dyspnea bedngte Wahrschenlchketen für Lungancer be gegebenen Werten für FamlyHstory und Smoker lefert der Wert für Emphysema kene zusätzlche Informaton über Lungancer. 39

40 Lneare Dskrmnanz Analyse Modellere alle Klassen als multvarate Normalvertelungen Berückschtgt Korrelatonen der Attrbute Varanzen und Korrelatonen für alle Klassen glech Bass multvarate Normalvertelung (Gauß-Vertelung P( x = 1 (2π Erwartungsvektor: Kovaranzmatrx : Σ(, j = x TR ( x d TR e µ = µ ( x j 1 T 1 ( x µ 2 x TR x TR µ j ( ( x µ Egenschaften: Korrelaton zwschen und j Varanz n der Dagonalen 40

41 41 Lneare Dskrmnanz Analyse Tranng: Bestmme µ und Σ für alle Klassen. Mttle globale Kovaranzmatrx Σ. (Gewchteter Durchschntt der Kovaranzmatrzen aller Klassen Klassfkaton: Σ Σ = ( ( ( ( ( ( log( 2 1 arg max ( log( ( ( 2 1 arg max ( (2 1 arg max ( arg max ( ( x P x P x x P e x P T T T T d x x σ µ µ µ µ µ π µ µ = + = + = = Lneare Dskrmnanzfunkton

42 Lneare Dskrmnanz Analyse Beobachtung: Da nur Erwartungswerte unterschedlch Lneare Separaton Man muss ncht de Wahrschenlchket berechnen. Es recht de Auswertung der folgenden Dskrmnanzfunkton: σ ( x = x T Σ 1 µ 1 2 µ T Σ 1 µ + log P( Klasse mt maxmalem σ (x wrd vorhergesagt

43 Multvarate Gauss-Prozesse Modellere jede Klasse als multvarate Normalvertelung (Vektoren m R d Berückschtgt Korrelatonen der Attrbute Her: Varanzen und Korrelatonen für alle Klassen ndvduell Berechnung der Wahrschenlchketen zur Klassfkaton (Maxmum Lkelhood Probleme: Braucht sehr vele Tranngsobjekte für jede Klasse, um sgnfkante Korrelatonswerte zu bestmmen. 43

44 Interpretaton von Rasterbldern Motvaton automatsche Interpretaton von d Rasterbldern enes bestmmten Gebets für jedes Pxel en d-dmensonaler Grauwertvektor (o 1,..., o d verschedene Oberflächenbeschaffenheten der Erde bestzen jewels en charakterstsches Reflexons- und Emssonsverhalten (12,(17.5 (8.5,( Erdoberfläche Band luster 1 luster 2 Ackerland Stadt luster Band 2 Feature-Raum Wasser 44

45 Interpretaton von Rasterbldern Grundlagen Anwendung des Bayes-Klassfkators mt Gauß Prozess Schätzung der P(o ohne Annahme der bedngten Unabhänggket Annahme ener d-dmensonalen Normalvertelung für de Grauwertvektoren ener Klasse Wasser Wahrschenlchket der Klassenzugehörgket Stadt Entschedungsflächen Ackerland 45

46 Interpretaton von Rasterbldern Methode Zu schätzen aus den Tranngsdaten: µ : d-dmensonaler Mttelwertvektor aller Feature-Vektoren der Klasse Σ : d d Kovaranzmatrx der Klasse Probleme der Entschedungsregel: Wahrschenlchket für de gewählte Klasse sehr klen Wahrschenlchket für mehrere Klassen ähnlch unklassfzerte Regonen Grenzwert 46

47 Bayes-Klassfkatoren Dskusson + hohe Klassfkatonsgenaugket n velen Anwendungen + Inkrementaltät: Klassfkator kann enfach an neue Tranngsobjekte adaptert werden + Enbezug von Anwendungswssen - Anwendbarket (Bayes-Netzwerke: de erforderlchen bedngten Wahrschenlchketen snd oft unbekannt - Ineffzenz be sehr velen Attrbuten (nsbesondere Bayes- Netzwerke 47