Inhalt dieses Kapitels

Transkript

1 Ludwg Maxmlans Unverstät München Insttut für Informatk Lehr- und Forschungsenhet für Datenbanksysteme Skrpt zur Vorlesung Knowledge Dscovery n Databases m Wntersemester 2009/200 Kaptel 3: Klassfkaton Skrpt 2003 Johannes Aßfalg, Chrstan Böhm, Karsten Borgwardt, Martn Ester, Eshref Januzaj, Karn Kalng, Peer Kröger, Jörg Sander und Matthas Schubert d /L h /KDD Klassfkaton Inhalt deses Kaptels 3. Grundbegrffe der Klassfkaton 32Bayes-Klassfkatoren Nächste-Nachbarn-Klassfkatoren 3.4 Entschedungsbaum-Klassfkatoren 3.5 Neuronale Netze 3.5 Support Vector Machnes and Kernel Learnng 36H 3.6 Herarchsche h Klassfkaton 48

2 3. Grundbegrffe der Klassfkaton Das Klassfkatonsproblem Gegeben: Ene Menge O von Objekten des Formats (o,..., o d ) mt Attrbuten A, d, und Klassenzugehörgket c, c C = {c,..., c k } Gesucht: de Klassenzugehörgket für Objekte aus DB \ O en Klassfkator K : DB C Abgrenzung zum Clusterng Klassfkaton: Klassen apror bekannt Clusterng: Klassen werden erst gesucht Verwandtes Problem: Vorhersage (Predcton) gesucht st der Wert für en numersches Attrbut Methode z.b. Regresson (sehe Kaptel 4). 49 Enletung Bespel ID Alter Autotyp Rsko 23 Famle hoch 2 7 Sport hoch 3 43 Sport hoch 4 68 Famle nedrg 5 32 LKW nedrg Enfacher Klassfkator f Alter > 50 then Rskoklasse = Nedrg; f Alter 50 and Autotyp=LKW then Rskoklasse=Nedrg; f Alter 50 and Autotyp LKW then Rskoklasse = Hoch. 50

3 Der Prozess der Klassfkaton Konstrukton des Modells Tranngsdaten Klassfkatons- Algorthmus NAME RANK YEARS TENURED Mke Assstant Prof 3 no Klassfkator Mary Assstant t Prof 7 yes Bll Professor 2 yes Jm Assocate Prof 7 yes f rank = professor Dave Assstant Prof 6 no or years > 6 Anne Assocate Prof 3 no then tenured = yes 5 Der Prozess der Klassfkaton Anwendung des Modells Unbekannte Daten (Jeff, Professor, 4) Tenured? Klassfkator yes manchmal: kene Klassfkaton unbekannter Daten sondern nur besseres Verständns der Daten 52

4 Bewertung von Klassfkatoren Grundbegrffe Se K en Klassfkator und se TR O de Tranngsmenge. O DB st de Menge der Objekte, be denen de Klassenzugehörgket berets bekannt st. Problem der Bewertung: gewünscht st gute Performanz auf ganz DB. Klassfkator st für TR optmert. Test auf TR erzeugt n der Regel vel bessere Ergebnsse, als auf DB\TR. Daher ken realstsches Bld der Performanz auf DB. Overfttng 53 Bewertung von Klassfkatoren Tran-and-Test Bewertung ohne Overfttng durch Auftelen von O n : Tranngsmenge TR zum Lernen des Klassfkators (Konstrukton des Modells) Testmenge TE zum unabhänggen Bewerten des Klassfkators 54

5 Bewertung von Klassfkatoren Grundbegrffe Tran-and-Test ncht anwendbar, wenn nur wenge Objekte mt bekannter Klassenzugehörgket vorhanden snd. Stattdessen: ttd m-fache f h Überkreuz-Valderung (m-foldf Cross-Valdaton) ) m-fache Überkreuz-Valderung tele de Menge O n m glech große Telmengen verwende jewels m Telmengen zum Tranng und de verblebende Telmenge zur Bewertung kombnere de erhaltenen m Klassfkatonsfehler 55 Bewertung von Klassfkatoren Ablauf 3-fache Überkreuzvalderung (3-fold Cross Valdaton) Se n = 3 : Menge aller Daten mt Klassenformaton de zur Verfügung stehen 2 3 a b c fold: Testmenge 2 fold: Testmenge 3 fold: Testmenge Tranngsmenge 2 a b 3 c Klassfkator Klassfkatons Tranngsmenge -ergebnse 3 a c 2 b Klassfkator Tranngsmenge Klassfkatons -ergebnse 2 3 b c a Klassfkator Klassfkatons -ergebnse gesamtes Klassfkatonsergebns 56

6 Bewertung von Klassfkatoren Ergebns des Tests : Konfusonsmatrx (confuson matrx) Klasse... ta atsächlche klassfzert als... Klasse Klasse 2 Klasse 3 Klasse 4 other Klasse 35 4 Klasse 2 Klasse Klasse other korrekt klassfzerte Objekte Aus der Konfusonsmatrx lassen sch folgende Kennzahlen berechnen : Accuracy, Classfcaton Error, Precson und Recall. 57 Bewertung von Klassfkatoren Gütemaße für Klassfkatoren Se K en Klassfkator, TR O de Tranngsmenge, TE O de Testmenge. Bezechne C(o) de tatsächlche Klasse enes Objekts o. Klassfkatonsgenaugket (classfcaton accuracy) von K auf TE: o TE K o C o { ( ) = ( )} G ( K ) TE = TE Tatsächlcher Klassfkatonsfehler (true classfcaton error) { o TE K( o) C( o)} FTE ( K) = TE Beobachteter t Klassfkatonsfehler f (apparent classfcaton error) { o TR K( o) C( o)} F TR ( K) = TR 58

7 Bewertung von Klassfkatoren Recall: Antel der Testobjekte ener Klasse, de rchtg erkannt wurden. Se C = {o TE C(o) =} }, dann st Recall TE { o C K( o) = C( o)} ( K, ) = C Klasse C(o) Tatsächl. Zugeordnete Klasse K(o) 2 2 K C Precson: Antel der zu ener Klasse zugeordneten Testobjekte, de rchtg erkannt wurden. Se K = {o TE K(o) = }, dann st Precson TE ( K, ) = { o K K( o) = C( o)} K 59 Bewertung von Klassfkatoren wetere Gütekrteren für Klassfkatoren Kompakthet des Modells zb z.b. Größe enes Entschedungsbaums Interpreterbarket des Modells Wevel Enschten vermttelt das Modell dem Benutzer? Effzenz der Konstrukton des Modells der Anwendung des Modells Skalerbarket für große Datenmengen für sekundärspecherresdente Daten Robusthet gegenüber Rauschen und fehlenden Werten 60

8 Überblck über Klassfkatonsmethoden Tranngsmenge mt 3 Klassen 3 Klassenbereche (weß, grau, schwarz) Alle Klassfkatoren legen bem Tranng Klassengrenzen fest. Aber: Es gbt vele Methoden Klassengrenzen aus Tranngsdaten abzuleten. => Unterschedlche h Klassfkatoren ( statsche Kl., Entschedungsbäume, Support Vektor Maschnen, knn-klassfkatoren, neuronale Netze, ) 6 Motvaton der Klassfkatonsmethoden() -dmensonale Projekton Klassengrenzen Bayes Klassfkatoren Unterschedung durch Dchtefunktonen. Unterschedung durch Vorono-Zellen ( nächster Nachbar Klassfkator) NN-Klassfkator 62

9 Motvaton der Klassfkatonsmethoden(2) Entschedungsbäume 3 4 Festlegen der Grenzen durch rekursve Untertelung t n Enzeldmenson. Grenzen über lneare Separaton Support Vektor Maschnen 63 Anwendungen Klassfkaton Klassfkaton von Rskoklassen (be Verscherungen und Kredtvergabe) Funktonsvorhersage von Protenen Geschtserkennung Erkennen von relevanten Webnhalten Erkennen von Spam- Emals 64

10 3.2 Bayes-Klassfkatoren Was snd Bayes-Klassfkatoren? Statstsche Klassfkatoren Klassen werden durch statstsche Prozesse beschreben Beruht auf dem Satz von Bayes Bestmme Wahrschenlchketen mt denen jeder Prozess das Objekt erklärt (Class-Membershp-Probablty) b blt Vorhersage der wahrschenlchsten Klasse (Maxmum Lkelhood Classfcaton) -dmensonale Projekton Klassengrenzen 65 Überblck Bayes Klassfkatoren Grundlagen statstscher Klassfkatoren. A-pror und A-posteror Wahrschenlchketen h hk 2. Regel von Bayes 3. Maxmum Lkelhood Klassfkaton Klassfkatoren und Statstsche Prozeße. Nave Bayes 2. Bayes Netzwerke 3. LDA 4. multvarate Gauss-Prozesse 66

11 Bayes-Klassfkatoren Grundlagen Regeln und Fakten zur Klassfkaton werden mt Hlfe des Satzes von Bayes als bedngte Wahrschenlchketen formulert A-Pror-Wahrschenlchketen modelleren Faktenwssen über de Häufgket ener Klasse und das Auftreten von Merkmalen, z.b. 20% der Objekte snd Äpfel A-Pror Wahrsch. f. Klassenzugehörgk. 30% snd Orangen 50% der Objekte snd rund A-Pror Merkmalshäufgket 40% haben Farbe orange Bedngte Wahrschenlchketen ( A-Posteror ) modelleren Zusammenhänge zwschen Klassen und Merkmalen: 00% der Orangen snd rund: P (rund Orange) = 00% 00% der Äpfel snd rund: P (rund Apfel) = 00% 90% der Orangen snd orange: P (orange Orange) = 90% 67 Bayes-Klassfkatoren Be enem gegebenen Merkmals-Vektor M lässt sch de Wahrschenlchket der Klassenzugehörgket zu Klasse C mt dem Satz von Bayes ermtteln: P( C P ( M C ) P ( C ) P ( M C ) P ( C ) M ) = = P( M ) P( C ) P( M C ) c C Im Bespel: Wahrschenlchket, dass en oranges Objekt ene Orange st: P( (orange Orange) P (Orange) P( Orange orange) = = = P(orange) 0.4 De entsprechenden Wahrschenlchketen werden aus den Tranngsdaten geschätzt. j j j 68

12 Bayes-Klassfkaton Der Bayes-Klassfkator schätzt de Wahrschenlchket der Klassenzugehörgket t enes Merkmalsvektors kt Zur endeutgen Zuordnung enes Klassen-Labels geht man mest nach dem Prnzp Maxmum Lkelhood vor: C = argmax P ( C C P( M M ) = argmax C C ) P( C ) P( M ) = argmax P ( M C C ) P ( C ) Da P(M) be allen C glech st, st nur das Produkt zu optmeren. Bespel: P(Apfel M) = 32% P(Orange M) = 32% C = Kw P(Kw M) = 36% 69 Schätzung der Wahrschenlchketen A-pror Wahrschenlchketen Mestens: relatve Häufgket n den Tranngsdaten. 7 Bsp: 7 Orangen, 2 Äpfel, Sten => P( Orange) = = 70% A-Posteror Wahrschenlchketen Statstscher Prozess modellert Zusammenhänge zwschen Merkmalen und ener Klasse Unterschede verwendeter Prozesse: Abhänggket der Merkmale ( Korrelaton oder Unabhänggket) Verwendete Vertelungsfunktonen der Merkmalswerte (dskret, Normalvertelung, Multnomalvertelung ) Beschaffenhet der Objekte (Vektor, Sequenz ) 70

13 -dmensonale Vertelungen Dskrete Merkmale ID Form Farbe Klasse Auszählen relatver Häufgketen rund orange A Bsp: 2 rund grün A 3 P( Form = rund A) = = 75% 3 rund gelb A 2 4 P( Farbe = grün A) = = = 50% 4 eckg grün A oval weß B 0 P( Form = oval A) = = 0% 4 Problem: (Form = oval) => Klasse A Man verwendet häufg Smoothng, d.h. P(x Klasse) > ε. mt 0 < ε <<. D.h. 0 P( Form = oval A) = max, ε = ε 4 7 -dmensonale Vertelungen Kontnuerlche metrsche Attrbutte dskrete Approxmaton P ( 9.0 < Durchmesser 9.5 Orange) = 0% P ( 9.5 < Durchmesser 0.0 Orange) = 30% P (0.0 0 < Durchmesser 0.5 Orange) = 30% P (0.5 < Durchmesser.0 Orange) = 0% P (.0 < Durchmesser.5 Orange) = 5% R Wahrschenlchkets-Dchtefunktonen z.b. Orangen haben enen Durchmesser von 0± cm: p(durchmesser Orange) = N (0, ) mest Berechnung nach Normalvertelung: ( x μ ) 2 2σ P( x C) = e 2πσ x x TR wobe μ = TR 2 und σ = x TR ( x μ) TR 2 72

14 Motvaton Be hochdmensonalen Merkmalsvektoren schwerge Schätzung der bedngten Wahrschenlchketen P(M C) und damt P(C M): M besteht aus velen enzelnen Komponenten, de UND-verknüpft snd: P ( M M 2... C ) P ( C ) P( C M M 2...) = P( M M 2...) Be d verschedenen Merkmalen und jewels r verschedenen Werten ergeben sch r d verschedene Merkmalskombnatonen Probleme: De Wahrschenlchketen lassen sch ncht mehr abspechern Man bräuchte >> r d Tranngsdatensätze, um de Wahrschenlchket der enzelnen Merkmalskombnatonen überhaupt ermtteln zu können 73 Nave Bayes-Klassfkaton Lösung deses Problems bem naven Bayes-Klassfkator: Annahme der bedngten Unabhänggket d.h. be jeder enzelnen Klasse werden de Merkmale so behandelt als wären se vonenander statstsch unabhängg: Was bedeutet des? Klasse=Orange: M 2 = Gewcht P (M M 2 C) = P (M C) P (M 2 C) M = Durchmesser Annahme kann falsch sen Des führt ncht unbedngt dazu, dass de Klassfkaton versagt Aber schlechte Lestung, wenn alle Merkmale be mehreren Klassen etwa glech vertelt snd Unterschede nur n Relatonen der Merkmale zuenander 74

15 Nave Bayes-Klassfkaton Damt st de Wahrschenlchket der Zugehörgket zur Klasse C : P ( C ) P ( M M 2... C ) P ( C M M 2...) = P( M M...) = P ( C ) P ( M C ) k k j j 2 j j P ( C ) P( M C ) Auch her st der Nenner für alle Klassen glech, so dass nur der Zähler zu maxmeren st: C )} = argmax{ P( C ) P( M j C C j k 75 Bayes-Netzwerke Grundbegrffe Graph mt Knoten = Zufallsvarable und Kante = bedngte Abhänggket Jede Zufallsvarable st be gegebenen Werten für de Vorgänger-Varablen bedngt unabhängg von allen Zufallsvarablen, de kene Nachfolger snd. Für jeden Knoten (Zufallsvarable): Tabelle der bedngten Wahrschenlchketen Traneren enes Bayes-Netzwerkes be gegebener Netzwerk-Struktur und allen bekannten Zufallsvarablen be gegebener Netzwerk-Struktur und telwese unbekannten Zufallsvarablen be apror unbekannter Netzwerk-Struktur 76

16 Bayes-Netzwerke Bespel Famly Smoker Hstory LC LungCancer Emphysema ~LC FH H,S FH H, S F FH,S F FH, S PostveXRay Dyspnea bedngte Wahrschenlchketen für LungCancer be gegebenen Werten für FamlyHstory und Smoker lefert der Wert für Emhysema kene zusätzlche Informaton über LungCancer. 77 Lneare Dskrmnanz Analyse Modellere alle Klassen als multvarate Normalvertelungen Berückschtgt Korrelatonen der Attrbute Varanzen und Korrelatonen für alle Klassen glech Bass multvarate Normalvertelung (Gauss-Vertelung) T ( x μ ) 2 P( x C) = e d (2π ) x x TR Erwartungsvektor: μ = TR Kovaranzmatrx : Σ(, j) = x TR ( x μ ) ( x j μ ) j ( ) ( x μ ) Egenschaften: TR Korrelaton zwschen und j Varanz n der Dagonalen 78

17 Lneare Dskrmnanz Analyse Tranng: Bestmme μ C und Σ C für alle Klassen C. Mttle globale Kovaranzmatrx Σ. (Gewchteter Durchschntt der Kovaranzmatrtzen aller Klassen) Σ = Σ C C CC C Klassfkaton: arg max P( x C ) = arg max C C C C = arg max ( x μc ) C C 2 = arg max x C C T T (2 π ) d e T ( x μc ) 2 ( ) ( ) ( x μ ) + log( P( C )) C C 2 Lneare Dskrmnanzfunkton C ( x μ ) T ( ) μ μ ( ) μ + log( P( C )) = σ ( x) C C C P( C ) 79 Lneare Dskrmnanz Analyse Beobachtung: Da nur Erwartungswerte unterschedlch Lneare Separaton Man muss ncht de Wahrschenlchket berechnen. Es recht de Auswertung der folgenden Dskrmnanzfunkton: T T σ C ( x) = x Σ μ C μ C Σ μ C + 2 log P( C ) Klasse mt maxmalem σ C (x) wrd vorhergesagt

18 Multvarate Gauss-Prozesse Modellere jede Klasse als multvarate Normalvertelung (Vektoren m R d ) Berückschtgt Korrelatonen der Attrbute Her: Varanzen und Korrelatonen für alle Klassen ndvduell Berechnung der Wahrschenlchketen zur Klassfkaton (Maxmum Lkelhood) Probleme: Braucht sehr vel Tranngsobjekte für jede Klasse, um sgnfkante Korrelatonswerte zu bestmmen. 8 Interpretaton von Rasterbldern Motvaton automatsche Interpretaton von d Rasterbldern enes bestmmten Gebets für jedes Pxel en d-dmensonaler Grauwertvektor (o,..., o d ) verschedene Oberflächenbeschaffenheten der Erde bestzen jewels en charakterstsches Reflexons- und Emssonsverhalten (2),(7.5) (8.5),(8.7) Erdoberfläche Band Cluster Cluster 2 Wasser Ackerland Stadt Cluster Band 2 Feature-Raum 82

19 Interpretaton von Rasterbldern Grundlagen Anwendung des Bayes-Klassfkators mt Gauss Prozess Schätzung der P(o c) ohne Annahme der bedngten Unabhänggket g Annahme ener d-dmensonalen Normalvertelung für de Grauwertvektoren ener Klasse Wasser Wahrschenlchket der Klassenzugehörgket Stadt Entschedungsflächen Ackerland 83 Interpretaton von Rasterbldern Methode Zu schätzen aus den Tranngsdaten: μ : d-dmensonaler dmensonaler Mttelwertvektor aller Feature-Vektoren der Klasse c Σ : d d Kovaranzmatrx der Klasse c Probleme der Entschedungsregel: Lkelhood für de gewählte Klasse sehr klen Lkelhood für mehrere Klassen ähnlch unklassfzerte Regonen Grenzwert 84

20 Bayes-Klassfkatoren Dskusson + hohe Klassfkatonsgenaugket n velen Anwendungen + Inkrementaltät Klassfkator kann enfach an neue Tranngsobjekte adaptert werden + Enbezug von Anwendungswssen - Anwendbarket de erforderlchen bedngten Wahrschenlchketen snd oft unbekannt - Ineffzenz be sehr velen Attrbuten nsbesondere Bayes- Netzwerke Nächste-Nachbarn- Klassfkatoren Schrauben Nägel Klammern Instanzbasertes Lernen (nstance based learnng) Neues Objekt Enfacher Nächste-Nachbar-Klassfkator: Zuordnung zu der Klasse des nächsten Nachbarpunkts Tranngsdaten Im Bespel: Nächster Nachbar st ene Schraube Regonen der Klassenzuordnung können als Vorono-Dagramme dargestellt werden: Mttelsenkrechte 86

21 Nächste-Nachbarn-Klassfkatoren Problem: Punkt rechts oben wahrschenlch nur Ausreßer Besser: Betrachte mehr als nur enen Nachbarn k-nächste-nachbarn-klassfkator Nachbarn Entschedungsmenge de Menge der zur Klassfkaton betrachteten k-nächsten Nachbarn Entschedungsregel We bestmmt man aus den Klassen der Entschedungsmenge de Klasse des zu klassfzerenden Objekts? Interpretere Häufgket ener Klasse n der Entschedungsmenge ngsmenge als Wahrschenlchket der Klassenzugehörgket Maxmum-Lkelhood-Prnzp: Mehrhetsentschedung Ggf. Gewchtung 87 Wahl des Parameters k zu klenes k: hohe Senstvtät gegenüber Ausreßern zu großes k: vele Objekte aus anderen Clustern (Klassen) n der Entschedungsmenge. mttleres k: höchste Klassfkatonsgüte, oft << k < 0 Entschedungsmenge für k = x Entschedungsmenge für k =7 Entschedungsmenge für k = 7 x: zu klassfzeren 88

22 Entschedungsregel Standardregel wähle de Mehrhetsklasse der Entschedungsmenge Gewchtete Entschedungsregel gewchte de Klassen der Entschedungsmenge nach Dstanz, mest nvers quadrert: weght (dst) = /dst 2 nach Vertelung der Klassen (oft sehr unglech!) Problem: Klasse mt zu weng Instanzen (< k/2) n der Tranngsmenge bekommt kene Chance, ausgewählt zu werden, selbst be optmaler Dstanzfunkton Klasse A: 95 %, Klasse B 5 % Entschedungsmenge = {A, A, A, A, B, B, B} Standardregel A, gewchtete Regel B 89 Klassfkaton von Sternen Analyse astronomscher Daten Entfernen von Rauschen Manuelle Analyse der nteressanten Sterntypen Automatsche Klassfkaton des Sterntyps Bldsegmenterung Feature-Extrakton Klassfkaton des Sterntyps mt Nächste-Nachbarn Klassfkator baserend auf dem Hpparcos-Katalog 90

23 Klassfkaton von Sternen Hpparcos-Katalog [ESA 998] enthält ca Sterne mt 78 Attrbuten (Hellgket, Entfernung, Farbe,...) Klassenattrbut: Spektraltyp (Attrbut H76) z.b. ANY H76: G0 G K... H76: G7.2 G. H76: KIII/IV G0 G G2... Werte des Spektraltyps snd vage Herarche von Klassen benutze de erste Ebene der Klassenherarche 9 Klassfkaton von Sternen Klasse #Instanzen Antel Instanzen Vertelung der Klassen K F G A B M O C R W N S D häufge Klassen seltene Klassen 92

24 Klassfkaton von Sternen Expermentelle Untersuchung [Poschenreder 998] Dstanzfunkton mt 6 Attrbuten (Farbe, Hellgket und Entfernung) mt 5 Attrbuten (ohne Entfernung) beste Klassfkatonsgenaugket mt 6 Attrbuten Anzahl k der Nachbarn beste Klassfkatonsgenaugket für k = 5 Entschedungsregel Gewchtung nach Dstanz Gewchtung nach Klassenvertelung beste Klassfkatonsgenaugket be Gewchtung nach Dstanz aber ncht nach Klassenvertelung 93 Klassfkaton von Sternen Klasse Falsch Korrekt Klassfkatonsklassfzert klassfzert genaugket K % F % G % A % B % M % C % R 5 0 0% W 4 0 0% O 9 0 0% N 4 20% D 3 0 0% S 0 0% Total % hohe Klassfkatonsgenaugket für de häufgen Klassen, schlechte Genaugket für de seltenen Klassen de mesten seltenen Klassen bestzen wenger als k /2 = 8I Instanzen! 94

25 Nächste-Nachbarn-Klassfkatoren Dskusson + Anwendbarket erfordert als Engabe nur de Tranngsdaten + hohe h Klassfkatonsgenaugket k t n velen Anwendungen + nkrementell Klassfkator kann sehr enfach an neue Tranngsobjekte adaptert werden + auch zur Vorhersage ensetzbar - Ineffzenz be der Auswertung des Modells erfordert k-nächste-nachbarn äh N hb Anfrage an de Datenbank - lefert ken explztes Wssen über de Klassen Entschedungsbaum- Klassfkatoren Motvaton ID Alter Autotyp Rsko 23 Famle hoch 2 7 Sport hoch 3 43 Sport hoch 4 68 Famle nedrg 5 32 LKW nedrg Autotyp = LKW LKW Rskoklasse = nedrg Alter > Rskoklasse = nedrg Rskoklasse = hoch fnden explztes Wssen Entschedungsbäume snd für de mesten Benutzer verständlch 96

26 Grundbegrffe En Entschedungsbaum st en Baum mt folgenden Egenschaften: en nnerer Knoten repräsentert en Attrbut, ene Kante repräsentert enen Test auf dem Attrbut des Vaterknotens, en Blatt repräsentert ene der Klassen. Konstrukton enes Entschedungsbaums anhand der Tranngsmenge Top-Down Anwendung enes Entschedungsbaums Durchlauf des Entschedungsbaum von der Wurzel zu enem der Blätter endeutger Pfad Zuordnung des Objekts zur Klasse des errechten Blatts 97 Konstrukton enes Entschedungsbaums Bass-Algorthmus Anfangs gehören alle Tranngsdatensätze zur Wurzel. Das nächste Attrbut wrd ausgewählt (Spltstratege). De Tranngsdatensätze werden unter Nutzung des Spltattrbuts parttonert. Das Verfahren wrd rekursv für de Parttonen fortgesetzt. lokal optmerender Algorthmus Abbruchbedngungen kene weteren Spltattrbute alle Tranngsdatensätze enes Knotens gehören zur selben Klasse 98

27 Entschedungsbaum-Klassfkatoren Bespel Tag Ausscht Temperatur Feuchtgket Wnd Tennspelen sonng heß hoch schwach nen 2 sonng heß hoch stark nen 3 bedeckt heß hoch schwach ja 4 regnersch mld hoch schwach ja 5 regnersch kühl normal schwach ja 6 regnersch kühl normal stark nen Ist heute en Tag zum Tennsspelen? 99 Entschedungsbaum-Klassfkatoren Bespel Ausscht sonng bedeckt regnersch Feuchtgket ja Wnd hoch normal stark schwach nen ja nen ja 00

28 Spltstrategen Kategorsche Attrbute Typen von Splts Spltbedngungen der Form Attrbut = a or Attrbut set vele möglche Telmengen Attrbut Attrbut = a = a 2 = a 3 s s 2 Numersche Attrbute Spltbedngungen der Form Attrbut < a Attrbut vele möglche Spltpunkte < a a 0 Numersche Spltgrenzen Wo sollen dskrete Attrbute gesplttet werden? => An den Stellen, de de Qualtät maxmeren. Idee: Ordnen der numerschen Attrbutwerte Wert Klasse A A B B B A A A Potentelle Spltkanddaten Teste de Kombnaton, de den höchsten Informaton Gan erzelen. Schnellere Methode: Blde Gauß-Kurve über alle Klassen Wähle Schnttpunkte der Gauß-Kurven als Kanddaten. Potentelle Spltkanddaten 02

29 Spltstrategen Gegeben Qualtätsmaße für Splts ene Menge T von Tranngsobjekten ene dsjunkte, vollständge Parttonerung T, T 2,..., T m von T p de relatve Häufgket der Klasse c n T Gesucht en Maß der Unrenhet t ener Menge S von Trannsgobjekten n Bezug auf de Klassenzugehörgket en Splt von T n T, T 2,..., T m, der deses Maß der Unrenhet mnmert Informatonsgewnn, Gn-Index 03 Spltstrategen Informatonsgewnn Entrope: mnmale Anzahl von Bts zum Coderen der Nachrcht, mt der man de Klasse enes zufällgen Tranngsobjekts mttelen möchte. De Entrope für ene Menge T von Tranngsobjekten st defnert als entrope ( T ) = p log p k = entrope(t) = 0, falls p =füren entrope(t) = für k = 2 Klassen mt p = /2 Das Attrbut A habe de Parttonerung T, T 2,...,T m erzeugt. Der Informatonsgewnn des Attrbuts A n Bezug auf T st defnert als m T Informatonsgewnn( T, A) = entrope( T ) entrope( T ) T = 04

30 Spltstrategen Gn-Index Gn-Index für ene Menge T von Tranngsobjekten gn( T)= k 2 pj j= klener Gn-Index gernge Unrenhet, großer Gn-Index hohe Unrenhet Das Attrbut A habe de Parttonerung T, T 2,..., T m erzeugt. Gn-Index des Attrbuts A n Bezug auf T st defnert als m T gn T T gn T A( ) = ( ) = 05 Spltstrategen 9 ja 5 nen Entrope = 0,940 Bespel 9 ja 5 nen Entrope = 0,940 Feuchtgket Wnd hoch normal schwach stark 3 ja 4 nen 6 ja nen 6 ja 2 nen 3 ja 3 nen Entrope = 0,985 Entrope = 0,592 Entrope = 0,8 Entrope =,0 7 7 Informatonsgewnn( T, Feuchtgket) = 0,94 0,985 0,592 = 0, Informatonsgewnn( T, Wnd) = 0,94 0,8,0 = 0, Feuchtgket lefert den höheren Informatonsgewnn 06

31 Overfttng Enführung Overfttng be der Konstrukton enes Entschedungsbaums, wenn es zwe Entschedungsbäume E und E gbt mt E hat auf der Tranngsmenge ene klenere Fehlerrate als E, E hat auf der Grundgesamthet der Daten ene klenere Fehlerrate als E. onsgenaugket lassfkato Kl auf Tranngsdaten auf Testdaten Baumgröße 07 Overfttng Ansätze zum Vermeden von Overfttng Entfernen von fehlerhaften Tranngsdaten nsbesondere wdersprüchlche h Tranngsdaten Wahl ener geegneten Größe der Tranngsmenge ncht zu klen, ncht zu groß Wahl ener geegneten Größe des mnmum support mnmum support: Anzahl der Datensätze, de mndestens zu enem Blattknoten des Baums gehören müssen mnmum support >> 08

32 Overfttng Ansätze zum Vermeden von Overfttng Wahl ener geegneten Größe der mnmum confdence mnmum confdence: Antel, den de Mehrhetsklasse enes Blattknotens mndestens bestzen mu. mnmum confdence << 00% Blätter können auch fehlerhafte Datensätze oder Rauschen absorberen nachträglches Prunng des Entschedungsbaums Abschneden der überspezalserten Äste 09 Prunng von Entschedungsbäumen Fehlerreduktons-Prunng [Mtchell 997] Auftelung der klassfzerten Daten n Tranngsmenge und Testmenge Konstrukton enes Entschedungsbaums E für de Tranngsmenge Prunng von E mt Hlfe der Testmenge T - bestmme denjengen Telbaum von E, dessen Abschneden den Klassfkatonsfehler auf T am stärksten reduzert - entferne desen Telbaum - fertg, falls ken solcher Telbaum mehr exstert nur anwendbar, wenn genügend vele klassfzerte Daten 0

33 Entschedungsbaum-Klassfkatoren Dskusson + Interpretaton des gefundenen Baumes relatv enfach + Implzte Gewchtung der Attrbute + Lestungsfähger Klassfkator, häufg n der Praxs verwendet + Effzente Auswertung des gefundenen Modells - Fnden enes optmalen Entschedungsbaums st exponentell - Heurstsche Methoden können nur lokales Optmum fnden - Anfällg für Overfttng 3.4 Neuronale Netze Grundlagen [Bgus 996], [Bshop 995] Paradgma für en Maschnen- und dberechnungsmodell Funktonswese ähnlch der von bologschen Gehrnen Neuronales Netz: Menge von Neuronen, über Kanten mtenander verbunden Neuron: entsprcht bologschem Neuron Aktverung durch Input-Sgnale an den Synapsen Erzeugung enes Output-Sgnals, das zu anderen Neuronen wetergeletet wrd. Organsaton enes neuronalen Netzes Input-Schcht, verborgene Schchten, Output-Schcht Knoten ener Schcht ht mt allen Knoten der vorhergehenden h Schcht ht verbunden 2

34 Grundlagen Kanten bestzen Gewchte Funkton enes neuronalen Netzes Output-Vektor y Output-Schcht Vorhergesagte Klasse verborgene Schcht w j Input-Schcht w j Input-Vektor x 3 Neuronen allgemenes Neuron a: Aktverungswert n a = w x = x w x 2 a x n.. ẉ 2 w n Σ y = + e a Threshold Logc Unt (TLU) x w x 2 w x n..... w 2 w n Σ a y θ a, wenn a θ y = 0, sonst 4

35 Neuronen Klassfkaton mt Hlfe ener TLU repräsentert ene (Hyper-)Ebene lnks von der Ebene: Klasse 0 rechts vonder Ebene: Klasse Traneren ener TLU n = w x = θ x Lernen der rchtgen Gewchte zur Unterschedung der zwe Klassen Iteratve Anpassung der Gewchte w Iteratve Anpassung der Gewchte w j Rotaton der durch w und θ gegebene Hyperebene um enen klenen Betrag n Rchtung v, wenn v noch ncht auf der rchtgen Sete der Ebene legt x 5 Kombnaton mehrerer Neuronen zwe Klassen, de ncht lnear separerbar snd: zwe nnere Knoten und en Output-Knoten Bespel y 0 A A A A A A A A A A A B B B B B B B B A A A A A 0 h h 2 h = 0 h = 0: y = 0 ( Klasse B) 2 andernfalls: y = ( Klasse A) 6

36 Lernalgorthmus für komplexe Neuronale Netze Be Abwechung von vorhergesagter und tatsächlcher Klasse: Anpassung der Gewchte mehrerer Knoten Frage In welchem Maße snd de verschedenen Knoten an dem Fehler betelgt? Anpassung der Gewchte durch Gradentenverfahren, das den Gesamtfehler mnmert Gesamtfehler: Summe der (quadratschen) Abwechungen des tatsächlchen Outputs y vom gewünschten Output t für de Menge der Inputvektoren. (Least Squares Optmerung) Voraussetzung: Output y stetge Funkton der Aktverung a 7 Algorthmus Backpropagaton für jedes Paar(v,t) // v = Input,t = gewünschter Output forward pass : Bestmme den tatsächlchen Output y für Engabe v; backpropagaton : Bestmme den Fehler (t - y) der Output-Enheten und passe de Gewchte der Output-Enheten n de Rchtung an, de den Fehler mnmert; Solange der Input-Layer ncht errecht st: Propagere den Fehler auf de nächste Schcht und passe auch dort de Gewchte der Enheten n fehlermnmerender Wese an; 8

37 Desgn der Netztopologe Bestmmung von Anzahl der Input-Knoten Anzahl der nneren Schchten und jewelge Anzahl der Knoten Anzahl der Output-Knoten starker Enfluss auf de Klassfkatonsgüte: zu wenge Knoten nedrge Klassfkatonsgüte zu vele Knoten Overfttng 9 Bestmmung der Netztopologe nach [SPSS Clementne 2000] Statsche Topologe Topologe wrd apror festgelegt ene verborgene Schcht recht n velen Anwendungen aus Dynamsche Topologe dynamsches Hnzufügen von Neuronen (und verborgenen Schchten) solange Klassfkatonsgüte sgnfkant verbessert wrd Multple Topologen Traneren mehrerer dynamscher Netze parallel z.b. je en Netz mt, 2 und 3 verborgenen Schchten 20

38 Bestmmung der Netztopologe Prunng Traneren enes Netzes mt statscher Topologe nachträglches Entfernen der unwchtgsten Neuronen solange Klassfkatonsgüte verbessert wrd Schlussfolgerung statsche Topologe: nedrge Klassfkatonsgüte, aber relatv schnell. Prunng: beste Klassfkatonsgüte, aber sehr hoher Laufzetaufwand zum Tranng. 2 Dskusson + m Allgemenen sehr hohe Klassfkatonsgüte belebg komplexe Entschedungsflächen + robust gegen Rauschen n den Tranngsdaten + Effzenz der Anwendung - schlechte Verständlchket (lernt nur Gewchte, aber kene Klassenbeschrebung) - Ineffzenz des Lernens (sehr lange Tranngszeten) - kene Integraton von Hntergrundwssen 22

39 3.5. Support Vector Machnes Motvaton: Lneare Separaton Vektoren n IR d repräsenteren Objekte. Objekte gehören zu genau ener von je 2 Klassen Klassfkaton durch lneare Separaton: Suche Hyperebene, de bede Klassen maxmal stabl vonenander trennt. trennende Hyperebene Ordne unbekannte Elemente der Sete der Ebene zu, auf der se sch befnden. 23 Support Vector Machnes Probleme be lnearer Separaton: Was st de maxmal stable Hyperebene und we berechnet man se effzent? Klassen ncht mmer lnear trennbar. Berechnung von Hyperebenen nach Auswahl sehr aufwendg. Enschränkung auf 2 Klassen.... Lösungen deser Probleme mt Support Vector Machnes(SVMs ) [Vapnk 979 u. 995]. 24

40 Maxmum Margn Hyperplane Problem: Hyperebene de P und P 2 trennt st ncht endeutg. Welche Hyperebene st für de Separaton de Beste? P 2 P 2 P P Kt Krteren: Stabltät bem Enfügen Abstand zu den Objekten beder Klassen 25 Maxmum Margn Hyperplane Lneare Separaton mt der Maxmum Margn Hyperplane Maxmum Margn Hyperplane P 2 Abstand zu Punkten aus beden Mengen st maxmal, d.h. mnd. ξ. Wahrschenlchket, dass bem Enfügen de trennende Hyperebene verschoben werden muss, st mnmal. generalsert am besten. ξ ξ P Maxmum Margn Hyperplane (MMH) st maxmal stabl Rand (margn) MMH st nur von Punkten P abhängg, de Abstand ξ zur Ebene aufwesen. P heßt Support Vector 26

41 Maxmum Margn Hyperplane Zusammenfassung der Schrebwesen der benötgten algebraschen Konstrukte für Featurespace FS: Skalarprodukt kt zweer Vektoren: x, y, x, y FS z.b. x, y d = x y = ( ) kanonsches Skalarprodukt Beschrebung ener Hyperebene: H ( w, b ) = x FS 0 = w, x + b, Abstand enes Vectors zur Ebene: dst ( x H w b ) = w, x + b, (, ) w, w 27 Maxmum Margn Hyperplane Berechnung der Maxmum Margn Hyperplane. Bedngung: ken Klassfkatonsfehler (Klasse: y =,Klasse 2:y =-) ( y = ) [ w, x + b] < 0 y[ w, x + b] > 0 ( y = ) [ w, x + b] > 0 2. Bedngung: Maxmaler Rand (Margn) ( ) maxmere: ξ = mn x TR w, w w, x + b (Abstand von x zur Ebene H ( w, b) ) ) oder maxmere: ξ, so dass y, w,, w [ w x b] + ξ für [..n] 28

42 Maxmum Margn Hyperplane maxmere ξ n y [ w, x + b] ξ ; für [..n] w, w Setze = ξ : max., mt y ξ w x + b ξ [..n] w, w w, w ( ( ) ) ( ( (, ) ) max., mt y w, x + b [..n] w, w Statt w, w nvertere, quadrere und mnmere das Ergebns: Prmäres OP: mnmere J ( w, b) = w, w unter Nebenbedngung g für [..n] se ( y ( w, x +b ) ) 29 Maxmum Margn Hyperplane Zur Berechnung wrd das prmäre Optmerungsproblem n en duales OP überführt. (Umformulerung n Form mt Langrange Multplkatoren nach Karush- Kuhn-Tucker) Duales OP: maxmere n α = 2 n n L ( α) = α α j y y j x, x = j= j unter Bedngung n = α y = 0, 0 α und n α R Lösung des Problems mt Algorthmen aus der Optmerungstheore bs jetzt nur lnear separerbarer Fall: Soft Margn Optmerung Enführung ng von Kernelfunktonen nktonen zur Stegerung der Kapaztät 30

43 Soft Margn Behandlung ncht lnear trennbarer Daten: Soft Margn Optmerung Daten ncht separerbar vollständge Separaton st ncht optmal Trade-Off zwschen Tranngsfehler und Brete des Randes 3 Soft Margn Betrachte bem Optmeren zusätzlch noch de Anzahl der Tranngsfehler. ξ st der Abstand von P zum Rand P 2 (wrd auch Slack-Varable genannt) ξ 2 P C regulert den Enfluss enes enzelnen ξ Tranngsvektors Prmäres OP : mnmere unter Nebenbedngung für [..n] se n J ( w, b, ξ ) = w, w + C ξ 2 = ( w, x + b) ξ y und ξ 0 Prmäres Optmerungsproblem unter wechen Grenzen (Soft Margn) 32

44 Soft Margn Das duale OP mt Lagrange Multplkatoren verändert sch we folgt: Duales OP: maxmere mt Bedngung n = α n n n L ( α) = α α α j y y j x, = 2 = j= y = 0 und 0 α C x j 0 < α <C Support Vektor mt ξ = 0 α = C Support Vektor mt ξ >0 P 2 α = 0 sonst ξ 2 P Entschedungsregel: () h x = sgn α y x, x + b x SV ξ 33 Kernel Machnes Lernen be ncht lnear trennbaren Datenmengen Problem: Be realen Problemen st häufg kene lneare Separaton mt hoher Klassfkatonsgenaugket mehr möglch. Idee: Transformere Daten n enen ncht lnearen Feature-Raum und versuche se m neuen Raum lnear zu separeren. (Erweterung des Hypothesenraumes) Bespel: quadratsche Transformaton 34

45 Kernel Machnes Erweterung der Hypothesenraumes Engaberaum φ erweterter Feature Raum Versuche jetzt n erwetertem Feature Raum lnear zu separeren Bespel: a b c φ a b c a a a b a c b b b c c c her: Ene Hyperebene m erweterten Feature Raum st en Polynom 2. Grades m Engaberaum. 35 Kernel Machnes Engaberaum: x = ( ) x, x 2 m erweterten Raum: φ x (6 Attrbute) (2 Attrbute) 2 2 ( ) = ( x x, 2 x, 2 x, 2 x,), 2 2 x2 x 2 x 2 x 2 x 36

46 Kernel Machnes Enführung enes Kernels (Implzte) Featuretransformaton l φ x : FS alt FS mttels ( ) neu Duales OP: maxmere mt Bedngung L( α) n α = α 2 = 0 n = y = n n = j= und 0 α C α α j y y j φ( x ), φ( x j ) Zusätzlche Featuretransformaton wrkt sch nur auf das Skalarprodukt der Tranngsvektoren aus. Kernel K st ene Funkton mt: K ( x, x j ) φ( x ), φ( x j ) φ = 37 Kernel Machnes Wann st ene Funkton K(x,y) en Kernel? Wenn de Kernel-Matrx (Gram Matrx) KM K( x, x).. K( x, xn) KM ( K) = K( xn, x).. K( xn, xn) postv (sem) defnt st, also kene negatven Egenwerte bestzt, dann st K(x,y) en Kernel (sehe Mercer s Theorem) Notwendge Bedngungen: (, ) φ ( ) 2 ( x, y) K ( x, x) K ( y y) K x y = φ ( x), φ( y) = φ( y), φ( x) = K y, x (Symmetre) φ K, (Cauchy-Schwarz) φ φ φ Symmetre und Cauchy-Schwarz snd kene hnrechenden Bedngungen! g 38

47 Kernel Machnes enge Regeln zur Kombnaton vom Kerneln: ( x, y) = K( x, y) K2( x y) ( x, y ) = K ( x, y ) + K2 ( x y ) ( x, y) = a K( x y) T ( x, y) = x B y K, K +, K, K für K, K 2 Kernelfunktonen, a ene postve Konstante und B ene symmetrsche postv sem-defnte Matrx. 39 Kernel Machnes Bespele für verwendete Kernel-Funktonen: lnear: K ( x, y) = x, y polynomell: K ( x, y) = ( x, y + c) d Radale Bassfunktonen: Gauss Kernel: K( x, y) = exp γ x y K( x, y) exp 2 x y = 2 2σ Sgmod: K ( x, y) = tanh( γ x, y + c) 2 40

48 Kernel Machnes Polynomeller Kernel (Grad 2) Radal Bass Kernel 4 Tranng ener SVM zu lösen st folgendes Problem: Duales OP: maxmere mt Bedngung oder max.. T n n n = α = 2 = j= j j ( x x j ) L ( α ) α α y y K, n = α y = 0 und 0 α C T α α y yk ( x, x).. y ynk( x, xn) α α n αn y n n yk ( xn, x ).. yn ynk( x, xn) α n n mt Bedngung α y = 0 und 0 α C = 42

49 Tranng ener SVM zur Lösung: Standardalgorthmen aus der Optmerungstheore für konvexe quadratsche Programme für große Tranngsmengen numersche Algorthmen notwendg es exsteren enge Spezalalgorthmen für SVM-Tranng: g Chunkng / Decomposton Sequental Mnmal Optmsaton (SMO) 43 Mult-Class SVMs Bsher SVMs nur anwendbar auf 2 Klassen Probleme!! Idee: Kombnaton mehrere 2-Klassen SVMs zu Klassfkatoren, de belebg vele Klassen unterscheden können. Mult-Class SVMs 2kl klasssche Ansätze: Unterschede jede Klasse von allen anderen (-versus-rest) Unterschede je 2 Klassen (-versus-) 44

50 -versus-rest Ansatz y Klassfkaton A B C y A SVMs: A A B C ξ A C C R B E ξ C O S B ξ B - - T x x Klasse von O -versus-rest Ansatz : SVM für jede Klasse. SVM trennt jedes Klasse von Verengung aller anderen Klassen ab Klassfzere O mt allen Bass-SVMs. Multple l Klassenzugehörgket t möglch (Mult-Classfcaton) f oder Entschedung für de Klasse, be der Abstand ξ am größten st. R E S T 45 -versus- Ansatz y B A C x SVMs: A B C A-B A-C B-C A B C Klassfkaton y A B o C x SVMs: A B C A C A C B C A B C 0 2 Votng-Vektor -versus- Ansatz : SVM für jedes Paar von Klassen. Klassfkaton von Objekt O:. Klassfzere O mt allen Bass-SVMs. 2. Zähle Stmmen (Votes) für jede Klasse. Maxmale Anzahl an Votes => Ergebns. 46

51 Verglech -versus-rest und -versus- Krterum -versus-rest -versus- Aufwand Tranng lnear zur Anzahl der Quadratsch zur anzahl der Klassen ( O( K ) ) Klassen ( O( K 2 ) ) Aufwand lnear zur Anzahl der Quadratsch zur Anzahl der Klassfkaton Klassen ( O( K ) ) Klassen ( O( K 2 ) ) Verbesserung: Decson Drected Acyclc Graphs Klassfkaton n O( K ) [Platt,Chrstann 999] Genaugket tendenzell schlechter tendenzell höher, (nutzt wssen über unterschedlche Klassen besser aus) 47 Anwendungen von SVM SVM zur Textklassfkaton [Joachms98] 2 Datensätze Reutersdatensatz: Nachrchtenagenturtexte 9603 Tranngsdokumente, 3299 Testdokumente, 90 Kategoren Ohsumed corpus: Medznsche Texte jewels Test- und dtranngsdokumente, 23Kategoren (unterschedlche Krankheten) Expermente durch Verglech zwschen: Nave Bayes C4.5(Entschedungsbaum) Roccho (Relevance Feedback) k-nn Klassfkator SVM (polynomeller und radal bass functon -Kernel ) 48

52 Anwendungen von SVM Ergebnsse: Nave Roccho C4.5 k-nn SVM SVM Bayes (poly.) (rbf) durchschn Genaugket max. pro Kl (Klassfkaton mt Klassfkator pro Klasse, der Zugehörgket prüft.) Ergebns: SVM leferten deutlch bessere Ergebnsse k-nn Klassfkator bester der etablerten Methoden Wahl des Kernel/der Kernelparameter rel. unkrtsch Bsp.: Grad des Polynoms : 84.2% (d=2) % (d=4) 49 Anwendungen von SVM wetere Anwendungsbespele: Blderkennung [Pontl, Verr 98] Buchstabenerkennung [Boser, Guyon, Vapnk 92] Bonformatk Genexpressonsanalyse [Brown et al. 99] Erkennen homologer Protene [Jaakkola, Haussler 98] 50

53 Support Vector Machnes Dskusson + erzeugt Klassfkatoren mt hoher Genaugket + verhältnsmäßg schwache Tendenz zu Overfttng (Begründung durch Generalserungtheore) + effzente Klassfkaton neuer Objekte + kompakte Modelle - unter Umständen lange Tranngszeten - aufwendge Implementerung - gefundene Modelle schwer zu deuten 5 Support Vector Machnes Lteratur: C. Cortes, V. Vapnk: Support-vector networks. Machne Learnng, 20: , November 995. C.J.C. C Burges: A tutoral on support vector machnes for pattern recognton. Data Mnng and Knowledge Dscovery, 2(2):2-67,998. T. Joachms: Text categorsaton wth Support Vector Machnes. n Proceedngs of European Conference on Machne Learnng (ECML), 998. N. Crstann, J Shawne-Taylor: An Introducton to Support Vector Machnes and other kernel-based learnng methods. Cambrdge Unversty Press

54 3.6 Herarchsche Klassfkaton Bsher: Flacher Klassenraum C = {C,..,C n } Bespel: Ene Emal st Spam oder ncht. Häufg: Herarchscher Klassenraum Bespel: Nachrchten über Fußball snd en Tel der Sportnachrchten. Herarchsche Klassfkaton berückschtgt Bezehungen der Klassen zuenander. 53 Bespel zur herarchschen Klassfkaton Nachrchtenklassen Alle Sport Poltk Wrtschaft Ballsport Motorsport Kampfsport Klassen snd n ener Taxonome organsert! (s-a Bezehungen) Es glt: Gehört en (Tranngs-)Objekt o zu Klasse C, dann gehört o auch zu allen Klassen C, de Oberklassen von C snd. es recht aus, wenn de Tranngsdokumente, hrer spezellsten Klasse zugeordnet snd. Top-Down Klassfkaton n der Taxonome: Damt Objekt zur Klasse gehört, muss es zur Vaterklasse gehören. Achtung: Es gbt auch andere Arten von herarchschen Klassfkatoren, de Klassen-Ähnlchketen ausnützen! 54

55 Aufbau von herarchschen Klassfkatoren Für de Klassfkatoren K st prnzpell jedes Klassfkatonsverfahren anwendbar. Aufbau des Klassfkatonssystems: t Objekt hat genau ene Klasse: Pro nneren Knoten wrd en Klassfkator tranert. K K2 K3 K4 Objekt kann mehrere Klassen haben: Pro Kante wrd en Klassfkator tranert. K K2 K3 K4 K6 K8 K5 K7 K9 K0 55 Tranng von herarchschen Klassfkatoren Top-Down Tranng für endeutge Klassenzugehörgket: Tranngsmenge TR Tranere K mt TR für Klassen C,C 2,C 3 Tranere K 2 mt TR C ={x TR class(x) = C } für Klassen C 4 und C 5 All K Tranere K 3 mt C C2 C3 TR C2 ={x TR class(x) = C 2 } für Klassen C 6, C 7, C 8 K2 K3 K4 C4 C5 C6 C7 C8 C9 C0 56

56 Tranng von herarchschen Klassfkatoren Top-Down Tranng für mehrfache Klassenzugehörgket: Tranngsmenge TR, Class(o) = {Menge der Klassen von o} Tranere K mt TR für Klassen C, Other wobe TR C = {x TR C Class(x)} TR other ={x TR C Class(x)}. Tranere K 4 mt TR für Klassen C 4, Other wobe TR C4 = {x TR C C 4 Class(x)} TR other = {x TR C C 4 Class(x)} K4 K All wobe C C2 C3 C4 C5 K5 K6 K2 K7 K3 K8 K9 K0 C6 C7 C8 C9 C0 57 Klassfkaton mt herarchschen Klassfkatoren Greedy-Ansatz: Klassfkaton von Objekt o All o. Klassfzere o mt K K => C t {C, C 2, C 3 } 2. Gehe zu Ct und klassfzere C o mt K t : Klassfkaton entlang des Pfades auf dem de jewels vorhergesagte g Klasse legt. C4 C C2 C3 K2 K3 K4 C5 C6 C7 C8 C9 C0 Abbruch wenn Blatt errecht st. o gehört zu C8. 58

57 Klassfkaton mt herarchschen Klassfkatoren Vortele des Greedy-Ansatz:. Effzenz Nur en Pfad n der Taxonome muß besucht werden. 2. Taxonome belebg C C2 C3 Blätter dürfen auf unterschedlcher Höhe legen. K2 K4 3. Belebge Klassfkatoren anwendbar. o gehört zu C2. C4 C5 C9 C0 Nachtel des Greedy-Ansatzes: Fehler be Vaterknoten können ncht durch korrekte Behandlung be den Söhnen ausgeglchen werden. D.h. Falls K nur 55 % Genaugket lestet, kann Klassfkatonsgüte des gesamten Klassfkators nur schlechter werden. All K o 59 Klassfkaton mt herarchschen Klassfkatoren Vollständge herarchsche Klassfkaton Bedngungen:. alle Blätter auf selber Höhe. 2. Klassfkator lefert Wahrschenlchketen /Konfdenzwerte für jede Klasse. Berechne Konfdenz/Wahrschenlchket h hk jeder Blattklasse. Bsp: P(C o) 4 = P(C o) P(C 4 o C ) = 0,4 0,9 = 0,36 Ausglech be Fehlklassfkaton möglch. Nachtele: 0,4 0,45 All K 0,5 C C2 C3 K2 K3 K4 0,9 0, 0,4 C4 - schlechte Effzenz - von der Güte der berechneten Konfdenzwerte abhängg. C5 0,3 0,3 0,5 0,5 C6 C7 C8 C9 C0 0,36 0,04 0,8 0,35 0,35 0,075 0,075 wahrschenlchstes Blatt 60

58 Klassfkaton be mehrfacher Klassenzugehörgket Bestmme alle Klassen m Baum zu denen Objekt o gehört.. Klassfzere o mt K, K 2, K 3 : Falls K Klasse C vorhersagt, gehe zu Knoten C.. {C, C 3 } 2. Für alle errechten Knoten C, bestmme Klassfkatoren auf Kanten zu Sohnknoten. {K 4,K 5, K 9, K 0 } K All 3. Klassfzere o mt desen Klassfkatoren und bestmme alle errechten Sohnknoten C C2 C3 Sagt ncht nur Blätter sondern belebge Klassen vorher!!! Fehler n allgemenen Knoten können vele falsche Klassen m Ergebns bewrken. C4 K4 C5 K5 K6 K2 K7 K8 K3 K9 K0 C6 C7 C8 C9 C0 Class(o) = {C5, C0} 6 Dskusson herarchsche Klassfkaton Zel: Mtenbezehen von Taxonomen für schnellere und genauere Klassfkaton. Anwendungsberech: Probleme mt velen Klassen de berets n Taxonome organsert snd. (z.b. Webpages nach Yahoo-Taxonome, Protenklassen,..) Egenschaften: schnelle Klassfkaton mt Greedy-Ansatz. vollständge herarchsche Klassfkaton sehr aufwendg. Stegerung der Klassfkatonsgüte hängt von Anwendung ab. In der Regel mäßge Verbesserung der Genaugket m Verglech zu flachen Klassensystemen. Klassfkaton mt mehrfachen Klassenzugehörgketen ordnet Objekt ene Telmenge aller möglchen Klassen zu. 62