Textkategorisierung : Entscheidungsbäume

Transkript

1 Textkategorisierung : Entscheiungsbäume Kay-Michael Würzner Entscheiungsbäume 4. Juni 200 Sven Brüssow Ein Entscheiungsbaum ist eine spezielle Datenstruktur um Instanzen zu klassifizieren. Innere Knoten repräsentieren Attribute einer Klasse, un Kanten repräsentieren Attributwerte. Eine Instanz wir klassifiziert inem, vom Wurzelknoten beginne, top own ie Attributknoten entsprechen er möglichen Werte getestet weren un schließlich ein Terminalknoten erreicht wir. Ein Entscheiungsbaum repräsentiert allgemein eine Disjunktion von Konjunktionen von Beschränkungen auf ie Attributwerte er Instanzen, mit aneren Worten jeer Pfa in einem Entscheiungsbaum vom Wurzelknoten zu einem Terminalknoten entspricht einer Konjunktion von Attributtests (Humiity,Win) un er Baum selbst ist eine Disjunktion solcher Konjunktionen (1). (Outlook = Sunny Humiity = Normal) (1) (Outlook = Overcast) (Outlook = Rain W in = W eak) Entropie un Informationsgewinn Das Erlernen von Entscheiungsbäumen entspricht er top own Konstruktion es entsprechenen Baumes. Ein statistischer Test bestimmt abei, wie gut ein Attribut allein ie Trainingsaten klassifiziert. Der aus er Informationstheorie bekannte Begriff er Entropie spielt abei eine zentrale Rolle. Humiity Outlook Sunny Overcast Rain Y es Win High Normal Strong W eak No Y es No Y es Abbilung 1: Ein Entscheiungsbaum für as Konzept PlayTennis Die Entropie ist ein gängiges Maß in er Informationstheorie. Die Entropie charakterisiert ie (Un)Reinheit einer beliebigen Menge S von Beispielen. p ist er Anteil positiver Beispiele bestimmter Zielkonzepte in S. p ist er Anteil negativer Beispiele bestimmter Zielkonzepte in S. Die Entropie relativ zu eine boolschen Klassifizierung errechnet sich mit (2) Für nicht binäre sonern für c-wertige Klassifikationen errechnet sich ie Entropie nach (). Der Logarithmus in () ist weiterhin zur Basis 2, a ie Entropie ein Maß für ie erwartete Koierungslänge gemessen in bits ist. Entropy(S) = p log 2 p p log 2 p (2) c Entropy(S) = p i log 2 p i () i=1 Die statistische Eigenschschaft, ie misst, wie gut ein Attribut ie Trainingsaten gemäß ihrer Zielklassifikation separiert un amit ie Entropie reuziert nennt man Informationsgewinn (information gain). Der Informationsgewinn (information gain) gibt somit en Beitrag eines Attributs zur Entscheiungsfinung wieer. Der Informationsgewinn ist as Maß er Effektivität eines Attributs. Dieses Maß ist ie Reuktion in er Entropie hervorgerufen urch ie Partitionierung er Daten gemessen an em entsprechenen Attribut. 2

2 Entropie(S) p Abbilung 2: Die Entropiefunktion Gain(S) Entropy(S) v V alues(a) S v S Entropy(S v) (4) Der erste Term in (4) ist ie Entropie er gesamten Menge S. Der zweite Term in (4) ist er erwartete Wert er Entropie nachem S urch as Attribut A partitioniert wure. Der zweite Term ist somit ie Summe er Entropien einer jeen Teilmenge S v, ie urch Sv gewichtet weren. S Gain(S) ist ie erwartete Reuktion in er Entropie hervorgerufen urch as Wissen um en Wert eines bestimmten Attributs. V alues(a) ist ie Menge aller möglichen Werte für as Attribut A. S v ist ie Teilmenge von S für ie as Attribut A en Wert v hat (5). S v = {s S A(s) = v} (5) Bestimmung es besten Attributs un ID Zur Bestimmung es Wurzelknoten-Attributs wir für jees Attribut er information gain bestimmt. Das Attribut mit em höchsten information gain wir er Wurzelknoten es Entscheiungsbaums. Das Wurzelknoten-Attribut ist am besten geignet, ie Trainingsbeispiele in er folgenen Tabelle zu klassifizieren. Day Outlook T emperature Humiity W in P layt ennis D1 Sunny Hot High Weak No D2 Sunny Hot High Strong No D Overcast Hot High Weak Yes D4 Rain Mil High Weak Yes D5 Rain Cool Normal Weak Yes D6 Rain Cool Normal Strong No D7 Overcast Cool Normal Strong Yes D8 Sunny Mil High Weak No D9 Sunny Cool Normal Weak Yes D10 Rain Mil Normal Weak Yes D11 Sunny Mil Normal Strong Yes D12 Overcast Mil High Strong Yes D1 Overcast Hot Normal Weak Yes D14 Rain Mil High Strong No Der Informationsgewinn, er ie 14 Trainingsbeispiele in Abhängigkeit es Attributs W in sortiert, läßt sich folgenermaßen berechnen: V alues(w in) = W eak, Strong S = [9+, 5 ] S W eak [6+, 2 ] S Strong [+, ] Gain(S, W in) = Entropy(s) v {W eak,strog} S v S Entropy(S v) = Entropy(S) (8/14)Entropy(S W eak ) (6/14)Entropy(S Strong ) = (8/14)0.811 (6/14)1.00 =

3 Für ie alle Attribute ergeben sich ie folgenen Werte: Eigenschaften es ID Algorithmus ID ist eine inuktive Lernmethoe bzw. inuktiver Algorithmus. Gain(S, Outlook) = Gain(S, Humiity) = Gain(S, W in) = Gain(S, T emperature) = Der ID Algorithmus benutzt Entropie un information gain um en Baum aufzubauen. Das Attribut Outlook liefert en höchsten Informationsgewinn un somit ie beste Vorhersage für as Zielattribut P layt ennis un wir somit zum Wurzelknoten-Attribut (-Test), bezogen auf ie Trainingsbeispiele. Für jeen seiner möglichen Werte (Sunny, Overcast, Rain) wir ein neuer Zweig eingefügt. Der Wert er Entropie für as Attribut Outlook ist Null. Das beeutet, ass er Test mit em Attribut Outlook un essen Wert Overcast, in iesem Fall, zu einem Terminalknoten mit er Klassifizierung P layt ennis = yes führt. An allen Attributknoten, an enen ie Entropie nicht Null ist, muß er Entscheiungsbaum unterhalb ieser Knoten weiter untersucht weren. Der Prozeß es Auswählens von Attributen wir für jeen Folgeknoten wieerholt. Bereits in en Baum aufgenommene Attribute weren abei nicht mehr berücksichtigt, a jees Attribut nur einmal im Baum vorkommen arf. Der Prozeß enet für jeen Terminalknoten, wenn entweer oer Jees er Attribute entlang es Pfaes plaziert wure, Die Trainingsbeispiele, ie mit iesem Terminalknoten assoziiert sin, alle en selben Wert für as entsprechene Zielattribut haben, also ie Entropie Null ist (s.o. bei Outlook = Overcast). ID urchsucht einen Raum von Hypothesen (space of hypothesises) nach einer, ie seinen Trainigsaten am besten entspricht. Der Hypothesenraum, er von ID urchsucht wir, ist ie Menge er möglichen Entscheiungsbäume. Die Evaluierungsfunktion, ie ID leitet, ist as Maß es Informationsgewinns (information gain). Der Suchraum von ID, also er Hypothesensuchraum aller Entscheiungsbäume, ist ein kompletter Raum von enlichen iskret-wertigen (iscret-value) Funktionen, relativ zu en vorhanenen Attributen. Da jee Funktion ieser Art als ein Entscheiungsbaum repräsentiert weren kann, vermeiet ID as Hauptisiko von Methoen, ie unvollstänige (incomplete) Hypothesen Suchräume urchsuchen: nämlich ass er Hypothesensuchraum ie Zielfunktion nicht enthält. ID hält immer nur eine Hypothese aufrecht. Daurch kann ID allerings nicht bestimmen, wie viele alternative Entscheiungsbäume mit en vorhanenen Trainingsaten konsistent sin. ID macht kein Backtracking. Daurch können Entscheiungen lokal, aber nicht global optimal sein. Der Vorteil urch as Heranziehen statistischer Eigenschaften wie information gain ist, ass ie resultierene Suche weniger anfällig für Fehler in en Trainigsaten ist. ID kann z.b. urch Moifizieren seiner Terminationsbeingungen erweitert weren, um Hypothesen zu akzeptieren, ie ungewöhnlicher Weise in en Trainingsaten vorkommen (that imperfectly fit the training ata). Inuctive Bias Inuctive Bias = Inuktive Tenenz? Inuctive bias ist ie Menge er Annahmen, ie, zusammen mit en Trainingsaten, euktiv ie en folgenen Instanzen zugewiesenen Klassifizierungen rechtfertigen. 5 6

4 Den inuctive bias von ID zu beschreiben beeutet, ie Basis zu beschreiben, aufgrun er eine konsistente Hypothese einer anereren ebenfalls konsistenen Hypothese vorgezogen wir. ID entscheiet sich für en ersten akzeptablen Baum, auf en er in seiner Suche trifft, mit aneren Worten: ID zieht kürzere Bäume en Längeren vor. ID favorisiert ie Bäume, ie Attribute mit em höchsten Informationsgewinn em Wurzelknoten am nächsten plazieren. Durch ie Anwenung einer greey heuristic search weren ie kürzesten Bäume gefunen, ohne en ganzen Raum breath first absuchen zu müssen. ID finet nicht immer en kürzesten Baum, a er ie Bäume favorisiert, ie ie Attribute mit em höchsten Informationsgewinn wurzelknotennah plazieren (s.o). Overfitting ID erweitert jeen Zweig es Baumes gerae tief genug, um ie Trainingsaten genau zu klassifizieren. Bei aus er Reihe fallenen Trainingsaten oer einer zu geringen Anzahl von Trainingsbeispielen kann ies zu Schwierigkeiten bei er Bestimmung er Zielfunktion führen. Definition: Gegeben ist ein Hypothesensuchraum H, eine Hypothese h H overfits ie Trainingsaten wenn eine alternative Hypothese h H existiert, so ass h weniger Fehler als h auf en Trainingsbeispielen hat, h aber weniger Fehler als h auf em gesamten Suchraum hat. Die Genauigkeit es Entscheiungsbaums wächst für ie Trainingsbeispiele monoton, währen sie für Testbeispiele, ie nicht in er Trainingsmenge enthalten sin, zunächst ansteigt, ann aber wieer abnimmt. Beispiel: Noisy ata Eine mögliche Lösung: Post-Pruning Post pruning ist eine Form es Backtracking. Neben er Trainingsmenge wir noch eine Valiierungsmenge herangezogen. Was ist Textkategorisierung? Problem: Iee: große Sammlung von Texten S gehört Text t zu einer Kategorie c? Korpus in em ie einzelnen Texte kategorisiert sin Auswahl von Eigenschaften, ie ie Kategorie charakterisieren bei Texten Wörter un Zeichen es wir ein Klassifikationsmoell erstellt getestet wir mit em T estkorpus Anwenung: unkategorisierte Texte könne nun leicht ihrer wahrscheinlichsten Kategorie zugeornet weren Bsp. Newsticker: eingehene Nachrichten er Agenturen weren klassifiziert un en entsprechenen Reaktionen zugeornet Schwierigkeiten: Arbeit mit Wahrscheinlichkeiten bei Kategorisierung anhan von Eigenschaften, Auswahl ieser Eigenschaften große Kunst meist relativ problemspezifisch Outlook = Sunny, T emp = Hot, Hum = Normal, W in = Strong Anstatt as aus em Rahmen fallene Beispiel zu ignorieren, prouziert ID einen komplexeren Baum als nötig. Der einfachere Baum zu h paßt nicht mehr zu en Trainigsaten. Der komplexere Baum h allein gibt ie Zielfunktion wieer. 7 8

5 noe 546 articles P (c n ) = noe articles P (c n 2 ) = split:net value:1 noe articles P (c n 4 ) = noe articles P (c n 1 ) = 0.00 split:cts value:2 noe 6 01 articles P (c n 6 ) = noe articles P (c n 5 ) = 0.94 split:vs value:2 noe articles P (c n 7 ) = Abbilung : Entscheiungsbaum, er festlegt ob ein Dokument zur Kategorie earnings gehört. Textkategorisierung mit Entscheiungsbäumen Überblick ein mögliches Klassifikationsmoell sin Entscheiungsbäume: abei wir ein Entscheiungsbaum für ie Kategorie, zu er zugeornet weren soll, erstellt Voraussetzung bereits kategorisierter Korpus ieser wir in Trainings- un Testkorpus geteilt anhan er Daten es Trainingskorpus wir er Baum trainiert mit em Testkorpus wir ieser ann getestet beginnen beim Wurzelknoten weren ie ausgewählten Eigenschaften abgefragt un ie Texte somit eingeteilt an jeem Knoten wir angegeben: Anzahl er Texte am Knoten Wahrscheinlichkeit zur Kategorie zu gehören Wort mit em weiter geteilt wir Gewicht es Teilungskriteriums 9 <REUTERS NEWID= 11 > <DATE>26-FEB :18:59.4</DATE> <TOPICS><D>earn</D> </TOPICS> <TEXT> <TITLE>COBANCO INC <CBCO> YEAR NET </TITLE> <DATELINE> SANTA CRUZ, Calif., Feb 26 - </DATELINE> <BODY>Shr 4 cts vs 1.19 lrs Net 807,000 vs 2,858,000 Assets mln vs mln Deposits 472. mln vs 440. mln Loans mln vs 27.2 mln Note 4th qtr not available. Year inclues 1985 extraorinary gain from tax carry forwar of 12,000 lrs, or five cts per shr. Reuter </BODY></TEXT> </REUTERS> Abbilung 4: Beispiel aus em Reuters Korpus, Text er Kategorie earnings an en Blättern stehen keine Teilungskriterien, es soll ja nicht weiter geteilt weren Auswahl er charakteristischen Wörter Entscheiung ob ein Text zu einer Kategorie gehört, benötigt Kriterien Auswahl von 20 Wörtern ie für ie Textsorte charakteristische sin basieren auf en Wörtern mit em höchsten X 2 Wert für ie Kategorie in er Trainingsmenge er χ 2 Test finet Zusammenhänge zwischen Wörtern un Kategorien in Texten 1 2 azu wir für jees Wort eine Tabelle angelegt: earnings earnings in ie Zellen wir ann ie Anzahl er Texte in enen as Wort 1, 2,... vorkommt mit X 2 = i,j (o ij E ij) 2 E ij berechnet man en X 2 Wert 10

6 W or w j vs mln cts ; & 000 loss T erm weight s ij 5 5 x = 4 0 Classification c = 1 Tabelle 1: Ausschnitt aus em Representationsmoell für Dokument 11(4) mit iesen 20 Wörtern kann jeer Text als Vektor von K = 20 ganzen Zahlen, x j = (s 1j,..., s Kj ), argestellt weren s ij = roun(10 1+log (tfij) 1+log (l j) ) t ij... Anzahl er Vorkommen von Term i im Dokument j l j... Länge es Dokuments j as ganze ist ann ein Representations Moell Training es Entscheiungsbaumes er Wurzelknoten enthält zunächst alle Texte es Trainingskorpus un ie Wahrscheinlichkeit, ass ein Text zur Kategorie gehört nun benötigen wir ein Kriterium um ie Texte aufzuteilen - splitting criterion azu wir er information gain genutzt also as Wort aus em Vektor auswählen, as ie Entropie am Knoten am meisten reuziert für jeen Folgeknoten wir ies wieerholt wenn as stopping criterion erreicht ist, ist er Vorgang abgeschlossen als stopping criterion können verschieene Größen fungieren es wäre z.b möglich aufzuhören wenn alle 20 Wörter benutzt wuren oer ie Entropie nicht mehr entscheien reuziert weren kann oer ie Wahrscheinlichkeiten an en Blättern nahe 0 oer 1 gehen Overfiting - Pruning normalerweise wir im ersten Ablauf es Baum-Trainings ein sehr großer Baum erzeugt bestes Ergebnis für Trainigskorpus iese großen Bäume overfiten ie Trainingsmenge Overfitting passiert wenn beim klassifizieren Entscheiungen auf Grun zufälliger Eigenschaften es Trainingskorpus getroffen weren beispielsweise enthält nur ein Dokument ie Wörter lrs un pct un ieses gehört zur earnings-kategorie nun kann es passieren, ass später alle Dokumente in enen ie beien Wörter vorkommen er Kategorie zugeornet weren ieses wir vermieen inem er Baum nachträglich beschnitten wir - pruning - um eine vernünftige, aussagekräftige Größe zu erhalten abei wir bei jeem pruning er am wenigsten hilfreiche Knoten entfernt as wir so lang wieerholt bis kein Knoten mehr übrig ist ie so entstanene Menge von Bäumen wir mit einem unabhängigen valiation set getestet, er kleinste Baum mit em akkuratesten Ergebnis wir ausgewählt unschön ist abei, ass wir ungefähr 20% vom Trainingskorpus als Überprüfungsmenge benutzen müssen un ie Auswahl es Baumes ann im Prinzip auch nur von iesen 20% abhängt schlauere Methoe: n-fol cross valiation abei wir er Trainingskorpus in n Teile geteilt er Baum wir mit n-1 Teilen trainiert, er n. Teil ist as valiation set auf essen Basis geprune wir iesen Vorgang wieerholt man n-1 mal, wobei jeer Teil einmal als valiation set ient ie Durchschnittsgröße er beschnittenen Bäume ient uns als optimale Größe für en Entscheiungsbaum nun wir er Baum mit em kompletten Trainingskorpus trainiert un auf iese Größe zurecht gestutzt 11 12

7 -VOICED +VOICED -CONT +CONT -CONT +CONT -COR +COR t -COR +COR t -ANT +ANT -ANT +ANT t Abbilung 5: Ein Beispiel wie Entscheiungsbäume Daten phonologischer Regeln ineffizient benutzen. NLP un Entscheiungsbäume für as Erfassen von natürlich sprachlichen Phänomen bzw. Generalisierungen bieten sich einfachere Methoen an Entscheiungsbäume teilen ie Trainingsmenge in immer kleinere Untermengen auf ies macht korrekte Generalisierungen schwerer, weil ie Datenmenge für verlässliche Aussagen zu klein ist un falsche Generalisierungen weren wahrscheinlicher, wegen zufälliger Regularitäten in kleineren Mengen Pruning löst ieses Problem bis zu einem gewissen Gra, anere Methoen können lingustische Regularitäten besser erfassen, inem sie alle Merkmale un Attribute gleichzeitig betrachten 5 zeigt ein Beispiel wie ein Entscheiungsbaum ie Enungsregel im Englischen Past erfassen würe Literatur [Mit97] Tom Mitchel. Machine Learning. McGraw Hill, [MS99] Christopher D. Manning an Hinrich Schütze. Founations of Statistical Natural Language Processing. MIT Press, Cambrige, Massachusetts,