4. Lernen von Entscheidungsbäumen. Klassifikation mit Entscheidungsbäumen. Entscheidungsbaum

Transkript

1 4. Lernen von Entscheidungsbäumen Klassifikation mit Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch /Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse zugeordnet werden. Ein Entscheidungsbaum liefert eine Entscheidung f ür die Frage, welcher Klasse ein betreffes Objekt zuzuordnen ist. Beispiel 4.1. Gegeben seien die Beschreibungen von Bankkunden. Die Bankkunden können in die beiden Klassen kreditw ürdig und nicht kreditw ürdig eingeteilt werden. Ein Entscheidungsbaum soll eine Entscheidung liefern, ob ein Kunde kreditw ürdig ist oder nicht. Ein neues Objekt wird mit Hilfe eines Entscheidungsbaums klassifiziert, indem man ausgeh von der Wurzel jeweils die den Knoten zugeordneten e überpr üft und solange den Kanten folgt, die mit den werten des Objekts markiert sind, bis man einen Blattknoten erreicht. Der dem Blattknoten zugeordnete Wert entspricht der Klasse, der das Objekt zugeordnet wird Entscheidungsbaum Ein Entscheidungsbaum ist ein Baum mit den folgen Eigenschaften: Ein Blatt repräsentiert eine der Klassen. Beispiel 4.2. Ein Entscheidungsbaum zur Risikoabschätzung f ür eine KFZ-Versicherung: = LKW <> LKW Ein innerer Knoten repräsentiert ein. Eine Kante repräsentiert einen Test auf dem des Vaterknotens. > 60 <= 60 Geht man von nur zwei Klassen aus, repräsentiert der Entscheidungsbaum eine boolsche Funktion

2 Soll man auf einen freien Tisch im Restaurant warten? Patrons? Problem der Generierung von Entscheidungsbäumen None Some Full WaitEstimate? > No nate? Hungry? Yes Ziel ist es, aus einer Menge von Beispielen (der sogenannten Trainingsmenge) einen Entscheidungsbaum zu generieren. Ein Beispiel der Trainingsmenge besteht aus einer Menge von /Wert-Paaren zusammen mit der Klassifikation. Reservation? Bar? Yes Fri/Sat? Yes nate? Yes Raining? Aus dieser Trainingsmenge ist ein Entscheidungsbaum aufzubauen, der die Beispiele richtig klassifiziert. F ür so einen generierten Entscheidungsbaum hofft man, daß dieser auch Beispiele, die nicht aus der Trainingsmenge stammen, mit hoher Wahrscheinlichkeit richtig klassifiziert Entscheidungsbäume und Regeln Entscheidungsbäume repräsentieren Regeln in kompakter Form. Jeder Pfad von der Wurzel zu einem Blattknoten entspricht einer logischen Formel in der Form einer if-then-regel. Beispiel 4.4. Trainingsmenge f ür den Baum aus Beispiel 4.2: ID Risikoklasse 1 23 Familie hoch 2 18 Sport hoch 3 43 Sport hoch 4 68 Familie niedrig 5 32 LKW niedrig Beispiel 4.3. Der Entscheidungsbaum aus Beispiel 4.2 entspricht den folgen Regeln: if = LKW then, if LKW and > 60 then, if LKW and 60 then Risikoklasse hoch

3 Naiver Ansatz der Generierung: Ziel der Generierung ist es, einen Baum aufzubauen, Man entscheidet streng sequentiell anhand der e. Jeder Baumebene ist ein zugeordnet. Der Baum wird dann konstruiert, in dem f ür jedes Beispiel ein Pfad erzeugt wird. Tafel. Keine sinnvolle Generalisierung auf andere Fälle Overfitting Entscheidungsbaum mit vielen Knoten der die Beispiele der gegebenen Trainingsmenge korrekt klassifiziert und der möglichst kompakt ist. Bevorzuge die einfachste Hypothese, die konsistent mit allen Beobachtungen ist. Occam s Razor (William of Occam, engl. Philosoph ): One should not increase, beyond what is necessary, the number of entities required to explain anything Beispiel 4.5. Zwei Entscheidungsbäume f ür die Trainingsmenge aus Beispiel 4.4: Prinzip der Generierung = LKW <> LKW < 30 > 60 >= 30 and <= 60 Man teste das wichtigste zuerst! Die Wichtigkeit hängt von der Differenzierung der Beispielmenge ab. > 60 <= 60 <> LKW = LKW Die Beispielmenge wird gemäß der werte des ausgewählten s auf die Söhne verteilt. Man setze dieses Prinzip in jedem Unterbaum f ür die diesem Unterbaum zugeordnete Beispielmenge fort

4 Trainingsmenge zum Thema Kinobesuch : Nr. Attr. Preis Loge Wetter Warten Bes. Kat. Land Res. Gr. Kino? 1 + $$ ja - ja + AC int ja F ja 2 o $ ja o nein o KO int nein P ja 3 o $ nein o ja o DR int nein F nein 4 - $ ja o ja o SF int nein a nein 5 o $ ja o nein o DR int nein P ja 6 + $$ ja + nein + SF int ja F ja 7 o $ ja - nein o KO nat nein F ja 8 o $ nein - ja o AC int nein F ja 9 - $ ja + nein o KO nat nein F nein 10 o $ ja + nein o KO int nein P nein 11 + $ ja o ja + DR int nein P ja 12 o $ nein - ja o AC nat nein a nein 13 + $$ ja o ja o SF int nein a nein 14 o $ ja + ja + DR int ja F nein 15 o $ ja - nein o AC int nein P ja Bei der rekursiven Konstruktion können die folgen Situationen auftreten: 1. Alle Beispiele zu einem Knoten haben die gleiche Klassifikation. Dann wird der Knoten mit der entsprechen Klasse markiert und die Rekursion beet. 2. Die Menge der Beispiele zu einem Knoten ist leer. In diesem Fall kann man eine Default-Klassifikation angeben. Man wählt zum Beispiel die Klasse, die unter den Beispielen des Vaters am häufigsten vorkommt. 3. Falls Beispiele mit unterschiedlicher Klassifikation existieren und es e gibt, die noch nicht in den Vorgängerknoten verwet wurden, dann wähle aus diesen en ein a gemäß seiner Wichtigkeit aus auswahl f ür das Kinoproblem: ja: 1, 6, 7, 8 nein: 3, 9, 14 F ja: 1, 2, 5, 6, 7, 8, 11, 15 nein: 3, 4, 9, 10, 12, 13, 14 Gruppe a ja: nein: 4, 12, 13 ja: 1, 2, 5, 6, 7, 8, 11, 15 nein: 3, 4, 9, 10, 12, 13, 14 P ja: 2, 5, 11, 15 nein: 10 Generiere f ür jeden möglichen wert einen Nachfolgerknoten und verteile die Beispiele auf die Nachfolger gemäß ihres werts. Setze das Verfahren f ür jeden Nachfolger fort. 4. Falls Beispiele mit unterschiedlicher Klassifikation existieren, es aber kein noch nicht verwetes gibt, dann ist die Trainingsmenge inkonsistent. Inkonsistent bedeutet hier, daß keine funktionale Abhängigkeit der Klassifikation von den en existiert. DR ja: 5, 11 nein: 3, 14 AC ja: 1, 8, 15 nein: 12 Kategorie KO ja: 2, 7 nein: 9, 10 SF ja: 6 nein: 4, 13 Beispiel 4.6. Kinoproblem: Als Grad f ür die Wichtigkeit eines s nehme man die Anzahl der Beispiele, die damit g ültig klassifiziert werden. Tafel

5 Algorithmus zur Konstruktion Partitionen für e Typen von Partitionen für nominale e Algorithmus 4.1. [Entscheidungsbaum-Konstruktion] procedure Entscheidungsbaum( T, A, W ) if T = then markiere W mit einer Default-Klasse; return else if t T : Klasse(t) = c then markiere W mit c; return else if A = then error else =a1 =a2 <a1 <=a2 Typen von Partitionen für numerische e =a3 <=a3 in A1 in A2 < a >= a for each a A do for each mögliche Partition P von a do if (a, P) besser als best then best := (a, P) Sei best = (a, P); Seien P 1,..., P n die Teilmengen von P; for i := 1 to n do erzeuge Knoten K i als Sohn von W; T i := {t T t fällt in P i } Entscheidungsbaum( T i, A \ {a}, K i ) 206