4. Lernen von Entscheidungsbäumen

Transkript

1 4. Lernen von Entscheidungsbäumen Entscheidungsbäume 4. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse zugeordnet werden. Ein Entscheidungsbaum liefert eine Entscheidung f ür die Frage, welcher Klasse ein betreffendes Objekt zuzuordnen ist. Beispiel 4.1. Gegeben seien die Beschreibungen von Bankkunden. Die Bankkunden können in die beiden Klassen kreditw ürdig und nicht kreditw ürdig eingeteilt werden. Ein Entscheidungsbaum soll eine Entscheidung liefern, ob ein Kunde kreditw ürdig ist oder nicht. 189

2 4. Lernen von Entscheidungsbäumen Entscheidungsbäume Entscheidungsbaum Ein Entscheidungsbaum ist ein Baum mit den folgenden Eigenschaften: Ein Blatt repräsentiert eine der Klassen. Ein innerer Knoten repräsentiert ein Attribut. Eine Kante repräsentiert einen Test auf dem Attribut des Vaterknotens. Geht man von nur zwei Klassen aus, repräsentiert der Entscheidungsbaum eine boolsche Funktion. 190

3 4. Lernen von Entscheidungsbäumen Entscheidungsbäume Klassifikation mit Entscheidungsbäumen Ein neues Objekt wird mit Hilfe eines Entscheidungsbaums klassifiziert, indem man ausgehend von der Wurzel jeweils die den Knoten zugeordneten Attribute überpr üft und solange den Kanten folgt, die mit den Attributwerten des Objekts markiert sind, bis man einen Blattknoten erreicht. Der dem Blattknoten zugeordnete Wert entspricht der Klasse, der das Objekt zugeordnet wird. 191

4 4. Lernen von Entscheidungsbäumen Entscheidungsbäume Beispiel 4.2. Ein Entscheidungsbaum zur Risikoabschätzung f ür eine KFZ-Versicherung: Autotyp = LKW <> LKW Risikoklasse = niedrig Alter > 60 <= 60 Risikoklasse = niedrig Risikoklasse = hoch 192

5 4. Lernen von Entscheidungsbäumen Entscheidungsbäume Soll man auf einen freien Tisch im Restaurant warten? Patrons? None Some Full No Yes WaitEstimate? > No Alternate? Hungry? Yes No Yes No Yes Reservation? Fri/Sat? Yes Alternate? No Yes No Yes No Yes Bar? Yes No Yes Yes Raining? No Yes No Yes No Yes No Yes 193

6 4. Lernen von Entscheidungsbäumen Entscheidungsbäume Entscheidungsbäume und Regeln Entscheidungsbäume repräsentieren Regeln in kompakter Form. Jeder Pfad von der Wurzel zu einem Blattknoten entspricht einer logischen Formel in der Form einer if-then-regel. Beispiel 4.3. Der Entscheidungsbaum aus Beispiel 4.2 entspricht den folgenden Regeln: if Autotyp = LKW then Risikoklasse = niedrig, if Autotyp LKW and Alter > 60 then Risikoklasse = niedrig, if Autotyp LKW and Alter 60 then Risikoklasse hoch. 194

7 Problem der Generierung von Entscheidungsbäumen Ziel ist es, aus einer Menge von Beispielen (der sogenannten Trainingsmenge) einen Entscheidungsbaum zu generieren. Ein Beispiel der Trainingsmenge besteht aus einer Menge von Attribut/Wert-Paaren zusammen mit der Klassifikation. Aus dieser Trainingsmenge ist ein Entscheidungsbaum aufzubauen, der die Beispiele richtig klassifiziert. F ür so einen generierten Entscheidungsbaum hofft man, daß dieser auch Beispiele, die nicht aus der Trainingsmenge stammen, mit hoher Wahrscheinlichkeit richtig klassifiziert. 195

8 Beispiel 4.4. Trainingsmenge f ür den Baum aus Beispiel 4.2: ID Alter Autotyp Risikoklasse 1 23 Familie hoch 2 18 Sport hoch 3 43 Sport hoch 4 68 Familie niedrig 5 32 LKW niedrig 196

9 Naiver Ansatz der Generierung: Man entscheidet streng sequentiell anhand der Attribute. Jeder Baumebene ist ein Attribut zugeordnet. Der Baum wird dann konstruiert, in dem f ür jedes Beispiel ein Pfad erzeugt wird. Tafel. Keine sinnvolle Generalisierung auf andere Fälle Overfitting Entscheidungsbaum mit vielen Knoten 197

10 Beispiel 4.5. Zwei Entscheidungsbäume f ür die Trainingsmenge aus Beispiel 4.4: Autotyp Alter = LKW <> LKW < 30 >= 30 and <= 60 > 60 Risikoklasse = niedrig Alter Risikoklasse = hoch Autotyp Risikoklasse = niedrig > 60 <= 60 <> LKW = LKW Risikoklasse = niedrig Risikoklasse = hoch Risikoklasse = hoch Risikoklasse = niedrig 198

11 Ziel der Generierung ist es, einen Baum aufzubauen, der die Beispiele der gegebenen Trainingsmenge korrekt klassifiziert und der möglichst kompakt ist. Bevorzuge die einfachste Hypothese, die konsistent mit allen Beobachtungen ist. Occam s Razor (William of Occam, engl. Philosoph ): One should not increase, beyond what is necessary, the number of entities required to explain anything. 199

12 Prinzip der Generierung Man teste das wichtigste Attribut zuerst! Die Wichtigkeit hängt von der Differenzierung der Beispielmenge ab. Die Beispielmenge wird gemäß der Attributwerte des ausgewählten Attributs auf die Söhne verteilt. Man setze dieses Prinzip in jedem Unterbaum f ür die diesem Unterbaum zugeordnete Beispielmenge fort. 200

13 Trainingsmenge zum Thema Kinobesuch : Nr. Attr. Preis Loge Wetter Warten Bes. Kat. Land Res. Gr. Kino? 1 + $$ ja - ja + AC int ja F ja 2 o $ ja o nein o KO int nein P ja 3 o $ nein o ja o DR int nein F nein 4 - $ ja o ja o SF int nein a nein 5 o $ ja o nein o DR int nein P ja 6 + $$ ja + nein + SF int ja F ja 7 o $ ja - nein o KO nat nein F ja 8 o $ nein - ja o AC int nein F ja 9 - $ ja + nein o KO nat nein F nein 10 o $ ja + nein o KO int nein P nein 11 + $ ja o ja + DR int nein P ja 12 o $ nein - ja o AC nat nein a nein 13 + $$ ja o ja o SF int nein a nein 14 o $ ja + ja + DR int ja F nein 15 o $ ja - nein o AC int nein P ja 201

14 Attributauswahl f ür das Kinoproblem: ja: 1, 2, 5, 6, 7, 8, 11, 15 nein: 3, 4, 9, 10, 12, 13, 14 Gruppe F a P ja: 1, 6, 7, 8 nein: 3, 9, 14 ja: nein: 4, 12, 13 ja: 2, 5, 11, 15 nein: 10 ja: 1, 2, 5, 6, 7, 8, 11, 15 nein: 3, 4, 9, 10, 12, 13, 14 Kategorie DR AC KO SF ja: 5, 11 nein: 3, 14 ja: 1, 8, 15 nein: 12 ja: 2, 7 nein: 9, 10 ja: 6 nein: 4,

15 Bei der rekursiven Konstruktion können die folgenden Situationen auftreten: 1. Alle Beispiele zu einem Knoten haben die gleiche Klassifikation. Dann wird der Knoten mit der entsprechenden Klasse markiert und die Rekursion beendet. 2. Die Menge der Beispiele zu einem Knoten ist leer. In diesem Fall kann man eine Default-Klassifikation angeben. Man wählt zum Beispiel die Klasse, die unter den Beispielen des Vaters am häufigsten vorkommt. 3. Falls Beispiele mit unterschiedlicher Klassifikation existieren und es Attribute gibt, die noch nicht in den Vorgängerknoten verwendet wurden, dann wähle aus diesen Attributen ein Attribut a gemäß seiner Wichtigkeit aus. 203

16 Generiere f ür jeden möglichen Attributwert einen Nachfolgerknoten und verteile die Beispiele auf die Nachfolger gemäß ihres Attributwerts. Setze das Verfahren f ür jeden Nachfolger fort. 4. Falls Beispiele mit unterschiedlicher Klassifikation existieren, es aber kein noch nicht verwendetes Attribut gibt, dann ist die Trainingsmenge inkonsistent. Inkonsistent bedeutet hier, daß keine funktionale Abhängigkeit der Klassifikation von den Attributen existiert. Beispiel 4.6. Kinoproblem: Als Grad f ür die Wichtigkeit eines Attributs nehme man die Anzahl der Beispiele, die damit endg ültig klassifiziert werden. Tafel. 204

17 Algorithmus zur Konstruktion Algorithmus 4.1. [Entscheidungsbaum-Konstruktion] procedure Entscheidungsbaum( T, A, W ) if T = then markiere W mit einer Default-Klasse; return else if t T : Klasse(t) = c then markiere W mit c; return else if A = then error else 205

18 for each a A do for each mögliche Partition P von a do if (a, P) besser als best then best := (a, P) end end end Sei best = (a, P); Seien P 1,..., P n die Teilmengen von P; for i := 1 to n do erzeuge Knoten K i als Sohn von W; T i := {t T t fällt in P i } Entscheidungsbaum( T i, A \ {a}, K i ) end end 206

19 Partitionen für Attribute Typen von Partitionen für nominale Attribute Attribut Attribut =a1 =a2 =a3 in A1 in A2 Attribut Attribut <a1 <=a2 <=a3 < a >= a Typen von Partitionen für numerische Attribute 207