Beispiellösungen DM. Prof. Dr. Jürgen Cleve. Das Beispiel zum Support und der Kondenz

Transkript

1 Beispiellösungen DM Prof. Dr. Jürgen Cleve Inhaltsverzeichnis 1 Einführung 1 Grundlagen 1 Anwendungsklassen 1 4 Wissensrepräsentation 1 Methoden und Verfahren 6 Vorverarbeitung 9 7 Bewertung 9 Im folgenden sind einige ausgewählte Lösungen dargestellt. 1 Einführung Grundlagen Anwendungsklassen 4 Wissensrepräsentation Das Beispiel zum Support und der Kondenz Man vgl. dazu das Skript. Wie hoch ist der Support und die Kondenz der Regel IF temperature = cool T HEN humidity = normal supp(temperature = cool humidity = normal) = P (A B) = 4 Erläuterung: In 4 Fällen ist die Temperatur cool UND die Luftfeuchtigkeit normal. Dies setzt man in's Verhältnis zur gesamten Menge (). supp(temperature = cool) = P (A) = 4 1

2 Achtung: Hier ist ein Fehler im Skript. Es darf nur P (A) heiÿen!!! In 4 Fällen ist die Temperatur cool. Dies setzt man in's Verhältnis zur gesamten Menge (). Und die Kondenz ist dann einfach der Quotient aus den beiden Support-Werten: conf(a B) = supp(a B) supp(a) = 4 4 = 1 Die Regel ist also absolut sicher, sie hat allerdings nur einen Support von 7. Der Support ist also der Quotient aus A UND B treen beide zu und A trit zu. Methoden und Verfahren Aufgabe Restaurant knn Hier sollen Sie das Restaurantbeispiel mit knn rechnen. Dazu muss man sich zunächst überlegen, welche Distanzfunktion man verwenden will. Danach muss man nur die Distanz der zu klassizierenden Sätze zu jedem der Sätze aus der Tabelle bestimmen. Man bestimmt dann die k Sätze, die dem zu testenden Satz am nächsten liegen. Und dort zählt man, wie oft man warten soll bzw. nicht. ID-Beispiel Kreditrisiko ausführlich Seien die in Abbildung 1 dargestellten Daten zur Bewertung des Kreditrisikos gegeben. Nr Risiko Kredit- Verschuldung Sicherheiten Einkommen würdigkeit 1 hoch schlecht hoch keine 0 bis 1 hoch unbekannt hoch keine 1 bis mittel unbekannt niedrig keine 1 bis 4 hoch unbekannt niedrig keine 0 bis 1 niedrig unbekannt niedrig keine über 6 niedrig unbekannt niedrig angemessen über 7 hoch schlecht niedrig keine 0 bis 1 8 mittel schlecht niedrig angemessen über 9 niedrig gut niedrig keine über 10 niedrig gut hoch angemessen über 11 hoch gut hoch keine 0 bis 1 1 mittel gut hoch keine 1 bis 1 niedrig gut hoch keine über hoch schlecht hoch keine 1 bis Abbildung 1: Kreditwürdigkeit Der Informationsgehalt eines Attributs B wird gemessen als: I(B) = p(b i ) log (p(b i )) Dabei stellen die b i die möglichen Werte des Attributs B dar.

3 p ist die Wahrscheinlichkeit für das Eintreen von b i. Wie groÿ ist der Informationsgehalt der Tabelle in Abb. 1, S.? p(risiko hoch) = 6 p(risiko mittel) = p(risiko niedrig) = Folglich ist I(Tabelle) = I(Risiko) = 6 log ( 6 ) log ( ) log ( ) = 1, 1 Nun wählt man das Attribut aus, das den maximalen Informationsgewinn erzielt. d.h. man berechnet die Dierenz aus I(Tabelle) und der Information, die sich unter Beachtung der nächsten Ebene ergibt. Sei eine Beispielmenge E gegeben. Wählt man nun z.b. das Attribut B mit n Werten aus, so wird E in n Teilmengen zerlegt: {E 1,..., E n }. Nachdem B als Wurzel des Baumes festgesetzt wurde, ist die zur Fertigstellung des Baumes voraussichtlich erforderliche Informationsmenge: G(B) = E I(E i) Der Gewinn an Information wird dann berechnet als: gewinn(b) = I(E) G(B) Es gilt, gewinn zu maximieren. Dazu geht man alle Attribute durch und wählt jenes aus, das den maximalen Gewinn darstellt. Zunächst wählen wir Kreditwürdigkeit als Attribut. Kreditwürdigkeit hat Ausprägungen: unbekannt, schlecht, gut. Für jeden dieser Werte zählen wir, wie oft welches Risiko vorkommt: Es ergibt sich: Wert hohes Risiko mittleres Risiko niedriges Risiko unbekannt 1 schlecht 1 0 gut 1 1 I(Kreditwürdigkeit_unbekannt) = log ( ) 1 log ( 1 ) log ( ) = 1, I(Kreditwürdigkeit_schlecht) = 4 log ( 4 ) 1 4 log ( 1 ) = 0, 81 4 I(Kreditwürdigkeit_gut) = 1 log ( 1 ) 1 log ( 1 ) log ( ) = 1.7 G(kreditwuerdigkeit) = E I(E i) = 1, + 4 0, = 1, 6 Nun wählen wir Sicherheiten als Attribut. Sicherheiten hat Ausprägungen: keine, angemessen. Für jeden dieser Werte zählen wir, wie oft welches Risiko vorkommt:

4 Es ergibt sich: Wert hohes Risiko mittleres Risiko niedriges Risiko keine 6 angemessen 0 1 I(Sicherheiten_keine) = 6 11 log ( 6 11 ) 11 log ( 11 ) 11 log ( ) = 1, 4 11 I(Sicherheiten_angemessen) = 1 log ( 1 ) log ( ) = 0, 9 G(sicherheiten) = E I(E i) = 11 1, 4 + 0, 9 = 1, Nun wählen wir Verschuldung als Attribut. Verschuldung hat Ausprägungen: hoch, niedrig. Für jeden dieser Werte zählen wir, wie oft welches Risiko vorkommt: Es ergibt sich: Wert hohes Risiko mittleres Risiko niedriges Risiko hoch 4 1 niedrig I(Verschuldung_hoch) = 4 7 log ( 4 7 ) 1 7 log ( 1 7 ) 7 log ( ) = 1, 8 7 I(Verschuldung_niedrig) = 7 log ( 7 ) 7 log ( 7 ) 7 log ( ) = 1, 6 7 G(verschuldung) = E I(E i) = 7 1, , 6 = 1, 47 Nun wählen wir Einkommen als Attribut. Verschuldung hat Ausprägungen: U1, 1-, Ü. Für jeden dieser Werte zählen wir, wie oft welches Risiko vorkommt: Es ergibt sich: Wert hohes Risiko mittleres Risiko niedriges Risiko U Ü 0 1 I(Einkommen_u1) = 4 4 log ( 4 4 ) = 0 I(Einkommen_1-) = 4 log ( 4 ) 4 log ( 4 ) = 1 Damit ergibt sich: I(Einkommen_Ü) = 1 6 log ( 1 6 ) 6 log ( ) = 0, 6 6 G(einkommen) = E I(E i) = , 6 = 0, 6 4

5 gewinn(einkommen) = 1, 1 0, 64 = 0, 967 gewinn(kreditwuerdigkeit) = 1, = 0, 66 gewinn(verschuldung) = 1, 1 1, 468 = 0, 06 gewinn(sicherheiten) = 1, 1 1, = 0, 06 Man wählt nun einkommen als obersten Knoten und setzt das Verfahren für jeden Teilbaum rekursiv fort. Aufgabe Golfspiel ID Entwickeln Sie einen Entscheidungsbaum mittels ID. Aufgabe Restaurant mit ID Die Tabelle in Abb. enthält 1 Datensätze mit diesen Attributen: Alternative: Gibt es in der Nähe ein geeignetes anderes Restaurant? (ja/nein) Fr/Sa: Ist Freitag oder Samstag? (ja/nein) Hungrig: Bin ich hungrig? (ja/nein) Gäste: Wieviele Leute sind im Restaurant? (keine/einig/voll) Reservierung: Habe ich reserviert? (ja/nein) Typ: Um welche Art von Restaurant handelt es sich? (Franz./Chin./Ital./Burger) Wartezeit: Welche voraussichtliche Wartezeit wird vom Restaurant geschätzt? (0-10/10-0/0-60/>60) Warten (Zielprädikat): Warte ich, wenn alle Tische besetzt sind? (ja/nein) Alt. Fr/Sa Hung. Gäste Reserv. Typ Zeit Warten ja nein ja einige ja Franz ja ja nein ja voll nein Chin nein nein nein nein einige nein Burger 0-10 ja ja ja ja voll nein Chin ja ja ja nein voll ja Franz. >60 nein nein nein ja einige ja Ital ja nein nein nein keine nein Burger 0-10 nein nein nein ja einige ja Chin ja nein ja nein voll nein Burger >60 nein ja ja ja voll ja Ital nein nein nein nein keine nein Chin nein ja ja ja voll nein Burger 0-60 ja Abbildung : Daten Restaurant Generieren Sie einen Entscheidungsbaum und klassizieren Sie nachfolgende Datensätze.

6 Alt. Fr/Sa Hung. Gäste Reserv. Typ Zeit Warten ja nein ja einige nein Franz ja ja ja voll ja Chin nein nein nein keine nein Burger 0-10 Der Informationsgehalt eines Attributs B wird gemessen als: I(B) = p(b i ) log (p(b i )) Dabei stellen die b i die möglichen Werte des Attributs B dar. p ist die Wahrscheinlichkeit für das Eintreen von b i. Wie groÿ ist der Informationsgehalt der Tabelle in Abb., S.? p(warten ja) = 6 1 p(warten nein) = 6 1 Folglich ist I(Tabelle) = I(Risiko) = 6 log 1 ( 6 ) 6 log 1 1 ( 6 ) = 1 1 Nun wählt man das Attribut aus, das den maximalen Informationsgewinn erzielt. d.h. man berechnet die Dierenz aus I(Tabelle) und der Information, die sich unter Beachtung der nächsten Ebene ergibt. Sei eine Beispielmenge E gegeben. Wählt man nun z.b. das Attribut B mit n Werten aus, so wird E in n Teilmengen zerlegt: {E 1,..., E n }. Nachdem B als Wurzel des Baumes festgesetzt wurde, ist die zur Fertigstellung des Baumes voraussichtlich erforderliche Informationsmenge: G(B) = E I(E i) Der Gewinn an Information wird dann berechnet als: gewinn(b) = I(E) G(B) Es gilt, gewinn zu maximieren. Dazu geht man alle Attribute durch und wählt jenes aus, das den maximalen Gewinn darstellt. Zunächst wählen wir Alt als Attribut. Kreditwürdigkeit hat Ausprägungen: ja, nein. Für jeden dieser Werte zählen wir, wie oft welches Risiko vorkommt: Es ergibt sich: Wert warten nicht warten ja nein I(Alt_ja) = 6 log ( 6 ) 6 log ( 6 ) = 1 I(Alt_nein) = 6 log ( 6 ) 6 log ( 6 ) = 1 Analog ergibt sich für G(Alt) = E I(E i) = = 1 6

7 Fr/Sa 0,98 Hungrig 0,804 Gäste 0,49 Reserviert 0,98 Typ 1 Zeit 0,79 Damit ergibt sich: gewinn(alt) = 1 1 = 0 gewinn(fr/sa) = 1 0, 98 = 0, 0 gewinn(hungrig) = 1 0, 804 = 0, 196 gewinn(gäste) = 1 0, 49 = 0, 41 gewinn(reserviert) = 1 0, 98 = 0, 0 gewinn(typ) = 1 1 = 0 gewinn(zeit) = 1 0, 79 = 0, 1 Man wählt nun Gäste als obersten Knoten und setzt das Verfahren für jeden Teilbaum rekursiv fort. Wir betrachten zunächst den Teilbaum für Gäste = voll. Es kommen nur noch folgende Datensätze in Betracht: Alt. Fr/Sa Hung. Gäste Reserv. Typ Zeit Warten ja nein ja voll nein Chin nein ja ja ja voll nein Chin ja ja ja nein voll ja Franz. >60 nein nein ja nein voll nein Burger >60 nein ja ja ja voll ja Ital nein ja ja ja voll nein Burger 0-60 ja Nun startet das Ganze für diesen Teilbaum Gäste = voll erneut. Man erhält: gewinn(alt) = 0, 9 0, 81 = 0, 11 gewinn(fr/sa) = 0, 9 0, 81 = 0, 11 gewinn(hungrig) = 0, 9 0, 67 = 0, gewinn(reserviert) = 0, 9 0, 67 = 0, gewinn(typ) = 0, 9 0, 67 = 0, gewinn(zeit) = 0, 9 0, 67 = 0, Man wählt nun Hungrig als obersten Knoten (das am weitesten links in der Tabelle stehende Attribut, welches 0, liefert) und setzt das Verfahren für jeden Teilbaum rekursiv fort. Die anderen Teilbäume für Gäste liefern direkt eine Klasse. 7

8 Ausfuhr-Beispiel Berechnen Sie aus den nachfolgend gegebenen Daten die durchschnittliche jährliche Änderung der Ausfuhr der BRD für die Periode 1980/81. Folgende Entwicklung der Ausfuhr der BRD (jeweils gegenüber dem Vorjahr) wurde beobachtet: Periode /74 74/7 7/76 76/77 77/78 78/79 79/80 Ausfuhränderung +9 % -4 % +16 % +7 % +4 % +10 % +11 % Lösungsansatz: y = a x + b (y... Ausfuhränderung, x... Jahr) error = (y i ŷ i ) min. Wir numerieren die Jahre 7 bis 79 einfach von bis 9 (zur Vereinfachung). Wir müssen also die Summe: (a + b 9) + (a 4 + b + 4) + (a + b 16) + (a 6 + b 7) + +(a 7 + b 4) + (a 8 + b 10) + (a 9 + b 11) minimieren. a und b können wir frei wählen. Entweder rechnen Sie das in Excel, oder wir leiten uns die Lösung her: Die Summe muss minimiert werden, also muss die 1. Ableitung (sowohl nach a als auch nach b) Null werden. Die erste Ableitung nach a ist: Rechnet man dies aus, kommt man auf: Die erste Ableitung nach b ist: Rechnet man dies aus, kommt man auf: 9 (a x + b y x ) x = 0 x= 60 a + 84 b 800 = 0 (1) 9 (a x + b y x ) = 0 x= 84 a + b 6 = 0 () Stellt man die erste Gleichung nach b um, kommt man auf: b = Dies setzt man in die. Gleichung ein: ( a) 84 und erhält: 84 a + 84 a + ( a) 84 ( a) 6 6 = 0 6 = 0 8

9 ( a) 84 a + 6 = 0 84 a + ( a) 6 = 0 84 a 80 a = a = 8 a = 19 Dies setzt man nun in die. Gleichung (s.o.) ein und erhält: b 6 = 0 b = = = 60 b = 60 = 10 7 Damit erhält man: a = und b = 7 Folglich ergibt sich für x = 10: y = = =. Wer wohnt wo? Seien folgende Datensätze gegeben (a=angest., s=selbst., v=verh., l=ledig, M=Miete, E=Eigentum) Beruf a a a a s s s s Fam.st. v l v v l l v v Kinder j n n j j n j n Wohnung M E M E E M E E Wo lebt ein lediger Angestellter mit Kindern? Beruf Fam.st. Kinder rel. Häuf. a s v l j n M E L[Miete](angest, ledig, kinder) = / 1/ 1/ /8 = 6/ L[Eigen](angest, ledig, kinder) = / / / /8 = 60/ P [M iete](angest, ledig, kinder) = /( ) = 0.16 P [Eigen](angest, ledig, kinder) = 0.06/(( ) = Vorverarbeitung 7 Bewertung