fuzzy-entscheidungsbäume

Transkript

1 fuzzy-entscheidungsbäume klassische Entscheidungsbaumverfahren fuzzy Entscheidungsbaumverfahren

2 Entscheidungsbäume Was ist ein guter Mietwagen für einen Familienurlaub auf Kreta? 27. März 23 Sebastian Nusser 2

3 Entscheidungsbäume definiert für eine Menge von zulässigen Tests und eine Menge von Klassen innerer Knoten: Test unter welchen Voraussetzungen zu einem Nachfolgeknoten verzweigt wird ausgehende Kanten werden mit Bedingungen beschriftet Blattknoten: repräsentiert eine Klassenzugehörigkeit 27. März 23 Sebastian Nusser 3

4 Entscheidungsbäume werden aus einer Menge klassifizierter Beispiele (Lernmenge) generiert überwachtes Lernen Lernmenge charakterisiert durch: Attribute (beschreiben Instanzen) Attributwerte (diskret oder kontinuierlich) Klassen ( Zielattribut) dienen der schnellen und nachvollziehbaren Klassifikation unbekannter Beispiele 27. März 23 Sebastian Nusser 4

5 Entscheidungsbäume Anwendung: wenn Knoten Blattknoten: gib Klassenzugehörigkeit zurück wenn Knoten innerer Knoten: führe Test aus rufe Algorithmus für passenden Unterbaum auf 27. März 23 Sebastian Nusser 5

6 Beispiel Attribute = {safety, persons, price, } Werte safety = {low, med, high}, Werte persons = {2, 4, more}, Werte price = {low, med, high, vhigh}, Klassen = {unacc, acc, vgood, } 27. März 23 Sebastian Nusser 6

7 klassische Entscheidungsbäume Lernen von Entscheidungsbäumen (Top-Down): wähle Test der Unsicherheit bzgl. der Klassen minimiert teile Lernmenge entsprechend des Tests auf und fahre rekursiv mit den Folgeknoten fort Minimierung der Unsicherheit: mittels Information Gain 27. März 23 Sebastian Nusser 7

8 Minimierung der Unsicherheit Maß für Ungewissheit: (Entropie) H = - Σ v p(v) log 2 p(v) Information Gain: IG = H - Σ i P(a = v i ) H a = v[i] 27. März 23 Sebastian Nusser 8

9 ID3-Algorithmus ID3(Instanzmenge M, Attributmenge A) wenn alle Instanzen aus M die gleiche Klasse C haben, gib C zurück sonst kein Attribut mehr in A gib häufigste Klasse C zurück wähle das Attribut a i, das den Information Gain maximiert und teile damit den Knoten rufe ID3 rekursiv für alle Unterbäume auf, wobei A \ a i gilt 27. März 23 Sebastian Nusser 9

10 Beispiel C4.5 die Arbeitsweise von C4.5 ähnelt der von ID3, es werden allerdings kontinuierliche Attribute mittels binärerer Splits unterteilt x y z c A A A B A B B B C4.5 A y x<,3 A y y n y<4 z< n n B B 27. März 23 Sebastian Nusser

11 Beispiel C4.5 IG = H p v ( v) log p( v) P( a = v ) H H = 2 Attribut: Wert: info(x): info(x): info2(x): IG: As: Bs: H: As: Bs: H: As: Bs: H: A% B% IG: x <, 4 4,, 4 4,,,, x <,2 4 4, 2, 2 4,92,25,75,3 x <,3 4 4, 3,8 3,8,5,5,9 x <,35 4 4, 4 3,99,,88,3,4 y < 2 4 4,, 4 4,,,, y < 3 4 4, 2,92 2 3,97,38,63,5 y < 4 4 4, 4 2,92 2,,75,25,3 z < 4 4, 3,8 3,8,5,5,9 Attribut: Wert: info(x): info(x): info2(x): IG: As: Bs: H: As: Bs: H: As: Bs: H: A% B% IG: x <, 4 2,92, 4 2,92,,, x <,2 4 2,92 2, 2 2,,33,67,25 x <,3 4 2,92 3, 2,92,5,5,46 x <,35 4 2,92 4,72,,83,7,32 y < 2 4 2,92, 4 2,92,,, y < 3 4 2,92 2,92 2,92,5,5, y < 4 4 2,92 4 2,92,,,, z < 4 2,92 3, 2,92,5,5,46 Attribut: Wert: info(x): info(x): info2(x): IG: As: Bs: H: As: Bs: H: As: Bs: H: A% B% IG: x <, 2,92, 2,92,,, x <,2 2,92, 2,92,,, x <,3 2,92, 2,92,,, x <,35 2,92,,,67,33,25 y < 2 2,92, 2,92,,, y < 3 2,92,,,67,33,25 y < 4 2,92 2,92,,,, z < 2,92, 2,,33,67, März 23 Sebastian Nusser i i a= v i

12 Warum fuzzy-entscheidungsbäume? Lernmenge kann verrauscht sein physikalische Messfehler subjektive Beurteilung es können Attributwerte fehlen unvollständige Datenbankeinträge Notwendigkeit sprachliche Unsicherheiten zu modellieren linguistische Variablen (was ist "groß"?) 27. März 23 Sebastian Nusser 2

13 fuzzy-entscheidungsbäume 27. März 23 Sebastian Nusser 3

14 fuzzy-entscheidungsbäume low med high Beispiel: Preis: 5, Klasse: pos , 59, 66, neg pos pos 5 74, neg price {,2,3,4,5,6} 6 79, neg low med high {,2,3} {2,3,4,5} {5,6} 27. März 23 Sebastian Nusser 4

15 Linguistische Variablen Benutzerdefinierte Festlegung fuzzy-mengen werden aufgrund von Expertenwissen festgelegt viel Hintergrundwissen nötig mögliche Zusammenhänge in Beispielmenge werden nicht berücksichtigt Zugehörigkeitsfunktionen u.u. unflexibel 27. März 23 Sebastian Nusser 5

16 Linguistische Variablen Automatische Bestimmung für kontinuierliche Werte werden besonders interessante Intervalle bestimmt und über diese Intervalle werden fuzzy-mengen gelegt keine Vorarbeit nötig Definition der Zugehörigkeitsfunktionen erfolgt während des Lernprozesses mögliche Zusammenhänge in Beispielmenge können berücksichtigt und gezielt genutzt werden 27. März 23 Sebastian Nusser 6

17 Anwendung FDT betrachte den Pfad durch Baum als Folge von Bedingungen verknüpfe die Zugehörigkeitsgrade zu den einzelnen Bedingungen mit einer t-norm (das Ergebnis ist der Zugehörigkeitsgrad des Beispiels zu dem Blattknoten) wiederhole dies für alle weiteren Pfade im Baum verknüpfe die Klassenzugehörigkeits-Tupel der Blattknoten elementweise mit einer t-conorm das Ergebnis-Tupel muss u.u. noch auf normiert und kann anschließend defuzzyfiziert werden 27. März 23 Sebastian Nusser 7

18 Beispiel med safety high low persons acc:. unacc:. persons ~2 ~4 more ~2 ~4 more acc:. unacc:. acc:.5 unacc:.5 acc:.7 unacc:.3 acc:. unacc:.9 acc:.9 unacc:. acc:. unacc:. 27. März 23 Sebastian Nusser 8

19 fuzzy-tdidt TDIDT(Beispielmenge M, Attributmenge A) wenn hoher Anteil an Beispielen in M die gleiche Klasse C haben, gib Klassenzugehörigkeit für C zurück ( M C / M > θ r ) sonst wenn A = {} oder M θ n gib Klassenzugehörigkeitsvektor für alle Klassen oder "unbestimmt" zurück sonst wähle bestes Attribut a i mit den besten Werten teile M nach Wert von a i rufe TDIDF(M, A \ a i ), TDIDF(M j, A \ a i ) auf 27. März 23 Sebastian Nusser 9

20 FDT und verrauschte Daten Meßfehler: fast immer bei kontinuierlichen Werten vorhanden der Fehler wird an den Grenzen zwischen den Attributwerten durch Zugehörigkeitsgrade reduziert fehleranfällige Objekte können geringere Klassenzugehörigkeiten zugewiesen bekommen subjektive Urteile: Glaubwürdigkeit durch Zugehörigkeitswerte steuerbar inkonsistente Daten lassen sich verarbeiten 27. März 23 Sebastian Nusser 2

21 FDT und fehlende Attributwerte Wahrscheinlichkeit für bestimmten Attributwert: Wahrscheinlichkeit kann Glaubwürdigkeit des gesamten Beispiels verringern Wichtung der Klassenzugehörigkeit mit der Wahrscheinlichkeit für ergänzten Attributwert Attributwertbestimmung: das Attribut mit fehlendem Attributwert wird Zielattribut, der FDT kann dann über die Klassenzugehörigkeit die Sicherheit für den Attributwert bestimmen Attributwert "unbekannt ": Klassenzugehörigkeit bleibt unverändert 27. März 23 Sebastian Nusser 2

22 Unterschiede FDT zu DT Beispiele können in mehreren Knoten auftreten, d.h. für jedes Beispiel wird ein Zugehörigkeitsgrad zu jedem Knoten des Baumes bestimmt die Berechnung des Informationsgehaltes muss u.u. angepasst werden, um die partiellen Zugehörigkeiten abzubilden (zusätzliche Normierung) größere Robustheit bzgl. inkonsistenter Daten 27. März 23 Sebastian Nusser 22

23 Literatur & Anwendungen CIspace: Tools for Learning Computational Intelligence M. Guetova. Inkrementelle Fuzzy-Entscheidungsbäume. Diplomarbeit TU Dresden, 2. C.Z. Janikow. Fuzzy Decision Trees: Issues and Methods T. Scheffer. Entscheidungsbäume. Vorlesungsfolien Data Mining, WS22/23. J. Zeidler. Unscharfe Entscheidungsbäume. Dissertation TU Chemnitz, März 23 Sebastian Nusser 23