Darstellung, Verarbeitung und Erwerb von Wissen

Transkript

1 Darstellung, Verarbeitung und Erwerb von Wissen Gabriele Kern-Isberner LS 1 Information Engineering TU Dortmund Wintersemester 2015/16 WS 2015/16 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/16 1 / 169

2 Kapitel 5 Data Mining und Assoziationsregeln 5. Wissenserwerb und Wissensentdeckung 5.6 Data Mining und Assoziationsregeln G. Kern-Isberner (TU Dortmund) DVEW WS 2015/16 89 / 169

3 Eine Assoziationsregel hat die Form Data Mining und Assoziationsregeln Assoziationsregeln X Y wobei X und Y disjunkte Itemmengen sind. Der Support einer Assoziationsregel ist definiert als der Support von Prämisse + Konklusion: support(x Y ) = support(x Y ) Die Konfidenz einer Assoziationsregel X Y ist der (relative) Anteil derjenigen der X enthaltenden Transaktionen, die auch Y enthalten: confidence(x Y ) = support(x Y ) support(x) G. Kern-Isberner (TU Dortmund) DVEW WS 2015/16 96 / 169

4 Data Mining und Assoziationsregeln KDD-Suche nach Assoziationsregeln Finde alle Assoziationsregeln, die in der betrachteten Datenbasis mit einem Support von mindestens minsupp und einer Konfidenz von mindestens minconf gelten, wobei minsupp und minconf benutzerdefinierte Werte sind. Finde alle Itemmengen, deren Support über der minsupp-schwelle liegt; diese Itemmengen werden häufige Itemmengen (frequent itemsets) genannt. Finde in jeder häufigen Itemmenge I alle Assoziationsregeln I (I I ) mit I I, deren Konfidenz mindestens minconf beträgt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/16 97 / 169

5 Data Mining und Assoziationsregeln Berechnung der Assoziationsregeln 1/3 Aus den häufigen Itemmengen müssen noch die gesuchten Assoziationsregeln mit einer Konfidenz minconf bestimmt werden. Dabei nutzt man folgenden Zusammenhang aus: Beträgt für Itemmengen X, Y mit Y X die Konfidenz einer Regel (X Y ) Y mindestens minconf, so gilt dies auch für jede Regel der Form (X Y ) Y mit Y Y. Erfüllt also eine Assoziationsregel das Konfidenzkriterium, so auch alle Regeln, die sich aus denselben Items und mit kürzerer Konklusion bilden lassen. Bilde zuerst Assoziationsregeln mit möglichst kurzer Konklusion und erweitere die Konklusion schrittweise. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

6 Data Mining und Assoziationsregeln Berechnung der Assoziationsregeln 3/3... aus einer häufigen Itemmenge X: Berechne alle Assoziationsregeln mit genügend großer Konfidenz, deren Konklusion nur ein Item enthält. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

7 Data Mining und Assoziationsregeln Berechnung der Assoziationsregeln 3/3... aus einer häufigen Itemmenge X: Berechne alle Assoziationsregeln mit genügend großer Konfidenz, deren Konklusion nur ein Item enthält. Ist H m eine Menge von m-item-konklusionen von X, so setze H m+1 := AprioriGen(H m ) Für alle Konklusionen h m+1 H m+1 überprüft man nun die Konfidenz der Regel (X h m+1 ) h m+1 ; liegt sie über der Schwelle minconf, so wird die Regel ausgegeben, andernfalls wird h m+1 aus H m+1 entfernt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

8 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse Einkaufstransaktionen in einem Drogeriemarkt: Label Artikel t 1 t 2 t 3 t 4 t 5 t 6 t 7 t 8 t 9 t 10 support A Seife 0.4 B Shampoo 0.8 C Haarspülung 0.6 D Duschgel 0.6 E Zahnpasta 0.4 F Zahnbürste 0.2 G Haarfärbemittel 0.3 H Haargel 0.1 J Deodorant 0.6 K Parfüm 0.2 L Kosmetikartikel 0.5 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

9 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Festlegung des minimalen Supports und der minimalen Konfidenz: minsupp = 0.4, minconf = 0.7 In realen Anwendungen wird minsupp in der Regel sehr viel kleiner gewählt (oft < 1%). G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

10 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Festlegung des minimalen Supports und der minimalen Konfidenz: minsupp = 0.4, minconf = 0.7 In realen Anwendungen wird minsupp in der Regel sehr viel kleiner gewählt (oft < 1%). Bestimmung der häufigen k-itemmengen: k=1: L 1 = {{A}, {B}, {C}, {D}, {E}, {J}, {L}} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

11 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Festlegung des minimalen Supports und der minimalen Konfidenz: minsupp = 0.4, minconf = 0.7 In realen Anwendungen wird minsupp in der Regel sehr viel kleiner gewählt (oft < 1%). Bestimmung der häufigen k-itemmengen: k=1: L 1 = {{A}, {B}, {C}, {D}, {E}, {J}, {L}} k=2: Berechnung der Kandidatenmenge C 2 für L 2 durch paarweise Kombinationen der Mengen in L 1 : G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

12 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) C 2 -Menge Support C 2 -Menge Support C 2 -Menge Support {A,B} 0.2 {B,D} 0.5 {C,L} 0.4 {A,C} 0.1 {B,E} 0.2 {D,E} 0.2 {A,D} 0.2 {B,J} 0.4 {D,J} 0.3 {A,E} 0.3 {B,L} 0.5 {D,L} 0.3 {A,J} 0.2 {C,D} 0.3 {E,J} 0.3 {A,L} 0.0 {C,E} 0.1 {E,L} 0.0 {B,C} 0.6 {C,J} 0.4 {J,L} 0.3 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

13 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) C 2 -Menge Support C 2 -Menge Support C 2 -Menge Support {A,B} 0.2 {B,D} 0.5 {C,L} 0.4 {A,C} 0.1 {B,E} 0.2 {D,E} 0.2 {A,D} 0.2 {B,J} 0.4 {D,J} 0.3 {A,E} 0.3 {B,L} 0.5 {D,L} 0.3 {A,J} 0.2 {C,D} 0.3 {E,J} 0.3 {A,L} 0.0 {C,E} 0.1 {E,L} 0.0 {B,C} 0.6 {C,J} 0.4 {J,L} 0.3 Bemerkung: Kein Teilmengencheck, da per Konstruktion alle betrachteten 1-Teilmengen auch in L 1 liegen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

14 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Also ist L 2 = {{B, C}, {B, D}, {B, J}, {B, L}, {C, J}, {C, L}} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

15 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Also ist L 2 = {{B, C}, {B, D}, {B, J}, {B, L}, {C, J}, {C, L}} k=3: Berechnung der Kandidatenmenge C 3 (zum Vergleich mit und ohne Teilmengencheck, d.h. alle 2-Teilmengen müssen in L 2 liegen): C 3 vor Teilmengencheck {B,C,D} {B,C,J} {B,C,L} {B,D,J} {B,D,L} {B,J,L} {C,J,L} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

16 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Also ist L 2 = {{B, C}, {B, D}, {B, J}, {B, L}, {C, J}, {C, L}} k=3: Berechnung der Kandidatenmenge C 3 (zum Vergleich mit und ohne Teilmengencheck, d.h. alle 2-Teilmengen müssen in L 2 liegen): C 3 vor Teilmengencheck C 3 nach Teilmengencheck Support {B,C,D} {B,C,J} 0.4 {B,C,J} {B,C,L} 0.4 {B,C,L} {B,D,J} {B,D,L} {B,J,L} {C,J,L} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

17 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Damit ist L 3 = {{B, C, J}, {B, C, L}} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

18 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Damit ist L 3 = {{B, C, J}, {B, C, L}} Die einzig mögliche weitere Kombination {B, C, J, L} ist nicht häufig, da (z. B.) {C, J, L} nicht in L 3 enthalten ist; folglich ist C 4 = L 4 = G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

19 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Damit ist L 3 = {{B, C, J}, {B, C, L}} Die einzig mögliche weitere Kombination {B, C, J, L} ist nicht häufig, da (z. B.) {C, J, L} nicht in L 3 enthalten ist; folglich ist C 4 = L 4 = Berechnung der Assoziationsregeln aus den häufigen Itemmengen: Es bezeichne (wie oben) H m die Menge der m-item-konklusionen der jeweils betrachteten häufigen Itemmenge. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

20 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 2, d.h. aus gebildete Regeln: L 2 = {{B, C}, {B, D}, {B, J}, {B, L}, {C, J}, {C, L}} Regel Konfidenz Regel Konfidenz B C 0.75 C B 1.00 B D 0.63 D B 0.83 B J 0.50 J B 0.67 B L 0.63 L B 1.00 C J 0.67 J C 0.67 C L 0.67 L C 0.80 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

21 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 3, d.h. aus gebildete Regeln: L 3 = {{B, C, J}, {B, C, L}} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

22 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 3, d.h. aus L 3 = {{B, C, J}, {B, C, L}} gebildete Regeln: Aus {B, C, J} (mit H 1 = {B, C, J}) entstehen die folgenden Regeln: BC J [0.67], BJ C [1.00], CJ B [1.00] G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

23 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 3, d.h. aus L 3 = {{B, C, J}, {B, C, L}} gebildete Regeln: Aus {B, C, J} (mit H 1 = {B, C, J}) entstehen die folgenden Regeln: BC J [0.67], BJ C [1.00], CJ B [1.00] Folglich wird J aus H 1 entfernt: H 1 := {B, C} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

24 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 3, d.h. aus L 3 = {{B, C, J}, {B, C, L}} gebildete Regeln: Aus {B, C, J} (mit H 1 = {B, C, J}) entstehen die folgenden Regeln: BC J [0.67], BJ C [1.00], CJ B [1.00] Folglich wird J aus H 1 entfernt: H 1 := {B, C} H 2 := AprioriGen(H 1 ) = {{B, C}} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

25 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 3, d.h. aus L 3 = {{B, C, J}, {B, C, L}} gebildete Regeln: Aus {B, C, J} (mit H 1 = {B, C, J}) entstehen die folgenden Regeln: BC J [0.67], BJ C [1.00], CJ B [1.00] Folglich wird J aus H 1 entfernt: H 1 := {B, C} H 2 := AprioriGen(H 1 ) = {{B, C}} führt auf die Regel J BC [0.67], deren Konfidenz allerdings unterhalb der gewählten Schwelle liegt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

26 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Aus {B, C, L} erhält man die Regeln BC L [0.67], BL C [0.8], CL B [1.00] G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

27 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Aus {B, C, L} erhält man die Regeln BC L [0.67], BL C [0.8], CL B [1.00] und durch Erweiterung der Konklusion noch L BC [0.8] die ebenfalls ausgegeben wird. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

28 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Aus {B, C, L} erhält man die Regeln BC L [0.67], BL C [0.8], CL B [1.00] und durch Erweiterung der Konklusion noch die ebenfalls ausgegeben wird. L BC [0.8] Durch den Apriori-Algorithmus werden insgesamt folgende Regeln berechnet: G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

29 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regel Support Konfidenz Shampoo Haarspülung Haarspülung Shampoo Duschgel Shampoo Kosmetik Shampoo Kosmetik Haarspülung Shampoo, Deodorant Haarspülung Haarspülung, Deodorant Shampoo Shampoo, Kosmetik Haarspülung Haarspülung, Kosmetik Shampoo Kosmetik Shampoo, Haarspülung G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

30 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

31 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

32 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; Bankenwesen: Aufdeckung von Kreditkartenmissbrauch, Bonitätsanalyse und Devisenkursprognose; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

33 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; Bankenwesen: Aufdeckung von Kreditkartenmissbrauch, Bonitätsanalyse und Devisenkursprognose; (Electronic) Commerce: Kundenprofile, Auswahl möglicher Kunden (Zielgruppen), Kundensegmentierung; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

34 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; Bankenwesen: Aufdeckung von Kreditkartenmissbrauch, Bonitätsanalyse und Devisenkursprognose; (Electronic) Commerce: Kundenprofile, Auswahl möglicher Kunden (Zielgruppen), Kundensegmentierung; Internet: Suchen nach relevanter Information (web mining); G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

35 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; Bankenwesen: Aufdeckung von Kreditkartenmissbrauch, Bonitätsanalyse und Devisenkursprognose; (Electronic) Commerce: Kundenprofile, Auswahl möglicher Kunden (Zielgruppen), Kundensegmentierung; Internet: Suchen nach relevanter Information (web mining); Wissenschaft: Gewinnung wichtiger Informationen über beobachtete Phänomene, Finden kausaler Zusammenhänge; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

36 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; Bankenwesen: Aufdeckung von Kreditkartenmissbrauch, Bonitätsanalyse und Devisenkursprognose; (Electronic) Commerce: Kundenprofile, Auswahl möglicher Kunden (Zielgruppen), Kundensegmentierung; Internet: Suchen nach relevanter Information (web mining); Wissenschaft: Gewinnung wichtiger Informationen über beobachtete Phänomene, Finden kausaler Zusammenhänge; Geologie: Auffinden verdächtiger seismographischer Strukturen, z.b. zur Vorhersage von Erdbeben. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

37 Übersicht Kapitel (Kurze) Einführung 5.2 Clustering 5.3 Entscheidungsbäume 5.4 Assoziationsregeln 5.5 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

38 Kapitel 5 5. Wissenserwerb und Wissensentdeckung 5.4 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

39 Lernen von Konzepten 1/2 Konzepte beschreiben spezifische Teilmengen von Objekten etc. (s. auch Beschreibungslogiken!) Beispiele: Auto Säugetier stetige Funktion G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

40 Lernen von Konzepten 1/2 Konzepte beschreiben spezifische Teilmengen von Objekten etc. (s. auch Beschreibungslogiken!) Beispiele: Auto Säugetier stetige Funktion Ein Konzept lässt sich damit als Boolesche Funktion auffassen, die Objekten etc. die Werte true bzw. false zuordnet, je nachdem, ob das Objekt zu der spezifischen Teilmenge gehört oder nicht. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

41 Lernen von Konzepten 2/2 Aufgabe des s: Aus einer Menge von positiven (und negativen) Beispielen für ein Konzept c soll eine allgemeine Definition von c generiert werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

42 Lernen von Konzepten 2/2 Aufgabe des s: Aus einer Menge von positiven (und negativen) Beispielen für ein Konzept c soll eine allgemeine Definition von c generiert werden. Unterschiede zum Entscheidungsbaumlernen: Konzepte können durch komplexere Darstellungen beschrieben werden; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

43 Lernen von Konzepten 2/2 Aufgabe des s: Aus einer Menge von positiven (und negativen) Beispielen für ein Konzept c soll eine allgemeine Definition von c generiert werden. Unterschiede zum Entscheidungsbaumlernen: Konzepte können durch komplexere Darstellungen beschrieben werden; Konzeptlernverfahren sind meistens inkrementelle Lernverfahren. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

44 Konzepte und Beispiele Ein Konzept c ist eine einstellige Funktion c : M {0, 1} über einer Grundmenge M von Beispielen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

45 Konzepte und Beispiele Ein Konzept c ist eine einstellige Funktion c : M {0, 1} über einer Grundmenge M von Beispielen. Für x M gilt x gehört zum Konzept c (x ist ein positives Beispiel, c deckt x ab) gdw. c(x) = 1; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

46 Konzepte und Beispiele Ein Konzept c ist eine einstellige Funktion c : M {0, 1} über einer Grundmenge M von Beispielen. Für x M gilt x gehört zum Konzept c (x ist ein positives Beispiel, c deckt x ab) gdw. c(x) = 1; x gehört nicht zum Konzept c (x ist ein negatives Beispiel) gdw. c(x) = 0. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

47 Konzepte und Beispiele Ein Konzept c ist eine einstellige Funktion c : M {0, 1} über einer Grundmenge M von Beispielen. Für x M gilt x gehört zum Konzept c (x ist ein positives Beispiel, c deckt x ab) gdw. c(x) = 1; x gehört nicht zum Konzept c (x ist ein negatives Beispiel) gdw. c(x) = 0. Die Menge aller positiven Beispiele für c wird auch Extension von c genannt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

48 Vollständigkeit, Korrektheit und Konsistenz Aus einer gegebenen Menge von (positiven und negativen) Beispielen soll ein Konzept gelernt werden, das zu diesen gegebenen Beispielen passt : Sei B M eine Menge von Beispielen und c ein Konzept. c ist vollständig bzgl. B gdw. für alle b B gilt: wenn b positiv ist, dann ist c(b) = 1. D.h., alle positiven Beispiele werden abgedeckt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

49 Vollständigkeit, Korrektheit und Konsistenz Aus einer gegebenen Menge von (positiven und negativen) Beispielen soll ein Konzept gelernt werden, das zu diesen gegebenen Beispielen passt : Sei B M eine Menge von Beispielen und c ein Konzept. c ist vollständig bzgl. B gdw. für alle b B gilt: wenn b positiv ist, dann ist c(b) = 1. D.h., alle positiven Beispiele werden abgedeckt. c ist korrekt bzgl. B gdw. für alle b B gilt: wenn b negativ ist, dann ist c(b) = 0. D.h., es wird kein negatives Beispiel abgedeckt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

50 Vollständigkeit, Korrektheit und Konsistenz Aus einer gegebenen Menge von (positiven und negativen) Beispielen soll ein Konzept gelernt werden, das zu diesen gegebenen Beispielen passt : Sei B M eine Menge von Beispielen und c ein Konzept. c ist vollständig bzgl. B gdw. für alle b B gilt: wenn b positiv ist, dann ist c(b) = 1. D.h., alle positiven Beispiele werden abgedeckt. c ist korrekt bzgl. B gdw. für alle b B gilt: wenn b negativ ist, dann ist c(b) = 0. D.h., es wird kein negatives Beispiel abgedeckt. c ist konsistent bzgl. B gdw. c ist vollständig und korrekt bzgl. B. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

51 Konzeptlernaufgabe Menge aller Beispiele + Extension von c G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

52 Konzeptlernaufgabe Menge aller Beispiele positive Extension Beispiele von c negative Beispiele G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

53 Konzeptlernaufgabe Menge aller Beispiele positive Extension Beispiele von c Konzeptlernverfahren negative Beispiele G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

54 Konzeptlernaufgabe Menge aller Beispiele positive Extension Beispiele von c Konzeptlernverfahren negative Beispiele Konzept h G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

55 Qualitätskriterien Die Güte der Klassifikation lässt sich als Prozentsatz der richtig klassifizierten Objekte der gesamten Grundmenge ausdrücken. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

56 Qualitätskriterien Die Güte der Klassifikation lässt sich als Prozentsatz der richtig klassifizierten Objekte der gesamten Grundmenge ausdrücken. Auf der negativen Seite kann man die Summe der Kosten aller Fehlklassifikationen über der gesamten Grundmenge berechnen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

57 Notizen G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

58 Beispiel Sport Zu erlernendes Konzept: Sportsendungen, die sich Paul Trops im Fernsehen anschaut G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

59 Beispiel Sport Zu erlernendes Konzept: Sportsendungen, die sich Paul Trops im Fernsehen anschaut Menge von Trainingsbeispielen: Beisp. Sport Art Ort Ebene Tag Anschauen X 1 Fußball Mannschaft draußen national Samstag + X 2 Hockey Mannschaft draußen national Samstag + X 3 Bodenturnen Einzel drinnen Welt Samstag X 4 Handball Mannschaft drinnen national Samstag + X 5 Zehnkampf Einzel draußen Welt Sonntag G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

60 Beispiel Sport (Forts.) Beispielsprache: Vektor mit 5 Komponenten (Sport, Art, Ort, Ebene, Tag) und entsprechenden Werten. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

61 Beispiel Sport (Forts.) Beispielsprache: Vektor mit 5 Komponenten (Sport, Art, Ort, Ebene, Tag) und entsprechenden Werten. Konzeptsprache: G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

62 Beispiel Sport (Forts.) Beispielsprache: Vektor mit 5 Komponenten (Sport, Art, Ort, Ebene, Tag) und entsprechenden Werten. Konzeptsprache: Vektor mit 5 Komponenten Sport, Art, Ort, Ebene, Tag (Constraints zur Einschränkung möglicher Werte); für jedes Attribut gibt die Hypothese einen der drei folgenden Fälle an:? zeigt an, dass jeder Attributwert akzeptabel ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

63 Beispiel Sport (Forts.) Beispielsprache: Vektor mit 5 Komponenten (Sport, Art, Ort, Ebene, Tag) und entsprechenden Werten. Konzeptsprache: Vektor mit 5 Komponenten Sport, Art, Ort, Ebene, Tag (Constraints zur Einschränkung möglicher Werte); für jedes Attribut gibt die Hypothese einen der drei folgenden Fälle an:? zeigt an, dass jeder Attributwert akzeptabel ist. Ein bestimmter Attributwert (z.b. Zehnkampf ) spezifiziert, dass nur dieser Wert akzeptabel ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

64 Beispiel Sport (Forts.) Beispielsprache: Vektor mit 5 Komponenten (Sport, Art, Ort, Ebene, Tag) und entsprechenden Werten. Konzeptsprache: Vektor mit 5 Komponenten Sport, Art, Ort, Ebene, Tag (Constraints zur Einschränkung möglicher Werte); für jedes Attribut gibt die Hypothese einen der drei folgenden Fälle an:? zeigt an, dass jeder Attributwert akzeptabel ist. Ein bestimmter Attributwert (z.b. Zehnkampf ) spezifiziert, dass nur dieser Wert akzeptabel ist. zeigt an, dass kein Wert akzeptabel ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

65 Hypothesen Wenn ein Beispiel e alle Constraints einer Hypothese h erfüllt, dann deckt h e ab, also h(e) = 1, anderenfalls gilt h(e) = 0. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

66 Hypothesen Wenn ein Beispiel e alle Constraints einer Hypothese h erfüllt, dann deckt h e ab, also h(e) = 1, anderenfalls gilt h(e) = 0. Beispiel [Sport]: Die Hypothese Fußball,?,?, national,? besagt, dass Paul nur Sportsendungen über Fußballspiele auf nationaler Ebene anschaut. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

67 Hypothesen Wenn ein Beispiel e alle Constraints einer Hypothese h erfüllt, dann deckt h e ab, also h(e) = 1, anderenfalls gilt h(e) = 0. Beispiel [Sport]: Die Hypothese Fußball,?,?, national,? besagt, dass Paul nur Sportsendungen über Fußballspiele auf nationaler Ebene anschaut. Die allgemeinste Hypothese wird durch?,?,?,?,? repräsentiert (deckt alle Beispiele ab), G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

68 Hypothesen Wenn ein Beispiel e alle Constraints einer Hypothese h erfüllt, dann deckt h e ab, also h(e) = 1, anderenfalls gilt h(e) = 0. Beispiel [Sport]: Die Hypothese Fußball,?,?, national,? besagt, dass Paul nur Sportsendungen über Fußballspiele auf nationaler Ebene anschaut. Die allgemeinste Hypothese wird durch?,?,?,?,? repräsentiert (deckt alle Beispiele ab), während die speziellste Hypothese,,,, kein Beispiel abdeckt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

69 Konzeptlernproblem 1/2 Ein Konzeptlernproblem hat die folgenden Komponenten: eine Beispielsprache L E, in der Beispiele beschrieben werden; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

70 Konzeptlernproblem 1/2 Ein Konzeptlernproblem hat die folgenden Komponenten: eine Beispielsprache L E, in der Beispiele beschrieben werden; eine Konzeptsprache L C, in der Konzepte beschrieben werden. Jede Konzeptbeschreibung k L C definiert eine Abbildung k : L E {0, 1} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

71 Konzeptlernproblem 1/2 Ein Konzeptlernproblem hat die folgenden Komponenten: eine Beispielsprache L E, in der Beispiele beschrieben werden; eine Konzeptsprache L C, in der Konzepte beschrieben werden. Jede Konzeptbeschreibung k L C definiert eine Abbildung k : L E {0, 1} ein zu erlernendes Zielkonzept c L C ; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

72 Konzeptlernproblem 1/2 Ein Konzeptlernproblem hat die folgenden Komponenten: eine Beispielsprache L E, in der Beispiele beschrieben werden; eine Konzeptsprache L C, in der Konzepte beschrieben werden. Jede Konzeptbeschreibung k L C definiert eine Abbildung k : L E {0, 1} ein zu erlernendes Zielkonzept c L C ; eine Menge P L E von positiven Beispielen für das zu erlernende Konzept, d.h., für alle p P gilt c(p) = 1; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

73 Konzeptlernproblem 1/2 Ein Konzeptlernproblem hat die folgenden Komponenten: eine Beispielsprache L E, in der Beispiele beschrieben werden; eine Konzeptsprache L C, in der Konzepte beschrieben werden. Jede Konzeptbeschreibung k L C definiert eine Abbildung k : L E {0, 1} ein zu erlernendes Zielkonzept c L C ; eine Menge P L E von positiven Beispielen für das zu erlernende Konzept, d.h., für alle p P gilt c(p) = 1; eine Menge N L E von negativen Beispielen, die von dem zu erlernenden Konzept nicht erfasst werden sollen, d.h., für alle n N gilt c(n) = 0. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

74 Konzeptlernproblem 2/2 Ziel der Konzeptlernaufgabe: Bestimme ein Konzept h aus der Konzeptsprache, so dass h(e) = c(e) für alle Beispiele e L E ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

75 Konzeptlernproblem 2/2 Ziel der Konzeptlernaufgabe: Bestimme ein Konzept h aus der Konzeptsprache, so dass h(e) = c(e) für alle Beispiele e L E ist. Idealisierende Annahmen: P und N enthalten keine Fehler; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

76 Konzeptlernproblem 2/2 Ziel der Konzeptlernaufgabe: Bestimme ein Konzept h aus der Konzeptsprache, so dass h(e) = c(e) für alle Beispiele e L E ist. Idealisierende Annahmen: P und N enthalten keine Fehler; L C ist genügend mächtig, um das gesuchte Konzept auch tatsächlich ausdrücken zu können. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

77 Beispiel Sport (Forts.) e 1 = Hockey, Mannschaft, draußen, Welt, Mittwoch L E G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

78 Beispiel Sport (Forts.) e 1 = Hockey, Mannschaft, draußen, Welt, Mittwoch L E h 1 =?, Mannschaft,?, Welt,? L C G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

79 Beispiel Sport (Forts.) e 1 = Hockey, Mannschaft, draußen, Welt, Mittwoch L E h 1 =?, Mannschaft,?, Welt,? L C Für die durch h 1 definierte Abbildung h 1 : L E {0, 1} gilt h 1 (e) = 1 genau dann, wenn Art = Mannschaft und Ebene = Welt ist, wobei die übrigen Attribute Sport, Ort und Tag beliebige Werte annehmen können. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

80 Beispiel Sport (Forts.) e 1 = Hockey, Mannschaft, draußen, Welt, Mittwoch L E h 1 =?, Mannschaft,?, Welt,? L C Für die durch h 1 definierte Abbildung h 1 : L E {0, 1} gilt h 1 (e) = 1 genau dann, wenn Art = Mannschaft und Ebene = Welt ist, wobei die übrigen Attribute Sport, Ort und Tag beliebige Werte annehmen können. Für das zu erlernende Konzept c : L E {0, 1} gilt c(e) = 1 genau dann, wenn Paul Trops sich die durch e beschriebene Sportsendung im Fernsehen anschaut. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

81 Beispiel Sport (Forts.) e 1 = Hockey, Mannschaft, draußen, Welt, Mittwoch L E h 1 =?, Mannschaft,?, Welt,? L C Für die durch h 1 definierte Abbildung h 1 : L E {0, 1} gilt h 1 (e) = 1 genau dann, wenn Art = Mannschaft und Ebene = Welt ist, wobei die übrigen Attribute Sport, Ort und Tag beliebige Werte annehmen können. Für das zu erlernende Konzept c : L E {0, 1} gilt c(e) = 1 genau dann, wenn Paul Trops sich die durch e beschriebene Sportsendung im Fernsehen anschaut. Menge der positiven Beispiele: P = {X 1, X 2, X 4 }; Menge der negativen Beispiele: N = {X 3, X 5 }. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

82 Lernen von Konzepten als Suchproblem Suchraum: Menge aller möglichen Hypothesen Beispiel [Sport]: Anzahl möglicher Beispiele: = 280; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

83 Lernen von Konzepten als Suchproblem Suchraum: Menge aller möglichen Hypothesen Beispiel [Sport]: Anzahl möglicher Beispiele: = 280; Anzahl syntaktisch verschiedener Hypothesen: = 4032; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

84 Lernen von Konzepten als Suchproblem Suchraum: Menge aller möglichen Hypothesen Beispiel [Sport]: Anzahl möglicher Beispiele: = 280; Anzahl syntaktisch verschiedener Hypothesen: = 4032; Anzahl semantisch verschiedener Hypothesen: = 1297; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

85 Lernen von Konzepten als Suchproblem Suchraum: Menge aller möglichen Hypothesen Beispiel [Sport]: Anzahl möglicher Beispiele: = 280; Anzahl syntaktisch verschiedener Hypothesen: = 4032; Anzahl semantisch verschiedener Hypothesen: = 1297; Wichtig zur Bewältigung des Suchproblems: Der Hypothesensuchraum muss z.b. durch eine partielle Ordnung (d.h. eine reflexive, transitive und antisymmetrische Relation) strukturiert werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

86 Spezialisierung und Generalisierung Seien h 1, h 2 : L E {0, 1} zwei Konzepte. h 1 ist spezieller als oder gleich h 2 (h 2 ist allgemeiner oder gleich h 1 ), h 1 h 2 gdw. e L E (h 1 (e) = 1 h 2 (e) = 1), wenn also jedes bezgl. h 1 positive Beispiel auch von h 2 abgedeckt wird und umgekehrt jedes bezgl. h 2 negative Beispiel auch von h 1 nicht abgedeckt wird. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

87 Spezialisierung und Generalisierung Seien h 1, h 2 : L E {0, 1} zwei Konzepte. h 1 ist spezieller als oder gleich h 2 (h 2 ist allgemeiner oder gleich h 1 ), h 1 h 2 gdw. e L E (h 1 (e) = 1 h 2 (e) = 1), wenn also jedes bezgl. h 1 positive Beispiel auch von h 2 abgedeckt wird und umgekehrt jedes bezgl. h 2 negative Beispiel auch von h 1 nicht abgedeckt wird. h 1 ist (echt) spezieller als h 2 bzw. h 2 ist (echt) allgemeiner als h 1 h 1 < h 2 gdw. h 1 h 2 und h 2 h 1. Diese Definition ist unabhängig von der gewählten Sprache! G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

88 Beispiel Sport (Forts.) h 1 h 3 h 2 spezieller allgemeiner h 1 = <Fußball,?,?, national,?> h 2 = <Fußball,?,?,?,?> h 3 = <Fußball,?,?,?, Samstag> h 1 h 2, h 3 h 2 h 1 und h 3 sind aber nicht miteinander vergleichbar! G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

89 Suchstrategien 1/2 Die Beispiele werden inkrementell zur Verfügung gestellt. Kandidaten-Eliminations-Methode: Zu Beginn umfasst der Hypothesenraum H die ganze Menge L C ; bei jedem neuen Beispiel e werden dann aus H alle Hypothesen entfernt, die nicht mit der vorgegebenen Klassifikation von e übereinstimmen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

90 Suchstrategien 1/2 Die Beispiele werden inkrementell zur Verfügung gestellt. Kandidaten-Eliminations-Methode: Zu Beginn umfasst der Hypothesenraum H die ganze Menge L C ; bei jedem neuen Beispiel e werden dann aus H alle Hypothesen entfernt, die nicht mit der vorgegebenen Klassifikation von e übereinstimmen. Suchrichtung speziell allgemein: Als initiale Hypothese h wird die speziellste Hypothese aus L C genommen. h wird dann schrittweise bei jedem neuen positiven Beispiel e, das noch nicht von h abgedeckt wird, gerade soweit verallgemeinert, dass e mit abgedeckt wird. Als Ergebnis erhält man eine speziellste Hypothese, die konsistent mit den gegebenen Beispielen ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

91 Suchstrategien 2/2 Suchrichtung allgemein speziell: Als initiale Hypothese h wird die allgemeinste Hypothese genommen. Bei jedem neuen negativen Beispiel e, das fälschlicherweise von h mit abgedeckt wird, muss h gerade so weit spezialisiert werden, dass e nicht mehr von h abgedeckt wird. Als Ergebnis erhält man eine allgemeinste Hypothese, die konsistent mit den angegebenen Beispielen ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

92 Versionenraumlernverfahren Grundidee des Versionenraumverfahrens: sucht in beiden Richtungen spezieller allgemeiner gleichzeitig; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

93 Versionenraumlernverfahren Grundidee des Versionenraumverfahrens: sucht in beiden Richtungen spezieller allgemeiner gleichzeitig; repräsentiert zu jedem Zeitpunkt die Menge aller Hypothesen, die konsistent mit der Trainingsmenge sind. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

94 Versionenraumlernverfahren Grundidee des Versionenraumverfahrens: sucht in beiden Richtungen spezieller allgemeiner gleichzeitig; repräsentiert zu jedem Zeitpunkt die Menge aller Hypothesen, die konsistent mit der Trainingsmenge sind. Sei B eine Menge von Trainingsbeispielen. Dann ist die Menge V B = {h L C h ist konsistent bzgl. B} der Versionenraum bzgl. der Beispielmenge B. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

95 Versionenraumlernverfahren Grundidee des Versionenraumverfahrens: sucht in beiden Richtungen spezieller allgemeiner gleichzeitig; repräsentiert zu jedem Zeitpunkt die Menge aller Hypothesen, die konsistent mit der Trainingsmenge sind. Sei B eine Menge von Trainingsbeispielen. Dann ist die Menge V B = {h L C h ist konsistent bzgl. B} der Versionenraum bzgl. der Beispielmenge B. Das Versionenraum-Lernverfahren arbeitet prinzipiell nach der Kandidaten-Eliminations-Methode, wobei die einzelnen Hypothesen in kompakter Form repräsentiert werden, nämlich durch zwei Begrenzungsmengen: die speziellsten und die allgemeinsten Hypothesen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

96 Versionenraumlernverfahren Beispiel S: {<?, Mannschaft,?, national, Samstag>} <?, Mannschaft,?,?, Samstag> <?, Mannschaft,?, national,?> <?,?,?, national, Samstag> G: {<?, Mannschaft,?,?,?>, <?,?,? national,?>} Versionenraum mit 6 Hypothesen in partieller Ordnung, begrenzt durch die Mengen S und G. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

97 Speziellste und allgemeinste Generalisierung Zu einer Beispielmenge B werden die Begrenzungsmengen wie folgt definiert: Ein Konzept h ist eine speziellste Generalisierung von B gdw. gilt: h ist konsistent bzgl. B; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

98 Speziellste und allgemeinste Generalisierung Zu einer Beispielmenge B werden die Begrenzungsmengen wie folgt definiert: Ein Konzept h ist eine speziellste Generalisierung von B gdw. gilt: h ist konsistent bzgl. B; es gibt kein Konzept h, das konsistent bzgl. B ist und für das h < h gilt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

99 Speziellste und allgemeinste Generalisierung Zu einer Beispielmenge B werden die Begrenzungsmengen wie folgt definiert: Ein Konzept h ist eine speziellste Generalisierung von B gdw. gilt: h ist konsistent bzgl. B; es gibt kein Konzept h, das konsistent bzgl. B ist und für das h < h gilt. Ein Konzept h ist eine allgemeinste Generalisierung von B gdw. gilt: h ist konsistent bzgl. B; es gibt kein Konzept h, das konsistent bzgl. B ist und für das h < h gilt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

100 Versionenraum Repräsentation 1/2 Als obere und untere Schranke eines Versionenraums für eine Beispielmenge B nehmen wir die Menge S der speziellsten und die Menge G der allgemeinsten Generalisierungen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

101 Versionenraum Repräsentation 1/2 Als obere und untere Schranke eines Versionenraums für eine Beispielmenge B nehmen wir die Menge S der speziellsten und die Menge G der allgemeinsten Generalisierungen. Das folgende Theorem präzisiert diese Darstellung: Der Versionenraum enthält genau die Hypothesen, die in S, G oder zwischen S und G liegen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

102 Versionenraum Repräsentation 2/2 Theorem 1 (Repräsentationstheorem für Versionenräume) Sei B eine Menge von Beispielen und S = {h L C h ist speziellste Generalisierung von B} G = {h L C h ist allgemeinste Generalisierung von B} Für den Versionenraum V B gilt: V B = {h L C s S g G (s h g)} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

103 Versionenraum Abbildung Menge S Menge G unvollständige Konzepte... s1 s2... sn... g1 g2... gm... inkorrekte Konzepte spezieller Versionenraum allgemeiner G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

104 Versionenraum Lernverfahren 1/2 Mit jedem neuen Beispiel e müssen die Begrenzungsmengen S und G des aktuellen Versionenraums überprüft und gegebenenfalls angepasst werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

105 Versionenraum Lernverfahren 1/2 Mit jedem neuen Beispiel e müssen die Begrenzungsmengen S und G des aktuellen Versionenraums überprüft und gegebenenfalls angepasst werden. Jede Hypothese h S G ist zu untersuchen: Stimmt h mit e überein d.h. es gilt h(e) = 1, falls e ein positives Beispiel ist, und h(e) = 0, falls e ein negatives Beispiel ist, so ist nichts zu tun. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

106 Versionenraum Lernverfahren 1/2 Mit jedem neuen Beispiel e müssen die Begrenzungsmengen S und G des aktuellen Versionenraums überprüft und gegebenenfalls angepasst werden. Jede Hypothese h S G ist zu untersuchen: Stimmt h mit e überein d.h. es gilt h(e) = 1, falls e ein positives Beispiel ist, und h(e) = 0, falls e ein negatives Beispiel ist, so ist nichts zu tun. Anderenfalls können im Prinzip zwei Fälle auftreten: 1 e ist für h fälschlicherweise negativ, d.h. h(e) = 0, obwohl e ein positives Beispiel ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

107 Versionenraum Lernverfahren 1/2 Mit jedem neuen Beispiel e müssen die Begrenzungsmengen S und G des aktuellen Versionenraums überprüft und gegebenenfalls angepasst werden. Jede Hypothese h S G ist zu untersuchen: Stimmt h mit e überein d.h. es gilt h(e) = 1, falls e ein positives Beispiel ist, und h(e) = 0, falls e ein negatives Beispiel ist, so ist nichts zu tun. Anderenfalls können im Prinzip zwei Fälle auftreten: 1 e ist für h fälschlicherweise negativ, d.h. h(e) = 0, obwohl e ein positives Beispiel ist. 2 e ist für h fälschlicherweise positiv, d.h. h(e) = 1, obwohl e ein negatives Beispiel ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

108 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

109 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

110 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell s muss soweit verallgemeinert werden, dass e mit abgedeckt wird. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

111 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell s muss soweit verallgemeinert werden, dass e mit abgedeckt wird. e ist für g G fälschlicherweise positiv: d.h. g ist zu allgemein G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

112 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell s muss soweit verallgemeinert werden, dass e mit abgedeckt wird. e ist für g G fälschlicherweise positiv: d.h. g ist zu allgemein g muss soweit spezialisiert werden, dass e nicht mehr mit abgedeckt wird. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

113 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell s muss soweit verallgemeinert werden, dass e mit abgedeckt wird. e ist für g G fälschlicherweise positiv: d.h. g ist zu allgemein g muss soweit spezialisiert werden, dass e nicht mehr mit abgedeckt wird. e ist für g G fälschlicherweise negativ: d.h. g ist zu speziell. Alle Hypothesen in G sind aber schon möglichst allgemein, d.h. g kann nicht weiter verallgemeinert werden, ohne die Korrektheit zu verlieren. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

114 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell s muss soweit verallgemeinert werden, dass e mit abgedeckt wird. e ist für g G fälschlicherweise positiv: d.h. g ist zu allgemein g muss soweit spezialisiert werden, dass e nicht mehr mit abgedeckt wird. e ist für g G fälschlicherweise negativ: d.h. g ist zu speziell. Alle Hypothesen in G sind aber schon möglichst allgemein, d.h. g kann nicht weiter verallgemeinert werden, ohne die Korrektheit zu verlieren. g muss also aus G entfernt werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

115 Versionenraum Lernalgorithmus 1/5 function VS Eingabe: Ausgabe: Konzeptlernaufgabe mit den Sprachen L E und L C und Folge von Trainingsbeispielen Versionenraumrepräsentation aller Konzepte, die vollständig und korrekt bzgl. der eingegebenen Beispiele sind G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

116 Versionenraum Lernalgorithmus 1/5 function VS Eingabe: Ausgabe: Konzeptlernaufgabe mit den Sprachen L E und L C und Folge von Trainingsbeispielen Versionenraumrepräsentation aller Konzepte, die vollständig und korrekt bzgl. der eingegebenen Beispiele sind Initialisiere S zu der Menge der speziellsten Hypothesen aus L C Initialisiere G zu der Menge der allgemeinsten Hypothesen aus L C G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

117 Versionenraum Lernalgorithmus 2/5 for each neues Trainingsbeispiel e do if e ist ein positives Beispiel then entferne aus G alle Hypothesen g mit g(e) = 0 for each h S mit h(e) = 0 do entferne h aus S füge zu S alle Hypothesen h hinzu mit: h ist minimale Verallgemeinerung von h bzgl. e und es gibt eine Hypothese g G mit h g entferne aus S jede Hypothese, die (echt) allgemeiner als eine andere Hypothese in S ist G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

118 Versionenraum Lernalgorithmus 3/5 if e ist ein negatives Beispiel then entferne aus S alle Hypothesen s mit s(e) = 1 for each h G mit h(e) = 1 do entferne h aus G füge zu G alle Hypothesen h hinzu mit: h ist minimale Spezialisierung von h bzgl. e und es gibt eine Hypothese s S mit s h entferne aus G jede Hypothese, die (echt) spezieller als eine andere Hypothese in G ist G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

119 Notizen G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

120 Versionenraum Lernalgorithmus 4/5 Wichtig: Minimale Verallgemeinerungen (Spezialisierungen) erfolgen immer so, dass jede neue Hypothese h in S (h in G) immer noch spezieller (allgemeiner) oder gleich einer Hypothese aus G (S) ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

121 Versionenraum Lernalgorithmus 4/5 Wichtig: Minimale Verallgemeinerungen (Spezialisierungen) erfolgen immer so, dass jede neue Hypothese h in S (h in G) immer noch spezieller (allgemeiner) oder gleich einer Hypothese aus G (S) ist. VS terminiert in jedem Fall; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

122 Versionenraum Lernalgorithmus 4/5 Wichtig: Minimale Verallgemeinerungen (Spezialisierungen) erfolgen immer so, dass jede neue Hypothese h in S (h in G) immer noch spezieller (allgemeiner) oder gleich einer Hypothese aus G (S) ist. VS terminiert in jedem Fall; dann liegt eine der folgenden drei Situationen vor: S ist leer und/oder G ist leer: In diesem Fall ist der Versionenraum ebenfalls zur leeren Menge kollabiert, d.h. es gibt keine konsistente Hypothese für die Trainingsbeispiele in dem vorgegebenen Hypothesenraum L C. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

123 Versionenraum Lernalgorithmus 5/5 S und G sind identische einelementige Mengen: S = G = {h}. Das bedeutet, dass die Hypothese h das einzige Konzept aus L C ist, das konsistent bzgl. der Trainingsmenge ist (Idealfall). G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

124 Versionenraum Lernalgorithmus 5/5 S und G sind identische einelementige Mengen: S = G = {h}. Das bedeutet, dass die Hypothese h das einzige Konzept aus L C ist, das konsistent bzgl. der Trainingsmenge ist (Idealfall). Alle Beispiele sind bearbeitet, S und G sind beide nicht leer und enthalten unterschiedliche Hypothesen. In diesem Fall sind alle in dem durch S und G bestimmten Versionenraum liegenden Hypothesen konsistent bzgl. der Trainingsmenge (Normalfall). G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

125 Versionenraum Es gelten folgende allgemeine Beobachtungen: Jede Hypothese, die allgemeiner oder gleich einer Hypothese aus S ist, deckt alle bisherigen positiven Beispiele ab. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

126 Versionenraum Es gelten folgende allgemeine Beobachtungen: Jede Hypothese, die allgemeiner oder gleich einer Hypothese aus S ist, deckt alle bisherigen positiven Beispiele ab. Jede Hypothese, die spezieller oder gleich einer Hypothese aus G ist, deckt keines der bisherigen negativen Beispiele ab. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

127 Beispiel Sport (Forts.) Initialisierung des Versionenraums für das Sportbeispiel: S = S 0 = {,,,, } G = G 0 = {?,?,?,?,? } S 0 : {<,,,, >} G 0 : {<?,?,?,?,?>} Diese beiden Begrenzungsmengen umfassen den gesamten Versionenraum V = L C. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

128 Beispiel Sport (Forts.) S 0 : {<,,,, >} S 1 : {< Fußball, Mannschaft, draußen, national, Samstag>} G 0, G 1 : {<?,?,?,?,?>} X 1 =<Fußball, Mannschaft, draußen, national, Samstag>, + G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

129 Beispiel Sport (Forts.) X 2 =<Hockey, Mannschaft, draußen, national, Samstag>, + wird von G 1 abgedeckt, aber nicht von S 1. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

130 Beispiel Sport (Forts.) S 1 : {< Fußball, Mannschaft, draußen, national, Samstag>} S 2 : {<?, Mannschaft, draußen, national, Samstag>} G 1, G 2 : {<?,?,?,?,?>} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

131 Beispiel Sport (Forts.) X 3 =<Bodenturnen, Einzel, drinnen, Welt, Samstag>, X 3 wird von S 2 nicht abgedeckt, aber fälschlicherweise von der in G 2 enthaltenen Hypothese h 0 =?,?,?,?,? G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

132 Beispiel Sport (Forts.) X 3 =<Bodenturnen, Einzel, drinnen, Welt, Samstag>, X 3 wird von S 2 nicht abgedeckt, aber fälschlicherweise von der in G 2 enthaltenen Hypothese h 0 =?,?,?,?,? diese Hypothese muss spezialisiert werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

133 Beispiel Sport (Forts.) S 2, S 3 : {<?, Mannschaft, draußen, national, Samstag>} G 3 : {<?, Mannschaft,?,?,?> <?,?, draußen,?,?> <?,?,?, national,?,>} G 2 : {<?,?,?,?,?>} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

134 Notizen G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

135 Beispiel Sport (Forts.) X 4 =<Handball, Mannschaft, drinnen, national, Samstag>, + G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

136 Beispiel Sport (Forts.) X 4 =<Handball, Mannschaft, drinnen, national, Samstag>, + Die in S 3 enthaltene Hypothese?, Mannschaft, draußen, national, Samstag muss zu?, Mannschaft,?, national, Samstag verallgemeinert werden, damit X 4 ebenfalls mit abgedeckt wird. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

137 Beispiel Sport (Forts.) X 4 =<Handball, Mannschaft, drinnen, national, Samstag>, + Die in S 3 enthaltene Hypothese muss zu?, Mannschaft, draußen, national, Samstag?, Mannschaft,?, national, Samstag verallgemeinert werden, damit X 4 ebenfalls mit abgedeckt wird. Aus G 3 muss die Hypothese?,?, draußen,?,? entfernt werden, da sie X 4 nicht mit abdeckt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169

138 Beispiel Sport (Forts.) S 3 : {<?, Mannschaft, draußen, national, Samstag>} S 4 : {<?, Mannschaft,?, national, Samstag>} G 4 : {<?, Mannschaft,?,?,?> <?,?,?, national,?>} G 3 : {<?, Mannschaft,?,?,?> <?,?, draußen,?,?> <?,?,?, national,?,>} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169