Darstellung, Verarbeitung und Erwerb von Wissen
|
|
- Günter Richter
- vor 5 Jahren
- Abrufe
Transkript
1 Darstellung, Verarbeitung und Erwerb von Wissen Gabriele Kern-Isberner LS 1 Information Engineering TU Dortmund Wintersemester 2015/16 WS 2015/16 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/16 1 / 169
2 Kapitel 5 Data Mining und Assoziationsregeln 5. Wissenserwerb und Wissensentdeckung 5.6 Data Mining und Assoziationsregeln G. Kern-Isberner (TU Dortmund) DVEW WS 2015/16 89 / 169
3 Eine Assoziationsregel hat die Form Data Mining und Assoziationsregeln Assoziationsregeln X Y wobei X und Y disjunkte Itemmengen sind. Der Support einer Assoziationsregel ist definiert als der Support von Prämisse + Konklusion: support(x Y ) = support(x Y ) Die Konfidenz einer Assoziationsregel X Y ist der (relative) Anteil derjenigen der X enthaltenden Transaktionen, die auch Y enthalten: confidence(x Y ) = support(x Y ) support(x) G. Kern-Isberner (TU Dortmund) DVEW WS 2015/16 96 / 169
4 Data Mining und Assoziationsregeln KDD-Suche nach Assoziationsregeln Finde alle Assoziationsregeln, die in der betrachteten Datenbasis mit einem Support von mindestens minsupp und einer Konfidenz von mindestens minconf gelten, wobei minsupp und minconf benutzerdefinierte Werte sind. Finde alle Itemmengen, deren Support über der minsupp-schwelle liegt; diese Itemmengen werden häufige Itemmengen (frequent itemsets) genannt. Finde in jeder häufigen Itemmenge I alle Assoziationsregeln I (I I ) mit I I, deren Konfidenz mindestens minconf beträgt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/16 97 / 169
5 Data Mining und Assoziationsregeln Berechnung der Assoziationsregeln 1/3 Aus den häufigen Itemmengen müssen noch die gesuchten Assoziationsregeln mit einer Konfidenz minconf bestimmt werden. Dabei nutzt man folgenden Zusammenhang aus: Beträgt für Itemmengen X, Y mit Y X die Konfidenz einer Regel (X Y ) Y mindestens minconf, so gilt dies auch für jede Regel der Form (X Y ) Y mit Y Y. Erfüllt also eine Assoziationsregel das Konfidenzkriterium, so auch alle Regeln, die sich aus denselben Items und mit kürzerer Konklusion bilden lassen. Bilde zuerst Assoziationsregeln mit möglichst kurzer Konklusion und erweitere die Konklusion schrittweise. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
6 Data Mining und Assoziationsregeln Berechnung der Assoziationsregeln 3/3... aus einer häufigen Itemmenge X: Berechne alle Assoziationsregeln mit genügend großer Konfidenz, deren Konklusion nur ein Item enthält. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
7 Data Mining und Assoziationsregeln Berechnung der Assoziationsregeln 3/3... aus einer häufigen Itemmenge X: Berechne alle Assoziationsregeln mit genügend großer Konfidenz, deren Konklusion nur ein Item enthält. Ist H m eine Menge von m-item-konklusionen von X, so setze H m+1 := AprioriGen(H m ) Für alle Konklusionen h m+1 H m+1 überprüft man nun die Konfidenz der Regel (X h m+1 ) h m+1 ; liegt sie über der Schwelle minconf, so wird die Regel ausgegeben, andernfalls wird h m+1 aus H m+1 entfernt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
8 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse Einkaufstransaktionen in einem Drogeriemarkt: Label Artikel t 1 t 2 t 3 t 4 t 5 t 6 t 7 t 8 t 9 t 10 support A Seife 0.4 B Shampoo 0.8 C Haarspülung 0.6 D Duschgel 0.6 E Zahnpasta 0.4 F Zahnbürste 0.2 G Haarfärbemittel 0.3 H Haargel 0.1 J Deodorant 0.6 K Parfüm 0.2 L Kosmetikartikel 0.5 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
9 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Festlegung des minimalen Supports und der minimalen Konfidenz: minsupp = 0.4, minconf = 0.7 In realen Anwendungen wird minsupp in der Regel sehr viel kleiner gewählt (oft < 1%). G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
10 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Festlegung des minimalen Supports und der minimalen Konfidenz: minsupp = 0.4, minconf = 0.7 In realen Anwendungen wird minsupp in der Regel sehr viel kleiner gewählt (oft < 1%). Bestimmung der häufigen k-itemmengen: k=1: L 1 = {{A}, {B}, {C}, {D}, {E}, {J}, {L}} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
11 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Festlegung des minimalen Supports und der minimalen Konfidenz: minsupp = 0.4, minconf = 0.7 In realen Anwendungen wird minsupp in der Regel sehr viel kleiner gewählt (oft < 1%). Bestimmung der häufigen k-itemmengen: k=1: L 1 = {{A}, {B}, {C}, {D}, {E}, {J}, {L}} k=2: Berechnung der Kandidatenmenge C 2 für L 2 durch paarweise Kombinationen der Mengen in L 1 : G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
12 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) C 2 -Menge Support C 2 -Menge Support C 2 -Menge Support {A,B} 0.2 {B,D} 0.5 {C,L} 0.4 {A,C} 0.1 {B,E} 0.2 {D,E} 0.2 {A,D} 0.2 {B,J} 0.4 {D,J} 0.3 {A,E} 0.3 {B,L} 0.5 {D,L} 0.3 {A,J} 0.2 {C,D} 0.3 {E,J} 0.3 {A,L} 0.0 {C,E} 0.1 {E,L} 0.0 {B,C} 0.6 {C,J} 0.4 {J,L} 0.3 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
13 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) C 2 -Menge Support C 2 -Menge Support C 2 -Menge Support {A,B} 0.2 {B,D} 0.5 {C,L} 0.4 {A,C} 0.1 {B,E} 0.2 {D,E} 0.2 {A,D} 0.2 {B,J} 0.4 {D,J} 0.3 {A,E} 0.3 {B,L} 0.5 {D,L} 0.3 {A,J} 0.2 {C,D} 0.3 {E,J} 0.3 {A,L} 0.0 {C,E} 0.1 {E,L} 0.0 {B,C} 0.6 {C,J} 0.4 {J,L} 0.3 Bemerkung: Kein Teilmengencheck, da per Konstruktion alle betrachteten 1-Teilmengen auch in L 1 liegen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
14 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Also ist L 2 = {{B, C}, {B, D}, {B, J}, {B, L}, {C, J}, {C, L}} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
15 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Also ist L 2 = {{B, C}, {B, D}, {B, J}, {B, L}, {C, J}, {C, L}} k=3: Berechnung der Kandidatenmenge C 3 (zum Vergleich mit und ohne Teilmengencheck, d.h. alle 2-Teilmengen müssen in L 2 liegen): C 3 vor Teilmengencheck {B,C,D} {B,C,J} {B,C,L} {B,D,J} {B,D,L} {B,J,L} {C,J,L} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
16 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Also ist L 2 = {{B, C}, {B, D}, {B, J}, {B, L}, {C, J}, {C, L}} k=3: Berechnung der Kandidatenmenge C 3 (zum Vergleich mit und ohne Teilmengencheck, d.h. alle 2-Teilmengen müssen in L 2 liegen): C 3 vor Teilmengencheck C 3 nach Teilmengencheck Support {B,C,D} {B,C,J} 0.4 {B,C,J} {B,C,L} 0.4 {B,C,L} {B,D,J} {B,D,L} {B,J,L} {C,J,L} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
17 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Damit ist L 3 = {{B, C, J}, {B, C, L}} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
18 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Damit ist L 3 = {{B, C, J}, {B, C, L}} Die einzig mögliche weitere Kombination {B, C, J, L} ist nicht häufig, da (z. B.) {C, J, L} nicht in L 3 enthalten ist; folglich ist C 4 = L 4 = G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
19 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Damit ist L 3 = {{B, C, J}, {B, C, L}} Die einzig mögliche weitere Kombination {B, C, J, L} ist nicht häufig, da (z. B.) {C, J, L} nicht in L 3 enthalten ist; folglich ist C 4 = L 4 = Berechnung der Assoziationsregeln aus den häufigen Itemmengen: Es bezeichne (wie oben) H m die Menge der m-item-konklusionen der jeweils betrachteten häufigen Itemmenge. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
20 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 2, d.h. aus gebildete Regeln: L 2 = {{B, C}, {B, D}, {B, J}, {B, L}, {C, J}, {C, L}} Regel Konfidenz Regel Konfidenz B C 0.75 C B 1.00 B D 0.63 D B 0.83 B J 0.50 J B 0.67 B L 0.63 L B 1.00 C J 0.67 J C 0.67 C L 0.67 L C 0.80 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
21 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 3, d.h. aus gebildete Regeln: L 3 = {{B, C, J}, {B, C, L}} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
22 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 3, d.h. aus L 3 = {{B, C, J}, {B, C, L}} gebildete Regeln: Aus {B, C, J} (mit H 1 = {B, C, J}) entstehen die folgenden Regeln: BC J [0.67], BJ C [1.00], CJ B [1.00] G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
23 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 3, d.h. aus L 3 = {{B, C, J}, {B, C, L}} gebildete Regeln: Aus {B, C, J} (mit H 1 = {B, C, J}) entstehen die folgenden Regeln: BC J [0.67], BJ C [1.00], CJ B [1.00] Folglich wird J aus H 1 entfernt: H 1 := {B, C} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
24 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 3, d.h. aus L 3 = {{B, C, J}, {B, C, L}} gebildete Regeln: Aus {B, C, J} (mit H 1 = {B, C, J}) entstehen die folgenden Regeln: BC J [0.67], BJ C [1.00], CJ B [1.00] Folglich wird J aus H 1 entfernt: H 1 := {B, C} H 2 := AprioriGen(H 1 ) = {{B, C}} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
25 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regeln der Länge 3, d.h. aus L 3 = {{B, C, J}, {B, C, L}} gebildete Regeln: Aus {B, C, J} (mit H 1 = {B, C, J}) entstehen die folgenden Regeln: BC J [0.67], BJ C [1.00], CJ B [1.00] Folglich wird J aus H 1 entfernt: H 1 := {B, C} H 2 := AprioriGen(H 1 ) = {{B, C}} führt auf die Regel J BC [0.67], deren Konfidenz allerdings unterhalb der gewählten Schwelle liegt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
26 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Aus {B, C, L} erhält man die Regeln BC L [0.67], BL C [0.8], CL B [1.00] G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
27 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Aus {B, C, L} erhält man die Regeln BC L [0.67], BL C [0.8], CL B [1.00] und durch Erweiterung der Konklusion noch L BC [0.8] die ebenfalls ausgegeben wird. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
28 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Aus {B, C, L} erhält man die Regeln BC L [0.67], BL C [0.8], CL B [1.00] und durch Erweiterung der Konklusion noch die ebenfalls ausgegeben wird. L BC [0.8] Durch den Apriori-Algorithmus werden insgesamt folgende Regeln berechnet: G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
29 Data Mining und Assoziationsregeln Beispiel Warenkorbanalyse (Forts.) Regel Support Konfidenz Shampoo Haarspülung Haarspülung Shampoo Duschgel Shampoo Kosmetik Shampoo Kosmetik Haarspülung Shampoo, Deodorant Haarspülung Haarspülung, Deodorant Shampoo Shampoo, Kosmetik Haarspülung Haarspülung, Kosmetik Shampoo Kosmetik Shampoo, Haarspülung G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
30 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
31 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
32 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; Bankenwesen: Aufdeckung von Kreditkartenmissbrauch, Bonitätsanalyse und Devisenkursprognose; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
33 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; Bankenwesen: Aufdeckung von Kreditkartenmissbrauch, Bonitätsanalyse und Devisenkursprognose; (Electronic) Commerce: Kundenprofile, Auswahl möglicher Kunden (Zielgruppen), Kundensegmentierung; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
34 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; Bankenwesen: Aufdeckung von Kreditkartenmissbrauch, Bonitätsanalyse und Devisenkursprognose; (Electronic) Commerce: Kundenprofile, Auswahl möglicher Kunden (Zielgruppen), Kundensegmentierung; Internet: Suchen nach relevanter Information (web mining); G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
35 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; Bankenwesen: Aufdeckung von Kreditkartenmissbrauch, Bonitätsanalyse und Devisenkursprognose; (Electronic) Commerce: Kundenprofile, Auswahl möglicher Kunden (Zielgruppen), Kundensegmentierung; Internet: Suchen nach relevanter Information (web mining); Wissenschaft: Gewinnung wichtiger Informationen über beobachtete Phänomene, Finden kausaler Zusammenhänge; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
36 Data Mining und Assoziationsregeln Anwendungsbeispiele KDD Produktion: Informationen zur Prozessoptimierung und Fehleranalyse; Ökonomie: Warenkorbanalyse; Katalog-Design; Supermarkt Layout; Bankenwesen: Aufdeckung von Kreditkartenmissbrauch, Bonitätsanalyse und Devisenkursprognose; (Electronic) Commerce: Kundenprofile, Auswahl möglicher Kunden (Zielgruppen), Kundensegmentierung; Internet: Suchen nach relevanter Information (web mining); Wissenschaft: Gewinnung wichtiger Informationen über beobachtete Phänomene, Finden kausaler Zusammenhänge; Geologie: Auffinden verdächtiger seismographischer Strukturen, z.b. zur Vorhersage von Erdbeben. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
37 Übersicht Kapitel (Kurze) Einführung 5.2 Clustering 5.3 Entscheidungsbäume 5.4 Assoziationsregeln 5.5 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
38 Kapitel 5 5. Wissenserwerb und Wissensentdeckung 5.4 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
39 Lernen von Konzepten 1/2 Konzepte beschreiben spezifische Teilmengen von Objekten etc. (s. auch Beschreibungslogiken!) Beispiele: Auto Säugetier stetige Funktion G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
40 Lernen von Konzepten 1/2 Konzepte beschreiben spezifische Teilmengen von Objekten etc. (s. auch Beschreibungslogiken!) Beispiele: Auto Säugetier stetige Funktion Ein Konzept lässt sich damit als Boolesche Funktion auffassen, die Objekten etc. die Werte true bzw. false zuordnet, je nachdem, ob das Objekt zu der spezifischen Teilmenge gehört oder nicht. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
41 Lernen von Konzepten 2/2 Aufgabe des s: Aus einer Menge von positiven (und negativen) Beispielen für ein Konzept c soll eine allgemeine Definition von c generiert werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
42 Lernen von Konzepten 2/2 Aufgabe des s: Aus einer Menge von positiven (und negativen) Beispielen für ein Konzept c soll eine allgemeine Definition von c generiert werden. Unterschiede zum Entscheidungsbaumlernen: Konzepte können durch komplexere Darstellungen beschrieben werden; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
43 Lernen von Konzepten 2/2 Aufgabe des s: Aus einer Menge von positiven (und negativen) Beispielen für ein Konzept c soll eine allgemeine Definition von c generiert werden. Unterschiede zum Entscheidungsbaumlernen: Konzepte können durch komplexere Darstellungen beschrieben werden; Konzeptlernverfahren sind meistens inkrementelle Lernverfahren. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
44 Konzepte und Beispiele Ein Konzept c ist eine einstellige Funktion c : M {0, 1} über einer Grundmenge M von Beispielen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
45 Konzepte und Beispiele Ein Konzept c ist eine einstellige Funktion c : M {0, 1} über einer Grundmenge M von Beispielen. Für x M gilt x gehört zum Konzept c (x ist ein positives Beispiel, c deckt x ab) gdw. c(x) = 1; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
46 Konzepte und Beispiele Ein Konzept c ist eine einstellige Funktion c : M {0, 1} über einer Grundmenge M von Beispielen. Für x M gilt x gehört zum Konzept c (x ist ein positives Beispiel, c deckt x ab) gdw. c(x) = 1; x gehört nicht zum Konzept c (x ist ein negatives Beispiel) gdw. c(x) = 0. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
47 Konzepte und Beispiele Ein Konzept c ist eine einstellige Funktion c : M {0, 1} über einer Grundmenge M von Beispielen. Für x M gilt x gehört zum Konzept c (x ist ein positives Beispiel, c deckt x ab) gdw. c(x) = 1; x gehört nicht zum Konzept c (x ist ein negatives Beispiel) gdw. c(x) = 0. Die Menge aller positiven Beispiele für c wird auch Extension von c genannt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
48 Vollständigkeit, Korrektheit und Konsistenz Aus einer gegebenen Menge von (positiven und negativen) Beispielen soll ein Konzept gelernt werden, das zu diesen gegebenen Beispielen passt : Sei B M eine Menge von Beispielen und c ein Konzept. c ist vollständig bzgl. B gdw. für alle b B gilt: wenn b positiv ist, dann ist c(b) = 1. D.h., alle positiven Beispiele werden abgedeckt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
49 Vollständigkeit, Korrektheit und Konsistenz Aus einer gegebenen Menge von (positiven und negativen) Beispielen soll ein Konzept gelernt werden, das zu diesen gegebenen Beispielen passt : Sei B M eine Menge von Beispielen und c ein Konzept. c ist vollständig bzgl. B gdw. für alle b B gilt: wenn b positiv ist, dann ist c(b) = 1. D.h., alle positiven Beispiele werden abgedeckt. c ist korrekt bzgl. B gdw. für alle b B gilt: wenn b negativ ist, dann ist c(b) = 0. D.h., es wird kein negatives Beispiel abgedeckt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
50 Vollständigkeit, Korrektheit und Konsistenz Aus einer gegebenen Menge von (positiven und negativen) Beispielen soll ein Konzept gelernt werden, das zu diesen gegebenen Beispielen passt : Sei B M eine Menge von Beispielen und c ein Konzept. c ist vollständig bzgl. B gdw. für alle b B gilt: wenn b positiv ist, dann ist c(b) = 1. D.h., alle positiven Beispiele werden abgedeckt. c ist korrekt bzgl. B gdw. für alle b B gilt: wenn b negativ ist, dann ist c(b) = 0. D.h., es wird kein negatives Beispiel abgedeckt. c ist konsistent bzgl. B gdw. c ist vollständig und korrekt bzgl. B. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
51 Konzeptlernaufgabe Menge aller Beispiele + Extension von c G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
52 Konzeptlernaufgabe Menge aller Beispiele positive Extension Beispiele von c negative Beispiele G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
53 Konzeptlernaufgabe Menge aller Beispiele positive Extension Beispiele von c Konzeptlernverfahren negative Beispiele G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
54 Konzeptlernaufgabe Menge aller Beispiele positive Extension Beispiele von c Konzeptlernverfahren negative Beispiele Konzept h G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
55 Qualitätskriterien Die Güte der Klassifikation lässt sich als Prozentsatz der richtig klassifizierten Objekte der gesamten Grundmenge ausdrücken. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
56 Qualitätskriterien Die Güte der Klassifikation lässt sich als Prozentsatz der richtig klassifizierten Objekte der gesamten Grundmenge ausdrücken. Auf der negativen Seite kann man die Summe der Kosten aller Fehlklassifikationen über der gesamten Grundmenge berechnen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
57 Notizen G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
58 Beispiel Sport Zu erlernendes Konzept: Sportsendungen, die sich Paul Trops im Fernsehen anschaut G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
59 Beispiel Sport Zu erlernendes Konzept: Sportsendungen, die sich Paul Trops im Fernsehen anschaut Menge von Trainingsbeispielen: Beisp. Sport Art Ort Ebene Tag Anschauen X 1 Fußball Mannschaft draußen national Samstag + X 2 Hockey Mannschaft draußen national Samstag + X 3 Bodenturnen Einzel drinnen Welt Samstag X 4 Handball Mannschaft drinnen national Samstag + X 5 Zehnkampf Einzel draußen Welt Sonntag G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
60 Beispiel Sport (Forts.) Beispielsprache: Vektor mit 5 Komponenten (Sport, Art, Ort, Ebene, Tag) und entsprechenden Werten. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
61 Beispiel Sport (Forts.) Beispielsprache: Vektor mit 5 Komponenten (Sport, Art, Ort, Ebene, Tag) und entsprechenden Werten. Konzeptsprache: G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
62 Beispiel Sport (Forts.) Beispielsprache: Vektor mit 5 Komponenten (Sport, Art, Ort, Ebene, Tag) und entsprechenden Werten. Konzeptsprache: Vektor mit 5 Komponenten Sport, Art, Ort, Ebene, Tag (Constraints zur Einschränkung möglicher Werte); für jedes Attribut gibt die Hypothese einen der drei folgenden Fälle an:? zeigt an, dass jeder Attributwert akzeptabel ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
63 Beispiel Sport (Forts.) Beispielsprache: Vektor mit 5 Komponenten (Sport, Art, Ort, Ebene, Tag) und entsprechenden Werten. Konzeptsprache: Vektor mit 5 Komponenten Sport, Art, Ort, Ebene, Tag (Constraints zur Einschränkung möglicher Werte); für jedes Attribut gibt die Hypothese einen der drei folgenden Fälle an:? zeigt an, dass jeder Attributwert akzeptabel ist. Ein bestimmter Attributwert (z.b. Zehnkampf ) spezifiziert, dass nur dieser Wert akzeptabel ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
64 Beispiel Sport (Forts.) Beispielsprache: Vektor mit 5 Komponenten (Sport, Art, Ort, Ebene, Tag) und entsprechenden Werten. Konzeptsprache: Vektor mit 5 Komponenten Sport, Art, Ort, Ebene, Tag (Constraints zur Einschränkung möglicher Werte); für jedes Attribut gibt die Hypothese einen der drei folgenden Fälle an:? zeigt an, dass jeder Attributwert akzeptabel ist. Ein bestimmter Attributwert (z.b. Zehnkampf ) spezifiziert, dass nur dieser Wert akzeptabel ist. zeigt an, dass kein Wert akzeptabel ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
65 Hypothesen Wenn ein Beispiel e alle Constraints einer Hypothese h erfüllt, dann deckt h e ab, also h(e) = 1, anderenfalls gilt h(e) = 0. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
66 Hypothesen Wenn ein Beispiel e alle Constraints einer Hypothese h erfüllt, dann deckt h e ab, also h(e) = 1, anderenfalls gilt h(e) = 0. Beispiel [Sport]: Die Hypothese Fußball,?,?, national,? besagt, dass Paul nur Sportsendungen über Fußballspiele auf nationaler Ebene anschaut. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
67 Hypothesen Wenn ein Beispiel e alle Constraints einer Hypothese h erfüllt, dann deckt h e ab, also h(e) = 1, anderenfalls gilt h(e) = 0. Beispiel [Sport]: Die Hypothese Fußball,?,?, national,? besagt, dass Paul nur Sportsendungen über Fußballspiele auf nationaler Ebene anschaut. Die allgemeinste Hypothese wird durch?,?,?,?,? repräsentiert (deckt alle Beispiele ab), G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
68 Hypothesen Wenn ein Beispiel e alle Constraints einer Hypothese h erfüllt, dann deckt h e ab, also h(e) = 1, anderenfalls gilt h(e) = 0. Beispiel [Sport]: Die Hypothese Fußball,?,?, national,? besagt, dass Paul nur Sportsendungen über Fußballspiele auf nationaler Ebene anschaut. Die allgemeinste Hypothese wird durch?,?,?,?,? repräsentiert (deckt alle Beispiele ab), während die speziellste Hypothese,,,, kein Beispiel abdeckt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
69 Konzeptlernproblem 1/2 Ein Konzeptlernproblem hat die folgenden Komponenten: eine Beispielsprache L E, in der Beispiele beschrieben werden; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
70 Konzeptlernproblem 1/2 Ein Konzeptlernproblem hat die folgenden Komponenten: eine Beispielsprache L E, in der Beispiele beschrieben werden; eine Konzeptsprache L C, in der Konzepte beschrieben werden. Jede Konzeptbeschreibung k L C definiert eine Abbildung k : L E {0, 1} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
71 Konzeptlernproblem 1/2 Ein Konzeptlernproblem hat die folgenden Komponenten: eine Beispielsprache L E, in der Beispiele beschrieben werden; eine Konzeptsprache L C, in der Konzepte beschrieben werden. Jede Konzeptbeschreibung k L C definiert eine Abbildung k : L E {0, 1} ein zu erlernendes Zielkonzept c L C ; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
72 Konzeptlernproblem 1/2 Ein Konzeptlernproblem hat die folgenden Komponenten: eine Beispielsprache L E, in der Beispiele beschrieben werden; eine Konzeptsprache L C, in der Konzepte beschrieben werden. Jede Konzeptbeschreibung k L C definiert eine Abbildung k : L E {0, 1} ein zu erlernendes Zielkonzept c L C ; eine Menge P L E von positiven Beispielen für das zu erlernende Konzept, d.h., für alle p P gilt c(p) = 1; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
73 Konzeptlernproblem 1/2 Ein Konzeptlernproblem hat die folgenden Komponenten: eine Beispielsprache L E, in der Beispiele beschrieben werden; eine Konzeptsprache L C, in der Konzepte beschrieben werden. Jede Konzeptbeschreibung k L C definiert eine Abbildung k : L E {0, 1} ein zu erlernendes Zielkonzept c L C ; eine Menge P L E von positiven Beispielen für das zu erlernende Konzept, d.h., für alle p P gilt c(p) = 1; eine Menge N L E von negativen Beispielen, die von dem zu erlernenden Konzept nicht erfasst werden sollen, d.h., für alle n N gilt c(n) = 0. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
74 Konzeptlernproblem 2/2 Ziel der Konzeptlernaufgabe: Bestimme ein Konzept h aus der Konzeptsprache, so dass h(e) = c(e) für alle Beispiele e L E ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
75 Konzeptlernproblem 2/2 Ziel der Konzeptlernaufgabe: Bestimme ein Konzept h aus der Konzeptsprache, so dass h(e) = c(e) für alle Beispiele e L E ist. Idealisierende Annahmen: P und N enthalten keine Fehler; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
76 Konzeptlernproblem 2/2 Ziel der Konzeptlernaufgabe: Bestimme ein Konzept h aus der Konzeptsprache, so dass h(e) = c(e) für alle Beispiele e L E ist. Idealisierende Annahmen: P und N enthalten keine Fehler; L C ist genügend mächtig, um das gesuchte Konzept auch tatsächlich ausdrücken zu können. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
77 Beispiel Sport (Forts.) e 1 = Hockey, Mannschaft, draußen, Welt, Mittwoch L E G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
78 Beispiel Sport (Forts.) e 1 = Hockey, Mannschaft, draußen, Welt, Mittwoch L E h 1 =?, Mannschaft,?, Welt,? L C G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
79 Beispiel Sport (Forts.) e 1 = Hockey, Mannschaft, draußen, Welt, Mittwoch L E h 1 =?, Mannschaft,?, Welt,? L C Für die durch h 1 definierte Abbildung h 1 : L E {0, 1} gilt h 1 (e) = 1 genau dann, wenn Art = Mannschaft und Ebene = Welt ist, wobei die übrigen Attribute Sport, Ort und Tag beliebige Werte annehmen können. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
80 Beispiel Sport (Forts.) e 1 = Hockey, Mannschaft, draußen, Welt, Mittwoch L E h 1 =?, Mannschaft,?, Welt,? L C Für die durch h 1 definierte Abbildung h 1 : L E {0, 1} gilt h 1 (e) = 1 genau dann, wenn Art = Mannschaft und Ebene = Welt ist, wobei die übrigen Attribute Sport, Ort und Tag beliebige Werte annehmen können. Für das zu erlernende Konzept c : L E {0, 1} gilt c(e) = 1 genau dann, wenn Paul Trops sich die durch e beschriebene Sportsendung im Fernsehen anschaut. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
81 Beispiel Sport (Forts.) e 1 = Hockey, Mannschaft, draußen, Welt, Mittwoch L E h 1 =?, Mannschaft,?, Welt,? L C Für die durch h 1 definierte Abbildung h 1 : L E {0, 1} gilt h 1 (e) = 1 genau dann, wenn Art = Mannschaft und Ebene = Welt ist, wobei die übrigen Attribute Sport, Ort und Tag beliebige Werte annehmen können. Für das zu erlernende Konzept c : L E {0, 1} gilt c(e) = 1 genau dann, wenn Paul Trops sich die durch e beschriebene Sportsendung im Fernsehen anschaut. Menge der positiven Beispiele: P = {X 1, X 2, X 4 }; Menge der negativen Beispiele: N = {X 3, X 5 }. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
82 Lernen von Konzepten als Suchproblem Suchraum: Menge aller möglichen Hypothesen Beispiel [Sport]: Anzahl möglicher Beispiele: = 280; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
83 Lernen von Konzepten als Suchproblem Suchraum: Menge aller möglichen Hypothesen Beispiel [Sport]: Anzahl möglicher Beispiele: = 280; Anzahl syntaktisch verschiedener Hypothesen: = 4032; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
84 Lernen von Konzepten als Suchproblem Suchraum: Menge aller möglichen Hypothesen Beispiel [Sport]: Anzahl möglicher Beispiele: = 280; Anzahl syntaktisch verschiedener Hypothesen: = 4032; Anzahl semantisch verschiedener Hypothesen: = 1297; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
85 Lernen von Konzepten als Suchproblem Suchraum: Menge aller möglichen Hypothesen Beispiel [Sport]: Anzahl möglicher Beispiele: = 280; Anzahl syntaktisch verschiedener Hypothesen: = 4032; Anzahl semantisch verschiedener Hypothesen: = 1297; Wichtig zur Bewältigung des Suchproblems: Der Hypothesensuchraum muss z.b. durch eine partielle Ordnung (d.h. eine reflexive, transitive und antisymmetrische Relation) strukturiert werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
86 Spezialisierung und Generalisierung Seien h 1, h 2 : L E {0, 1} zwei Konzepte. h 1 ist spezieller als oder gleich h 2 (h 2 ist allgemeiner oder gleich h 1 ), h 1 h 2 gdw. e L E (h 1 (e) = 1 h 2 (e) = 1), wenn also jedes bezgl. h 1 positive Beispiel auch von h 2 abgedeckt wird und umgekehrt jedes bezgl. h 2 negative Beispiel auch von h 1 nicht abgedeckt wird. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
87 Spezialisierung und Generalisierung Seien h 1, h 2 : L E {0, 1} zwei Konzepte. h 1 ist spezieller als oder gleich h 2 (h 2 ist allgemeiner oder gleich h 1 ), h 1 h 2 gdw. e L E (h 1 (e) = 1 h 2 (e) = 1), wenn also jedes bezgl. h 1 positive Beispiel auch von h 2 abgedeckt wird und umgekehrt jedes bezgl. h 2 negative Beispiel auch von h 1 nicht abgedeckt wird. h 1 ist (echt) spezieller als h 2 bzw. h 2 ist (echt) allgemeiner als h 1 h 1 < h 2 gdw. h 1 h 2 und h 2 h 1. Diese Definition ist unabhängig von der gewählten Sprache! G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
88 Beispiel Sport (Forts.) h 1 h 3 h 2 spezieller allgemeiner h 1 = <Fußball,?,?, national,?> h 2 = <Fußball,?,?,?,?> h 3 = <Fußball,?,?,?, Samstag> h 1 h 2, h 3 h 2 h 1 und h 3 sind aber nicht miteinander vergleichbar! G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
89 Suchstrategien 1/2 Die Beispiele werden inkrementell zur Verfügung gestellt. Kandidaten-Eliminations-Methode: Zu Beginn umfasst der Hypothesenraum H die ganze Menge L C ; bei jedem neuen Beispiel e werden dann aus H alle Hypothesen entfernt, die nicht mit der vorgegebenen Klassifikation von e übereinstimmen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
90 Suchstrategien 1/2 Die Beispiele werden inkrementell zur Verfügung gestellt. Kandidaten-Eliminations-Methode: Zu Beginn umfasst der Hypothesenraum H die ganze Menge L C ; bei jedem neuen Beispiel e werden dann aus H alle Hypothesen entfernt, die nicht mit der vorgegebenen Klassifikation von e übereinstimmen. Suchrichtung speziell allgemein: Als initiale Hypothese h wird die speziellste Hypothese aus L C genommen. h wird dann schrittweise bei jedem neuen positiven Beispiel e, das noch nicht von h abgedeckt wird, gerade soweit verallgemeinert, dass e mit abgedeckt wird. Als Ergebnis erhält man eine speziellste Hypothese, die konsistent mit den gegebenen Beispielen ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
91 Suchstrategien 2/2 Suchrichtung allgemein speziell: Als initiale Hypothese h wird die allgemeinste Hypothese genommen. Bei jedem neuen negativen Beispiel e, das fälschlicherweise von h mit abgedeckt wird, muss h gerade so weit spezialisiert werden, dass e nicht mehr von h abgedeckt wird. Als Ergebnis erhält man eine allgemeinste Hypothese, die konsistent mit den angegebenen Beispielen ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
92 Versionenraumlernverfahren Grundidee des Versionenraumverfahrens: sucht in beiden Richtungen spezieller allgemeiner gleichzeitig; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
93 Versionenraumlernverfahren Grundidee des Versionenraumverfahrens: sucht in beiden Richtungen spezieller allgemeiner gleichzeitig; repräsentiert zu jedem Zeitpunkt die Menge aller Hypothesen, die konsistent mit der Trainingsmenge sind. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
94 Versionenraumlernverfahren Grundidee des Versionenraumverfahrens: sucht in beiden Richtungen spezieller allgemeiner gleichzeitig; repräsentiert zu jedem Zeitpunkt die Menge aller Hypothesen, die konsistent mit der Trainingsmenge sind. Sei B eine Menge von Trainingsbeispielen. Dann ist die Menge V B = {h L C h ist konsistent bzgl. B} der Versionenraum bzgl. der Beispielmenge B. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
95 Versionenraumlernverfahren Grundidee des Versionenraumverfahrens: sucht in beiden Richtungen spezieller allgemeiner gleichzeitig; repräsentiert zu jedem Zeitpunkt die Menge aller Hypothesen, die konsistent mit der Trainingsmenge sind. Sei B eine Menge von Trainingsbeispielen. Dann ist die Menge V B = {h L C h ist konsistent bzgl. B} der Versionenraum bzgl. der Beispielmenge B. Das Versionenraum-Lernverfahren arbeitet prinzipiell nach der Kandidaten-Eliminations-Methode, wobei die einzelnen Hypothesen in kompakter Form repräsentiert werden, nämlich durch zwei Begrenzungsmengen: die speziellsten und die allgemeinsten Hypothesen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
96 Versionenraumlernverfahren Beispiel S: {<?, Mannschaft,?, national, Samstag>} <?, Mannschaft,?,?, Samstag> <?, Mannschaft,?, national,?> <?,?,?, national, Samstag> G: {<?, Mannschaft,?,?,?>, <?,?,? national,?>} Versionenraum mit 6 Hypothesen in partieller Ordnung, begrenzt durch die Mengen S und G. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
97 Speziellste und allgemeinste Generalisierung Zu einer Beispielmenge B werden die Begrenzungsmengen wie folgt definiert: Ein Konzept h ist eine speziellste Generalisierung von B gdw. gilt: h ist konsistent bzgl. B; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
98 Speziellste und allgemeinste Generalisierung Zu einer Beispielmenge B werden die Begrenzungsmengen wie folgt definiert: Ein Konzept h ist eine speziellste Generalisierung von B gdw. gilt: h ist konsistent bzgl. B; es gibt kein Konzept h, das konsistent bzgl. B ist und für das h < h gilt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
99 Speziellste und allgemeinste Generalisierung Zu einer Beispielmenge B werden die Begrenzungsmengen wie folgt definiert: Ein Konzept h ist eine speziellste Generalisierung von B gdw. gilt: h ist konsistent bzgl. B; es gibt kein Konzept h, das konsistent bzgl. B ist und für das h < h gilt. Ein Konzept h ist eine allgemeinste Generalisierung von B gdw. gilt: h ist konsistent bzgl. B; es gibt kein Konzept h, das konsistent bzgl. B ist und für das h < h gilt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
100 Versionenraum Repräsentation 1/2 Als obere und untere Schranke eines Versionenraums für eine Beispielmenge B nehmen wir die Menge S der speziellsten und die Menge G der allgemeinsten Generalisierungen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
101 Versionenraum Repräsentation 1/2 Als obere und untere Schranke eines Versionenraums für eine Beispielmenge B nehmen wir die Menge S der speziellsten und die Menge G der allgemeinsten Generalisierungen. Das folgende Theorem präzisiert diese Darstellung: Der Versionenraum enthält genau die Hypothesen, die in S, G oder zwischen S und G liegen. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
102 Versionenraum Repräsentation 2/2 Theorem 1 (Repräsentationstheorem für Versionenräume) Sei B eine Menge von Beispielen und S = {h L C h ist speziellste Generalisierung von B} G = {h L C h ist allgemeinste Generalisierung von B} Für den Versionenraum V B gilt: V B = {h L C s S g G (s h g)} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
103 Versionenraum Abbildung Menge S Menge G unvollständige Konzepte... s1 s2... sn... g1 g2... gm... inkorrekte Konzepte spezieller Versionenraum allgemeiner G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
104 Versionenraum Lernverfahren 1/2 Mit jedem neuen Beispiel e müssen die Begrenzungsmengen S und G des aktuellen Versionenraums überprüft und gegebenenfalls angepasst werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
105 Versionenraum Lernverfahren 1/2 Mit jedem neuen Beispiel e müssen die Begrenzungsmengen S und G des aktuellen Versionenraums überprüft und gegebenenfalls angepasst werden. Jede Hypothese h S G ist zu untersuchen: Stimmt h mit e überein d.h. es gilt h(e) = 1, falls e ein positives Beispiel ist, und h(e) = 0, falls e ein negatives Beispiel ist, so ist nichts zu tun. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
106 Versionenraum Lernverfahren 1/2 Mit jedem neuen Beispiel e müssen die Begrenzungsmengen S und G des aktuellen Versionenraums überprüft und gegebenenfalls angepasst werden. Jede Hypothese h S G ist zu untersuchen: Stimmt h mit e überein d.h. es gilt h(e) = 1, falls e ein positives Beispiel ist, und h(e) = 0, falls e ein negatives Beispiel ist, so ist nichts zu tun. Anderenfalls können im Prinzip zwei Fälle auftreten: 1 e ist für h fälschlicherweise negativ, d.h. h(e) = 0, obwohl e ein positives Beispiel ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
107 Versionenraum Lernverfahren 1/2 Mit jedem neuen Beispiel e müssen die Begrenzungsmengen S und G des aktuellen Versionenraums überprüft und gegebenenfalls angepasst werden. Jede Hypothese h S G ist zu untersuchen: Stimmt h mit e überein d.h. es gilt h(e) = 1, falls e ein positives Beispiel ist, und h(e) = 0, falls e ein negatives Beispiel ist, so ist nichts zu tun. Anderenfalls können im Prinzip zwei Fälle auftreten: 1 e ist für h fälschlicherweise negativ, d.h. h(e) = 0, obwohl e ein positives Beispiel ist. 2 e ist für h fälschlicherweise positiv, d.h. h(e) = 1, obwohl e ein negatives Beispiel ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
108 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
109 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
110 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell s muss soweit verallgemeinert werden, dass e mit abgedeckt wird. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
111 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell s muss soweit verallgemeinert werden, dass e mit abgedeckt wird. e ist für g G fälschlicherweise positiv: d.h. g ist zu allgemein G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
112 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell s muss soweit verallgemeinert werden, dass e mit abgedeckt wird. e ist für g G fälschlicherweise positiv: d.h. g ist zu allgemein g muss soweit spezialisiert werden, dass e nicht mehr mit abgedeckt wird. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
113 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell s muss soweit verallgemeinert werden, dass e mit abgedeckt wird. e ist für g G fälschlicherweise positiv: d.h. g ist zu allgemein g muss soweit spezialisiert werden, dass e nicht mehr mit abgedeckt wird. e ist für g G fälschlicherweise negativ: d.h. g ist zu speziell. Alle Hypothesen in G sind aber schon möglichst allgemein, d.h. g kann nicht weiter verallgemeinert werden, ohne die Korrektheit zu verlieren. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
114 Versionenraum Lernverfahren 2/2 e ist für s S fälschlicherweise positiv: d.h. s ist zu allgemein. Alle Hypothesen in S sind aber schon möglichst speziell, d.h. s kann nicht weiter spezialisiert werden, ohne die Vollständigkeit zu verlieren. s muss also aus S entfernt werden. e ist für s S fälschlicherweise negativ: d.h. s ist zu speziell s muss soweit verallgemeinert werden, dass e mit abgedeckt wird. e ist für g G fälschlicherweise positiv: d.h. g ist zu allgemein g muss soweit spezialisiert werden, dass e nicht mehr mit abgedeckt wird. e ist für g G fälschlicherweise negativ: d.h. g ist zu speziell. Alle Hypothesen in G sind aber schon möglichst allgemein, d.h. g kann nicht weiter verallgemeinert werden, ohne die Korrektheit zu verlieren. g muss also aus G entfernt werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
115 Versionenraum Lernalgorithmus 1/5 function VS Eingabe: Ausgabe: Konzeptlernaufgabe mit den Sprachen L E und L C und Folge von Trainingsbeispielen Versionenraumrepräsentation aller Konzepte, die vollständig und korrekt bzgl. der eingegebenen Beispiele sind G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
116 Versionenraum Lernalgorithmus 1/5 function VS Eingabe: Ausgabe: Konzeptlernaufgabe mit den Sprachen L E und L C und Folge von Trainingsbeispielen Versionenraumrepräsentation aller Konzepte, die vollständig und korrekt bzgl. der eingegebenen Beispiele sind Initialisiere S zu der Menge der speziellsten Hypothesen aus L C Initialisiere G zu der Menge der allgemeinsten Hypothesen aus L C G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
117 Versionenraum Lernalgorithmus 2/5 for each neues Trainingsbeispiel e do if e ist ein positives Beispiel then entferne aus G alle Hypothesen g mit g(e) = 0 for each h S mit h(e) = 0 do entferne h aus S füge zu S alle Hypothesen h hinzu mit: h ist minimale Verallgemeinerung von h bzgl. e und es gibt eine Hypothese g G mit h g entferne aus S jede Hypothese, die (echt) allgemeiner als eine andere Hypothese in S ist G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
118 Versionenraum Lernalgorithmus 3/5 if e ist ein negatives Beispiel then entferne aus S alle Hypothesen s mit s(e) = 1 for each h G mit h(e) = 1 do entferne h aus G füge zu G alle Hypothesen h hinzu mit: h ist minimale Spezialisierung von h bzgl. e und es gibt eine Hypothese s S mit s h entferne aus G jede Hypothese, die (echt) spezieller als eine andere Hypothese in G ist G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
119 Notizen G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
120 Versionenraum Lernalgorithmus 4/5 Wichtig: Minimale Verallgemeinerungen (Spezialisierungen) erfolgen immer so, dass jede neue Hypothese h in S (h in G) immer noch spezieller (allgemeiner) oder gleich einer Hypothese aus G (S) ist. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
121 Versionenraum Lernalgorithmus 4/5 Wichtig: Minimale Verallgemeinerungen (Spezialisierungen) erfolgen immer so, dass jede neue Hypothese h in S (h in G) immer noch spezieller (allgemeiner) oder gleich einer Hypothese aus G (S) ist. VS terminiert in jedem Fall; G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
122 Versionenraum Lernalgorithmus 4/5 Wichtig: Minimale Verallgemeinerungen (Spezialisierungen) erfolgen immer so, dass jede neue Hypothese h in S (h in G) immer noch spezieller (allgemeiner) oder gleich einer Hypothese aus G (S) ist. VS terminiert in jedem Fall; dann liegt eine der folgenden drei Situationen vor: S ist leer und/oder G ist leer: In diesem Fall ist der Versionenraum ebenfalls zur leeren Menge kollabiert, d.h. es gibt keine konsistente Hypothese für die Trainingsbeispiele in dem vorgegebenen Hypothesenraum L C. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
123 Versionenraum Lernalgorithmus 5/5 S und G sind identische einelementige Mengen: S = G = {h}. Das bedeutet, dass die Hypothese h das einzige Konzept aus L C ist, das konsistent bzgl. der Trainingsmenge ist (Idealfall). G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
124 Versionenraum Lernalgorithmus 5/5 S und G sind identische einelementige Mengen: S = G = {h}. Das bedeutet, dass die Hypothese h das einzige Konzept aus L C ist, das konsistent bzgl. der Trainingsmenge ist (Idealfall). Alle Beispiele sind bearbeitet, S und G sind beide nicht leer und enthalten unterschiedliche Hypothesen. In diesem Fall sind alle in dem durch S und G bestimmten Versionenraum liegenden Hypothesen konsistent bzgl. der Trainingsmenge (Normalfall). G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
125 Versionenraum Es gelten folgende allgemeine Beobachtungen: Jede Hypothese, die allgemeiner oder gleich einer Hypothese aus S ist, deckt alle bisherigen positiven Beispiele ab. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
126 Versionenraum Es gelten folgende allgemeine Beobachtungen: Jede Hypothese, die allgemeiner oder gleich einer Hypothese aus S ist, deckt alle bisherigen positiven Beispiele ab. Jede Hypothese, die spezieller oder gleich einer Hypothese aus G ist, deckt keines der bisherigen negativen Beispiele ab. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
127 Beispiel Sport (Forts.) Initialisierung des Versionenraums für das Sportbeispiel: S = S 0 = {,,,, } G = G 0 = {?,?,?,?,? } S 0 : {<,,,, >} G 0 : {<?,?,?,?,?>} Diese beiden Begrenzungsmengen umfassen den gesamten Versionenraum V = L C. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
128 Beispiel Sport (Forts.) S 0 : {<,,,, >} S 1 : {< Fußball, Mannschaft, draußen, national, Samstag>} G 0, G 1 : {<?,?,?,?,?>} X 1 =<Fußball, Mannschaft, draußen, national, Samstag>, + G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
129 Beispiel Sport (Forts.) X 2 =<Hockey, Mannschaft, draußen, national, Samstag>, + wird von G 1 abgedeckt, aber nicht von S 1. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
130 Beispiel Sport (Forts.) S 1 : {< Fußball, Mannschaft, draußen, national, Samstag>} S 2 : {<?, Mannschaft, draußen, national, Samstag>} G 1, G 2 : {<?,?,?,?,?>} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
131 Beispiel Sport (Forts.) X 3 =<Bodenturnen, Einzel, drinnen, Welt, Samstag>, X 3 wird von S 2 nicht abgedeckt, aber fälschlicherweise von der in G 2 enthaltenen Hypothese h 0 =?,?,?,?,? G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
132 Beispiel Sport (Forts.) X 3 =<Bodenturnen, Einzel, drinnen, Welt, Samstag>, X 3 wird von S 2 nicht abgedeckt, aber fälschlicherweise von der in G 2 enthaltenen Hypothese h 0 =?,?,?,?,? diese Hypothese muss spezialisiert werden. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
133 Beispiel Sport (Forts.) S 2, S 3 : {<?, Mannschaft, draußen, national, Samstag>} G 3 : {<?, Mannschaft,?,?,?> <?,?, draußen,?,?> <?,?,?, national,?,>} G 2 : {<?,?,?,?,?>} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
134 Notizen G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
135 Beispiel Sport (Forts.) X 4 =<Handball, Mannschaft, drinnen, national, Samstag>, + G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
136 Beispiel Sport (Forts.) X 4 =<Handball, Mannschaft, drinnen, national, Samstag>, + Die in S 3 enthaltene Hypothese?, Mannschaft, draußen, national, Samstag muss zu?, Mannschaft,?, national, Samstag verallgemeinert werden, damit X 4 ebenfalls mit abgedeckt wird. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
137 Beispiel Sport (Forts.) X 4 =<Handball, Mannschaft, drinnen, national, Samstag>, + Die in S 3 enthaltene Hypothese muss zu?, Mannschaft, draußen, national, Samstag?, Mannschaft,?, national, Samstag verallgemeinert werden, damit X 4 ebenfalls mit abgedeckt wird. Aus G 3 muss die Hypothese?,?, draußen,?,? entfernt werden, da sie X 4 nicht mit abdeckt. G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
138 Beispiel Sport (Forts.) S 3 : {<?, Mannschaft, draußen, national, Samstag>} S 4 : {<?, Mannschaft,?, national, Samstag>} G 4 : {<?, Mannschaft,?,?,?> <?,?,?, national,?>} G 3 : {<?, Mannschaft,?,?,?> <?,?, draußen,?,?> <?,?,?, national,?,>} G. Kern-Isberner (TU Dortmund) DVEW WS 2015/ / 169
Darstellung, Verarbeitung und Erwerb von Wissen
Darstellung, Verarbeitung und Erwerb von Wissen Gabriele Kern-Isberner LS 1 Information Engineering TU Dortmund WiSe 2016/17 G. Kern-Isberner (TU Dortmund) DVEW WiSe 2016/17 1 / 169 Kapitel 5 Entscheidungsbäume
MehrDarstellung, Verarbeitung und Erwerb von Wissen
Darstellung, Verarbeitung und Erwerb von Wissen Gabriele Kern-Isberner LS 1 Information Engineering TU Dortmund WiSe 2016/17 G. Kern-Isberner (TU Dortmund) DVEW WiSe 2016/17 1 / 169 Kapitel 5 5. Wissenserwerb
MehrDarstellung, Verarbeitung und Erwerb von Wissen
Darstellung, Verarbeitung und Erwerb von Wissen Gabriele Kern-Isberner LS 1 Information Engineering TU Dortmund Wintersemester 2015/16 WS 2015/16 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/16 1 / 169
Mehr5. Assoziationsregeln
5. Generieren von Assoziationsregeln Grundbegriffe 5. Assoziationsregeln Assoziationsregeln beschreiben gewisse Zusammenhänge und Regelmäßigkeiten zwischen verschiedenen Dingen, z.b. den Artikeln eines
MehrModerne Methoden der KI: Maschinelles Lernen
Moderne Methoden der KI: Maschinelles Lernen Prof. Dr.Hans-Dieter Burkhard Vorlesung Sommer-Semester 2008 Konzept-Lernen Konzept-Lernen Lernen als Suche Inductive Bias Konzept-Lernen: Problemstellung Ausgangspunkt:
MehrIntelligente Systeme. Einführung. Christian Moewes
Intelligente Systeme Einführung Prof. Dr. Rudolf Kruse Christian Moewes Georg Ruß {kruse,russ,cmoewes}@iws.cs.uni-magdeburg.de Arbeitsgruppe Computational Intelligence Institut für Wissens- und Sprachverarbeitung
MehrAssoziationsregeln & Sequenzielle Muster. A. Hinneburg, Web Data Mining MLU Halle-Wittenberg, SS 2007
Assoziationsregeln & Sequenzielle Muster 0 Übersicht Grundlagen für Assoziationsregeln Apriori Algorithmus Verschiedene Datenformate Finden von Assoziationsregeln mit mehren unteren Schranken für Unterstützung
MehrData Mining und Maschinelles Lernen Wintersemester 2015/2016 Lösungsvorschlag für das 3. Übungsblatt
Data Mining und Maschinelles Lernen Wintersemester 2015/2016 Lösungsvorschlag für das 3. Übungsblatt 18. November 2015 1 Aufgabe 1: Version Space, Generalisierung und Spezialisierung (1) Gegeben sei folgende
MehrIntelligente Systeme
Intelligente Systeme Maschinelles Lernen Prof. Dr. R. Kruse C. Moewes G. Ruß {kruse,cmoewes,russ}@iws.cs.uni-magdeburg.de Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke
MehrIntelligente Systeme
Intelligente Systeme Maschinelles Lernen Prof. Dr. R. Kruse C. Braune C. Moewes {kruse,cmoewes,russ}@iws.cs.uni-magdeburg.de Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke
MehrWas wissen Sie jetzt?
Was wissen Sie jetzt?! Sie haben drei Prinzipien für die Regelbewertung kennen gelernt:! Unabhängige Mengen sollen mit bewertet werden.! Der Wert soll höher werden, wenn die Regel mehr Belege hat.! Der
MehrDarstellung, Verarbeitung und Erwerb von Wissen
Darstellung, Verarbeitung und Erwerb von Wissen Gabriele Kern-Isberner LS 1 Information Engineering TU Dortmund Wintersemester 2015/16 WS 2015/16 G. Kern-Isberner (TU Dortmund) DVEW WS 2015/16 1 / 169
MehrMaschinelles Lernen: Symbolische Ansätze
Maschinelles Lernen: Symbolische Ansätze Wintersemester 2014/2015 Musterlösung für das 3. Übungsblatt Aufgabe 1: Version Space, Generalisierung und Spezialisierung Gegeben sei folgende Hierarchie von Begriffen:
MehrData Mining und Maschinelles Lernen Wintersemester 2015/2016 Lösungsvorschlag für das 13. Übungsblatt
Data Mining und Maschinelles Lernen Wintersemester 2015/2016 Lösungsvorschlag für das 13. Übungsblatt 9. Februar 2016 1 Aufgabe 1: Apriori (1) Gegeben seien folgende Beobachtungen vom Kaufverhalten von
MehrMaschinelles Lernen: Symbolische Ansätze
Maschinelles Lernen: Symbolische Ansätze Wintersemester 2008/2009 Musterlösung für das 3. Übungsblatt Aufgabe 1: Version Space, Generalisierung und Spezialisierung Gegeben sei folgende Hierarchie von Begriffen:
MehrData Mining und Maschinelles Lernen Lösungsvorschlag für das 12. Übungsblatt
Data Mining und Maschinelles Lernen Lösungsvorschlag für das 12. Übungsblatt Knowledge Engineering Group Data Mining und Maschinelles Lernen Lösungsvorschlag 12. Übungsblatt 1 Aufgabe 1: Apriori (1) Gegeben
MehrMaschinelles Lernen: Symbolische Ansätze
Maschinelles Lernen: Symbolische Ansätze Wintersemester 2009/2010 Musterlösung für das 13. Übungsblatt Aufgabe 1: Apriori Gegeben seien folgende Beobachtungen vom Kaufverhalten von Kunden: beer chips dip
MehrVorlesung Wissensentdeckung
Vorlesung Wissensentdeckung MinEx 27.4.2010 Gliederung 1 Closed Item Sets 2 Free sets 3 MinEx Wir erinnern uns... Hypothesen werden in einem Verband angeordnet. Ein Versionenraum gibt die möglichen Hypothesen
MehrMaschinelles Lernen: Symbolische Ansätze
Semestralklausur zur Vorlesung Maschinelles Lernen: Symbolische Ansätze Prof. J. Fürnkranz / Dr. G. Grieser Technische Universität Darmstadt Wintersemester 2005/06 Termin: 23. 2. 2006 Name: Vorname: Matrikelnummer:
MehrKapitel 7: Assoziationsregeln
Ludwig Maximilians Universität München Institut für Informatik Lehr- und Forschungseinheit für Datenbanksysteme Skript zur Vorlesung Knowledge Discovery in Databases im Wintersemester 2007/2008 Kapitel
MehrSkript zur Vorlesung. Knowledge Discovery in Databases. im Wintersemester 2009/2010. Assoziationsregeln
Ludwig Maximilians Universität München Institut für Informatik Lehr- und Forschungseinheit für Datenbanksysteme Skript zur Vorlesung Knowledge Discovery in Databases im Wintersemester 2009/2010 Kapitel
MehrSelbstständiges Lernen
Kapitel 5 Spezialvorlesung Modul 10-202-2206 (Fortgeschrittene Methoden in der Bioinformatik) Jana Hertel Professur für Bioinformatik Institut für Informatik Universität Leipzig Machine learning in bioinformatics
MehrApriori-Algorithmus zur Entdeckung von Assoziationsregeln
Apriori-Algorithmus zur Entdeckung von PG 42 Wissensmanagment Lehrstuhl für Künstliche Intelligenz 22. Oktober 21 Gliederung Motivation Formale Problemdarstellung Apriori-Algorithmus Beispiel Varianten
MehrLernen von Assoziationsregeln
Lernen von Assoziationsregeln Gegeben: R eine Menge von Objekten, die binäre Werte haben t eine Transaktion, t! R r eine Menge von Transaktionen S min " [0,] die minimale Unterstützung, Conf min " [0,]
MehrKapitel 8: Assoziationsregeln
Ludwig-Maximilians-Universität München Institut für Informatik Lehr- und Forschungseinheit für Datenbanksysteme Skript zur Vorlesung Knowledge Discovery in Databases im Sommersemester 2015 Kapitel 8: Assoziationsregeln
MehrKapitel 7: Assoziationsregeln
Ludwig-Maximilians-Universität München Institut für Informatik Lehr- und Forschungseinheit für Datenbanksysteme Skript zur Vorlesung Knowledge Discovery in Databases im Wintersemester 2010/2011 Kapitel
MehrData Mining. Informationssysteme, Sommersemester 2017
Data Mining Informationssysteme, Sommersemester 2017 Literatur zu Data-Mining Pang-Ning Tan, Michael Steinbach, Vipin Kuma. Introduction to Data Minig. Ein paar relevante Kapitel sind frei verfügbar unter
Mehr6.6 Vorlesung: Von OLAP zu Mining
6.6 Vorlesung: Von OLAP zu Mining Definition des Begriffs Data Mining. Wichtige Data Mining-Problemstellungen, Zusammenhang zu Data Warehousing,. OHO - 1 Definition Data Mining Menge von Techniken zum
MehrKapitel 8: Assoziationsregeln
Ludwig-Maximilians-Universität München Institut für Informatik Lehr- und Forschungseinheit für Datenbanksysteme Skript zur Vorlesung Knowledge Discovery in Databases im Sommersemester 2014 Kapitel 8: Assoziationsregeln
Mehr4. Lernen von Entscheidungsbäumen
4. Lernen von Entscheidungsbäumen Entscheidungsbäume 4. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse
MehrData Mining und Statistik: Gemeinsamkeiten und Unterschiede. Daniel Meschenmoser
Data Mining und Statistik: Gemeinsamkeiten und Unterschiede Daniel Meschenmoser Übersicht Gemeinsamkeiten von Data Mining und Statistik Unterschiede zwischen Data Mining und Statistik Assoziationsregeln
MehrMining conjunctive sequential patterns
Mining conjunctive sequential patterns Chedy Raïssi Toon Calders Pascal Poncelet Manh Linh Nguyen TU Dortmund Fakultät für Informatik Lehrstuhl 8.5.29 Inhalt. Einleitung 2. Mining von frequent sequences
MehrIntelligente Systeme
Intelligente Systeme Maschinelles Lernen Prof. Dr. R. Kruse C. Braune {rudolf.kruse,christian.braune}@ovgu.de Institut für Intelligente Kooperierende Systeme Fakultät für Informatik Otto-von-Guericke-Universität
MehrINTELLIGENTE DATENANALYSE IN MATLAB. Unüberwachtes Lernen: Clustern von Attributen
INTELLIGENTE DATENANALYSE IN MATLAB Unüberwachtes Lernen: Clustern von Attributen Literatur J. Han, M. Kamber: Data Mining Concepts and Techniques. J. Han et. al: Mining Frequent Patterns without Candidate
MehrHäufige Item-Mengen: die Schlüssel-Idee. Vorlesungsplan. Apriori Algorithmus. Methoden zur Verbessung der Effizienz von Apriori
Vorlesungsplan 17.10. Einleitung 24.10. Ein- und Ausgabe 31.10. Reformationstag, Einfache Regeln 7.11. Naïve Bayes, Entscheidungsbäume 14.11. Entscheidungsregeln, Assoziationsregeln 21.11. Lineare Modelle,
MehrINTELLIGENTE DATENANALYSE IN MATLAB
INTELLIGENTE DATENANALYSE IN MATLAB Lernen von Assoziationsregeln Literatur J. Han, M. Kamber: Data Mining i Concepts and Techniques. J. Han et. al: Mining i Frequent Patterns without t Candidate Generation.
MehrKapitel ML:IV (Fortsetzung)
Kapitel ML:IV (Fortsetzung) IV. Statistische Lernverfahren Wahrscheinlichkeitsrechnung Bayes-Klassifikation Maximum-a-Posteriori-Hypothesen ML:IV-18 Statistical Learning c STEIN 2005-2011 Satz 3 (Bayes)
MehrLogik. Gabriele Kern-Isberner LS 1 Information Engineering. TU Dortmund Wintersemester 2014/15 WS 2014/15
Logik Gabriele Kern-Isberner LS 1 Information Engineering TU Dortmund Wintersemester 2014/15 WS 2014/15 G. Kern-Isberner (TU Dortmund) Logik WS 2014/15 1 / 125 Übersicht Modallogik 5. Grundlagen 6. Erfüllbarkeit
MehrFortgeschrittene Computerintensive Methoden: Assoziationsregeln Steffen Unkel Manuel Eugster, Bettina Grün, Friedrich Leisch, Matthias Schmid
Fortgeschrittene Computerintensive Methoden: Assoziationsregeln Steffen Unkel Manuel Eugster, Bettina Grün, Friedrich Leisch, Matthias Schmid Institut für Statistik LMU München Sommersemester 2013 Zielsetzung
MehrFragenkatalog zur Vorlesung "Grundlagen des Data Mining" (WS 2006/07)
Fragenkatalog zur Vorlesung "Grundlagen des Data Mining" (WS 2006/07) 1. Grenzen Sie die Begriffe "Daten" und "Wissen" mit je 3 charakteristischen Eigenschaften gegeander ab. 2. Nennen Sie vier verschiedene
MehrDarstellung, Verarbeitung und Erwerb von Wissen
Darstellung, Verarbeitung und Erwerb von Wissen Gabriele Kern-Isberner LS 1 Information Engineering TU Dortmund WiSe 2016/17 G. Kern-Isberner (TU Dortmund) DVEW WiSe 2016/17 1 / 169 Struktur der DVEW 1
Mehrfunktionale Abhängigkeiten: Semantik funktionale Abhängigkeiten: Syntax
funktionale Abhängigkeiten: Syntax < R U F > ein Relationenschema mit R ein Relationensymbol, U eine Menge von Attributen, F eine Menge von funktionalen Abhängigkeiten (über R und U) Eine funktionale Abhängigkeit
MehrTechnische Universität München. Ferienkurs Lineare Algebra 1. Mengenlehre, Aussagen, Relationen und Funktionen. Aufgaben mit Musterlösung
Technische Universität München Ferienkurs Lineare Algebra 1 Mengenlehre, Aussagen, Relationen und Funktionen Aufgaben mit Musterlösung 21. März 2011 Tanja Geib 1 Aufgabe 1 Geben Sie zu B = {0, 2, 4} und
MehrAbschnitt 3: Mathematische Grundlagen
Abschnitt 3: Mathematische Grundlagen 3. Mathematische Grundlagen 3.1 Mengen und Abbildungen 3.2 Induktion und Rekursion 3.3 Ausdrücke 3 Mathematische Grundlagen Einf. Progr. (WS 08/09) 102 Überblick 3.
MehrData Warehousing und Data Mining
Data Warehousing und Data Mining Association Rule Mining Ulf Leser Wissensmanagement in der Bioinformatik Inhalt dieser Vorlesung Association Rule Mining (ARM) A-Priori Algorithmus Varianten Ulf Leser:
MehrÜbersicht. A. Hinneburg, Web Data Mining MLU Halle-Wittenberg, SS 2007
Übersicht Grundlagen für Assoziationsregeln Apriori Algorithmus Verschiedene Datenformate Finden von Assoziationsregeln mit mehren unteren Schranken für Unterstützung Finden von Assoziationsregeln für
MehrAlgorithmen und Datenstrukturen 2
Algorithmen und Datenstrukturen 2 Lerneinheit 3: Greedy Algorithmen Prof. Dr. Christoph Karg Studiengang Informatik Hochschule Aalen Sommersemester 2016 10.5.2016 Einleitung Einleitung Diese Lerneinheit
MehrSeminarvortrag zum Thema maschinelles Lernen I - Entscheidungsbäume. von Lars-Peter Meyer. im Seminar Methoden wissensbasierter Systeme
Seminarvortrag zum Thema maschinelles Lernen I - Entscheidungsbäume von Lars-Peter Meyer im Seminar Methoden wissensbasierter Systeme bei Prof. Brewka im WS 2007/08 Übersicht Überblick maschinelles Lernen
MehrÜbersicht. A. Hinneburg, Web Data Mining MLU Halle-Wittenberg, SS 2007
Übersicht Grundlagen für Assoziationsregeln Apriori Algorithmus Verschiedene Datenformate Finden von Assoziationsregeln mit mehren unteren Schranken für Unterstützung Finden von Assoziationsregeln für
MehrMaschinelles Lernen in der Bioinformatik
Maschinelles Lernen in der Bioinformatik Spezialvorlesung Modul 10-202-2206 (Fortgeschrittene Methoden in der Bioinformatik) VL 5/6 Selbständiges Lernen Jana Hertel Professur für Bioinformatik Institut
MehrKAPITEL 4. Posets Hasse Diagramm
KAPITEL 4 Posets Im Abschnitt über Relationen (1.4) wurde Eigenschaften von Relationen über einer einzigen Grundmenge X definiert. Mithilfe dieser Eigenschaften wurden z.b. Äquivalenzrelationen definiert.
MehrMaschinelles Lernen und Data Mining
Semestralklausur zur Vorlesung Maschinelles Lernen und Data Mining Prof. J. Fürnkranz / Dr. G. Grieser Technische Universität Darmstadt Wintersemester 2004/05 Termin: 14. 2. 2005 Name: Vorname: Matrikelnummer:
Mehr4.2 Constraints für Assoziationsregeln
4.2 Constraints für Assoziationsregeln zu viele Frequent Item Sets Effizienzproblem zu viele Assoziationsregeln Evaluationsproblem Motivation manchmal Constraints apriori bekannt nur Assoziationsregeln
MehrKapitel 2. Mathematische Grundlagen. Skript zur Vorlesung Einführung in die Programmierung
LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS DATABASE Kapitel 2 Mathematische Grundlagen Skript zur Vorlesung Einführung in die Programmierung im Wintersemester 2012/13 Ludwig-Maximilians-Universität
Mehr13 Auswahlaxiom und Zornsches Lemma
13 Auswahlaxiom und Zornsches Lemma Handout zur Funktionalanalysis I von H. Glöckner, 25.11.2008 Wichtige Teile der modernen Mathematik beruhen auf dem sogenannten Auswahlaxiom der Mengenlehre. Dieses
MehrMaschinelles Lernen: Symbolische Ansätze
Klausur zur Vorlesung Maschinelles Lernen: Symbolische Ansätze Prof. J. Fürnkranz Technische Universität Darmstadt Wintersemester 2014/15 Termin: 17. 2. 2015 Name: Vorname: Matrikelnummer: Fachrichtung:
Mehr2. Lernen von Entscheidungsbäumen
2. Lernen von Entscheidungsbäumen Entscheidungsbäume 2. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse
MehrData Mining - Wiederholung
Data Mining - Wiederholung Norbert Fuhr 18. Januar 2006 Problemstellungen Problemstellungen Daten vs. Information Def. Data Mining Arten von strukturellen Beschreibungen Regeln (Klassifikation, Assoziations-)
MehrAbschnitt 3: Mathematische Grundlagen
Abschnitt 3: Mathematische Grundlagen 3. Mathematische Grundlagen 3.1 3.2 Induktion und Rekursion 3.3 Boolsche Algebra Peer Kröger (LMU München) Einführung in die Programmierung WS 14/15 48 / 155 Überblick
MehrGrundlagen von Datenbanken Sommersemester 2012
Beispiellösung für die Präsenzübung Nr. 3 Lösung zu Aufgabe 1 (RAP- Algorithmus): a) K ist Schlüssel, wenn gilt: K R und K ist minimal? 1) K R gilt, wenn: F K R (K R) ε F + R K F * 2) K ist minimal gilt,
MehrData Mining auf Datenströmen Andreas M. Weiner
Technische Universität Kaiserslautern Fachbereich Informatik Lehrgebiet Datenverwaltungssysteme Integriertes Seminar Datenbanken und Informationssysteme Sommersemester 2005 Thema: Data Streams Andreas
MehrWS 2009/10. Diskrete Strukturen
WS 2009/10 Diskrete Strukturen Prof. Dr. J. Esparza Lehrstuhl für Grundlagen der Softwarezuverlässigkeit und theoretische Informatik Fakultät für Informatik Technische Universität München http://www7.in.tum.de/um/courses/ds/ws0910
MehrRegelbasiertes Tiling für Collaborative Filtering
Regelbasiertes Tiling für Collaborative Filtering Diplomarbeit Simone Daum 17.11.2005 Betreuer: Prof. Johannes Fürnkranz Überblick Einführung Algorithmus zum Regelbasierten Tiling Ergebnisse Überblick
MehrInduktion von Assoziationsregeln. Stefan Mandl
Induktion von Assoziationsregeln Stefan Mandl Inhalt Was sind Assoziationsregeln? Qualitätsbewertung Algorithmus Was sind Assoziationsregeln? Assoziationsregeln Assoziationsregeln beschreiben Korrelationen
MehrVorlesung Maschinelles Lernen
Prof. Dr. phil. Dr. rer. nat. habil. M.Schenke Vorlesung Maschinelles Lernen Basierend auf der Vorlesung und dem Buch»Methoden wissensbasierter Systeme«von Christoph Beierle und Gabriele Kern-Isberner
MehrFernUniversität in Hagen. Seminar 01912 Data Mining im Sommersemester 2008 Häufige Muster und Assoziationsregeln. Thema 1.1.1 Der Apriori-Algorithmus
FernUniversität in Hagen Seminar 01912 Data Mining im Sommersemester 2008 Häufige Muster und Assoziationsregeln Thema 1.1.1 Der Apriori-Algorithmus Referentin: Olga Riener Olga Riener. Thema 1.1.1. Der
MehrOrdnungsrelationen auf Mengen. Beispiel einer Ordnungsrelation. Spezielle Elemente von Ordnungen. Spezielle Elemente von Ordnungen
Ordnungsrelationen auf Mengen! Eine (partielle) Ordnungsrelation oder kurz Ordnung O auf einer Menge M ist eine Relation, die reflexiv, antisymmetrisch und transitiv ist. Beispiel: M = { 1, 2, 3 }, O =
MehrOrdnungsrelationen auf Mengen
Ordnungsrelationen auf Mengen Eine (partielle) Ordnungsrelation oder kurz Ordnung O auf einer Menge M ist eine Relation, die reflexiv, antisymmetrisch und transitiv ist. Beispiel: M = { 1, 2, 3 }, O =
MehrCognitive Interaction Technology Center of Excellence
Kanonische Abdeckung Motivation: eine Instanz einer Datenbank muss nun alle funktionalen Abhängigkeiten in F + erfüllen. Das muss natürlich immer überprüft werden (z.b. bei jedem update). Es reicht natürlich
Mehrfuzzy-entscheidungsbäume
fuzzy-entscheidungsbäume klassische Entscheidungsbaumverfahren fuzzy Entscheidungsbaumverfahren Entscheidungsbäume Was ist ein guter Mietwagen für einen Familienurlaub auf Kreta? 27. März 23 Sebastian
Mehr2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung
2 Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche: Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 24/ 44 Zwei Beispiele a 0
MehrDiskrete Strukturen Kapitel 2: Grundlagen (Beweise)
WS 2014/15 Diskrete Strukturen Kapitel 2: Grundlagen (Beweise) Hans-Joachim Bungartz Lehrstuhl für wissenschaftliches Rechnen Fakultät für Informatik Technische Universität München http://www5.in.tum.de/wiki/index.php/diskrete_strukturen_-_winter_14
Mehr1. Was ist der Unterschied zwischen Experten Systemen und Wissensbasierten Systemen?
Fragenkatalog 1. Was ist der Unterschied zwischen Experten Systemen und Wissensbasierten Systemen? Die Unterscheidung der Herkunft der Art des in der Wissensbasis vorhandenen Wissens wird als einfaches
MehrEinführung in die Programmierung
Einleitung Gliederung Einführung in die Programmierung Wintersemester 2017/18 Zum Begriff Informatik Zum Begriff Algorithmus Zum Begriff Programmieren Prof. Dr. Günter Rudolph Lehrstuhl für Algorithm Engineering
MehrVII.3 Assoziationsregeln
VII.3 Assoziationsregelverfahren VII.3. Einführung [Bollinger 96] VII.3 Assoziationsregeln Algorithmen zum Entdecken von Assoziationsregeln sind typische Vertreter von Data Mining Verfahren. Assoziationsregeln
MehrDieser Foliensatz darf frei verwendet werden unter der Bedingung, dass diese Titelfolie nicht entfernt wird.
Thomas Studer Relationale Datenbanken: Von den theoretischen Grundlagen zu Anwendungen mit PostgreSQL Springer, 2016 ISBN 978-3-662-46570-7 Dieser Foliensatz darf frei verwendet werden unter der Bedingung,
MehrKapitel 1: Einleitung. Gliederung. Zum Begriff Informatik Zum Begriff Algorithmus Zum Begriff Programmieren
Kapitel 1: Einleitung Wintersemester 2006/07 Einführung in die Informatik für Naturwissenschaftler und Ingenieure (alias Einführung in die Programmierung) (Vorlesung) Gliederung Zum Begriff Informatik
MehrLemma Für jede monotone Grammatik G gibt es eine kontextsensitive
Lemma Für jede monotone Grammatik G gibt es eine kontextsensitive Grammatik G mit L(G) = L(G ). Beweis im Beispiel (2.): G = (V,Σ, P, S) : P = {S asbc, S abc, CB BC, ab ab, bb bb, bc bc, cc cc}. (i) G
MehrXML & Intelligente Systeme. - XQuery Teil 2 - Datamining auf XML Dokumenten
- XQuery Teil 2 - Datamining auf XML Dokumenten Seminarvortrag von Dominik Westhues dwesthue@techfak.uni-bielefeld.de 21.11.2005 Überblick XQuery & Datamining Verknüpfungsregeln Apriori Algorithmus Verknüpfungsregel
MehrKapitel 12: Schnelles Bestimmen der Frequent Itemsets
Einleitung In welchen Situationen ist Apriori teuer, und warum? Kapitel 12: Schnelles Bestimmen der Frequent Itemsets Data Warehousing und Mining 1 Data Warehousing und Mining 2 Schnelles Identifizieren
MehrEinführung in die Programmierung
Einleitung Gliederung Einführung in die Programmierung Wintersemester 08/09 Zum Begriff Informatik Zum Begriff Algorithmus Zum Begriff Programmieren Prof. Dr. Günter Rudolph Lehrstuhl für Algorithm Engineering
MehrWS 2013/14. Diskrete Strukturen
WS 2013/14 Diskrete Strukturen Prof. Dr. J. Esparza Lehrstuhl für Grundlagen der Softwarezuverlässigkeit und theoretische Informatik Fakultät für Informatik Technische Universität München http://www7.in.tum.de/um/courses/ds/ws1314
MehrKünstliche Intelligenz Maschinelles Lernen
Künstliche Intelligenz Maschinelles Lernen Stephan Schwiebert WS 2009/2010 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln Maschinelles Lernen Überwachtes Lernen Unüberwachtes
MehrLösungen von Übungsblatt 12
Lösungen von Übungsblatt 12 Algorithmen (WS 2018, Ulrike von Luxburg) Lösungen zu Aufgabe 1 Eine (kanonische) Möglichkeit, die Branch-Schritte auszuführen ergibt sich wie folgt: Das ursprüngliche Problem
MehrEinführung in die Programmierung Wintersemester 2016/17
Einführung in die Programmierung Wintersemester 2016/17 Prof. Dr. Günter Rudolph Lehrstuhl für Algorithm Engineering Fakultät für Informatik TU Dortmund Einleitung Gliederung Zum Begriff Informatik Zum
MehrGrundlagen des Maschinellen Lernens Kapitel 4: PAC Lernen
Kapitel 4:. Motivation 2. Lernmodelle Teil I 2.. Lernen im Limes 2.2. Fallstudie: Lernen von Patternsprachen 3. Lernverfahren in anderen Domänen 3.. Automatensynthese 3.2. Entscheidungsbäume 3.3. Entscheidungsbäume
MehrWS 2013/14. Diskrete Strukturen
WS 2013/14 Diskrete Strukturen Prof. Dr. J. Esparza Lehrstuhl für Grundlagen der Softwarezuverlässigkeit und theoretische Informatik Fakultät für Informatik Technische Universität München http://www7.in.tum.de/um/courses/ds/ws13/14
MehrMaschinelles Lernen: Symbolische Ansätze
Maschinelles Lernen: Symbolische Ansätze Musterlösung für das 7. Übungsblatt Aufgabe 1 Gegeben sei folgende Beispielmenge: Day Outlook Temperature Humidity Wind PlayTennis D1? Hot High Weak No D2 Sunny
Mehr3.3 Default-Logiken Reiter sche Default-Logik
Darstellung, Verarbeitung und Erwerb von Wissen 3.3 Default-Logiken 3.3.1 Reiter sche Default-Logik DVEW WS 2004/05 c Gabriele Kern-Isberner 1 Prozesse (Whlg.) Default-Prozesse sind (endliche) Folgen Π
Mehr4. Funktionen und Relationen
Bestimmung der Umkehrfunktionen c) bei reellen Funktionen geometrisch durch Spiegelung des Funktionsgraphen an der Winkelhalbierenden y = x. y = x 3 y = x y = x y = (x+1)/2 y = x 1/3 y = 2x 1 Seite 27
MehrDiskrete Strukturen Kapitel 2: Grundlagen (Relationen)
WS 2016/17 Diskrete Strukturen Kapitel 2: Grundlagen (Relationen) Hans-Joachim Bungartz Lehrstuhl für wissenschaftliches Rechnen Fakultät für Informatik Technische Universität München http://www5.in.tum.de/wiki/index.php/diskrete_strukturen_-_winter_16
MehrData Mining 5-1. Kapitel 5: Frequent Itemsets. Johannes Zschache Wintersemester 2018/19
Data Mining Kapitel 5: Frequent Itemsets Johannes Zschache Wintersemester 2018/19 Abteilung Datenbanken, Universität Leipzig http://dbs.uni-leipzig.de Data Mining 5-1 5-2 Data Mining Übersicht Hochdimension.
Mehr8.4 Digraphen mit negativen Kantengewichten Grundsätzliches Betrachte Startknoten s und einen Kreis C mit Gesamtlänge < 0.
8.4 Digraphen mit negativen Kantengewichten 8.4.1 Grundsätzliches Betrachte Startknoten s und einen Kreis C mit Gesamtlänge < 0. k 4 5 1 s 1 3 2 C k 0 k 3 1 1 1 k 1 k 2 v Sollte ein Pfad von s nach C und
Mehr