Übersicht. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 1

Transkript

1 Übersicht I Künstliche Intelligenz II Problemlösen III Wissen und Schlussfolgern IV Logisch Handeln V Unsicheres Wissen und Schließen VI Lernen 18. Lernen aus Beobachtungen 19. Wissen beim Lernen 20. Statistische Lernmethoden 21. Verstärkungslernen VII Kommunizieren, Wahrnehmen und Handeln Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 1

2 Integration vor Vorwissen Entscheidungsbaumlernen benötigt als Vorwissen praktisch nur die Annahme, dass die zu lernende Funktion sich gut als möglichst einfacher Entscheidungsbaum ausdrücken lässt In vielen Fällen ist mehr Vorwissen da, das integriert werden sollte. Ein guter Kandidat für dessen Repräsentation ist die Aussagen- bzw. Prädikatenlogik Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 2

3 Restaurantdomäne und Logik Das erste Restaurant-Beispiel kann als logischer Satz geschrieben werden: Alternate (X1) BarX1 Fri/Sat(X1) hungry (X1) Das Ergebnis eines Entscheidungsbaums (Hypothese) kann ebenfalls als logischer Ausdruck notiert werden: Ein neues Beispiel kann mit der Hypothese inkonsistent sein falsch negativ (Hypothese sagt negativ, tatsächlich positiv) falsch positiv (Hypothese sagt positiv, tatsächlich negativ) Inkonsistente Hypothesen: ausschließen bzw. modifizieren Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 3

4 Lernen als Suche nach der aktuell besten Hypothese Lernen kann als Suche im Hypothesenraum betrachtet werden. Eine einfache Suchmethode ist Hill-Climbing mit Backtracking: (Lernen als Suche nach der aktuell besten Hypothese): Wähle zu dem ersten (positiven) Beispiel eine Hypothese und überprüfe sie mit jedem neuen Beispiel. Wenn das Beispiel falsch positiv ist, dann spezialisiere die Hypothese, wenn es falsch negativ ist, dann verallgemeinere die Hypothese, bis alle Beispiele korrekt klassifiziert werden. Nachteile: Bei großen Fallmengen wird es aufwendig, jede Änderung der aktuell besten Hypothese gegenzuprüfen. Es ist schwierig, gute Suchheuristiken zu finden. Backtracking kann sehr aufwendig sein, da der der Suchraum doppelt exponentiell ist. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 4

5 Beispiel für Suche nach aktuell bester Hypothese Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 5

6 Restaurant-Bsp. für Suche nach aktuell bester Hypothese Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 6

7 Least Commitment Suche Statt eine Hypothese zu modifizieren, kann man auch alle mit den Beispielen konsistenten Hypothesen betrachten. Jedes neue Beispiel hat entweder keinen Effekt oder bewirkt eine Eliminierung einiger Hypothesen Hypothesenraum ist eine Disjunktion: H1 H2 H3 Menge der aktuellen Hypothesen ist der "Versionenraum" inkrementeller Algorithmus (bei neuem Beispiel müssen die alten Beispiele nicht angeschaut werden) Least commitment: es werden keine willkürlichen Entscheidungen getroffen, daher kein Backtracking nötig Problem: wie repräsentiert man den riesigen Hypothesenraum? Analogie: wie repräsentiert man alle reellen Zahlen zwischen 1 und 2: durch Intervall [1, 2], da Zahlen geordnet. Lösung: Durch Angabe einer Obergrenze und einer Untergrenze entlang der partiellen Generalisierungs-/Spezialisierungs-Ordnung! Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 7

8 S-Menge und G-Menge Die Obergrenze nennen wird G-Menge (most general boundary; alle allgemeineren Hypothesen sind inkonsistent); die Untergrenze S-Menge (most specific boundary; alle spezielleren Hypothesen sind ebenfalls inkonsistent). Im allgemeinen sind die Mengen eine Disjunktion von Hypothesen, d.h. S-Menge sei S 1 v... v S n G-Menge sei G 1 v... v G m. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 8

9 Versionenraumlernen Algorithmus: Initialisierung: Setze S-Menge auf "Falsch" und G-Menge auf "Wahr". Aktualisierung: Für jedes neue Beispiel B tue: Wenn B falsch positiv für ein S i dann entferne S i aus S-Menge. Wenn B falsch negativ für ein G i dann entferne G i aus G-Menge. Wenn B falsch negativ für ein S i dann ersetze S i durch seine direkten Generalisierungen. Wenn B falsch positiv für ein G i dann ersetze G i durch seine direkten Spezialisierungen. bis einer von 3 Fällen eintritt: 1. Es bleibt nur ein Konzept im Versionenraum übrig -> Lösung 2. Entweder G oder S enthalten die leere Menge -> keine Lösung 3. Es gibt keine Beispiele mehr, ohne das G & S zusammenfallen, viele konsistente Lösungen (alle Hypothesen zwischen G & S) Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 9

10 Veranschaulichung des Versionenraumlernens Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 10

11 Diskussion vom Versionenraumlernen Hauptnachteile: 1. Beschränkung der Erzeugung direkter Generalisierungen für Effizienz notwendig im einfachsten Fall nur Unterscheidung zwischen einem bestimmten Wert und "egal" Verbesserung durch vorgegebene Generalisierungshierarchie (z.b. longwait für wait-estimate (x, >60) und (x, 30-60) 2. Unfähigkeit zum Umgang mit verrauschten Daten ( nur begrenzte praktische Einsetzbarkeit). Einsatzbeispiele: Meta-Dendral: Lernprogramm zur Aufklärung von Molekülstrukuren mit Hilfe von Massenspektrogrammen LEX: Lernen der Lösung symbolischer Integrationsprobleme Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 11

12 Vorwissen beim Lernen Traditionelles Lernmodell (bis frühe 80 iger): Hypothese & Beschreibungen = Klassifikationen Beschreibungen: Klassifikationen: Hypothese: alle Beispiele Lösungen der Beispiele soll gelernt werden (stammt aus vordefiniertem Hypothesenraum) Präferenzkriterium: Ockham s razor (bevorzuge einfache Hypothesen). Der moderne Ansatz geht dagegen davon aus, daß der Agent Vorwissen hat und dieses aufgrund seiner Erfahrungen (Beispiele) verbessern will. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 12

13 Beispiele für Vorwissen beim Lernen Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 13

14 Beispiel EBL (Erklärungsbasiertes Lernen) Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 14

15 Allgemeine Lernschemata 1. Erklärungsbasiertes Lernen: Es wird kein wirklich neues Wissen gelernt, sondern vorhandenes Wissen effizienter angewendet (Kompilierung des Hintergrundwissen mit Beispielen). Hypothese & Beschreibungen = Klassifikationen Hintergrundwissen = Hypothese 2. Relevanzbasiertes Lernen: Hintergrundwissen hilft, die Bedeutung von Eigenschaften der Hypothese zu bestimmen. Hypothese & Beschreibungen = Klassifikationen Hintergrundwissen& Beschreibungen& Klassifikationen = Hypothese 3. Wissensbasiertes induktives Lernen: Das Hintergrundwissen wird durch die neue Hypothese erweitert. Hintergrundwissen& Hypothese& Beschreibungen = Klassifikationen Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 15

16 Erklärungsbasiertes Lernen (EBL) Vorläufertechnik: Memorieren Die Ergebnisse komplexer Berechnungen werden in einer Datenbank (Hashtabelle) von Ein-/Ausgabe Paaren gespeichert. Vor jeder Berechnung wird nachgeschaut, ob das Ergebnis schon in der Datenbank vorhanden ist. EBL verallgemeinert Ein-/Ausgabe Paare zu Regeln, die auch in ähnlichen Situationen angewendet werden können. Triviales Beispiel: Unbekannte u => Ableitung (u², u) = 2u Philosophischer Hintergrund: Whitehead (1911): Die Zivilisation schreitet dadurch voran, dass sie die Anzahl wichtiger Operationen vermehrt, die wir ohne Nachdenken durchführen können. Es ist einfacher, zu erklären, warum etwas eine gute Idee ist, als auf die Idee zu kommen. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 16

17 Schritte des Erklärungsbasierten Lernens 1. Wenn ein Beispiel gegeben ist, konstruiere dafür den Beweisbaum mittels des Hintergrundwissen. 2. Verallgemeinere den Beweisbaum, indem im Zielausdruck Konstanten durch Variablen ersetzt werden. 3. Erzeuge eine neue Regel, deren Vorbedingung die Blätter im Beweisbaum sind, und deren Nachbedingung der verallgemeinerte Zielausdruck ist. 4. Entferne alle Vorbedingungen, die unabhängig von den Variablen des Zielausdrucks wahr sind. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 17

18 Beispiel EBL Problem: Vereinfache 1 * (0 + x) Wissensbasis enthält Regeln wie: hergeleiteter Beweis: s. Baum rechts oben Baum rechts unten: Verallgemeinerung des Beweisbaums mit Ersetzung der Variablen hergeleitete Regel: ArithmeticUnknown z Simplify (1 * (0 + z), z) Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 18

19 Effizienzüberlegungen beim EBL 1. Zu viele Regeln können den Ableitungsprozess verlangsamen, da vor jeder neuen Ableitung erst alle bekannten Regeln überprüft werden. 2. Anwendbare Regeln sollen einen großen Effizienzgewinn bringen. 3. Regeln sollen so allgemein wie möglich formuliert werden, aber gleichzeitig möglichst operational sein (Kompromiss erforderlich). Komplexes Optimierungsproblem (unter der Annahme, dass zukünftige ähnlich wie bereits gelöste Probleme sind) Anwendungsbeispiel: Bei einem Prolog-basierten Sprachübersetzungssystem Schwedisch Englisch berichten Samuelsson und Rayner (1991) von einem Effizienzgewinn um den Faktor 1200 durch EBL. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 19

20 Relevanzbasiertes Lernen Relevanzbasiertes Lernen basiert auf funktionellen Abhängigkeiten (ähnlich wie in Normalformen bei Datenbanken), z.b. Nationalität (x,n) determiniert Sprache (x,s) in PK1: x,y,n,s Nation(x,n) Nation(y,n) Sprache(x,s) Sprache(y,s) Der Gewinn ist eine Reduktion des Suchraumes bei n Boolschen Merkmalen mit d funktionalen Abhängigkeiten von 2 n auf 2 n-d notwendigen Beispielen, um die Hypothese ohne Bias lernen zu können (mit Bias ist der Vorteil geringer, aber immer noch beträchtlich). einfacher Algorithmus zum Lernen minimaler funktioneller Abhängigkeiten Man betrachtet in der Beispielmenge erst ein- dann zweielementige Abhängigkeiten usw. bis eine minimale Menge gefunden wird, die das Zielattribut vorhersagt. Aufwand ist exponentiell zu der Länge der minimalen Abhängigkeiten. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 20

21 Beispiel Vorgehen zur Herleitung einer Determination von Leitfähigkeit (conductance): Probiere erst die 5 Attribute einzeln: kein Erfolg dann 2-Kombinationen: Erfolg bei Material Temperatur dann ggf. 3-Kombination außer Übermengen erfolgreicher kleinerer Determinationen: Erfolg bei Masse Größe (size) Temperatur (aber trivial) Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 21

22 Relevanzbasiertes Entscheidungsbaum-Lernen Vergleich von relevanzbasiertem (RBDTL) mit normalem (DTL) Entscheidungsbaumlernen bei zufällig generierten Datensätzen, bei denen die Zielfunktion von nur 5 von 16 Attributen abhängt. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 22

23 Probleme beim relevanzbasierten Lernen Wie behandelt man Rauschen? Wie behandelt man Variablen mit kontinuierlichen Werten? Wie kann anderes Apriori-Wissen aus Determinationen genutzt werden? Kann der Algorithmus verallgemeinert werden, so dass er auch andere Repräsentationen außer Attribut-Wert umfasst? Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 23

24 Beispiel für induktives logisches Programmieren Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 24

25 Induktives Logisches Programmieren (1) Induktives logisches Programmieren basiert auf Prädikatenlogik (Hornlogik) statt auf Attribut-Wert-Repräsentationen und ist daher mächtiger. Beispiel: Vater (Philip, Charles) Vater (Philip, Anne)... Mutter (Mum, Margaret) Mutter (Mum, Elizabeth)... Verheiratet (Diana, Charles) Verheiratet (Elizabeth, Philip)... Männlich (Philip) Weiblich (Beatrice)... Gelernt werden soll z.b. das Konzept Großeltern aus Beispielen Großelter (Mum, Charles) Großelter (Elizabeth, Beatrice)... Großelter (Mum, Harry) Großelter (Spencer, Peter)... Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 25

26 Induktives Logisches Programmieren (2) Zielfunktion: Großelter (x, y) Es gibt z mit Mutter (x,z) Mutter (z, y) oder Mutter (x,z) Vater (z, y) oder Vater (x,z) Mutter (z, y) oder Vater (x,z) Vater (z, y) Mit Hintergrundwissen der Art: Elter (x,y) Mutter (x,y) Vater (x,y) ließe sich Großelter viel einfacher definieren: Großelter (x, y) z mit Elter (x,z) & Elter (z, y) Wie kommt man auf neue Prädikate?: konstruktive Induktion Zwei Ansätze zum induktiven logischen Programmieren: 1. Inverse Resolution 2. Verallgemeinerung der Entscheidungsbaum-Methoden Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 26

27 Inverse Resolution Normale Resolution: 2 Klauseln C 1 und C 2 produzieren Resolvent C. Man fügt die negierte Zielklausel zur Klauselmenge hinzu und leitet einen Widerspruch her. Inverse Resolution: Aus C 1 und C wird C 2 hergeleitet. Man startet bei einem Widerspruch und arbeitet mit der negierten Zielklausel rückwärts, bis man einen korrekten Beweisbaum zusammen hat. Problem: Riesiger Suchraum bei inverser Resolution. Entdecken neuer Prädikate: Da bei normaler Resolution Prädikate wegresolviert werden können, können bei inverser Resolution grundsätzlich auch neue Prädikate erfunden werden. Anwendung: GOLEM, das die Faltung von Proteinen aufgrund von Sequenzinformationen und Medikamenten zur Blockade von Proteinen relativ gut vorhersagt [Muggleton et al. 92, King et al. 92]. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 27

28 Beispiel: Inverse Resolution Generieren neuer Prädikate Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 28

29 Beispiel (Fortsetzung): inverse Resolution Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 29

30 Top-Down Lernverfahren (1) Verallgemeinerung von Entscheidungsbaum-Lernverfahren. Ähnlich wie Entscheidungsbäume durch Einfügen neuer Entscheidungsknoten wachsen, so können auch Klauselmengen wachsen, bis sie alle Beispiele richtig klassifizieren. Beispiel aus FOIL [Quinlan 90]: Gelernt werden soll das Prädikat: Großvater (x,y) Positive Beispiele: (George, Anne), (Philip, Peter), (Spencer, Harry)... Negative Beispiele: (Mum, Elizabeth), (Harry, Zarah), (Charles, Philip)... FOIL generiert eine Klauselmenge (in Hornlogik) mit Großvater (x,y) als Kopf, so dass die positiven Beispiele hergeleitet werden können und die negativen nicht. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 30

31 Top-Down Lernverfahren (2) Start: Generiere eine Klausel mit einem leeren Rumpf Großvater (x,y) Da die Klausel alle Beispiele als positiv klassifiziert, muss sie spezialisiert werden, z.b. 1. Vater (x,y) Großvater (x,y) 2. Elter (x,z) Großvater (x, y) [Elter gehört zum Hintergrundwissen] 3. Vater (x,z) Großvater (x,y) zu 1.: alle positiven Beispiele werden als negativ klassifiziert zu 2. und 3.: alle positiven Beispielen werden richtig klassifiziert, aber 3. hat weniger negative Beispiele als positiv gekennzeichnet und wird deswegen vorgezogen. Zu 3. ist weitere Spezialisierung erforderlich, z.b. Vater (x,z) & Elter (z,y) => Großvater (x,z) Da diese Klausel keine negativen Beispiel überdeckt, wird sie gewählt. Da alle positiven Beispiele überdeckt sind, terminiert der Algorithmus. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 31

32 Kritische Schritte in FOIL Generierung neuer Kandidaten-Literale in einer zu spezialisierenden Klausel, z.b. Erweiterung von Vater (x,z) Großvater (x,y) 3 Arten Literalen können hinzugefügt werden: - Literale, die Prädikate enthalten, wobei mindestens eine Variable in einem vorhandenen Literal enthalten sein muß, z.b. Mutter (z,u), Verheiratet (z,z), aber nicht verheiratet(u,v). - Gleichheits- und Ungleichheits-Literale, die Variablen aus den vorhandenen Literalen oder Konstanten betreffen müssen, z.b. z y. - Arithmetische Vergleiche (falls Funktionen mit kontinuierlichen Variablen vorhanden sind, z.b. x > y oder x > 100). Auch hier ergibt sich ein riesiger Verzweigungsfaktor. Auswahl des besten Literals (Choose-Literal): Ähnliche Heuristiken wie beim Informations-Gewinn des Entscheidungsbaum-Lernen. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 32

33 Pruning und Anwendung von FOIL Klauseln werden eliminiert, wenn sie länger sind als die Beispiele, die sie erklären. Anwendung: Programm, was aus Beispielen korrekte Prolog-Programme generiert [Quinlan & Cameron-Jones, 1993]. Künstliche Intelligenz: 19. Wissen beim Lernen Frank Puppe 33