3. Lernen mit Vorwissen

Transkript

1 3. Lernen mit Vorwissen Wissen beim Lernen 3. Lernen mit Vorwissen Sei Beschreibungen die Konjunktion aller Beispiele der Trainingsmenge und Klassifizierungen die Konjunktion aller Beispielklassifizierungen. Eine Hypothese, die die Beobachtungen erklärt, muß die folgende Eigenschaft erfüllen: Hypothese Beschreibungen = Klassifizierungen Man bezeichnet dies als Bedingung der logischen Konsequenz, wobei die Hypothese die Unbekannte ist. Rein induktives Lernen bedeutet, daß die Bedingung aufgelöst wird, wobei Hypothese aus einem vordefinierten Hypothesenraum gewählt wird. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 111

2 3. Lernen mit Vorwissen Wissen beim Lernen Der bisher gezeigte Ansatz des Lernens ist wissensfrei. Moderne Ansätze gehen dagegen von Agenten aus, die schon über Vorwissen verfügen und versuchen dazuzulernen. Ein kumulativer Lernprozess verwendet sein Vorwissen und ergänzt es im Laufe der Zeit. Prior knowledge Observations Knowledge-based inductive learning Hypotheses Predictions Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 112

3 3. Lernen mit Vorwissen Wissen beim Lernen Beispiel 3.1. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 113

4 3. Lernen mit Vorwissen Wissen beim Lernen Ein Brasilienreisender trifft erstmals auf einen Brasilianer. Er stellt fest, daß dieser portugiesisch spricht und schließt daraus, daß alle Brasilianer portugiesisch sprechen. Obwohl der Brasilianer Fernando heißt, schließt er aber nicht, daß alle Brasilianer Fernando heißen. Ein pharmakologisch unwissender aber diagnostisch gebildeter Medizinstudent beobachtet eine Sitzung zwischen einem Patienten und einem erfahrenen Internisten. Nach einigen Fragen und Antworten teilt der Experte dem Patienten mit, daß er ein bestimmtes Antibiotikum einnehmen soll. Der Medizinstudent leitet die allgemeine Regel ab, daß dieses Antibiotikum wirksam für eine bestimmte Art von Infektion ist. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 114

5 3. Lernen mit Vorwissen Wissen beim Lernen Fazit: Der Einsatz von Vorwissen erlaubt ein viel schnelleres Lernen als in rein induktiver Form. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 115

6 3. Lernen mit Vorwissen Allgemeine Lernschemata Allgemeine Lernschemata Bei der Rösteidechse verallgemeinern die Höhlenmenschen, indem sie den Erfolg des angespitzten Stöckchens erklären. Daraus können Sie eine allgemeine Regel ableiten. Diese Art des Verallgemeinerunsprozesses heißt erklärungsbasiertes Lernen (EBL). Hypothese Beschreibungen = Vorwissen = Klassifizierungen Hypothese Der Agent lernt faktisch nichts neues, das neue Wissen kann zukünftige Ableitungen aber effizienter machen. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 116

7 3. Lernen mit Vorwissen Allgemeine Lernschemata Erklärungsbasiertes Lernen wird hauptsächlich als Methode für die Umwandlung von grundsätzlichen Theorien in praktisches, spezielles Wissen betrachtet. Der Brasilienreisende findet keine Erklärung dafür, daß Fernando portugiesisch spricht. Vielmehr nutzt der Brasilienreisende sein Wissen über eine funktionale Abhängigkeit bei der Sprache. Gleichzeitig weiß er aber auch, daß solch eine funktionale Abhängigkeit nicht für Namen gilt. Hypothese Beschreibungen = Vorwissen Beschreibungen Klassifizierungen = Klassifizierungen Hypothese Diese Art der Verallgemeinerung heißt relevanzbasiertes Lernen (RBL). Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 117

8 3. Lernen mit Vorwissen Allgemeine Lernschemata Das Vorwissen des Medizinstudenten reicht aus, um die Krankheit D aus den Symptomen abzuleiten. Das ist jedoch nicht ausreichend, um zu erklären, daß der Arzt die Medizin M verordnet. Der Student muß eine weitere Regel anwenden, nämlich daß M im Allgemeinen gegen D wirkt. Damit kann der Student erklären, warum der Experte M verordnet. Vorwissen Hypothese Beschreibungen = Klassifizierungen Das Vorwissen und die neue Hypothese werden kombiniert, um die Beispiele zu erklären. Verfahren, die diesem Schema entsprechen, heißen wissensbasiertes induktives Lernen oder KBIL-Algorithmen (Knowledge-Based Inductive Learning). Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 118

9 3. Lernen mit Vorwissen Allgemeine Lernschemata Sie werden hauptsächlich im Rahmen der induktiven Logikprogrammierung (ILP) angewendet. Das Vorwissen dient zur Reduzierung der Lernkomplexität. Weil jede erzeugte Hypothese mit dem Vorwissen sowie mit den Beobachtungen konsistent sein muß, wird die effektive Größe des Hypothesenraums reduziert. Für jede Menge an Beobachtungen kann die Größe der Hypothesen für den Aufbau einer Erklärung für die Beobachtungen stark reduziert werden, weil das Vorwissen zur Verfügung steht, um die neuen Regeln für die Erklärung der Beobachtungen zu unterstützen. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 119

10 3. Lernen mit Vorwissen Erklärungsbasiertes Lernen Erklärungsbasiertes Lernen Die einfachste Art von erklärungsbasiertem Lernen ist die Technik der Memoisierung: Ergebnisse von Funktionsaufrufen/Anfragen werden gespeichert, um zu einem späteren Zeitpunkt die Funktion/Anfrageergebnis schneller berechnen zu können. Beispiel 3.2. Memoisierung in Prolog für Eltern-Kind-Datenbank, Diskussion Vor- und Nachteile. Erklärungsbasiertes Lernen führt die Technik der Memoisierung weiter, indem es allgemeine Regeln erzeugt, die eine ganze Klasse von Fällen abdecken. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 120

11 3. Lernen mit Vorwissen Erklärungsbasiertes Lernen Beispiel 3.3. Aus der Differentialrechnung wissen wir: d dx x = 1 d dx (f(x) g(x)) = ( d dx f(x)) g(x) + f(x)( d dx g(x)) Durch Kombination dieser beiden Regeln erhalten wir: d dx x2 = 2x Damit haben wir eine neue Regel, die spätere Ableitungsermittlungen verkürzt. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 121

12 3. Lernen mit Vorwissen Erklärungsbasiertes Lernen Die Zivilisation macht Fortschritte, indem sie die Anzahl wichtiger Operationen erweitert, die wir ausführen können, ohne darüber nachzudenken. Es ist viel einfacher zu erklären, warum etwas eine gute Idee ist, als eine gute Idee zu erfinden. Beispiel 3.4. Wir betrachten die folgenden Regeln: Rewrite(u, v) Simplify(v, w) Simplify(u, w) Primitive(u) Simplify(u, u) ArithmeticUnknown(u) Primitive(u) Number(u) Primitive(u) Rewrite(1 u,u) Rewrite(0 + u,u)... Wir wollen 1 (0 + X) vereinfachen. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 122

13 3. Lernen mit Vorwissen Erklärungsbasiertes Lernen Simplify(1 (0+X),w) Rewrite(1 (0+X),v) Yes, {v / 0+X} Simplify(0+X,w) Rewrite(0+X,v ) Yes, {v / X} Simplify(X,w) {w / X} Primitive(X) Simplify(x (y+z),w) ArithmeticUnknown(X) Yes, { } Rewrite(x (y+z),v) Yes, {x / 1, v / y+z} Rewrite(y+z,v ) Yes, {y / 0, v / z} Simplify(y+z,w) Simplify(z,w) {w / z} Primitive(z) ArithmeticUnknown(z) Yes, { } Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 123

14 3. Lernen mit Vorwissen Erklärungsbasiertes Lernen Aus dem allgemeinen Beweisbaum ergibt sich: Rewrite(1 (0+z), 0+z) Rewrite(0+z, z) ArithmeticUnknown(z) Simplify(1 (0 + z),z) Die ersten beiden Literale sind aber unabhängig von z immer wahr. Daher kann die Regel vereinfacht werden zu: ArithmeticUnknown(z) Simplify(1 (0 + z), z) Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 124

15 3. Lernen mit Vorwissen Erklärungsbasiertes Lernen Der EBL-Prozess funktioniert allgemein wie folgt: 1. Für ein gegebenes Beispiel konstruieren wir einen Beweis auf Basis des verfügbaren Vorwissens. 2. Parallel dazu erzeugen wir einen verallgemeinerten Beweisbaum für das variablenunterlegte Ziel unter Verwendung derselben Inferenzschritte wie im Orginalbeweis. 3. Wir bauen eine neue Regel auf, deren linke Seite aus den Blättern des Beweisbaums besteht und deren rechte Seite das variablenunterlegte Ziel ist (nachdem die erforderlichen Bindungen aus dem verallgemeinerten Beweis angewendet wurden). 4. Wir verwerfen alle Bedingungen, die belanglos für die Werte der Variablen im Ziel sind. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 125

16 3. Lernen mit Vorwissen Erklärungsbasiertes Lernen Effizienzverbesserungen bei EBL Der verallgemeinerte Beweisbaum aus Beispiel 3.4 liefert prinzipiell mehr als eine Regel, z.b. auch die allgemeinere Regel Primitive(z) Simplify(1 (0 + z), z) Eine Regel kann von jedem beliebigen Unterbaum des verallgemeinerten Beweisbaums extrahiert werden. Welche dieser Regeln nehmen wir? Es ist eine Frage der Effizienz! Das Hinzufügen vieler Regeln kann den Inferenzprozess verlangsamen, weil diese Regeln auch für den negativen Fall überprüft werden müssen. Steigerung des Verzweigungsfaktors Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 126

17 3. Lernen mit Vorwissen Erklärungsbasiertes Lernen Um den verlangsamten Inferenzprozess zu kompensieren, müssen die abgeleiteten Regeln eine wesentlich höhere Effizienz für die Fälle liefern, die von den Regeln abgedeckt werden. Dies legt nahe, daß abgeleitete Regeln möglichst allgemein sein sollten, da sie dann mehr Fälle abdecken. Ein vielversprechender Ansatz ist es, das Effizienzproblem empirisch anzugehen. Durch Verallgemeinerung von Beispielproblemen macht EBL die Wissensbasis effizienter für Probleme, die in der Zukunft berechtigt zu erwarten sind. Dies funktioniert, solange die Verteilung der Beispiele aus der Vergangenheit in etwa dieselbe ist wie für zukünftige Beispiele. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 127

18 3. Lernen mit Vorwissen Relevanzbasiertes Lernen Relevanzbasiertes Lernen Der Brasilienreisende nutzt folgendes aus: Nationalität(x, n) Nationalität(y, n) Sprache(x, l) Sprache(y, l) Dies ist eine strenge Form der Relevanz: Die Sprache ist eine Funktion der Nationalität. Es liegt eine sogenannte funktionale Abhängigkeit vor. Notation: Nationalität(x, n) Sprache(x, n) bzw. Nationalität Sprache Für das relevanzbasierte Lernen ist jetzt interessant, wie solche funktionalen Abhängigkeiten gelernt werden können. Besonders interessant sind volle funktionale Abhängigkeiten, d.h.: A b A b für alle A A Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 128

19 3. Lernen mit Vorwissen Relevanzbasiertes Lernen Das Problem, solche funktionale Abhängigkeiten zu lernen, ist N P- vollständig. Führe eine Suche im Suchraum der funktionalen Abhängigkeiten durch. Überprüfe zunächste alle funktionalen Abhängigkeiten mit einem Prädikat, dann mit zwei usw. bis eine konsistente funktionale Abhängigkeit gefunden wurde. Aufwand: O(n p ) falls die funktionale Abhängigkeit aus p Attributen besteht bei n Attributen insgesamt. Anwendung: Verknüpfung von relevanzbasiertem Lernen mit Entscheidungsbäumen. Maschinelles Lernen und unsicheres Wissen FH Bonn-Rhein-Sieg, WS 08/09 129