12. Maschinelles Lernen

12. Maschinelles Lernen Maschinelles Lernen dient der Herbeiführung vn Veränderungen im System, die adaptiv sind in dem Sinne, daß sie es dem System ermöglichen, dieselbe der eine ähnliche Aufgabe beim nächsten Mal besser zu lösen. (Simn 1983) Ziele: Nutzbarmachung vn Erfahrungen Verbesserung der Leistungsfähigkeit Erweiterung des Wissens Erkennung vn Ähnlichkeiten Anpassung an sich verändernde Umweltbedingungen Einf. in die KI 12 1

Maschinelles Lernen: Mtivatin Mtive: Lernen als wichtiger Aspekt vn Intelligenz Entwicklung eines besseren Verständnisses des Lernvrgangs Unterstützung des Wissenserwerbs für wissensbasierte Systeme Mdellierung adaptiven Verhaltens Anwendungsgebiete: Intelligente Benutzerschnittstellen Intelligente Tutrsysteme Realisierung autnmer Systeme Generierung vn Prgrammen Einf. in die KI 12 2

Lernende Agenten (1) Perfrmance standard Critic Sensrs feedback learning gals Learning element changes knwledge Perfrmance element Envirnment Prblem generatr Agent Effectrs Einf. in die KI 12 3

Lernende Agenten: Kmpnenten Ausführungskmpnente (Perfrmance element): entspricht dem, was wir bisher als Agent bezeichnet haben. Aufnahme vn Perzepten, Auswahl vn Aktinen. Lernkmpnente (Learning element): bestimmt die ntwendigen Mdifikatinen der Ausführungskmpnente auf der Basis vn Kritik und Wissen über diese Kmpnente. Kritik (Critic): ermittelt aufgrund festgelegter Leistungskriterien die Qualität der Ausführungskmpnente. Prblemgeneratr (Prblem generatr): schlägt explrative Schritte vr, die u.u. auch subptimale Aktinen enthalten. Struktur und Gestaltung einer Lernkmpnente hängen vn der benötigten Ausführungskmpnente ab. Einf. in die KI 12 4

Entwurf vn Lernkmpnenten (1) Aufgaben: Generierung vn Lernzielen Verbesserung der Ausführungskmpnente Analyse: Welche Bestandteile der Ausführungskmpnente sind zu mdifizieren? Wie sieht der Repräsentatinsfrmalismus aus? Welcher Art sind mögliche Rückmeldungen? Auf welche Vrab-Infrmatin kann aufgesetzt werden? Einf. in die KI 12 5

Entwurf vn Lernkmpnenten (2) Ausführungskmpnenten: erzeugen Aktinen in Abhängigkeit vm aktuellen Zustand; leiten Eigenschaften des aktuellen Zustandes aus Perzeptflgen ab; besitzen Infrmatin über die Veränderung der Umgebung über der Zeit und die Effekte möglicher Aktinen; verwenden Bewertungsfunktinen, die Auskunft über die Adäquatheit bestimmter Aktinen geben (wie erstrebenswert ist ein bestimmter Zustand, wie nützlich ist eine bestimmte Aktin); Alle Funktinen vn Ausführungskmpnenten können erlernt bzw. durch Lernen verbessert werden. Einf. in die KI 12 6

Entwurf vn Lernkmpnenten (3) Beispiele: Ausführung einer Aktin und Bebachtung des resultierenden Umgebungszustandes führt zum Erlernen der Effekte vn Aktinen. Über die Rückmeldungen der Kritik, die aus externen Leistungskriterien und Perzepten berechnet werden, können Bewertungsfunktinen erlernt werden. Alle Bestandteile vn Ausführungskmpnenten können als mathematische Funktinen aufgefaßt werden. Lernen vn Funktinen Einf. in die KI 12 7

Methden des Maschinellen Lernens Überwachtes Lernen (Supervised Learning) Der Agent führt Aktinen aus und verwendet Infrmatin über die möglichen Effekte vn Aktinen. Die Kritik ermittelt aus Perzepten die tatsächlichen Effekte. Feedback Nicht-überwachtes Lernen (Unsupervised Learning) Der Agent erhält keine Infrmatin über die tatsächlichen Auswirkungen seiner Aktinen. Bebachtung und Vergleich der Perzepte Bewertungsfunktin ntwendig Reinfrcement Learning Der Agent erhält eine Bewertung seiner Aktinen, aber keine Infrmatin darüber, wie in einer bestimmten Situatin krrekt zu agieren ist. Einf. in die KI 12 8

Induktives Lernen Lernen aus Beispielen: (Supervised Learning) Die Lernkmpnente erhält zu einer Menge vn Eingabewerten die (annähernd) krrekten Ausgabewerte einer Funktin. Die Lernkmpnente verändert schrittweise die interne Repräsentatin dieser Funktin. Induktives Lernen: Entwicklung allgemeiner Muster, Schemata, der Regeln aus Beispieldaten Ableitung allgemeiner Aussagen aus speziellen Aussagen Erzeugen vn Mdellen und Therien Abstraktin Beispiel: ein Paar vn Ein-/Ausgabewerten (x, f (x)) einer Funktin f. Induktive Inferenz: Aus einer Menge vn Beispielen für eine Funktin f wird eine Funktin h erzeugt, die f apprximiert. h heißt die Hypthese. Einf. in die KI 12 9

Induktives Lernen: Beispiel (a) (b) (c) (d) (a) Paare (x, y) mit y = f (x) (b) h: Eine punktweise lineare Funktin. (c) h: Eine kmplexe Funktin, die ebenfalls alle gegebenen Beispielpaare trifft, sich aber für andere Eingabewerte vn (b) unterscheidet. (d) h: Eine einfache Funktin, die bis auf eine Ausnahme alle Beispielpaare trifft. Einf. in die KI 12 10

Ein lernender Reflex-Agent glbal examples functin REFLEX-PERFORMANCE-ELEMENT( percept) returns an actin if ( percept, a) in examples then return a else h INDUCE(examples) return h( percept) prcedure REFLEX-LEARNING-ELEMENT(percept, actin) inputs: percept, feedback percept actin, feedback actin examples examples ( percept,actin) Lernalgrithmen verwenden Präferenzen. Die Präferenz einer Hypthese gegenüber einer anderen (bias) ist durch Optimalitätskriterien gegeben. Inkrementelles Lernen: Anpassung der Hypthese h an neue Beispiele. Einf. in die KI 12 11

Repräsentatinsfrmalismen Lgik: Lernen vn lgischen Aussagen der Knzepten Entscheidungen: Ble sche Funktinen Entscheidungsbäume Versinsräume Neurnale Netze: Lernen nichtlinearer, numerischer Funktinen Einf. in die KI 12 12

Entscheidungsbäume Entscheidungsbaum-Induktin ist eines der einfachsten Lernverfahren. Entscheidungsbäume: Eingabe Ausgabe Knten Kanten Lgische Objekt- der Situatinsbeschreibung Ja/Nein-Entscheidung Tests: Hat ein Objekt eine bestimmte Eigenschaft (Attribut)? Mögliche Attributwerte Blätter Nullstellige Prädikate: Yes (T) bzw. N (F) Ein Entscheidungsbaum stellt die Ausführungskmpnente eines lernenden Systems dar. Einf. in die KI 12 13

Beispiel: Restaurant-Besuch Ziel: Test zur Entscheidung, b man auf einen freien Tisch warten sll. Attribute: Alternate: Gibt es ein anderes Restaurant in der Nähe? Bar: Gibt es eine Bar für die Wartezeit? Fri/Sat: Ist Freitag der Samstag? Hungry: Sind wir hungrig? Patrns: Wieviele Gäste sind schn da? (nne, sme, full) Price: Zu welcher Preiskategrie gehört das Restaurant? ($, $$, $$$) Raining: Regnet es? Reservatin: Haben wir eine Reservierung? Type: Art des Restaurants (French, Italian, Thai, Burger) WaitEstimate: Geschätzte Wartezeit (0 10, 10 30, 30 60, > 60) Einf. in die KI 12 14

Beispiel: Ein Entscheidungsbaum Ein Entscheidungsbaum kann als Repräsentatin einer Menge lgischer Implikatinen aufgefaßt werden. Eine mögliche Definitin des WillWait-Tests: Einf. in die KI 12 15

Patrns? Nne Sme Full N Yes WaitEstimate? >60 30 60 10 30 0 10 N Alternate? Hungry? Yes N Yes N Yes Reservatin? Fri/Sat? Yes Alternate? N Yes N Yes N Yes Bar? Yes N Yes Yes Raining? N Yes N Yes N Yes N Yes Einf. in die KI 12 16

Entscheidungsbaum-Induktin (1) Begriffe: Beispiel: Werte der verwendeten Attribute und Wert des Testprädikats. Klassifikatin: eines Beispiels ist der Wert des Testprädikats für das Beispiel. Entsprechend gibt es psitive und negative Beispiele. Trainingsmenge: Menge der für das Lernen verfügbaren Beispiele. Einf. in die KI 12 17

Example Attributes Gal Alt Bar Fri Hun Pat Price Rain Res Type Est WillWait X 1 Yes N N Yes Sme $$$ N Yes French 0 10 Yes X 2 Yes N N Yes Full $ N N Thai 30 60 N X 3 N Yes N N Sme $ N N Burger 0 10 Yes X 4 Yes N Yes Yes Full $ N N Thai 10 30 Yes X 5 Yes N Yes N Full $$$ N Yes French >60 N X 6 N Yes N Yes Sme $$ Yes Yes Italian 0 10 Yes X 7 N Yes N N Nne $ Yes N Burger 0 10 N X 8 N N N Yes Sme $$ Yes Yes Thai 0 10 Yes X 9 N Yes Yes N Full $ Yes N Burger >60 N X 10 Yes Yes Yes Yes Full $$$ N Yes Italian 10 30 N X 11 N N N N Nne $ N N Thai 0 10 N X 12 Yes Yes Yes Yes Full $ N N Burger 30 60 Yes Einf. in die KI 12 18

Entscheidungsbaum-Induktin (2) Das Vrgehen am Beispiel: Aufteilung der Trainingsmenge in psitive und negative Beispiele. Auswahl eines Attributes als erstes Testprädikat (Wurzel). Kriterium: Wie stark differenziert das Prädikat die Beispielmenge? Die Wahl vn Patrns als Testprädikat liefert für die Fälle Nne und Sme bereits eine Entscheidung. Type ist ein schlechtes Unterscheidungsmerkmal: Für jeden der vier möglichen Werte haben wir ebens viele psitive wie negative Beispiele. Wir wählen das wichtigste Unterscheidungsmerkmal als Wurzeltest. Einf. in die KI 12 19

Entscheidungsbaum-Induktin: Auswahl vn Testprädikaten Einf. in die KI 12 20

(a) +: X1,X3,X4,X6,X8,X12 : X2,X5,X7,X9,X10,X11 Patrns? Nne Sme Full +: : X7,X11 +: X1,X3,X6,X8 : +: X4,X12 : X2,X5,X9,X10 (b) +: X1,X3,X4,X6,X8,X12 : X2,X5,X7,X9,X10,X11 Type? French Italian Thai Burger +: X1 : X5 +: X6 : X10 +: X4,X8 : X2,X11 +: X3,X12 : X7,X9 (c) +: X1,X3,X4,X6,X8,X12 : X2,X5,X7,X9,X10,X11 Patrns? Nne Sme Full +: : X7,X11 +: X1,X3,X6,X8 : +: X4,X12 : X2,X5,X9,X10 Yes N Hungry? Y +: X4,X12 : X2,X10 N +: : X5,X9 Einf. in die KI 12 21

Entscheidungsbaum-Induktin (4) Zu jedem Nachflgerknten der Wurzel wird rekursiv ein neuer Entscheidungsbaum erzeugt für eine reduzierte Trainingsmenge eine reduzierte Attributmenge Flgende Fälle können auftreten: Es gibt swhl psitive als auch negative Beispiele. Wähle erneut das wichtigste Attribut als Testprädikat, um die verbleibenden Beispiele zu differenzieren, z.b. Hungry Alle Beispiele sind psitiv (negativ). Der Entscheidungsbaum ist kmplett; alle Beispiele sind klassifiziert. Es sind keine Beispiele vrhanden. Es gibt kein entsprechendes Beispiel; ein Default-Wert kann bestimmt werden. Einf. in die KI 12 22

Es gibt psitive und negative Beispiele, aber keine Attribute. Die Beispiele sind auf die gleiche Weise beschrieben, werden jedch unterschiedlich klassifiziert. Die Datenmenge ist inknsistent, d.h. sie enthält Fehler (Rauschen). Einf. in die KI 12 23

Entscheidungsbaum-Induktin: Ergebnis Patrns? Nne Sme Full N Yes Hungry? N Yes Type? N French Italian Thai Burger Yes N Fri/Sat? Yes N Yes N Yes Einf. in die KI 12 24

Ein Lernalgrithmus für Entscheidungsbäume functin DECISION-TREE-LEARNING(examples, attributes, default) returns a decisin tree inputs: examples, set f examples attributes, set f attributes default, default value fr the gal predicate if examples is empty then return default else if all examples have the same classificatin then return the classificatin else if attributes is empty then return MAJORITY-VALUE(examples) else best CHOOSE-ATTRIBUTE(attributes, examples) tree a new decisin tree with rt test best fr each value v i f best d examples i elements f examples with best = v i subtree DECISION-TREE-LEARNING(examples i, attributes best, MAJORITY-VALUE(examples)) add a branch t tree with label v i and subtree subtree end return tree Einf. in die KI 12 25

Entscheidungsbaum-Induktin (6) Merkmale: Lernaufgabe Generierung eines Entscheidungsbaums mit dem Ziel einer möglichst effizienten Klassifikatin, z.b. möglichst wenige Tests (möglichst flacher Entscheidungsbaum). Repräsentatinsfrmalismus Aussagenlgik Das zu lernende Knzept ist als Entscheidungsbaum darstellbar. Die Klassifikatin erflgt über Attribute mit einer (kleinen) endlichen Menge diskreter, sich gegenseitig ausschließender Werte. Die Sprache ist eingeschränkt auf einstellige Prädikate, d.h. getestet wird jeweils ein Objekt. Einf. in die KI 12 26

Entscheidungsbaum-Induktin (7) Merkmale (Frts.): Im allgemeinen sind viele verschiedene Entscheidungsbäume für ein Prblem möglich. Einfache Bäume werden bevrzugt. Die Teilbäume an einem Knten haben im allgemeinen unterschiedliche Struktur. Die Auswahl des nächsten zu testenden Attributs erflgt nach infrmatinstheretischen Gesichtspunkten: Das Attribut mit dem größten Unterscheidungsptential wird bevrzugt. Bestmögliche Separierung vn psitiven und negativen Beispielen. Ein Entscheidungsbaum kann für die Unterscheidung zwischen zwei (Yes, N) der mehr Klassen knstruiert werden. Einf. in die KI 12 27

Entscheidungsbaum-Induktin: Vrgehensweise Auswahl vn adäquaten Attributen, die auf der Basis ihrer Werte eine Unterscheidung der gewünschten Klassen erlauben. Im allgemeinen ist eine Kmbinatin verschiedener Attribute ntwendig, um zu entscheiden, welcher Klasse ein Beispiel angehört. Disjunktive Knzepte sind dadurch gekennzeichnet, daß mehr als ein Blattknten psitiv markiert ist. Das bedeutet, es gibt Beispiele mit unterschiedlichen Merkmalswerten, die zum selben Knzept gehören. Iteratives Vrgehen. Zunächst wird nur eine kleine Teilmenge an Beispielen ausgewählt. Der damit knstruierte Entscheidungsbaum wird mit den übrigen Beispieldaten getestet. Falls dabei Beispiele falsch klassifiziert werden, wird die Generierung des Baums mit einer größeren Datenmenge wiederhlt. Häufig kmmt man damit schneller zu einer Lösung. Einf. in die KI 12 28