Künstliche Intelligenz Maschinelles Lernen

Transkript

1 Künstliche Intelligenz Maschinelles Lernen Stephan Schwiebert Sommersemester 2009 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln

2 Maschinelles Lernen Überwachtes Lernen Unüberwachtes Lernen Verstärkendes Lernen

3 Maschinelles Lernen Überwachtes Lernen Algorithmus lernt mit Hilfe von (bewerteten) Beispielen aus einer Trainingsmenge, also mit direkter Rückmeldung. Induktives Lernen Unüberwachtes Lernen Algorithmus lernt aus Beispielen. Neuronale Netze Clustering Verstärkendes Lernen Algorithmus lernt aus Verstärkung (bspw. aus der Höhe des Trinkgelds), ohne direkte Rückmeldung.

4 Induktives Lernen Aus gegebenen Beispielen zu einer unbekannten Funktion (Paaren von x und f(x)) muss auf die Funktion geschlossen werden.

5 Induktives Lernen Aus gegebenen Beispielen zu einer unbekannten Funktion muss auf die Funktion geschlossen werden.

6 Induktives Lernen Aus gegebenen Beispielen zu einer unbekannten Funktion muss auf die Funktion geschlossen werden.

7 Induktives Lernen Aus gegebenen Beispielen zu einer unbekannten Funktion muss auf die Funktion geschlossen werden.

8 Induktives Lernen Aus gegebenen Beispielen zu einer unbekannten Funktion muss auf die Funktion geschlossen werden.

9 f(x) = x

10 f(x) = x 2

11 f(x) = x 3

12 f(x) = x 3 +2x 2-1

13 Induktives Lernen Problem: Suche nach der richtigen Funktion ist schwer (und immer schwieriger, je höher der Grad des Polynoms ist).

14 Lernentscheidungsbäume

15 Lernentscheidungsbäume Innere Knoten repräsentieren Tests eines Wertes Kanten repräsentieren Ergebnisse Blätter repräsentieren Entscheidungen Testergebnisse & Entscheidungen können diskret (Sonne, Regen, Sturm...) oder stetig (0...x) sein

16 Lernentscheidungsbäume Ziel: Jede beliebige Eingabe auf Ergebnis abbilden, das idealiter dem tatsächlichen Ergebnis entspricht...

17 Lernentscheidungsbäume Können jede aussagenlogische Formel abbilden: Jede Zeile einer Wahrheitstabelle kann als Pfad zu einem Entscheidungsblatt interpretiert werden. Werden dabei aber leider sehr groß

18 Beispiel: Restaurant Entscheidung: Warten oder nicht? Attribute: Alternative: Geeignetes anderes Restaurant in der Nähe? Bar: Barbereich, in dem man warten kann? Fr/Sa: Wochenende? Hungrig: Ob wir hungrig sind Patron/Gäste: Keine, einige, voll? Regen: Ob es draußen regnet Reserviert: Haben wir einen Tisch reserviert? Est/Wartezeit: vom Ober geschätzte Wartezeit (0-10, 10-30, >60) Typ: Französisch, Italienisch, Thailändisch, Burger Preis:,,

19 Beispiel: Restaurant Gegeben: Beispielmenge

20 Beispiel: Restaurant Darstellung als Entscheidungsbaum

21 Beispiel: Restaurant Aufteilung der Beispiele durch Testen der Attribute: Aufteilung nach Art des Restaurants hilft nicht weiter, Aufteilung nach Anzahl der Gäste schon.

22 Algorithmus zum Aufbau eines Entscheidungsbaums Ziel: Erzeuge einen möglichst kleinen Entscheidungsbaum (Vergleichbar mit der Suche nach einem Polynom mit geringem Grad). Idee: Wähle das Attribut, das die Menge der noch nicht klassifizierten Beispiele am besten klassifiziert. Dieses Attribut bietet den größten Informationsgehalt und wird an der aktuellen Stelle im Baum eingefügt.

23 Iterative Dichotomizer 3 Algorithmus (ID3) Wenn alle Elemente aus T (Daten) zu einer Klasse gehören an Dann // Erzeuge ein Blatt // Sonst Konstruiere ein Blatt mit der Klasse als Bezeichner // Erzeuge rekursiv einen Teilbaum // Wähle das informativste Merkmal xi Beginn: Für_alle vorkommenden Werte von Merkmal xi Konstruiere alle Teilbäume rekursiv mit den entsprechenden Teilmengen als Daten Ende: Für_alle Konstruiere einen Baumknoten mit Bezeichner xi und hänge alle erzeugten Teilbäume Ende Sonst (Quelle:

24 Ergebnis

25 Beispiel 2 : Rapidminer Wetter Temp. Luftf. Wind Spielen? sunny false no sunny true no overcast false yes rain false yes rain false yes rain true no overcast true yes sunny false no sunny false yes rain false yes sunny true yes overcast true yes overcast false yes rain true no

26 Leistungsabschätzung von Hypothesen 1. Sammeln einer großen Beispielmenge 2. Aufteilung in zwei disjunkte Mengen: Trainingsmenge und Testmenge 3. Lernalgorithmus auf Trainingsmenge anwenden und Hypothese erzeugen 4. Prozentsatz der Beispiele in der Testmenge messen, die durch Hypothese korrekt klassifiziert wurden. 5. Wiederholung von 1-4 für unterschiedliche Trainingsmengen

27 Leistungsabschätzung von Hypothesen

28 Lernen durch unsicheres Schließen

29 Evidenz unbedingte oder A-priori-Wahrscheinlichkeit gilt, falls keine weitere Evidenz vorliegt. Notation: P(a), z.b. P(loch) = 5% bedingte oder A-posteriori-Wahrscheinlichkeit gilt, sobald eine Evidenz vorliegt. Notation: P(a b), z.b. P(loch schmerzen) = 80% Stephan Schwiebert - Sprachliche Informationsverarbeitung - WS 08/09

30 Produktregel Definition: P(a b) = P(a b) / P(b) wenn P(b) > 0 oder P(a b) = P(a b) P(b) Stephan Schwiebert - Sprachliche Informationsverarbeitung - WS 08/09

31 Die Bayessche Regel: Herleitung Produktregel: P(a b) = P(a b) P(b) P(a b) = P(b a) P(a) d.h. P(a b) P(b) = P(b a) P(a) Also: P(b a) = P(a b) P(b) P(a) Stephan Schwiebert - Sprachliche Informationsverarbeitung - WS 08/09

32 Anwendung der Bayesschen Regel Beispiel: P(b a)= Meningitis verursacht in 50 % aller Fälle einen steifen Nacken. P(a b) P(b) P(a) Die (unbedingte) Wahrscheinlichkeit, an Meningitis zu leiden, beträgt 1/ Die (unbedingte) Wahrscheinlichkeit, einen steifen Nacken zu haben, beträgt 1/20. Wie hoch ist die Wahrscheinlichkeit, dass ein Patient, der über steifen Nacken klagt, Meningitis hat? Stephan Schwiebert - Sprachliche Informationsverarbeitung - WS 08/09

33 Marginalisierung/Aussummierung Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass P(loch zahnschmerzen) wahr ist? Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

34 Marginalisierung/Aussummierung Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass P(loch zahnschmerzen) wahr ist? P(loch zahnschmerzen) = P(loch zahnschmerzen) / P(zahnschmerzen) Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

35 Marginalisierung/Aussummierung Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass P(loch zahnschmerzen) wahr ist? P(loch zahnschmerzen) = (0, ,012) / (0, , , ,064) = 0,6 Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

36 Marginalisierung/Aussummierung Berechnung aus beobachteten Evidenzen zahnschmerzen zahnschmerzen verhaken verhaken verhaken verhaken loch 0,108 0,012 0,072 0,008 loch 0,016 0,064 0,144 0,576 Wie hoch ist die Wahrscheinlichkeit, dass P( loch zahnschmerzen) wahr ist? P( loch zahnschmerzen) = (0, ,064) / (0, , , ,064) = 0,4 Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

37 Normalisierungskonstante Beobachtung: P(loch zahnschmerzen) = P(loch zahnschmerzen) / P(zahnschmerzen) P( loch zahnschmerzen) = P(loch zahnschmerzen) / P(zahnschmerzen) Der Term 1/ P(zahnschmerzen) bleibt konstant, unabhängig vom berechneten Wert von loch. Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

38 Normalisierungskonstante 1/ P(zahnschmerzen) heißt Normalisierungkonstante für P(Loch Zahnschmerzen) und wird durch gekennzeichnet. Im Beispiel gilt = (0, , , ,064) = 0.2 Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

39 Bayessche Netze

40 Bayessche Netze: Beispiel Idee: Zufallsvariablen werden als Knoten im Netzwerk interpretiert. Kanten beschreiben die Zusammenhänge zwischen zwei Variablen. Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

41 Bayessche Netzwerke: Beispiel Bayessches Netzwerk zur Welt der Zahnschmerzen. Zahnschmerzen & Verhaken sind abhängig von Loch, während das Wetter von den anderen Zuständen unabhängig ist. Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

42 Bayessche Netzwerke: Definition Existiert eine Kante von X nach Y, so ist X der Elternknoten von Y. Jedem Knoten wird mit einer Wahrscheinlichkeitsverteilung ausgezeichnet. Knoten mit Elternknoten erhalten die bedingte Wahrscheinlichkeitsverteilung, andere Knoten die unbedingte Wahrscheinlichkeitsverteilung. Der Graph enthält keine gerichteten Kreise. Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

43 Bayessche Netzwerke Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

44 Beispiel P(j m a b e) =? Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

45 Beispiel P(j m a b e) = P(j a) P(m a) P(a b e) P( b) P( e) = 0,9 * 0,7 * 0,001 * 0,999 * 0,998 = 0,0062 Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08

46 Allgemein Abkürzung: P(x 1 x 2... x 3 ) = P(x 1, x 2... x 3 ) Es gilt: P(x 1, x 2... x n ) = n i=1 P x i eltern X i Stephan Schwiebert - Sprachliche Informationsverarbeitung - SS 08