Künstliche Intelligenz Maschinelles Lernen

Transkript

1 Künstliche Intelligenz Maschinelles Lernen Stephan Schwiebert WS 2009/2010 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln

2 Maschinelles Lernen Überwachtes Lernen Unüberwachtes Lernen Verstärkendes Lernen

3 Maschinelles Lernen Überwachtes Lernen Algorithmus lernt mit Hilfe von (bewerteten) Beispielen aus einer Trainingsmenge, also mit direkter Rückmeldung. Induktives Lernen Unüberwachtes Lernen Algorithmus lernt aus Beispielen. Neuronale Netze Clustering Verstärkendes Lernen Algorithmus lernt aus Verstärkung (bspw. aus der Höhe des Trinkgelds), ohne direkte Rückmeldung.

4 Induktives Lernen Aus gegebenen Beispielen zu einer unbekannten Funktion (Paaren von x und f(x)) muss auf die Funktion geschlossen werden.

5 Induktives Lernen Aus gegebenen Beispielen zu einer unbekannten Funktion muss auf die Funktion geschlossen werden.

6 Induktives Lernen Aus gegebenen Beispielen zu einer unbekannten Funktion muss auf die Funktion geschlossen werden.

7 Induktives Lernen Aus gegebenen Beispielen zu einer unbekannten Funktion muss auf die Funktion geschlossen werden.

8 Induktives Lernen Aus gegebenen Beispielen zu einer unbekannten Funktion muss auf die Funktion geschlossen werden.

9 f(x) = x

10 f(x) = x 2

11 f(x) = x 3

12 f(x) = x 3 +2x 2 1

13 Induktives Lernen Probleme: Suche nach der richtigen Funktion ist schwer (und immer schwieriger, je höher der Grad des Polynoms ist). Der Hypothesenraum muss die gesuchte Funktion enthalten, damit die Lösung erkennbar ist.

14 Lernentscheidungsbäume

15 Lernentscheidungsbäume Innere Knoten repräsentieren Tests eines Wertes Kanten repräsentieren Ergebnisse Blätter repräsentieren Entscheidungen Testergebnisse & Entscheidungen können diskret (Sonne, Regen, Sturm...) oder stetig (0...x) sein

16 Lernentscheidungsbäume Ziel: Jede beliebige Eingabe auf Ergebnis abbilden, das idealiter dem tatsächlichen Ergebnis entspricht...

17 Lernentscheidungsbäume Können jede aussagenlogische Formel abbilden: Jede Zeile einer Wahrheitstabelle kann als Pfad zu einem Entscheidungsblatt interpretiert werden. Werden dabei aber leider sehr groß

18 Beispiel: Restaurant Entscheidung: Warten oder nicht? Attribute: Alternative: Geeignetes anderes Restaurant in der Nähe? Bar: Barbereich, in dem man warten kann? Fr/Sa: Wochenende? Hungrig: Ob wir hungrig sind Patron/Gäste: Keine, einige, voll? Regen: Ob es draußen regnet Reserviert: Haben wir einen Tisch reserviert? Est/Wartezeit: vom Ober geschätzte Wartezeit (010, 1030, >60) Typ: Französisch, Italienisch, Thailändisch, Burger Preis:,,

19 Beispiel: Restaurant Gegeben: Beispielmenge

20 Beispiel: Restaurant Darstellung als Entscheidungsbaum

21 Beispiel: Restaurant Alt Bar Fri/Sat Hung Guests Price Rain Reserv Typ Wait F F T F Some $$$ T N Thai 3060

22 Beispiel: Restaurant Aufteilung der Beispiele durch Testen der Attribute: Aufteilung nach Art des Restaurants hilft nicht weiter, Aufteilung nach Anzahl der Gäste schon.

23 Algorithmus zum Aufbau eines Entscheidungsbaums Ziel: Erzeuge einen möglichst kleinen Entscheidungsbaum (Vergleichbar mit der Suche nach einem Polynom mit geringem Grad). Idee: Wähle das Attribut, das die Menge der noch nicht klassifizierten Beispiele am besten klassifiziert. Dieses Attribut bietet den größten Informationsgehalt und wird an der aktuellen Stelle im Baum eingefügt.

24 Iterative Dichotomizer 3 Algorithmus (ID3) Wenn alle Elemente aus T (Daten) zu einer Klasse gehören an Dann // Erzeuge ein Blatt // Sonst Konstruiere ein Blatt mit der Klasse als Bezeichner // Erzeuge rekursiv einen Teilbaum // Wähle das informativste Merkmal xi Beginn: Für_alle vorkommenden Werte von Merkmal xi Konstruiere alle Teilbäume rekursiv mit den entsprechenden Teilmengen als Daten Ende: Für_alle Konstruiere einen Baumknoten mit Bezeichner xi und hänge alle erzeugten Teilbäume Ende Sonst (Quelle:

25 Ergebnis

26 Beispiel 2 : Rapidminer Wetter Temp. Luftf. Wind Spielen? sunny false no sunny true no overcast false yes rain false yes rain false yes rain true no overcast true yes sunny false no sunny false yes rain false yes sunny true yes overcast true yes overcast false yes rain true no

27 Leistungsabschätzung von Hypothesen 1. Sammeln einer großen Beispielmenge 2. Aufteilung in zwei disjunkte Mengen: Trainingsmenge und Testmenge 3. Lernalgorithmus auf Trainingsmenge anwenden und Hypothese erzeugen 4. Prozentsatz der Beispiele in der Testmenge messen, die durch Hypothese korrekt klassifiziert wurden. 5. Wiederholung von 14 für unterschiedliche Trainingsmengen

28 Leistungsabschätzung von Hypothesen

29 Gruppenlernen Statt einzelner Hypothese wird eine Gruppe von Hypothesen gebündelt. Idee: Ein Beispiel wird nur dann fehlqualifiziert, wenn es von der Mehrheit der Hypothesen fehlqualifiziert wird, d.h. die Fehleranfälligkeit sinkt. Der Hypothesenraum kann zudem deutlich komplexer werden, wenn nur die Schnittmenge aller klassifizierten Beispiele berücksichtig wird.

30 Gruppenlernen

31 Gruppenlernen

32 Unsicherheit

33 Rückblick Agent in der Wumpuswelt konnte Entscheidungen auf Basis der Daten seiner Sensoren fällen. Trotzdem können Fälle eintreten, in denen der Agent keine eindeutige Entscheidung treffen kann. In der Realität sind die Dinge ungleich komplexer...

34 Unsicherheit in der realen Welt Was beeinflusst den Weg zur Uni? rote Ampeln Wetter defekte Verkehrsmittel Verkehrskontrollen zufälliges Treffen alter Bekannter Wie kann ein Agent entscheiden, wann er rechtzeitig losfahren muss? Die beeinflussenden Faktoren liegen (teilweise) nicht im Bereich seiner Wahrnehmung.

35 Unsicherheit in der realen Welt A 15 : Plan, 15 Minuten vor Kursbeginn loszufahren A 60 : Plan, 60 Minuten vor Kursbeginn loszufahren A 240 : Plan, 240 Minuten vor Kursbeginn loszufahren usw. Welcher Plan ist der rational richtige?

36 Unsicherheit in der realen Welt A 15 : Plan, 15 Minuten vor Kursbeginn loszufahren A 60 : Plan, 60 Minuten vor Kursbeginn loszufahren A 240 : Plan, 240 Minuten vor Kursbeginn loszufahren usw. Welcher Plan ist der rational richtige? Die Wahl ist abhängig von Wahrscheinlichkeit, pünktlich zu sein und dem Nutzen des Ereignisses.

37 Unsicherheit & Wahrscheinlichkeit Ziel: Algorithmus, der rationale Entscheidungen auch ohne sicheres Wissen treffen kann.

38 Skizze eines entscheidungstheoretischen Agenten Input: Wahrnehmung (Sensoren), Annahme über den Zustand der Welt, Liste möglicher Aktionen Black Box: Berechnung der Ergebniswahrscheinlichkeiten der Aktionen durch Berücksichtigung von Wahrnehmung und Annahmen. Output: Aktion mit höchstem erwarteten Nutzen

39 Was ist unsicheres Wissen? Beispiel Diagnostik: Diagnosen lassen sich (meist) nicht vollständig mit Mitteln der Prädikatenlogik lösen: p Symptom(p, Zahnschmerzen) (Krankheit(p, Loch) Zahnfleischprobleme) ) Krankheit(p, Zahnschmerzen & Löcher stehen sich nicht in logischer Konsequenz gegenüber. Aber: Bei Zahnschmerzen glauben wir, mit einer gewissen Wahrscheinlichkeit ein Loch im Zahn zu haben.

40 Glauben vs. Wissen In der Prädikatenlogik galt Glauben = Wissen, in einer unsicheren Logik muss mit Glaubensgraden gearbeitet werden, in etwa: Glaube (i p Symptom(p, Zahnsch.) 9 Krankheit(p, Loch)) = 0,8 Glaube (i p Symptom(p, Zahnsch.) 9 Krankheit(p, ZFP)) = 0,05...

41 Glauben vs. Wissen In der Prädikatenlogik galt Glauben = Wissen, in einer unsicheren Logik muss mit Glaubensgraden gearbeitet werden, in etwa: Glaube ( p Symptom(p, Zahnsch.) Krankheit(p, Loch)) = 0,8 Glaube (L p Symptom(p, Zahnsch.) Krankheit(p, ZFP)) = 0,05... Die Wahrheit einer tatsächlichen Aussage bleibt davon unberührt (Wahrheitsgrade sind Thema der Fuzzy Logic)!