Seminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens

Transkript

1 Seminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg

2 Allgemeine Problemstellung Eingabe System Ausgabe System soll lernen, die richtigen Entscheidungen für seine Ausgaben zu treffen. Beispiele: Schach-Agent Eingabe: Zustandsbeschreibung Ausgabe: nächste Aktion Fortbewegungsmittel-Erkennung Eingabe: Sensorwerte Ausgabe: Fortbewegungsmittel Zeitwert-Schätzung Eingabe: Angaben zum Auto (Alter, km,... ) Ausgabe: geschätzter Preis 2 / 10

3 Allgemeine Problemstellung Eingabe System Ausgabe System soll lernen, die richtigen Entscheidungen für seine Ausgaben zu treffen. Beispiele: Schach-Agent Eingabe: Zustandsbeschreibung Ausgabe: nächste Aktion Fortbewegungsmittel-Erkennung Eingabe: Sensorwerte Ausgabe: Fortbewegungsmittel Zeitwert-Schätzung Eingabe: Angaben zum Auto (Alter, km,... ) Ausgabe: geschätzter Preis 2 / 10

4 Arten des maschinellen Lernens Was ist die richtige Entscheidung? Überwachtes (supervised) Lernen Lernen aus Beispielen Lehrer gibt Beispiele mit bekannter Lösung vor Unüberwachtes (unsupervised) Lernen Lernen durch Entdecken Betrachte Beispiele (Lösung unbekannt) und lerne etwas daraus Verstärkendes (reinforcement) Lernen Lernen aus Erfahrung Lösung bleibt unbekannt, aber: indirekte Bewertung der Entscheidungen im Nachhinein anhand Erfolg/Mißerfolg 3 / 10

5 Arten des maschinellen Lernens Was ist die richtige Entscheidung? Überwachtes (supervised) Lernen Lernen aus Beispielen Lehrer gibt Beispiele mit bekannter Lösung vor Unüberwachtes (unsupervised) Lernen Lernen durch Entdecken Betrachte Beispiele (Lösung unbekannt) und lerne etwas daraus Verstärkendes (reinforcement) Lernen Lernen aus Erfahrung Lösung bleibt unbekannt, aber: indirekte Bewertung der Entscheidungen im Nachhinein anhand Erfolg/Mißerfolg 3 / 10

6 Arten des maschinellen Lernens Was ist die richtige Entscheidung? Überwachtes (supervised) Lernen Lernen aus Beispielen Lehrer gibt Beispiele mit bekannter Lösung vor Unüberwachtes (unsupervised) Lernen Lernen durch Entdecken Betrachte Beispiele (Lösung unbekannt) und lerne etwas daraus Verstärkendes (reinforcement) Lernen Lernen aus Erfahrung Lösung bleibt unbekannt, aber: indirekte Bewertung der Entscheidungen im Nachhinein anhand Erfolg/Mißerfolg 3 / 10

7 Arten des maschinellen Lernens Was ist die richtige Entscheidung? Überwachtes (supervised) Lernen Lernen aus Beispielen Lehrer gibt Beispiele mit bekannter Lösung vor Unüberwachtes (unsupervised) Lernen Lernen durch Entdecken Betrachte Beispiele (Lösung unbekannt) und lerne etwas daraus Verstärkendes (reinforcement) Lernen Lernen aus Erfahrung Lösung bleibt unbekannt, aber: indirekte Bewertung der Entscheidungen im Nachhinein anhand Erfolg/Mißerfolg 3 / 10

8 Eingabe (Endliche) Menge an Attribut-Wert-Paaren Diese beschreiben i.d.r. Objekt/Situation Merkmale (z.b. Farbe, Größe, Gewicht) können verschiedene Ausprägungen haben endlich viele verschiedene Ausprägungen (nominal) (z.b. Farbe = rot, grün, blau, gelb, orange) unendlich viele verschiedene Ausprägungen (numerisch) (z.b. Größe = Größenabgabe in cm) 4 / 10

9 Eingabe Annahmen: Nur potentiell für die Entscheidung relevante Attribute (Selektion) keine Rohwerte, sondern möglichst informativ aufbereitet (Interpretation/Abstraktion) Diese Auswahl und Vorverarbeitung der Merkmale wird oft durch den Menschen vorgegeben kann aber auch als separates Lernproblem formuliert werden 5 / 10

10 Ausgabe Trainingsbeispiele gelerntes Modell (Funktion 0.5*x+1) numerisch Funktionenlernen AUSGABE EINGABE Klasse_1 Klasse_2 nominal Klassifikation EINGABE EINGABE 1 6 / 10

11 Wie wird gelernt? Generalisierung Wann war das Lernen erfolgreich? Lernen optimiert hinsichtlich der gelernten Beispiele Maßgeblich: Erfolgreiche Behandlung künftiger (ungesehener) Eingaben Evaluierung nötig Generalisierungsfähigkeit: Lernen der Zusammenhänge statt Auswendiglernen 7 / 10

12 8 / 10 KISEM WS 2013/14 Wie wird gelernt? Überwachtes Lernen Vorgehen beim überwachten Lernen: 1. Lernphase Beispiele Trainieren (Trainingsdaten) eines Modells 2. Evaluierung Zusätzliche Beispiele Testen (Testdaten) des Modells Wichtig: Strikte Trennung von Trainings- und Testdaten (z.b. Aufteilung 80/20), um unabhängige Evaluierung zu gewährleisten Generalisierungsfähigkeit: Erfolgsrate auf Testdaten ähnlich hoch wie auf Trainingsdaten

13 9 / 10 KISEM WS 2013/14 Wie wird gelernt? Erweiterung Meta-Lernen (Lernen des richtigen Modells/Lernverfahrens): 1. Lernphase Beispiele Trainieren unter- (Trainingsdaten) schiedlicher Modelle mit unterschiedlichen Lernverfahren 2. Auswahl Zusätzliche Beispiele Auswahl des (Entwicklungs- besten Modells Testdaten) 3. Evaluierung Weitere zusätzliche Testen des Beispiele (Testdaten) gewählten Modells Wichtig auch hier: Strikte Trennung der 3 Daten-Teilmengen

14 Wie wird gelernt? Bekannte Modelle Funktionenlernen: Regression Neuronale Netze Klassifikation: fallbasiert (z.b. Nearest-Neighbor) Ähnlichkeit zu Prototypen regelbasiert (z.b. Entscheidungsbäume) stochastisch (z.b. Bayes, Naive Bayes) funktional (z.b. Neuronale Netze) Unüberwachtes Klassenlernen: k-means-clustering EM-Clustering 10 / 10