Moderne Methoden der KI: Maschinelles Lernen

Transkript

1 Moderne Methoden der KI: Maschinelles Lernen Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung Sommer-Semester 2010 Grundlagen Definitionen Grundbegriffe Lernsysteme Generalisierung

2 Maschinelles Lernen Lernen: Grundbegriffe Lernsysteme Konzept-Lernen Entscheidungsbäume Fallbasiertes Schließen Reinforcement-Lernen Mitchell: Machine Learning. Lenz et al: Case-Based Reasoning Technology, From Foundations to Applications. Quinlan: C4.5: Programs for Machine Learning. Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 2

3 Definitionen: Was ist Lernen? Wikipedia, Juni 2010 Unter Lernen versteht man den absichtlichen (intentionales Lernen) und den beiläufigen (inzidentelles und implizites Lernen), individuellen oder kollektiven Erwerb von geistigen, körperlichen, sozialen Kenntnissen, Fähigkeiten und Fertigkeiten. Aus lernpsychologischer Sicht wird Lernen als ein Prozess der relativ stabilen Veränderung des Verhaltens, Denkens oder Fühlens aufgrund von Erfahrung oder neu gewonnenen Einsichten und des Verständnisses (verarbeiteter Wahrnehmung der Umwelt oder Bewusstwerdung eigener Regungen) aufgefasst. Die Fähigkeit zu lernen ist für Mensch und Tier eine Grundvoraussetzung dafür, sich den Gegebenheiten des Lebens und der Umwelt anpassen zu können, darin sinnvoll zu agieren und sie gegebenenfalls im eigenen Interesse zu verändern. So ist für den Menschen die Fähigkeit zu lernen auch eine Voraussetzung für Bildung, also ein reflektiertes Verhältnis zu sich, zu den anderen und zur Welt. Die Resultate des Lernprozesses sind nicht immer von den Lernenden in Worte fassbar (implizites Wissen) oder eindeutig messbar. Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 3

4 Definitionen: Was ist Lernen? Definition nach Metzler Philosophie Lexikon : Jede Form von Leistungssteigerung, die durch gezielte Anstrengung erreicht wurde. bzw. als psycholog. Sicht : Jede Verhaltensänderung, die sich auf Erfahrung, Übung oder Beobachtung zurückführen läßt Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 4

5 Was wird verändert - 2 Varianten (nach Metzler ) (1) Stimulus-Response-Verhalten (Assoziationen) klassische Konditionierung: Kopplung an bestehendes Verhalten: Pawlowscher Hund operante Konditionierung: spontane Reaktion bewerten: verstärken/abschwächen (2) (Kognitive) Repräsentationen ändern Fähigkeiten Umweltmodell Problemlösungsstrategien Motive Gefühle... Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 5

6 Definitionen: Was ist Lernen? Definition nach Meyers Großes Taschenlexikon (1992) : Durch Erfahrung entstandene, relativ überdauernde Verhaltensänderung bzw. -möglichkeiten. (Prozess), der bestimmte Organismen, jedoch auch technische Anlagen (z.b. Automaten) befähigt, auf Grund früherer Erfahrungen und durch organ. Eingliederung weiterer Erfahrungen situationsangemessen zu reagieren. Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 6

7 Formen des Lernens (nach Meyer ) Einsichtiges Lernen (Bewusstsein erforderlich) Dressur Versuch und Irrtum Menschl. Lernen ist eine überwiegend einsichtige, aktive, sozial vermittelte Aneignung von Kenntnissen und Fertigkeiten, Überzeugungen und Verhaltensweisen. Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 7

8 Formen des Lernens (nach Meyer ) 4 Phasen menschl. Lernens: Vorbereitung (Wahrnehmung) Aneignung (Assoziation als Verknüpfungsprozeß) Speicherung (Kodierung, Gedächtnis) Erinnerung (Dekodierung, Reaktion) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 8

9 Arten/Strukturen des Lernens (nach Meyer ) Wahrnehmungslernen (Gehörschulung) motorisches Lernen (Schwimmen) verbales Lernen (Vokabeln) kognitives Lernen (Begriffe, Regeln) soziales Lernen (soziales Verhalten) Signal-Lernen, Verstärkungslernen Imitationslernen Begriffs-/Konzeptlernen Strukturierung Problemlösen Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 9

10 Voraussetzungen für Lernbarkeit Gleiches Verhalten in gleicher Situation erfolgreich Allgemeiner: Ähnliches Verhalten in ähnlicher Situation erfolgreich Möglichkeit zur Verallgemeinerung: Allgemeine Gültigkeit des an Beispielen Gelernten (im entsprechenden Bereich) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 10

11 Aufgabe Setzen Sie die Zahlenreihe fort: 1, 2, 4,... Fragen: Was wurde gelernt? Warum gerade das? Allgemeine Gültigkeit des an Beispielen Gelernten? Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 11

12 Maschinelles Lernen Funktion f : O W W f(x) O x Beispielwerte bekannt allgemeine Berechnung unbekannt/zu komplex x? f(x) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 12

13 Maschinelles Lernen Alternativen ( Hypothesen ) für Berechnung von f x f(x) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 13

14 Maschinelles Lernen Test/Konstruktion von Hypothesen anhand von Beispielen ( Trainingsmenge ) x f(x) Bewertung der Hypothesen bzgl. der Beispiele Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 14

15 Maschinelles Lernen Ziel: Korrekte/Beste Hypothese finden (Suchproblem/Optimierungsproblem) x f(x) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 15

16 Maschinelles Lernen Korrekte/Beste Hypothese finden Methode: Beispiele ( Erfahrungen ) verallgemeinern Fehler minimieren Verallgemeinerung = Annahmen über Funktionswerte für alle (auch nicht gesehene!) Werte x f(x) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 16

17 Maschinelles Lernen Bezug zu: Statistik, Optimierung, KI, Kognition, Information, Komplexität, Regelung/Steuerung, Robotik, Philosophie, Psychologie, Biologie,... Verfahren: Konzeptlernen, Entscheidungsbäume, Regeln, Fallbasiertes Schließen, Neuronale Netze, Bayessches Lernen, Genetische/Evolutionäre Algorithmen, Verstärkungslernen (Reinforcement L.),... Anwendungen: Spracherkennung, Schrifterkennung, Kreditkartenmissbrauch, Data Mining, Profiling, Scheduling, Sensorik und Aktorik von Robotern,... Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 17

18 Grundbegriffe 1 Individuelles Lernen Programm, Roboter (Ergebnis übertragbar: kopieren) Gruppe/Organisation Individuelles Lernen innerhalb Gruppe Struktur, Beziehungen der Gruppe verändern Neue Individuen (Evolution) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 18

19 Grundbegriffe 2: Vorgaben Beispiele (Lernmenge, Trainings- und Testdaten) Bewertung/Credit Assignment Problem/Optimierung: Was ist korrekt/besser (Klassenzugehörigkeit, Fitness, Reward, ) Woher kommt Bewertung Lehrer (supervised) Ohne Lehrer (unsupervised) Verallgemeinerung (Generalisierung) Verhalten auf nicht präsentierten Beispielen (evtl. implizit) Grundstrukturen Repräsentationen: Hypothesen Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 19

20 Definition: Maschinelles Lernen Definition von Tom M. Mitchell Machine Learning : A Computer Program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E. T: Menge von Aufgaben t E: Beispiele d bzgl. T P: globale Leistungsfähigkeit (Gütemaß) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 20

21 Beispiel: Klassifikation Menge O von Objekten o mit jeweils n Merkmalen m(o) = [m 1,...,m n ] M Klasseneinteilung von O: K = K 1,...,K k Klasse von o: K(o) n=2 K 1 X o K 2 K 3 K(o)= K 1 Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 21

22 Beispiel: Klassifikation T: Menge von Aufgaben t Klassifikator gesucht: κ: M K Aufgabe t : Klassifikation κ(m(o)) für jeweils ein Objekt o Bewertung: Klassifikation korrekt, falls κ(m(o))=k(o) X E: Beispiele bzgl. T Paare: Aufgabe m(o) /Lösung K(o) K 1 X X X X X X X X X X K 2 X X X K 3 X P: globales Korrektheitsmaß des Klassifikators κ z.b. Anzahl korrekter Klassifikationen / Gesamtzahl Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 22

23 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Lernverfahren Auswahl aus Möglichkeiten bzgl. Aufgabenmenge T Gütemaß P Erfahrung E (woraus lernt System): Information Navigation Verteilung Verfahren (was soll System lernen: Funktion) Inhaltlich (z.b. Schrifterkennung) formale Repräsentation (z.b. Neuronales Netz) Algorithmus (wie sollen Systeme lernen) z.b. Backpropagation Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 23

24 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Test-Beispiele d Erfahrung E Information Navigation Verteilung Trainings- Beispiele d Lern-Verfahren: Konstruiere bestes V aus einer Menge von Hypothesen Verfahren V inhaltlich formal Lernverfahren Aufgabe t Verfahren V für alle t T Lösung V(t) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 24

25 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Lernverfahren t : individuelle Aufgabe aus Menge T V(t) : Lösung von t gemäß Verfahren V b(v(t)): Bewertung von V(t) (optimale Lösung: V*(t) Verfahren V* ist i.a. unbekannt oder zu aufwändig) Lernproblem als Konstruktions-/Optimierungs-/Suchproblem für ein Verfahren V, anwendbar für alle t T, das im Sinne von P möglichst optimal arbeitet (Approximation von V*) Gütemaß P : z.b. wieviele Aufgaben t werden durch V wie gut gelöst Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 25

26 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Beschränkung des Suchraumes: Umfang der Aufgabenmenge T Strukturierung der Aufgaben t T (Feintuning in grob entwickelter Struktur) Merkmale auswählen, z.b. gemäß a) Reduktion von Merkmalen (Redundanz) b) Reduktion von Merkmalen (Transformation) c) Wichtigkeit, Skalierung a b c Lernverfahren Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 26

27 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Beispiele für Auswahl von Merkmalen: - Hauptkomponenten-Analyse (Principal Component Analysis, PCA) Richtungen maximaler Information (Varianz) - Analyse von Dokumentensammlungen: Schlüsselwörter (Lexika erstellen) Kookkurenzen - Bestimmung charakteristischer Features in Bildern (möglichst unabhängig von Skalierung und Rotation) SIFT (Scale Invariant Feature Transform) SURF (Speeded Up Robust Features ) Lernverfahren Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 27

28 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Lernverfahren Information: Beispiele, Fälle [t,l,b] t: Aufgabe, l: Lösung, b: Bewertung nur positive Beispiele [ t,l,+ ] ( gelöste Fälle ) bewertete Beispiele: [ t,l,b ] direct feedback für Bewertung b als Bestandteil des Falles als unmittelbare Antwort durch Lehrer (supervised learning) indirect feedback für Bewertung b als spätere Antwort auf mehrere Entscheidungen Credit Assignment Problem Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 28

29 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Navigation, Auswahl vorgegebene Fälle zufällige Präsentation gezielte Auswahl des Lerners Verteilung: Wie repräsentativ sind Fälle insgesamt bzgl. späterer Anwendung Lernverfahren Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 29

30 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Lernverfahren Lösungen (Wertebereich von V ), z.b.: konkreter Lösungsvorschlag Nützlichkeiten alternativer Lösungen Start mit intuitiver Anfangsnützlichkeit Ziel: Verbesserung durch Lernen: Approximation des optimalen Verfahrens V* formale (variierbare) Berechnung von V Auswahl von Merkmalen m i für Aufgaben t (Definitionsbereich von V) parametrisierte Berechnungsvorschrift z.b. gewichtete Summe: V(t) = w 1 m 1 + w 2 m w m m m (Variation der Parameter w i beim Lernen) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 30

31 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Lernverfahren Anpassung der Berechnungsvorschrift für V, so dass V die Trainingsbeispiele möglichst gut annähert Anpassung: Parametervariation Übergang zu einer neuen Hypothese Konstruktion einer neuen Hypothese Maß für Annäherung: Übereinstimmung auf Trainings-/Testdaten Fehlerminimierung bzgl. Trainings-/Testdaten Übereinstimmung mit Vorwissen Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 31

32 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Lernverfahren Lernsystem als Suchsystem Zustände: Hypothesen für Zielfunktion, z.b.: numerische Funktionen Klassifikatoren Neuronale Netze Entscheidungsbäume Regelsysteme Operatoren: Übergang zu neuer Hypothese anhand von Trainingsbeispielen Zielzustand: korrekte/optimale Hypothese (Approximation der Zielfunktion) Lernverfahren als Suchverfahren Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 32

33 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Lernverfahren Lernsystem als Optimierungssystem Bewertung von Hypothesen: Gute Hypothese erhält hohe Bewertung Fitness Rewards Optimum: alle Aufgaben t T werden gelöst (Gütemaß P) Lernschritte: neue Hypothese mit verbesseter Bewertung Lernverfahren als Optimierungsverfahren Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 33

34 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Lernverfahren iteriertes Vorgehen Testbeispiele zur Evaluierung Abbruchkriterien Ein Schema für ein iteriertes Vorgehen Schritt i : 1) Aufgabe t erzeugen 2) Lösungsvorschlag V i-1 (t) mit Verfahren V i-1 berechnen, 3) Bewertung b(v i-1 (t)) (z.b. durch Lehrer) 4) mit Beispiel [ t, V i-1 (t), b(v i-1 (t)) ] neues Verfahren V i erzeugen. Weiter bei Schritt i+1. Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 34

35 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Lernverfahren Generalisierung: Das Verfahren V wird nur anhand der Trainingsbeispiele optimiert (und anhand von Testbeispielen evaluiert). Ziel ist ein optimales Verfahren für alle Aufgaben t. Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 35

36 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Lernverfahren Güte des Lernsystems abhängig von allen Design-Entscheidungen sowie folgender Hintergrundannahme: Die nicht betrachteten Aufgaben t verhalten sich irgendwie ähnlich wie die bei der Konstruktion verwendeten Aufgaben. Problem: Beachten der zur Generalisierung getroffenen Annahmen (Ähnlichkeit, inductive bias,...). Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 36

37 Spezifikation eines Lernsystems Aufgaben T Gütemaß P Erfahrung E Information Navigation Verteilung Verfahren V inhaltlich formal Aktuelle Beispiele: Robotersteuerung Textklassifikation Bildklassifikation Suchmaschinen Bioinformatik Lernverfahren Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 37

38 Verallgemeinerung (Generalisierung) Werte für nicht präsentierte Beispiele? Grundsätzlich: Jeder Wert möglich. Beispiel: Boolesche Funktionen Trainingsdaten: f(w,f) = F f(w,w) = W Testdaten: f(f,w) = F Welchen Wert hat f(f,f)? Beispiel: lineare Funktionen im R n : f(x 1,,x n )= a 0 + a 1 x 1 + +a n x n Durch n+1 linear unabhängige Beispiele ist f vollständig bestimmt. Beispiel: Lineare Klassifizierung lässt viel Möglichkeiten für Trennebene Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 38

39 Verallgemeinerung (Generalisierung) Auswahl aus den möglichen Hypothesen durch zusätzliche Annahmen (Inductive Bias), z.b.: - Restriction Bias: Hypothesenmenge beschränkt - Preference Bias: Bevorzugte Hypothesen Oftmals komplexere Annahmen. Die zusätzlichen Annahmen sind oft implizit, z.b. Ähnlichkeit Stetigkeit Sie sind oft Teil des Lernverfahrens, z.b. Entscheidungsbäume Neuronale Netze Approximationsverfahren Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 39

40 Approximationsverfahren Funktionen mit kontinuierlichen Definitionsbereichen: Nur endlich viele Beispiele. Hypothesen aus Kombinationen der Beispiele (Stützpunkte) Hypothesen durch Kombination spezieller Funktionen, z.b. Polynome (Taylor-Reihen) Harmonische Funktionen (Fourier-Reihen) Gauß-Funktionen Klassifikation: Wo ist optimale Klassengrenze (vgl. SVM) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 40

41 Approximationsverfahren Diskretisierung kontinuierlicher Definitionsbereiche: Aufteilung in Gridzellen bzw. Bezug auf Stützpunkte stückweise lineare Fkt.: Treppenfunktion stückweise polynomiale Fkt.: Splines Interpolation über Nachbarzellen, z.b. Linearkombinationen Radial Basis Functions (RBF) Approximation bestimmt über Wert neuer Beispiele (ind. bias) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 41

42 Radial Basis Functions (RBF) Kernfunktion : K c (x) := K( x-c ) Wert hängt nur vom Abstand zum Zentrum c ab ( Ähnlichkeit zu einem Beispiel oder Stützpunkt c) z.b. als Gauß-Funktion K c (x) = exp( - ( x-c 2 /2σ 2 ) ) Approximation einer Funktion f durch gewichtete Linearkombination: f(x) = w 0 + i=1,..k w i K i ( x-c i ) Lernverfahren: K i, (d.h. c i, σ i ) und Gewichte w i lernen RBF Network: Lernverfahren Neuronaler Netze anwenden. Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 42

43 Verallgemeinerung (Generalisierung) Rechtfertigung der Zusatzannahmen? Annahmen über Realität, z.b. Ähnlichkeit Stetigkeit Einfachheit (Ockhams Razor) Fehlerbetrachtung: auf Trainingsdaten auf zusätzlichen Testdaten Statistische Verfahren Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 43

44 Überanpassung (Overfitting) Schlechte Generalisierung wenn Hypothese zu genau der Trainingsmenge entspricht z.b. bei Fehlerhaften Trainingsdaten Ungeeigneten Merkmalen Einfache Hypothesen bevorzugen (Ockhams Rasor) Korrektur mit zusätzlichen Testdaten Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 44

45 Fehlerbetrachtung/Optimierung Mögliches Problem: Keine Hypothese kann Trainingsmenge korrekt darstellen Mögliche Ursachen: 1) Beschränkung des Hypothesenraumes zu stark Beispiel: Nicht-lineare Funktion f durch lineare Funktion g approximieren: f(x 1,,x n ) g(x 1,,x n ) = a 0 + a 1 x 1 +.+a n x n 2) Trainingsdaten inkonsistent (verrauscht) Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 45

46 Fehlerbetrachtung/Optimierung Hypothese h so wählen, dass Fehlermaß f-h minimiert wird Optimierung der Fehler bzgl. Trainingsmenge Testmenge Generalisierung Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 46

47 Fehlerbetrachtung/Optimierung Beispiel: Verrauschte Trainingsdaten bei Klassifizierung Realität liefert verrauschte Klassifizierung von Objekt x, Wahrscheinlichkeit P([x,1])= p >0.5 P([x,0])= 1-p < 0.5 Betrachten Hypothese mit Zuordnung h(x)=1 mit Wkt. q, h(x)=0 mit Wkt. 1-q Fehler bei falscher Zuordnung von 0 zu 1, Wkt.: q(1-p) Fehler bei falscher Zuordnung von 1 zu 0, Wkt.: p(1-q) Wkt. Für Fehler insgesamt: e= p+q -2 pq = p + (1-2p)q Minimum bei q=0 für p<0.5 bzw. q=1 für p>0.5 Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 47

48 Probleme im Maschinellen Lernen Mit welchen Algorithmen kann die Zielfunktion am besten aus speziellen Beispielen (Trainingsmenge) gelernt werden? Wie kann die Qualität des gelernten Funktion evaluiert werden (Abbruchbedingung, Anforderungen an Trainingsmenge)? Wie kann Vorwissen benutzt werden? Wie sollen die Trainingsbeispiele präsentiert werden (Reihenfolge, Korrektheit)? Wie kann das Lernen vereinfacht werden (Reduktion von Komplexität, Veränderung der Darstellung)? Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 48

49 ZUSAMMENFASSUNG Lernen ist eine wesentliche Eigenschaft von Organismen. Lernen spielt in vielen Disziplinen eine Rolle. Maschinelles Lernen ist vielseitig einsetzbar, speziell für unbekannte/ schwer beschreibbare/ schwer berechenbare Probleme. Lernen kann als Suche (nach der besten Hypothese) betrachtet werden. Lernen kann als Optimierungsproblem betrachtet werden. Das Training erfolgt mittels ausgewählter Beispieldaten. Durch Generalisierung sollen auch nicht trainierte Aufgaben gelöst werden können. Ein Lernproblem umfasst genau spezifizierte Aufgaben, ein Gütemaß und Trainingsbeispiele. Die Spezifikation eines Lernsystems umfasst viele Entwurfsentscheidungen. Sommer-Semester 2010 MMKI: Maschinelles Lernen, Einführung 49