Maschinelles Lernen I Einführung. Uwe Reichel IPS, LMU München 22. April 2008

Transkript

1 Maschinelles Lernen I Einführung Uwe Reichel IPS, LMU München reichelu@phonetik.uni-muenchen.de 22. April 2008

2 Inhalt Einführung Lernen Maschinelle Lernverfahren im Überblick Phonetische Anwendungsbeispiele 1

3 Einführung Maschinelles Lernen: Wissenserwerb eines künstlichen Systems zu spezifizierende Parameter: Aufgabe A Lernvorgang L Messung der Performanz P Wissenserwerb, wenn P hinsichtlich A nach dem Lernvorgang L bessere Werte annimmt als vorher 2

4 Beispiel: Dialogsystem Aufgabe: einem Nutzer möglichst schnell die relevanten Informationen übermitteln Lernvorgang: anhand einer Datenbank mit aufgenommenen Mensch-Maschine-Dialogen soll das System Zusammenhänge in Triplets der folgenden Art erlernen: Dialogvorgeschichte, Systemantwort, verbleibende Dauer bis zum erfolgreichen Abschluss des Dialogs. Performanz: Dialogrestdauer (je kürzer, desto besser). 3

5 genauer: Aufgabe: sage gegeben eine bestimmte Dialogvorgeschichte für jede mögliche Reaktionsalternative die zu erwartende Restdauer des Dialogs voraus und wähle diejenige Reaktion aus, mit der sich der Dialog schnellstmöglich erfolgreich abschließen lässt. Repräsentation von Dialogvorgeschichte und Reaktion: z.b. Dialogakte ggf. Beschränkung der Länge der Vorgeschichte Repräsentation der Dauer: Zeit, Anzahl der Turns, etc. Lernvorgang: lerne den Zusammenhang zwischen den Variablen Sequenz der letzten n Dialogakte + Reaktion mit der davon abhängigen Variablen Restdauer des Dialogs 4

6 Lernvorgang Ziel: Erlernen des Zusammenhangs zwischen Zielwerten für Objekte und deren Eigenschaften. beim Dialogsystem: Objekte: Dialogausschnitte Eigenschaften: Dialogaktvorgeschichte, Reaktion Zielwert: Restdauer bis zum erfolgreichen Abschluss Objektrepräsentation in Form von Merkmalsvektoren (Featurevektoren), z.b. [ u:greet, m:greet, u:quest, m:greet ] unabhängige Variablen: bekannte Objekteigenschaften abhängige Variable: Zielwert 5

7 Mit oder ohne Lehrer (Orakel) überwachtes Lernen: Werte der abhängigen Variablen sind beim Lernen bekannt unüberwachtes Lernen: Werte der abhängigen Variablen sind nicht bekannt (z.b. Einordnung von Intonationskonturen, Grammar induction) Variablenwerte: kategorial oder kontinuierlich kategorial: Graphem-Identität, Position in Silbe, Phonemklasse, Wort +/ akzentuiert, Dialogakt kontinuierlich: relative Position des Graphems im Wort, Lautdauer, F0-Wert, Dialogdauer 6

8 Auswahl maschineller Lernverfahren Bei Auswahl sind v.a. folgende beiden Aspekte zu klären: Varibalentypen Zielwerte +/ bekannt Überwachtes Lernen Instanzbasiertes Lernen abhängige Variable: kategorial C4.5 Entscheidungsbäume abhängige Variable: kategorial 7

9 CART (Classification And Regression Trees) abhängige Variable: kategorial (classification), kontinuierlich (regression) Neuronale Netze: Perzeptron, Backpropagation-Netze u.a. unabhängige Variablen: kategorial (binarisiert), kontinuierlich abhängige Variable: kategorial (binarisiert), kontinuierlich Genetische Verfahren abhängige Variable: kategorial, kontinuierlich Bayes scher Klassifikator abhängige Variable: kategorial 8

10 Unüberwachtes Lernen Clustering abhängige Variable: kategorial Neuronale Netze: Competition nets u.a. abhängige Variable: kategorial Bayes scher Klassifikator (MDL) abhängige Variable: kategorial 9

11 Messung der Performanz zu trennen: Trainings- und davon unabhängige Testdaten, um Überadaption feststellen zu können Überadaption: Auswendiglernen der Trainingsdaten ohne Verallgemeinerungsfähigkeit auf ungesehene Daten. einige Performanzmaße: Wortfehlerrate, mittlerer quadratischer Fehler zwischen tatsächlichen und vorhergesagten Werten, Entropie 10

12 Phonetische und linguistische Anwendungsbeispiele Graphem-Phonem-Konvertierung Vorhersage von Silbengrenzen Vorhersage der Wortbetonung Vorhersage prosodischer Struktur Lautdauern-Vorhersage Klassifizierung von f0-konturen Klassifikation von Dialogakten welche Lernmethode ist jeweils geeignet? 11

13 Maschinelles Lernen vs. manuell-regelbasierte Verfahren Vorteile des manuell-regelbasierten Ansatzes gezielter Einsatz von Fachwissen Implementierung und Überprüfung von Theorien für viele linguistische Bereiche (z.b. morphologische Analysen) erfolgreicher als maschinelle Lernmethoden Vorteile des maschinellen Ansatzes Verwendung größerer Datenmengen möglich weniger zeitaufwendig Standardverfahren für unterschiedlichste Problemstellungen robuster gegenüber neuen Daten adaptierbar auf andere Domänen/Sprachen automatische Aquisition von Weltwissen 12