Neuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24.

Größe: px

Ab Seite anzeigen:

Download "Neuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24."

Laura Dresdner
vor 7 Jahren
Abrufe

1 Neuronale Netze in der Phonetik: Grundlagen Pfitzinger, Reichel IPSK, LMU München {hpt 24. Mai 2006

2 Inhalt Einführung Maschinelles Lernen Lernparadigmen Maschinelles Lernen vs. regelbasierte Verfahren Auswahl maschineller Lernverfahren Auswahl neurobiologischer Grundlagen Aufbau Neuronaler Netze Neurobiologische und Kognitive Entsprechungen Lernverfahren Auswahl von Netztypen Vor- und Nachteile Neuronaler Netze 1

3 Einführung Computersimulation biologischer Neuronenverbände Instrument für maschinelles Lernen (datengetriebenes, statistisches Lernen) alternative Begriffe: ANN, konnektionistische Modelle, parallel distributed processing Pioniere: McCulloch & Pitts (1943) 2

4 Maschinelles Lernen Ziel: Erlernen des Zusammenhangs zwischen Zielwerten (Kategorien oder kontinuierliche Werte) für Objekte und deren Eigenschaften. Beispiel: Graphem-Phonem-Konvertierung Objekte: Grapheme Eigenschaften: Graphem-Identität, umgebende Grapheme, Position des Graphems innnerhalb der Silbe Training: Erlernen des Zusammenhangs zwischen einer oder mehreren unabhängigen Variablen und einer abhängigen Variablen abhängige Variable: Phonemklasse unabhängige Variablen: Eigenschaften (s.o.) Anwendung: Vorhersage des (unbekannten) Werts der abhängigen Variablen anhand der gegebenen unabhängigen Variablen. 3

5 Objekte als Merkmalsvektoren (Featurevektoren) repräsentiert unabhängige Variablen (Attribute) für Graphem g i : < g i 1, g i, g i+1, Position von g i in Silbe> Attributwerte: <[a z],[a z],[a z], head nucleus coda> Merkmalsvektor für g in Tagtraum: <a, g, t, coda> Kategorie (abhängige Variable): Phonem /k/ 4

6 Variablenwerte kategorial oder kontinuierlich kategorial: Graphem-Identität, Position in Silbe, Phonemklasse, Wort +/ akzentuiert kontinuierlich: relative Position des Graphems im Wort, Lautdauer, F0-Wert bei neuronalen Netzen unabhängige Variablen: kontinuierlich, binär (zur Codierung kategorialer Variablen) Attribute für Graphem g i : < g i 1 = a, g i 1 = b,..., g i = a,..., posit=head,... > Attributwerte binär: < [01], [01],..., [01],..., [01],... > abhängige Variable: kontinuierlich, kategorial 5

7 Lernparadigmen Überwachtes Lernen: mit Lehrer ; Werte der abhängigen Variablen in Trainingsdaten bekannt Unüberwachtes Lernen: Werte nicht bekannt Neuronale Netze für beide Lerntypen 6

8 Maschinelles Lernen vs. regelbasierte Verfahren Vorteile des regelbasierten Ansatzes gezielter Einsatz von Fachwissen Implementierung und Überprüfung von Theorien für viele linguistische Bereiche (z.b. morphologische Analysen) erfolgreicher als statistische Methoden Vorteile des statistischen Ansatzes Verwendung größerer Datenmengen möglich weniger zeitaufwendig Standardverfahren für unterschiedlichste Problemstellungen robuster gegenüber neuen Daten adaptierbar auf andere Domänen/Sprachen automatische Aquisition von Weltwissen 7

9 Auswahl maschineller Lernverfahren Überwachtes Lernen C4.5 Entscheidungsbäume Quinlan (1993) unabhängige Variablen: kategorial, kontinuierlich abhängige Variable: kategorial Anwendungsbeispiele: Graphem-Phonem-Konvertierung, Vorhersage von Akzenten und prosodischen Phrasengrenzen CART (Classification And Regression Trees) Breiman et al. (1984) unabhängige Variablen: kategorial, kontinuierlich abhängige Variable: kategorial (classification), kontinuierlich (regression) Anwendung: Vorhersage von Lautdauern, Grundfrequenzwerten Neuronale Netze: Perzeptron, Backpropagation-Netze u.a. 8

10 Unüberwachtes Lernen Clustering: Gruppierung von Objekten anhand ihrer Ähnlichkeit unabhängige Variablen: kontinuierlich abhängige Variable: kategorial; Werte ergeben sich erst im Zuge des Lernvorgangs Neuronale Netze: selbst-organisierende Kohonen-Netze u.a. 9

11 Auswahl neurobiologischer Grundlagen Neuronenverbände: Neuronen über Synapsen miteinander verbunden Informationsübertragung zellintern: in Form von Aktionspotentialen (AP s; sich fortpflanzende Spannungsänderung an Zellmembran) zwischen Zellen: über Synapsen; ankommende AP s führen in der präsynaptischen Zelle zur Ausschüttung von Neurotransmittern in den synaptischen Spalt, die an der postsynaptischen Zelle andocken und dort erneut AP s auslösen, sofern ein nötiges Schwellenpotential überschritten wird. je niedriger das Ruhepotential der postsynaptischen Zelle (Membranpotential im Ruhezustand) und je höher die Erregungsschwelle, desto höhere präsynaptische Aktivität zur Überschreitung der Schwelle nötig. 10

12 räumliche Summation: mehrere präsynaptische Zellen konvergieren an der selben Synapse; Summierung ihrer Aktivitäten bei Auslösung der AP s in der postynaptischen Zelle neben exzitatorischen auch inhibitorische Verbindungen, d.h. erhöhte Aktivität der präsynaptischen Zelle führt zu herabgesetzter Aktivität der postsynaptischen Zelle (z.b. bei der lateralen Hemmung). Codierung der Reizstärke: AP-Frequenz, Menge der freigesetzten Neurotransmitter Lernen: basale Lerntypen: Konditionierung, Sensibilisierung, Adaptierung Konditionierung, Sensibilisierung: Stärkung der synaptischen Verbindung zwischen Neuronen, d.h. u.a.: das präsynaptische Neuron entlädt nach dem Lernvorgang eine höhere Menge an Neurotransmittern in den synaptischen Spalt. Adaptierung: Schwächung der synaptischen Verbindung (Begriff hat andere Bedeutung im Zusammenhang mit ANN s: dort gleich Anpassung an Trainingsdaten!) 11

13 Aufbau neuronaler Netze Verarbeitungseinheiten (Neuronen) mit gewichteten Verbindungen Input Layer: Neuronen, die von außen Reize (als numerische Merkmalsvektoren repräsentierte Objekte) empfangen können; ein Input-Neuron für jedes Merkmal Hidden Layers: interne Weiterverarbeitung der empfangenen Reize: Musteranalyse Output Layer: Ausgabe des entsprechenden Zielwerts des perzipierten Objekts Verbindungen: feed forward (nur in eine Richtung von Input nach Output); rekurrent (Rückkopplung) 12

14 Neurobiologische und kognitive Korrelate Wissen: Gewichte zwischen den Neuronen (als Gewichtsmatrix darstellbar) Lernen: Veränderung der Gewichte w ij zwischen Neuron i und j (Modifizierung der synaptischen Verbindungsstärke): w (k+1) ij = w (k) ij + w (k) ij (k: Iterationsindex), wobei die Berechnung von w ij vom jeweiligen Lernverfahren abhängt. 13

15 Neuronale Aktivität Input des Neurons i: I i = j a jw ij a j gleich dem Aktivitätsniveau des sendenden Neurons j w ij ist die Stärke der Verbindung (das Gewicht) zwischen j und i und entspricht der Stärke der synaptischen Verbindung positive/ negative Gewichte für exzitatorische/ inhibitorische Verbindung : räumliche Summation I i codiert die Reizstärke (vgl. Menge des ausgeschütteten Transmitters) häufig wird zum Input noch ein bias θ hinzuaddiert (entspricht dem Ruhepotential) Aktivitätsfunktionen O(I i + θ): linear, binär, sigmoid; häufig mit Schwelle: I i < Schwellwert O(I i ) = 0; beschränkt auf den Wertebereich [ 1 1] 14

16 Lernverfahren Veränderung der Gewichte w ij, um Differenz zwischen beobachtetem und gewünschtem Output zu minimieren gewünschter Output: bestimmtes Erregungsmuster im Output Layer ohne Hidden Layers: Hebb, Delta, Competitive Learning mit Hidden Layers: Backpropagation überwacht: Hebb, Delta, Backpropagation unüberwacht: Competitive Learning 15

17 Auswahl von Netztypen Perzeptrons feed forward für überwachtes und unüberwachtes Lernen Hopfield-Netze rekurrent, einschichtig für überwachtes Lernen Backpropagation-Netze feed forward, mit Hidden Layers für überwachtes Lernen Kohonen-Netze selbstorganisierende Karten für unüberwachtes Lernen 16

18 Vor- und Nachteile + häufig biologisch interpretierbar + für überwachtes und unüberwachtes Lernen geeignet + tolerant gegenüber verrauschten Daten (Mustervervollständigung) schwerer interpretierbar als Entscheidungsbäume Aufblähen des Netzes bei kategorialen Variablen (n Kategorien: Ersetzen durch n binäre Inputneuronen) Gefahr des Hängenbleibens in lokalen Optima 17

Ähnliche Dokumente

Maschinelles Lernen I Einführung. Uwe Reichel IPS, LMU München 22. April 2008

Maschinelles Lernen I Einführung Uwe Reichel IPS, LMU München reichelu@phonetik.uni-muenchen.de 22. April 2008 Inhalt Einführung Lernen Maschinelle Lernverfahren im Überblick Phonetische Anwendungsbeispiele