Martin Stetter WS 03/04, 2 SWS. VL: Dienstags 8:30-10 Uhr

Transkript

1 Statistische und neuronale Lernverfahren Martin Stetter WS 03/04, 2 SWS VL: Dienstags 8:30-0 Uhr PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren

2 Behandelte Themen 0. Motivation : Lernen in Statistik und Biologie. Wahrscheinlichkeitstheorie: Grundlagen und Definitionen 2. Überblick über statistische Datenmodellierungs-Verfahren 3. Lernen von Datenmodellen Bayes sches Schließen (Inferenz) Maximum-Likelihood Parameterschätzung ML und Fehlerminimierung Generalisierung und Regularisierung Optimierungsverfahren 4. Neuronale Lernverfahren für Klassifikation Perceptron, Soft-Margin Classifiers, Support Vector Machine, Kernel-Klassifikation 5. Neuronale Lernverfahren für Regression Lineare Modelle, Multilagen-Perceptron, Radiale Basisfunktionen, Kernel-Regression 4. Bayes-Belief-Netze PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren 2

3 Behandelte Themen 0. Motivation : Lernen in Statistik und Biologie 2. Überblick über statistische Datenmodellierungs-Verfahren 3. Lineare Modelle (Regression) 4. Selbstorganisierende Karten, Bayes-Belief-Netze (Dichteschätzung) 5. Perceptron und Multilagen-Perceptron (Funktionsapproximation) 6. Lernen von Datenmodellen Bayes sches Schließen (Inferenz) Maximum-Likelihood Parameterschätzung ML und Fehlerminimierung Generalisierung und Regularisierung Optimierungsverfahren 7. Kernel-Trick und Support Vector Machine Perceptron, Soft-Margin Classifiers, Support Vector Machine, Kernel-Klassifikation PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren 3

4 Literatur Statistische Lernverfahren: B. Schölkopf, A. Smola: Learning with Kernels. MIT Press, Cambridge, MA (2002) Statistische und neuronale Verfahren: C. M. Bishop, Neural Networks for Pattern Recognition, Clarendon Press Oxford (995) Neuronale Netze: J. Hertz, A. Krogh, R. G. Palmer, Introduction to the Theory of Neural Computation, Addison Wesley, Redwood City CA (99) Gehirn und Nervenzellen, Computational Neuroscience: M. Stetter, Exploration of Cortical Function, Kluwer Academic Publishers, Boston Dordrecht (2002) Bioinformatik und System-Biologie P. Baldi, G. W. Hatfield, DNA Microarrays and Gene Expression, Cambridge University Press Cambridge, MA (2002) PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren 4

5 Einführung: Lernen in Statistik und Biologie Biologisches Lernen Maschinelles Lernen Erkennen von Zusammenhängen im Lebensraum Synaptische Plastizität im Gehirn Erkennen von statistischer Struktur in Datensätzen Einstellung der Modellparameter Erlernen von Fähigkeiten aus Beispielen (prozedurales Lernen) Finden einfacher Lösungen Schlußfolgern Optimierung eines Modells Regularisiertes Lernen Bayes sches Schließen (Inferenz) 5

6 Statistisches Lernen: Beispiel Statistisches / Maschinelles Lernen: Entdeckung von Struktur in Daten Beispiel: 2D-Klassifikation: M Fiktive Daten eines Geldinstituts: x 2 y ( i) = 0 Datenpunkt x = Abgehobener Geldbetrag x 2 = Häufigkeit Abhebevorgänge x = ( x, x 2) = Muster (i) x y ( j) = y = Scheckkartenbetrug (=ja, 0=nein) y = Klassenlabel, Soll, Output ( x, y ) K ( x ( ) () ( M ) ( M ), y ) Ziel: Lerne Klassifikationsregel, um künftige Betrüger frühzeitig an ihrem Verhalten zu erkennen. w x 6

7 Lernen eines Klassifikators: Linearer Klassifikator: y ˆ = Θ( w x + b) ( w, b) = Parametersatz, Modell, Θ( x) =, x 0 Hypothese Lernen : Finde besten Parametersatz Θ( x) = 0, x < 0 w x : = w x + w x 2 x 2 2 (m) x Separierende Hyperebene w x + b =0 ( m) y = 0 Datenpunkt w c yˆ = 0 c + yˆ = + x Offline-Lernen: c + / = M + / + { m y ( m) ŵ = c c b ˆ = w ( c c + + x ( m) =± } ) / 2 Klassenzentren Online-Lernen (Beispiel für b=0): Für jeden Datenpunkt ändere w gemäß Δw = η( y ( m) yˆ ( m) ) x ( m) (Perceptron-Lernregel, siehe später) 7

8 Warum statistisches Lernen? x 2 Daten sind unsicher: -- Datenpunkte x könnten versetzt sein -- Gemessene Klassen können falsch sein Klassifikationsgesetz ist unsicher -- Mitglieder unterschiedlicher Klassen könnten dasselbe Muster x aufweisen w x Lösung: Probabilistischer Klassifikator ( soft classifier ) Spezifiziere Wahrscheinlichkeit für Klassenmitgliedschaft Pr( y ( x) = ) = g( w x + b) Beispiel: Logistische Transferfunktion f : g(x) g( x) = + exp( x) x 8

9 Neuronales Lernen: Gehirn und Nervenzelle Das menschliche Gehirn Besteht aus Nervenzellen (Neuronen) und Hilfszellen Hochstrukturiert (Kerne, Areale der Grosshirnrinde) Gigantisches Netz aus Neuronen: Nervenzellen -- Jede Zelle erhält synaptischen Input von ca anderen Nervenzellen (Konvergenz) -- Jede Zelle sendet ca outputs (Divergenz) -- Gesamte Leitungslänge: km!!! Nervenzelle Besteht aus Dendrit, Dendrit Soma Axon Soma (Zellkörper) Axon 9

10 Neuronales Lernen: Reizleitung in Neuronen Funktionsweise des Neurons Signal: Aktionspotential, Spike Signalfluss: Dendrit --> Soma --> Axon--> Synapse--> Dendrit... (a) Spike kommt an; Synapse injiziert Strom I Membranspannung steigt (PSP) (b) Viele PSPs summieren sich Bei Schwellenspannung: Spike (c) Spike läuft Axon entlang verzweigt sich mit dem Axon (d) Spike kommt an... Biologisches Lernen (Hypothese): Synaptischer Strom I ändert sich in Abhängigkeit von der Zeit und der Hirnaktivität ( LTP, LTD...) 0

11 Ratenmodell des Neurons Neuron erhält Signale von d Synapsen An Synapse i kommen Spikes mit der Rate x i an Synapse i induziert Spannung U i = w i x i w i heißt synaptisches Gewicht Das Soma summiert die Spannungsänderungen: U d = w i x i i= = w x Die Spikerate y am Axon ist eine sigmoide Funktion der Summenspannung y( x) = g( w x θ ) x x 2 x 3 x d... w w 2 w 3 w d Lernen im Modellneuron: Modellneuron (Perceptron) f y(x) Synaptische Gewichte w ändern sich abhängig von der Aktivität Biologisch motivierte Lernregeln... (zb. Hebb-Regel )

12 Statistische und Neuronale Lernverfahren: Beispiele Künstliche Neuronale Netze Modellneuronen können zu künstlichen neuronalen Netzen zusammengeschaltet werden, zb. Statistische Datenmodellierung Modellneuronen können auch als statistische Datenmodelle interpretiert werden, z.b. Perceptron Multilagen-Perceptron Radiale Basisfunktionen-Netzwerk Hopfield-Netzwerk Adaptive Resonance Theory Netzwerk Selbstorganisierende Merkmalskarten Probabilistischer Klassifikator Support-Vector Machine Bayes-Belief-Netzwerk Helmholtz-Machine Vektor-Quantisierer ICA 2

13 Zusammenfassung Ein biologisch motiviertes Modellneuron läßt sich mit einem linearen probabilistischen Klassifikator identifizieren Viele künstliche Neuronale Netze lassen sich mit statistischen Lernverfahren identifizieren Viele Verfahren, viele Aufgaben Road Map Bayes sche Inferenz als genereller Rahmen für statistische Lernverfahren Statistische Datenmodellierung durch Optimierung und Regularisierung Spezielle maschinelle Lernverfahren und Neuronale Netzwerk-Typen 3