Neuroinformatik II. Günther Palm und Friedhelm Schwenker Institut für Neuroinformatik

Transkript

1 Neuroinformatik II Günther Palm und Friedhelm Schwenker Institut für Neuroinformatik Vorlesung (3h) Übungen (1h): Di, Fr Uhr H21 (1.Übung: ) Schein: 50% der Punkte (6 übungsblätter) + aktive Übungsteilnahme; Bonusregel gilt! Kernfächer/-module: Mathematische und theoretische Methoden der Informatik, Praktische Informatik Vertiefungsfach/-module: Neuroinformatik, Mustererkennung Projektmodul: Neuroinformatik

2 Inhalt der Vorlesung 1. Biologische Grundlagen; Kanalmodell und Linearisierung 2. Stabilität in Neuronalen Netzen 3. Lernen in Einschichtnetzen: Perzeptron, Assoziativspeicher, Pseudoinverse, Supportvektor-Lernen, PCA 4. Lernen in Mehrschichtnetzen: MLP, RBF-Interpolation, nichtlineare SVM 5. Darstellung mit NN: Satz von Cover, Satz von Cybenko bzw. Hornik 6. Komplexität der Netze und des Lernens: neuronale Schaltungen, NP- Vollständigkeit 7. Robustheit, Generalisierung und Bias-Varianz-Zerlegung

3 Modellierung neuronaler Netze 1. Biologische Grundlagen 2. Allgemeines Kanalmodells 3. Vereinfachte Neuronenmodelle 4. Linearisierung

4 Der Kortex des menschlichen Gehirns mit seinen Arealen.

5 Hauptbestandteile eines typischen Neurons sind: Dendriten bzw. Dendritenbaum Zellkörper (Soma) Nervenfaser (Axon) mit dem axonalen Baum Dendriten(baum) Axonhügel Zellkörper mit Zellkern axonale Endknöpfchen mit Synapsen Axon Synapse mit der prä- und postsynaptischen Membran.

6 Ausschüttung der Neurotransmittermoleküle in den synaptischen Spalt. ankommendes Aktionspotential Axonendigung Vesikel mit Transmittermolekülen Transmittermolekül präsynaptische Membran postsynaptische Membran mit Rezeptoren für die Transmittermoleküle

7 Zellmembran - offene und verschließbare Ionenkanäle sind gezeigt Ionen offener Kanal geschlossener Kanal Außenseite der Zellmembran Zellmembran Innenseite der Zellmembran Typische Ionenkonzentrationen (für (Tintenfisch-)Axon in Millimol/Liter) Typ innen außen K Cl Na

8 Aktionspotential mv t Schwelle Ruhepotential außen Membran innen Na + K + außen Membran innen

9 Räumlich/zeitliche Summation auf dem Dendritenbaum 4 3 hemmende Synapse 0 1 erregende Synapsen 2 mv räumliche Summation -60 EPSP IPSP (jeweils Nummern der Synapsen) zeitliche Summation (nur eine Synapse z. B. Nr. 1 beteiligt) mv Schwelle Ruhepotential Zeit -60 Schwelle -70 Ruhepotential Zeit Zeitpunkte der Spikes

10 Dynamik der neuronalen Verarbeitung Summation am Zellkörper Aktionspotentiale der vorgeschalteten Neuronen führen zu Potentialveränderungen am Dendritenbaum/Zellkörper. Räumlich/zeitliche Summation findet statt. Auslösung eines Aktionspotentials Ändert sich das Membranpotential am Zellkörper nur schwach, wird kein Aktionspotential ausgelöst (unterschwelligen Erregung). Bei hinreichend starker Depolarisation der Membran wird im Bereich des Axonhügels ein Aktionspotential ausgelöst. Ausbreitung des Aktionspotentials Das Aktionspotential breitet über das Axonsbis in den axonalen Baum aus (mit konstanter Amplitude). Synaptische Übertragung Das Aktionspotential führt in den axonalen Endknöpfchen zu einer Ausschüttung von Neurotransmittern, welche auf der postsynaptischen Membran zu einer Änderung des Membranpotentials führen.

11 Computer Neuronale Netze kaum fehlertolerant fehlertolerant, robust gegenüber verrauschten oder widersprüchlichen Daten Hardwarestörungen bzw. -ausfall führen zum Totalausfall des Gesamtsystems explizite Programmierung wenige, aber komplexe Prozessoren (typischerweise 10 0 ) niedriger Vernetzungsgrad (Verbindungen 10 2 am Prozessor) Schaltzeiten der Prozessoren sind kurz (heute im 10 8 Hz-Bereich) Störung an einzelnen Neuronen oder der Ausfall von Neuronen bedeutet kein Totalausfall, das Gesamtsystem funktioniert mit eingeschränkter Funktionalität weiter Lernen durch Beispiele sehr viele einfache Neuronen (im menschlichen Gehirn ca ) hoher Vernetzungsgrad (bis zu 10 4 Synapsen pro Neuron) Schalt und Laufzeiten der Neuronen sind lang (im 10 2 Hz-Bereich)

12 Modellvoraussetzungen I = {1,...,N} die Menge der Neuronen. Jedes Neuron j ist von einem bestimmten (Membran-)Typ l und einem bestimmten (Übertragungs-)Kanaltyp k. τ l > 0 Zeitkonstante und ϑ l : R + R + die Schwellenfunktion für den Membrantyp l. r k : R + R + die Responsefunktion und U k Umkehrpotentiale für den Übertragungskanaltyp k. C = (c ij ) synaptische Kopplungsmatrix und D = (d ij ) Matrix der Delays.

13 Neuronenmodelle (1) Dendritisches Potential u j des Neurons j vom Membrantyp l τ l u j (t) = u j (t) + k a k j(t)(u k u j (t)) + x j (t) (V) Variante: u j wird nach Spike von j auf Ruhepotential U 0 gesetzt. (2) Gesamtinputaktivität a k j im Übertragungskanal k des Neurons j a k j(t) = i I k a ij (t) I k Neuronen vom Kanaltyp k Übertragene Aktivität a ij vom Neuron i zum Neuron j im Kanal k a ij (t) = s T i t r k (t (s + d ij ))c ij = s<t r k (t (s + d ij ))y i (s)c ij

14 (3) Outputaktivität y j des Neurons j y j (t) = 1 [uj (t) θ j (t)] (4) Schwellenfunktion θ j und Spikezeitpunkte T j t von Neuron j (vom Membrantyp l) θ j (t) = max s T j t ϑ l (t s) T j t = {s < t y j (s) = 1} (5) Diskretisierung von (1) mit l := t τ l und l (0,1] u j (t + t) = (1 l) u j (t) + l a k j(u k u j (t)) + lx j (t) k

15 Vereinfachungen a) Response Funktion durch Gesamtwirkung w ij beschreiben: (2 ) a k j(t) = i I k w ij y i (t d ij ) b) U k u ersetzen durch U k (unterhalb der Schwelle ist u klein): (1 ) τ l u j (t) = u j (t) + k a k j(t)u k + x j (t) Mit (2 ) folgt: (1 ) τ l u j (t) = u j (t) + i w ij y i (t d ij ) + x j (t) c) Einfache zweiwertige Schwellenfunktion ϑ(t) {ϑ ref, ϑ rest }.

16 d) Schwellenmechanismus (mit ϑ l ) durch Ratenfunktion f l ersetzen: e) Alle Delays = 1; alle Delays = 0. (3 ) y j (t) = f l (u j (t))

17 Bezeichnungen Kanalmodell: Gleichungen 1, 2, 3 und 4 Spike-Response-Modell: 1, 2, 3 und 4 Dynamic-Threshold-Modell: 1, 2,3 und 4 Integrate-and-Fire-Modell: 1 Schwelle (d) mit Variante (V), 3, 4 und mit einfacher Ratenmodell: 1,2 und 3 Grundmodell: 1 und 3 Lineares Modell: 1, 3 und mit linearer Ratenfunktion f Einfaches lineares Modell: 1, 3, Delays alle = 0 und mit linearer Ratenfunktion f

18 Suche nach quasi-stationäre Lösungen 1. Ratenfunktion f l (u) aus Schwellenfunktion ϑ l (t) bestimmen. y j = f l (u j ) = 1 ϑ 1 l (u j ) für j vom Membrantyp l 2. Gesamtwirkung ˆr k := r k (t)dt aus der Responsefunktion r k (t). Diese beiden Vereinfachungen ergeben das Grundmodell mit: a k j = i I k ˆr k y i c ij = i I k ˆr k f li (u i ) c ij l i Membrantyp des Neurons i.

19 3. Berechnung der Fixpunkte mit dem Ansatz 0 u j 0 τ k u j = u j + k a k j (U k u j ) + x j u j x j + k ak j U k 1 + k ak j 4. Linearisierung ergibt ein homogenes einfaches lineares Modell DGL des dendritischen Potentials lautet mit den Vereinfachungen: τ l u j = u j + X X (U k u j )ˆr k f li (u i )c ij + x j (1) k i I k Betrachten nun DGL für u j = u j + e j : τ l ( u j + ė j ) = (u j + e j ) + X X (U k (u j + e j ))ˆr k f li (u i + e i )c ij + x j (2) k i I k Nun setzen wir ein f li (u i + e i ) f li (u i ) + e i f l (u i ) i τ l ( u j + ė j ) = (u j + e j ) + x j + X X (U k (u j + e j ))ˆr k (f li (u i ) + e i f l (u i ))c ij i k i I k

20 τ l ( u j + ė j ) = (u j + e j ) + x j + X X (U k u j )ˆr k f li (u i )c ij k i I k + X X (U k u j )ˆr k e i f l (u i )c ij i k i I k X X X X e jˆr k f li (u i )c ij e jˆr k e i f l (u i )c ij i k i I k i I k k Die Summanden P k ˆr P k i I e j e i f k l (u i )c ij sind quadratisch in den Störungstermen e j i und können bei der Linearisierung vernachlässigt werden: τ l ė j = e j + X k (U k u j )ˆr k X i I k e i f l i (u i )c ij e j X X ˆr k k i I k f li (u i )c ij Mit C ij = ˆr k f li (u i )c ij und Ĉij = (U k u j )ˆr k f l i (u i )c ij folgt die lineare DGL: X X X X τ l ė j = e j e j C ij + Ĉ ij e i i I k i I k k k

21 Insgesamt erhält man ein homogenes lineares System von DGl 1. Ordnung der Form ė = Ae mit e = (e 1,...e n ) T, ė = (ė 1,...ė n ) T und mit der reellen n n Matrix A = (a ij ) definiert durch a jj = 1 τ l (1 + k i I k C ij ) und a ji = 1 τ l k i I k Ĉ ij, i j Stabilität dieses Systems ist zu untersuchen. Wir betrachten dafür einfache lineare neuronale Netze.

22 Lineare neuronale Netze Wir untersuchen das System von n linearen Modellneuronen: τ u j = u j + x j + n c ij u i i=1 j = 1,...,n Für Modelle ohne externen Input, also x j = 0, erhalten wir ein homogenes DGL-System τ u = u + uc = u(c Id) mit Einheitsmatrix Id. Also u = Au mit A = 1 τ (CT Id).

23 Lösungsansatz für komplexe Lösungen lautet: u(t) = ve λt mit λ C und v C n. Hierfür muss gelten Au = Ave λt = u = vλe λt also muss Av = λv gelten, d.h. λ C Eigenwert mit zugehörigem Eigenvektor v C n der reellen n n Matrix A Für eine n n Matrix A sind die Nullstellen des charakteristischen Polynoms p A (λ) = det(a λid) Für Eigenwert λ von A bestimmt man zugehörige Eigenvektoren v durch Lösen des LGS: (A λid)v = 0 Es gelten

24 Falls u Lösung von u = Au, dann ist auch ū Lösung denn: ū = u = Au = Aū da A eine reelle Matrix ist. Falls u 1,u 2 Lösung von u = Au und a 1,a 2 C dann ist auch a 1 u 1 + a 2 u 2 Lösung denn: (a 1 u 1 + a 2 u 2 ) = a 1 u 1 + a 2 u 2 = a 1 Au 1 + a 2 Au 2 = A(a 1 u 1 + a 2 u 2 ) Falls u Lösung von u = Au, dann sind auch Re(u) und Im(u) Lösungen, denn Re(u) = 1 2 (u + ū) und Im(u) = 1 (u ū) 2i Explizite Darstellung von Real- und Imaginärteil sind: Re(u) = e ut (a cos(νt) b sin(νt))

25 und Im(u) = e ut (a sin(νt) + b cos(νt)) hierbei sei λ = µ + iν und v = a + ib mit µ, ν R und a, b R n. Das System u = Au ist stabil bei t genau dann wenn für alle Eigenwerte λ C negative Realteile besitzen.

26 Diskretes lineares Modell Wir betrachten nun das zeitlich diskretisierte Modell für j = 1,...,n, t > 0 τ u j(t + t) u j (t) n = u j (t) + x j (t) + c ij u i (t) t Also mit = t/τ i=1 u j (t + t) = (1 )u j (t) + x j (t) + n c ij u i (t) i=1 in Matrixnotation erhalten wir u(t + t) = (1 )u(t) + x(t) + u(t)c mit F = (1 )Id + C folgt: u(t + t) = u(t)f + x(t)

27 Hieraus folgt: u(0) = u 0 u( t) = u 0 F + x(0) u(2 t) = u 0 F 2 + x(0)f + x(1) u(3 t) = u 0 F 3 + x(0)f 2 + x(1)f + x(2) Induktiv folgt für k > 0: u(k t) = u 0 F k + k 1 x(i)f k (i+1) i=1

28 Falls x(t) = 0 für alle t so folgt: u(k t) = u 0 F k Falls der Input konstant ist, also x(t) = x R n für alle t so folgt: u(k t) = u 0 F k + x k 1 i=1 F k (i+1) Falls für alle Eigenwerte λ von F gilt λ < 1 so gilt u(n t) 0 bei t.