Aufbau und Beschreibung Neuronaler Netzwerke

Größe: px

Ab Seite anzeigen:

Download "Aufbau und Beschreibung Neuronaler Netzwerke"

Ingeborg Scholz
vor 7 Jahren
Abrufe

1 Aufbau und Beschreibung r 1

2 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2

3 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser (Axon) Synapsen 3

4 Biologisches Vorbild Das Neuron Informationen können im Nervensystem durch zwei Arten von elektrochemischen Signalen weiter geleitet werden: durch lokale Potentiale und Aktionspotentiale (Lokale Potentiale sind passive Signale, die durch externe Stimulation der Membran, der Dendriten oder des Zellkörpers hervorgerufen wird, z.b. Sinnesrezeptoren auf der Netzhaut des Auges). Aktionspotentiale entstehen, wenn die Membran vom Ruhepotential ausgehend depolarisiert wird. Jede Zelle hat hier ihren eigenen Schwellenwert, der auch eine Funktion der Zeit sein kann. Wird dieser Zellenschwellwert überschritten, so kippt das Ruhepotential unweigerlich in ein positives Potential um, dessen Maximum bei ca. +30 mv liegt. Je intensiver ein Stimulus ist, um so größer ist erstens die Anzahl der Neuronen, in denen Impulse auftreten, und mit zunehmender Intensität steigt die Zahl der Nervenimpulse, die er auslöst. 4

5 Biologisches Vorbild Das Neuron Wenn die Reizintensität unter dem Schwellwert des Neurons bleibt, hat dies lediglich zur Folge, dass das Ruhepotential ansteigt. Steigt sie über den Schwellwert wird das Neuron eine Folge von Spikes feuern. (Als Spike wird das Aktionspotential bezeichnet, da es an eine Spitze erinnert). Wenn ein Aktionspotential seine Reise entlang des Axons hinter sich gebracht hat und die Endknöpfchen erreicht hat, muss die Information an das nächste Neuron weiter gegeben werden. Aber zwei Neuronen berühren sich niemals; zwischen ihnen besteht immer ein kleiner Spalt. Diese Anschlussstelle wird als Synapse bezeichnet. 5

6 Biologisches Vorbild Das Neuron Um den Spalt zu überbrücken und neurale Botschaften zum nächsten Neuron zu bringen, wird der elektrische Impuls in einen chemischen Prozess transformiert. Chemische Trägerstoffe transportieren ihn von einer Seite der Synapse, der präsynaptischen Membran des Endknöpfchens, über den Spalt an die postsynaptische Membran der Dendriten oder des Zellkörpers des nächsten Neurons. Dort kann er ein lokales Potential auslösen, das abermals entlang des Axons zur nächsten Synapse wandert, usw. Einige Synapsen sind exzitatorisch (erregend): Der Neurotransmitter veranlasst das postsynaptische Neuron, Impulse in einer höheren Rate zu generieren. Andere sind inhibitorisch (hemmend): Die Transmittersubstanz reduziert die Impulsrate oder verhindert neue Impulse in der postsynaptischen Zelle. 6

Mathematisches Modell Eingabe anderer Neuronen Propagierungsfunktion: Sie verarbeitet die Eingaben zur Netzeingabe (oft gewichtete Summe) f propg :{o j 1,, o j n } {w ij1,,w ij n } net i net i = f

7 Mathematisches Modell Eingabe anderer Neuronen Propagierungsfunktion: Sie verarbeitet die Eingaben zur Netzeingabe (oft gewichtete Summe) f propg :{o j 1,, o j n } {w ij1,,w ij n } net i net i = f propg {o j1,,o jn,w ij 1,,w ijn } n net i = o j w ij j=1 Aktivierungsfunktion: Sie erzeugt aus der Netzeingabe und der alten Aktivierung die neue Aktivierung. a i t = f act net i t, a i t 1, θ i f act :net i t a i t 1 θ i a j t Ausgabefunktion: Sie erzeugt aus der Aktivierung die Ausgabe (oft Identität) f out : a i o i f out a i = a i, also a i = o i Ausgabe zu anderen Neuronen 7

8 Mathematisches Modell Definition Neuron: Ein künstliches Neuron ist ein Tupel (x, w, f_act, f_out, o) bestehend aus einem Eingabevektor x = (x1,..., xn), einem Gewichtsvektor w = (w1,..., wn), einer Aktivierungsfunktion f_act mit f_act: IRn x IRn ---> IR und einer Ausgabefunktion f_out, für die f_out: IR --> IR gilt. Dabei wird durch f_out ( f_act( x, w)) = o der Ausgabewert des Neurons erzeugt, der an die nachfolgenden Neuronen über die Axonkollaterale weitergeleitet wird. Definition s Netz: Ein s Netz ist ein Paar (N, V) mit einer Menge N von Neuronen und einer Menge V von Verbindungen. Es besitzt die Struktur eines gerichteten Graphen, für den die folgenden Einschränkungen und Zusätze gelten: Die Knoten des Graphen heißen Neuronen. Die Kanten heißen Verbindungen. Jedes Neuron kann eine beliebige Menge von Verbindungen empfangen, über die es seine Eingabe erhält. Jedes Neuron kann genau eine Ausgabe über eine beliebige Menge von Verbindungen aussenden. Das Netz erhält aus Verbindungen, die der "Außenwelt" entspringen, Eingaben und gibt seine Ausgaben über in der "Außenwelt" endende Verbindungen ab. 8

9 Mathematisches Modell Grundaufbau s Netzwerk : Gewichtete Verbindungen wds Schichten: 3 verschiedene Schichttypen x 1 x 2 o 1 Eingabeschicht (Input Layer) Neuronen dieser Schicht nehmen Informationen als Rezeptoren aus der Umgebung auf, geben diese über die Aktivation an das Netz weiter und haben keine Gewichtung (Eingabeunits). Vermittlungsschicht (Hidden Layer) Alle Schichten zwischen Ein- und Ausgabeschicht, auf deren Aktivation nicht unmittelbar zugegriffen werden kann. x 3 x n Input Layer k Hidden Layer Output Layer o m Ausgabeschicht (Output Layer) Diese Schicht macht die Ergebnisse als Aktoren des Netzes nach aussen hin sichtbar. Gewichtung wds (d = destination s = source) wds = 0 : keine Neuronenverbindung wds < 0 : hemmende Neuronenverbindung wds > 0 : anregende Neuronenverbindung 9

10 Mathematisches Modell Aktivierungsfunktion : Aktivierungs- und Ausgabefunktion können auch als Transferfunktion zusammengefasst werden. Der Schwellwert θ eines Neurons ist diesem genau zugeordnet und markiert die Stelle der größten Steigung der Aktivierungsfunktion. Die Aktivierungsfunktion eines Neurons verarbeitet den alten Aktivierungszustand ( also a( t 1) ), den aktuellen Aktivierungszustand ( a(t) ) und die Netzeingabe ( net(t) ). Die Aktivierung eines Neurons zu einem bestimmten Zeitpunkt hängt also davon ab, wie aktiviert es bereits war und welche Netzeingaben es von außen erhalten hat. 10

11 Mathematisches Modell Das Bias Neuron : Um die Arbeit mit einem neuronalen Netzwerk signifikant zu vereinfachen und den Schwellwert θ nicht immer explizit einzugeben und anpassen zu müssen, wird ein Bias Neuron hinzugefügt. Das Bias-Neuron ist ein zusätzliches Neuron in der Inputschicht, sowie in den Hiddenschichten. Es gibt keine Verbindung zu einem Bias-Neuron. Die Ausgabe jedes Bias-Neurons ist konstant 1. Da die Ausgangsgewichte der Bias-Neuronen ebenfalls durch die Lernregel modifiziert werden, entspricht das Bias einem variablen Schwellenwert. Anstatt der Schwellwertgleichung: 1 net i n = j =1 n o j w ij θ i 0 bzw. o j w ij j =1 θ i θ1 θ2 Nun gilt die vereinfachte Form mit variablen Schwellenwert: net i n 1 = j=1 o j w ij n 1 0 bzw. j=1 o j w ij 0 11

12 Grundmodelle Topologieübersicht : Netze Feed Forward Rückgekoppelt Vollständig Verbunden ShortCut Connections Direkt Indirekt Lateral 12

13 Grundmodelle Feed Forward Netze : Allgemein: i 1 i 2 Ein Feed Forward Netz besitzt klar abgetrennte Schichten von Neuronen: Eine Eingabeschicht, eine Ausgabeschicht und beliebig viele, von aussen nicht sichtbare Vermittlungsschichten. Verbindungen sind nur zu Neuronen der jeweils nächsten Schicht erlaubt. Feed Forward Netze in denen ein Neuron zu jeweils jedem Neuron der nächsten Schicht verbundene ist, nennt man auch vollverknüpft. h 1 h 2 h 3 Feed Forward Netz mit ShortCut Connections: o 1 o 2 Es gibt auch Feed Forward Netze, die Verbindungen zulassen, welche mehrere Ebenen überspringen. Aber auch hier gilt, dass diese Verbindungen dürfen ausschliesslich in Richtung der Ausgabeschicht zeigen. 13

14 Grundmodelle Rückgekoppelte Netze : Allgemein: i 1 i 2 h 1 h 2 h 3 o 1 o 2 Man spricht von einem rückgekoppelten Netz, wenn ein Neuron mit seinen Ausgaben in der Lage ist, sich auf direktem oder indirektem Wege selbst zu beeinflussen. Direkte Rückkopplung: Erweiterung einer gewichteten Verbindung vom Neuron zu sich selbst. Somit kann sich das Neuron selbst direkt hemmen oder bestärken. i 1 i 2 14 Indirekte Rückkopplung: Es sind gewichtete Verbindung entgegen der Richtung zur Ausgabeschicht erlaubt und ein Neuron kann sich so auf indirektem Wegen selbst beeinflussen, indem es das nachfolgende Neuron hemmt oder bestärkt und dieses zurückwirkt. h 1 h 2 h 3 o 1 o 2

15 Grundmodelle Rückgekoppelte Netze : i 1 i 2 Laterale Kopplung: h 1 h 2 h 3 Gewichtete Verbindungen von Neuronen innerhalb einer Ebene nennt man laterale Rückkopplung. Oft hemmt dann jedes Neuronen die anderen der Schicht und verstärkt sich selbst. Es wird dann nur das stärkste Neuron aktiv. (Winner takes ist all Prinzip) o 1 o 2 15

16 Grundmodelle Vollständig verbundene Netze : i 1 i 2 h 1 h 2 h 3 Vollständiger Verbund: Prinzipiell darf jedes Neuron mit jedem anderen Neuron des s verbunden werden. Diese Verbindungen müssen symmetrisch sein. Berühmtester Vertreter sind selbstorganisierende Karten. o 1 o 2 16

17 !!! Danke schön!!! 17

Ähnliche Dokumente

1. Kommunikation Informationsweiterleitung und -verarbeitung

1. Kommunikation Informationsweiterleitung und -verarbeitung Sinnesorgane, Nervenzellen, Rückenmark, Gehirn, Muskeln und Drüsen schaffen die Grundlage um Informationen aus der Umgebung aufnehmen, weiterleiten,