11. Neuronale Netze 1

Transkript

1 11. Neuronale Netze 1

2 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form die Vorgänge im biologischen Vorbild, unserem Gehirn, nachahmen. Wichtige Eigenschaften sind: Lernfähigkeit, Parallelität, Verteilte Wissensrepräsentation, Hohe Fehlertoleranz, Assoziative Speicherung, Robustheit gegen Störungen oder verrauschten Daten, 2

3 Einführung (2) Der Preis für diese Eigenschaften ist: Wissenserwerb ist nur durch Lernen möglich. Logisches (sequenzielles) Schließen ist schwer. Sie sind oft langsam und nicht immer erfolgreich beim Lernen. Aus diesem Grunde werden Neuronale Netze nur dort angewandt, wo genügend Zeit für ein Lernen zur Verfügung steht. Sie stehen in Konkurrenz z.b. zu Vektorraum-Modellen oder probabilistisches Modellen. Es gibt viele fertige Softwarepakete für Neuronale Netze, siehe z.b. Liste unter 3

4 Einführung (3) Der Grundaufbau einer Nervenzelle besteht aus einem Zellkörper, den Dentriten, welche die Eingabe des Netzes in die Zelle aufsummieren, und ein Axon, welches die Ausgabe der Zelle nach außen weiterleitet, sich verzweigt und mit den Dentriten nachfolgender Neuronen über Synapsen in Kontakt tritt. Dentriten Zellkörper a i Axon Synapse Dentriten a j Axon Dieses Modell dient als Grundlage künstlicher neuronaler Netze. 4

5 Einführung (4) Ein Neuron i mit n Eingängen (Dentriten) bekommt einen Gesamtinput von net i und erhält damit einem Aktivitätswert a i. Daraus folgt ein Ausgangswert o i (Axon), der über eine synaptische Koppelung w i,j an das Neuron j koppelt. net i a i net j o w i i,j o a j j Neuronale Netze waren für längere Zeit auf Grund der Lernprobleme aus der Mode gekommen. Aber nach Wikipedia: In jüngster Zeit erlebten neuronale Netzwerke eine Wiedergeburt, da sie bei herausfordernden Anwendungen oft bessere Ergebnisse als konkurrierende Lernverfahren liefern. 5

6 Einführung (5) Anwendungsgebiete nach Wikipedia (Stand 26. Dezember 2013): Regelung und Analyse von komplexen Prozessen Frühwarnsysteme Optimierung Zeitreihenanalyse (Wetter, Aktien etc.) Sprachgenerierung (Beispiel: NETtalk) Bildverarbeitung und Mustererkennung * Schrifterkennung (OCR), Spracherkennung, Data-Mining Informatik: Bei Robotik, virtuellen Agenten und KI-Modulen in Spielen und Simulationen. Medizinische Diagnostik, Epidemiologie und Biometrie Klangsynthese Strukturgleichungsmodell zum Modellieren von sozialen oder betriebswirtschaftlichen Zusammenhängen 6

7 Mathematisches Modell (1) Mathematisches Modell von neuronalen Netzen Ein künstliches neuronales Netz besteht aus folgenden Komponenten 1. Zellen mit einem Aktivierungszustand a i (t) zum Zeitpunkt t. 2. Eine Aktivierungsfunktion f act, die angibt, wie sich die Aktivierung in Abhängigkeit der alten Aktivierung a i (t), des Inputs net i und eines Schwellwerts Θ i mit der Zeit ändert. a i (t+1) = f act (a i (t),net i (t),θ i ). 3. Eine Ausgabefunktion f out, die aus der Aktivierung der Zelle den Output berechnet o i = f out (a i ). 7

8 Mathematisches Modell (2) 4. Ein Verbindungsnetzwerk mit den Koppelungen w i,j (Gewichtsmatrix). 5. Eine Propagierungsfunktion, die angibt, wie sich die Netzeingabe aus den Ausgaben der anderen Neuronen berechnet, meist einfach net j (t) = i o i (t)w i,j 6. Eine Lernregel, die angibt, wie aus einer vorgegebenen Eingabe eine gewünschte Ausgabe produziert wird. Dies erfolgt meist über eine Modifikation der Stärke der Verbindungen als Ergebnis wiederholter Präsentation von Trainingsmustern. Auf diese Weise werden die Zustände geändert, bis ein stabiler (und hoffentlich erwünschter) Endzustand eintritt, welcher in gewisser Weise das Ergebnis der Berechnungen eines neuronales Netzes darstellt. 8

9 Mathematisches Modell (3) Beispiel: Ein nettes kleines bekanntes Netz mit wenigen Verbindungen und welches im Kopf nachzurechnen ist, ist das XOR-Netzwerk mit 4 Zellen. n n Die Neuronen beinhalten die Schwellwerte, die Verbindungen sind mit den Gewichten beschriftet. n1 n2 Als Aktivitätsfunktion wird eine Stufenfunktion gewählt a j (t) = f act (net j (t),θ j ) == { 1 falls netj (t) Θ j 0 sonst. 9

10 Mathematisches Modell (4) Die Ausgabefunktion ist einfach o j = f out (a j ) = a j Weiterhin wird die standardmäßige Propagierungsfunktion verwendet net j (t) = i o i (t)w i,j Aus der folgenden Tabelle ist die Funktionsweise des Netzes ersichtlich: o 1 o 2 net 3 Θ 3 o 3 net 4 Θ 4 o

11 Mathematisches Modell (5) Beschränkt man sich auf ebenenweise verbundene feedforward-netze, so wird für die XOR-Funktion ein weiterer verdeckter Knoten benötigt. n n3 0.5 n n1 n2 Eine kleine Übungsaufgabe: Wie sieht die zugehörige Tabelle von Eingabe zur Ausgabe aus? Andere häufig verwendete Aktivierungsfunktionen mit o i = a i als Ausgabefunktion sind die Sigmoide bzw. logistische Funktion o i = a i = 1/(1+exp( c(net i +Θ i ))) oder der Tangens Hyperbolicus o i = a i = tanh(c(net i +Θ i )). Die Konstante c beeinflusst die Steigung der Funktion. 11

12 Darstellung von neuronalen Netzen (1) Ein neuronales Netz ist ein Graph mit Kanten und Knoten. Neuronen bzw. Zellen sind aktive Knoten oder Berechnungseinheiten, die lokal auf Eingaben reagieren und Ausgaben produzieren, die über die Kanten weiter gegeben werden. Eine andere Darstellung besteht aus 3 Matrizen: Verbindungsmatrix, Schwellwertmatrix und Anregungsmatrix. Rechnungen erfolgen durch Neuberechnung der Anregungsmatrix. Arten von Verbindungsnetzwerken Je nach Netztopologie und der Art der Verarbeitung der Aktivitätswerte werden verschiedene neuronale Netze unterschieden. 12

13 Darstellung von neuronalen Netzen (2) Eine Einteilung nach Rückkopplung: 1. Netze ohne Rückkopplung (feedforward-netze), Ebenenweise verbundene feedforward-netze, Allgemeine feedforward-netze, 2. Netze mit Rückkopplung, Netze mit direkter Rückkopplung (direct feedback), Netze mit indirekter Rückkopplung (indirect feedback), Netze mit Rückkopplung innerhalb einer Schicht (lateral feedback), Vollständig verbundene Netze (lateral feedback). 13

14 Darstellung von neuronalen Netzen (3) 2 Beispiel-Topologien und ihre Verbindungsmatrizen: feedforward, ebenenweise verbunden 1 2 vollständig verbunden, ohne direkte Rückkopplung 14

15 Lernen (1) Mögliche Arten des Lernens 1. Entwicklung neuer Verbindungen 2. Löschen existierender Verbindungen 3. Modifikation der Stärke von Verbindungen 4. Modifikation der Schwellwerte der Neuronen 5. Modifikation der Aktivierungs-, Propagierungs- oder Ausgabefunktion 6. Entwicklung neuer Zellen 7. Löschen von Zellen Meist wird die Modifikation der Stärke von Verbindungen w i,j verwendet, da diese Verfahren am einfachsten sind und die Entwicklung bzw. das Löschen von Verbindungen mit eingeschlossen werden kann. 15

16 Lernen (2) Lernverfahren Prinzipiell werden 3 Arten von Lernverfahren unterschieden: 1. Überwachtes Lernen, bei dem einem Netzwerk zu einem Input ein gewünschter Output gegeben wird, nach dem es sich einstellt. 2. Bestärkendes Lernen, bei dem zu einem Input die Information, ob der Output richtig oder falsch ist, in das Netz zurückgegeben wird. 3. Unüberwachtes Lernen, bei dem sich das Netz selbst organisiert. Am häufigsten ist das überwachte Lernen. Von den verschiedenen Lernmethoden wird hier nur das klassische Backpropagation-Verfahren vorgestellt. 16

17 Lernen (3) Hebbsche Lernregel Die einfachste Lernregel, die heute noch Grundlage der meisten Lernregeln ist, wurde 1949 von Donald O.Hebb entwickelt. Wenn Zelle j eine Eingabe von Zelle i erhält und beide gleichzeitig stark aktiviert sind, dann erhöhe das Gewicht w ij, die Stärke der Verbindung von i nach j. w ij = ηo i a j Die Konstante η wird als Lernrate bezeichnet. Verallgemeinert lautet die Hebbsche Regel w ij = ηh(o i,w ij )g(a j,t j ) t j ist die erwartete Aktivierung (teaching input), ein Parameter der Funktion g. Fast alle Lernregeln sind Spezialisierungen der Funktionen h und g. 17

18 Perzeptron (1) Im folgenden werden wir uns aus Zeitgründen nur eine Art von Netz mit einer Art von Lernregel genauer ansehen, ein Feed Forward Perzeptron mit der Backpropagation-Regel. Ursprung hat das Perzeptron aus der Analogie zum Auge, bei dem die Retina die Input-Neuronen beinhaltet, von der über eine Zwischenschicht eine Klassifikation der einzelnen Bilder in der Ausgabeschicht erfolgt. Dementsprechend werden solche Netz z.b. in der Steuerung autonomer Fahrzeuge eingesetzt. Ausgabeneuron (Lenkung) Eingabeneuronen (Straßenbild+entfernungen) 18

19 Perzeptron (2) Aufbau: Es gibt eine Input-Schicht Es gibt keine, eine oder mehrere verborgene Schichten (hidden layer) Es gibt eine Ausgabe-Schicht Die Kanten verbinden die Schichten eine nach der anderen in der gleichen Richtung untereinander, d.h. die Informationen aller Knoten der Input-Schicht laufen in die selbe Richtung, nicht zurück und nicht zwischen den Knoten einer Schicht. In einigen Fällen wird der Begriff Perzeptron enger als feedforward- Netz mit keiner oder einer verborgenen Schicht verwendet. 19

20 Backpropagation-Regel (1) Wiederholung lineare Ausgleichsrechnung, Kapitel 3 Definition 3.1 (Ausgleichsproblem) Gegeben sind n Wertepaare (x i,y i ), i = 1,...,n mit x i x j für i j. Gesucht ist eine stetige Funktion f, die in einem gewissen Sinne bestmöglich die Wertepaare annähert, d.h. dass möglichst genau gilt: f(x i ) y i für i = 1,...,n. Definition 3.1 (Fehlerfunktional) Gegeben sei eine Menge F von stetigen Funktionen sowie n Wertepaare (x i,y i ), i = 1,...,n. Ein Element von f F heißt Ausgleichsfunktion von F zu den gegebenen Wertepaaren, falls das Fehlerfunktional E(f) = n i=1 (f(x i ) y i ) 2 für f minimal wird, d.h. E(f) = min{e(g) g F}. Die Menge F nennt man auch die Menge der Ansatzfunktionen. 20

21 Backpropagation-Regel (2) Ist die Funktion f(x i ) linear in den Parametern, also f(x) = p k=1 a kg k (x), so lässt sich das Minimum des Fehlerfunktionals über die Nullstelle der Ableitungen von E(f) durch Lösen der Normalengleichung für die Parameter a k bestimmen. Jetzt: Jedem x-wert entspricht einem Satz von Eingabewerten bzw. ein Eingabe- Pattern in p,i mit i 1 n in Werten. Jedem Ausgabewert y entspricht einem Satz von Ausgabewerten bzw. Ausgabe- Pattern t p,j mit j 1 n out Werten Die Ausgleichsfunktion f(x) ist jetzt ein Satz von nicht-linearen Funktionen in einer Anzahl von Parameter, z.b. in den Gewichten des neuronalen Netzes: f i,j (in p,i ) = o p,j 21

22 Backpropagation-Regel (3) Dann lautet das Fehlerfunktional (die Summe der quadratischen Abweichungen zwischen den berechneten und den gewünschten Werten anstatt E = n i=1 E i E i = (f(x i ) y i ) 2 E = p E p E p = 1 2 n out j ( op,j t p,j ) 2 Lösung des nicht-linearen Ausgleichsproblem: das Minimum von E als Funktion der nicht-linearen Parameter. Da die Funktionen jetzt nicht-linear in den Parametern sind, kann das System nicht exakt gelöst werden, sondern das Minimum wird gesucht, in dem z.b. die Parameter entlang der negativen Steigung des Fehlerfunktionals als Funktion der Parameter geändert wird oder Backpropagation ist ein Gradientenabstiegsverfahren, bei der eine Fehlerfunktion (oder Energiefunktion) minimiert wird. 22

23 Backpropagation-Regel (4) Der Algorithmus ändert die Gewichte-Matrix entlang des negativen Gradienten der Fehlerfunktion, bis diese (hoffentlich) minimal ist. w ij = η p E p w ij. Da die Funktion nicht-linear ist, hat sich sicher jede Menge lokaler Minima, in denen das Verfahren hängen bleiben kann. Im folgenden wird davon ausgegangen, dass sich der Output eines Knotens als o j = f act (net j ) ohne weitere Abhängigkeiten schreiben lässt. Es gilt die Kettenregel E p w ij = E p net pj net pj w ij. 23

24 Backpropagation-Regel (5) Der erste Faktor wird als Fehlersignal bezeichnet und der zweite Faktor ist δ pj = E p net pj net pj w ij = w ij i o pi w ij = o pi. Die Änderung der Gewichte berechnet sich dann durch w ij = η p o pi δ pj Bei der Berechnung von δ pj geht die konkrete Aktivierungsfunktion ein, also wie die Zelle j den Input in einen Output verwandelt. δ pj = E p net pj = E p o pj o pj net pj = E p o pj f act (net pj ) net pj. 24

25 Backpropagation-Regel (6) Für den ersten Faktor muss zwischen den Ebenen, in denen sich die Knoten befinden, unterschieden werden. 1. j ist Index einer Ausgabezelle. Dann gilt E p o pj = (t pj o oj ). Der Gesamtfehler ist in diesem Fall δ pj = f act(net pj ) (t pj o oj ) 2. j ist Index einer Zelle der verdeckten Ebenen. Die Fehlerfunktion hängt von den Output o j indirekt über die Zwischenzellen k ab: E p = o pj k = k E p net pk net pk o pj δ pk o pj i o pi w ik = k δ pk w jk 25

26 Backpropagation-Regel (7) Das bedeutet, dass man den Gesamtfehler der Zelle j für ein Muster p aus den gewichteten Fehlern δ pk aller Nachfolgezellen k und der Gewichte der Verbindungen von j zu diesen k berechnen kann. δ pj = f act(net pj ) δ pk w jk Meist wird als Aktivierungsfunktion die logistische Funktion verwendet mit der Ableitung d dx f log(x) = d dx k 1 1+e x = f log(x) (1 f log (x)) Damit ergibt sich eine vereinfachte Formel für den Backpropagation Algorithmus p w ij = ηo pi δ pj 26

27 Backpropagation-Regel (7) mit dem Fehlersignal { opj (1 o δ pj = pj )(t pj o pj ) falls j Ausgangszelle ist o pj (1 o pj ) kδ pk w jk falls j verdeckte Zelle ist Beispiel: } n1 n2 n3 W 42 n4 n7 W 74 w 42 = ηo 4 δ 2 = ηo 4 (t 2 o 2 ) f (net 2 ) w 74 = ηo 7 δ 4 = ηo 7 ( 3 k=1 δ k w 4k )f (net 4 ) 27

28 Backpropagation-Regel (8) Das Verfahren zusammengefasst 1. Zu einer gegebenen Menge von Input-Pattern mit n input Neuronen und gewünschten Output-Pattern mit n output Neuronen entwerfe ein neuronales Netz z.b. ein Perzeptron mit n hidden Neuronen in einer verborgenen Schicht. 2. Wähle eine Aktivierungs-, Propagierungs- und eine Ausgabefunktion aus. 3. Würfele zufällige Anfangswerte für die Gewichtsmatrix. 4. Durchlaufe für alle Input-Pattern solange bis der Output nahe beim gewünschten Output liegt: (a) Berechne die Aktivierung der Neuronen Schicht für Schicht bis zur Ausgabeschicht (vorwärts). (b) Vergleiche die Ausgabe mit der gewünschten Ausgabe und berechne die Fehlerfunktion. (c) Korrigiere die Gewichtsmatrix von der höchsten Ebene beginnend bis zur Eingabeschicht (rückwärts) 28