(künstliche) Neuronale Netze. (c) Till Hänisch 2003,2015, DHBW Heidenheim

Transkript

1 (künstliche) Neuronale Netze (c) Till Hänisch 2003,2015, DHBW Heidenheim

2 Literatur zusätzlich zum Lit. Verz. Michael Negnevitsky, Artificial Intelligence, Addison Wesley 2002

3 Aufbau des Gehirns Säugetiergehirn, Ausschnitt Aus [Cell], S Axon Neuron

4 Neuron Struktur eines Neurons, Die Pfeile geben die Richtung des Signalflusses an. Das Axon ist der Ausgang des Neurons, die Dendriten die Eingänge Aus [Cell], S. 528

5 Signalübertragung Aktionspotential Wird durch kurzen Impuls ausgelöst, der die Membran kurzzeitig depolarisisiert (grüne Kurve im mittleren Bild). Dadurch werden spannungsgesteuerte Na- Kanäle geöffnet (Na-Ionen strömen durch den geöffneten Kanal aus). Nach Inaktivierung des Kanals geht das Membranpotential langsam wieder auf das Ruhepotential zurück (durch Einstrom von K- Ionen durch Kalium Kanäle) Aus [Cell], S. 529

6 Lernen Eliminierung von Synapsen Zunächst ist jedes Neuron mit zahlreichen anderen verbunden. Durch komplexe Vorgänge (konkurrierende Aktivierung von Na-Kanälen) werden Synapsen (=Verbindungen zwischen Axon und Dendriten) eliminiert. Aus [Cell], S. 1128

7 künstliche Neuronen künstliches neuronales Netzwerk Die genaue Funktion der Neuronen im Gehirn (oder allgemein bei der Signalübertragung zwischen Zellen) ist im Detail nicht geklärt. Künstliche neuronale Netze können als Modell dienen, um die tatsächlichen Vorgänge besser zu verstehen. Die Neuronen werden in Schichten angeordnet (übl innere Layer), jedes Axon ist mit allen Dendriten der nächsten Schicht verbunden. Die Aktivierung eines Neurons hängt von seinen Eingängen ab, die Verbindungen haben eine spezifische Stärke d.h. Gewichtung. Beim Lernen werden die Synapsen nicht tatsächlich eliminiert, sondern die Gewichtungsfaktoren verändert (ggf. auf 0) Aus [Cell], S. 779

8 Exkurs Intrazelluläre Prozesse können ebenfalls durch neuronale Netze dargestellt werden: Spezifische Rezeptoren aktivieren Kinasen. Die Abbildung zeigt ein (stark vereinfachtes) Modell einer zellulären Kommunikationskette, das Prinzip ist jedoch das tatsächlich vorhandene. Aus [Cell], S. 781

9 künstliches Neuron Künstliches Neuron. Die Eingänge xi werden mit den Gewichten wi multipliziert. Die Aktivierung erfolgt durch eine Schwellwertfunktion f. Die Werte sind kontinuierlich (Unterschied zum tatsächlichen Neuron, hier wird die Intensität der Stimulierung durch die Zahl der aktivierten Neuronen und die Frequenz der Aktivierungen bestimmt) Aus [Luger], S. 462

10 Schwellwertfunktion Verschiedene Schwellwertfunktionen Durch diese Funktion wird das Aktivierungsverhalten festgelegt. Bei geringer Erregung soll keine Aktivierung stattfinden, ab einer bestimmten Schwelle soll das Neuron aktiviert werden. Die Θ- Funktion hat den (später entscheidenden) Nachteil, nicht differenzierbar zu sein. Wir verwenden zunächst die Θ Funktion (a), später eine logistische Funktion (c): f(x)=1/(1+exp(-λx)) Aus [Luger], S. 470

11 Perceptron Ein einfaches Perceptron (Rosenblatt 1958) Zwei Eingänge, Ergebnis ist i t < t public double calc(double x1, double x2) { double sum = x1*w1 + x2*w2 + Bias*w3; double my_result; if (sum >= t) my_result = 1; else my_result = -1; return my_result; Der dritte (verborgene) Eingang wird als Kalibrierung oder Bias bezeichnet und hat einen festen Wert (hier 1) Beispiel: Berechnung der logischen UND Funktion, w1=w2=1, w3=-2 x y s f(s) } Aber: Woher kommen die Gewichte?

12 lernen Überwachtes Lernen: Das Neuron erhält (beliebige) Eingabewerte xi, der Ausgabewert f wird berechnet und mit dem (vom Trainer) vorgegebenen Ergebnis d verglichen. Die Gewichte wi werden so angepasst, dass das gewünschte Ergebnis erzielt wird: Δwi=c(d-f)xi System.out.println(w1 + " " + w2 + " " + w3); double myresult = calc(x1,x2); w1=w1+c*(result-myresult)*x1; w2=w2+c*(result-myresult)*x2; w3=w3+c*(result-myresult)*bias; System.out.println(w1 + " " + w2 + " " + w3); System.out.println(""); Beispiel: c=0.2, w1=0.75, w2=0.5, w3=-0.6 nach 10 Trainingsrunden hat das Neuron die Funktion gelernt, Ausgabe: 0.0 AND 0.0 = AND 1.0 = AND 1.0 = AND 0.0 = -1.0

13 Kreditvergabe Eine Bank will die Entscheidung über die Vergabe von Krediten automatisieren. Dazu werden eine Reihe von Merkmalen definiert, anhand derer ein neuronales Netz entscheiden (klassifizieren) soll, ob ein Kredit vergeben, bzw. ob eine persönliche Begegnung nötig ist. Zum Training werden die folgenden Daten verwendet Unternehmen hoher Gewinn solide Rücklagen schlechte EK-Quote rückl. Umsatz Kreditvergabe pers. Empfang Albert GmbH ja ja Brova Verlag nein ja Calvin Fein ja ja Erdol Inc nein nein FAG Autoteile ja nein Dolly Muster KG nein nein Zwei Neuronen (eins für Kredit, eins für pers. Empfang) mit jeweils 4 Eingängen (eben die Merkmale). Als Wertebereich für die Merkmale wird (-1,1) verwendet. Nach einem Übungsblatt des Lehrstuhls für Wirtschaftsinformatik I (Prof. Heinzl), Universität Mannheim

14 Kredit pers. Empfang public double calc(double x[]) { double sum = 0; for(int i=0;i<nrofinputs;i++) sum+=x[i]*w[i]; sum += Bias*w[NrOfInputs]; return (sum >= t)? 1 : -1; } public void learn(double x[], double result) { double myresult = calc(x); for(int i=0;i<nrofinputs;i++) w[i] = w[i] + c*(result-myresult)*x[i]; w[nrofinputs] = w[nrofinputs] + c*(result-myresult)*bias; } Unternehmen hoher Gewinn solide Rücklagen schlechte EK-Quote rückl. Umsatz Kreditvergabe pers. Empfang Mama s Grillstube ?????? Kriegt Mama Kredit? [OfficeMac:KI/NN/Kredit] till% java Kredit Kriegt Mama's Grillstube Kredit? nein Darf Mama in die Bank? nein

15 Lineare Funktion y=ax+b hier: y=-1.5x+2 wenn y+1.5x-2 > 0 ==> rot y+1.5x-2 <= 0 ==> blau allg. f(x) = w0 + w1x1 + w2x2 + w3x3 + Klassifikator f(x) > 0 bzw. f(x) <= 0 unterscheidet Klassen vgl. neuronales Netz i t < t

16 reales Beispiel Neckermann, 8000 Bestellungen von Neukunden / Tag Bonitätsbewertung für Kreditvergabe bisher: statistische Verfahren: Verläßlichkeit 78 % neuronales Netz: Verläßlichkeit 79 % klingt nach wenig, aber: Nutzen durch weniger Forderungsausfälle und zusätzlichen Umsatz > 1 Mio EUR / Jahr! Quelle: Strüby, Bonitätsprüfungen mit Künstlichen Neuronalen Netzen im Versandhandel in: Wiedmann,Buckler, neuronale Netze im Marketing-Management, Gabler, 2003

17 anderes Beispiel: logische XOR-Funktion, Ergebnis nach 200 Trainigsrunden: 1.0 XOR 1.0 = XOR 1.0 = XOR 0.0 = XOR 0.0 = -1.0 Haeh? Funktioniert nicht! Warum nicht? Was kann ein einzelnes Neuron? Eingabewerte klassifizieren, Grenze ist lineare Funktion (Gerade) Wie sieht s bei der XOR-Funktion aus? Komplexe Klassifikation

18 XOR-Problem eine mögliche Lösung Wie trainiert man ein solches Netz? Unser Verfahren (Perceptron-Lernverfahren) funktioniert nur bei einem einzelnen Neuron, Problem hier (mehrere Schichten): Wie müsste das Ergebnis eines der mittleren Neuronen sein? Nur so ist ein Vergleich möglich! nach [Luger], S. 479

19 Backpropagation Backpropagation Algorithmus aus [Luger], S. 473 Wie funktioniert s? ΔW=cδi(j)X δ(k)=(d-f)f(1-f) : letzte Schicht δi(j)=fi(j)(1-fi(j)) δl(j+1)wil(j+1) : innere Schichten Rekursion beginnend bei letzter Schicht

20 unbeaufsichtigtes Lernen Bisher: Beaufsichtigtes Lernen. Was ist, wenn kein Trainer da ist? Wie lernen Menschen? (etwa sehen)? Also: Unbeaufsichtigtes Lernen Hebb sches Lernen (Donald Hebb, 1949) Wenn ein Neuron i nahe genug an Neuron j ist, und wiederholt an dessen Aktivierung beteiligt ist, sollte die Synapse zwischen beiden verstärkt werden aus [Negnevitsky], S. 199 Anders: (Stent, 1973) Wenn zwei miteinander verbundene Neuronen gemeinsam aktiviert werden, wird das Gewicht der Verbindung verstärkt Wenn zwei miteinander verbundene Neuronen getrennt aktiviert werden, wird das Gewicht der Verbindung erniedrigt Problem: Die Gewichte werden (nach Hebb) während des Trainings immer weiter erhöht. Lösung: Die Gewichte werden durch einen forgetting factor in jedem Lernschritt reduziert: Δwij(p)=αyi(p)xi(p)-Φyj(p)wij(p), α: Lernrate, Φ Vergesslichkeitsfaktor

21 Beispiel: Ein Netz mit 5 Neuronen. Zunächst wird eine Einheitsmatrix als Gewicht verwendet, die Schwelle der Sigma- Funktion wird mit zufälligen Werten aus (0,1) initialisiert. Nach Training mit den angegebenen Vektoren ergibt sich die Gewichtsmatrix der rechten Spalte. Ergebnis: Als Ausgabe auf den Vektor (1,0,0,0,1) erhält man (0,1,0,0,1). Die Eingabekomponente x5 ergibt ein Ergebnis bei den Neuronen 2 und 5. Die Komponente x1 taucht im Ergebnis nicht auf (was nicht weiter verwunderlich ist, da diese bei den Trainingsdaten nie vorkam). aus [Negnevitsky], S. 201

22 Wettbewerbslernen Beim Hebb schen Lernen sind (evtl.) mehrere Ausgangsneuronen gleichzeitig aktiv. Beim competitive learning wird ein Neuron ausgewählt (winner-takesall Neuron). Self organizing feature maps (Kohonen, 1989) aus [Negnevitsky], S. 203

23 Realisierung Die Neuronen haben Verbindungen zu allen Eingängen und zusätzlich Verbindungen untereinander, die zur Auswahl des stärksten Neurons dienen. Dabei wird jeweils unter den benachbarten Neuronen das mit der stärksten Aktivierung ausgewählt (Zu Beginn des Trainings aus einer relativ großen Umgebung, später immer kleiner). aus [Negnevitsky], S. 204