Neuronale Netze. Seminar aus Algorithmik Stefan Craß,

Transkript

1 Neuronale Netze Seminar aus Algorithmik Stefan Craß,

2 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 2

3 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 3

4 Biologischer Ursprung Vorteile: schnelles Erkennen von Mustern funktioniert auch bei Ausfall einiger Neuronen lernfähig flexibel (keine expliziten Regeln) 4

5 Anwendungen Artificial Intelligence Erkennen von Mustern Gesichter, Schrift, Sprache,... inhaltsadressierter Speicherzugriff ( Gedächtnis ) kombinatorische Optimierungsprobleme 5

6 Grundlagen Menge an Neuronen (Units) gerichtete und gewichtete Verbindungen erregend (>) oder hemmend (<) Input: Summe der eingehenden Verbindungen Output: Funktion des Inputs, wird an alle verbundenen Units weitergeleitet Updates zu diskreten Zeitpunkten Speicherung Aktivierungsvektor der Units Gewichtsmatrix der Verbindungen dynamische Anpassung der Gewichte durch Lernregeln 6

7 McCulloch & Pitts-Modell erster Ansatz von künstlichen neuronalen Netzen (1943) binäre Schwellwertunits Neuron feuert (Output = 1), wenn Summe der Eingangssignale > Schwellwert Turing-vollständig nicht lernfähig 7

8 Grundbegriffe Neuronen (units) Input Units (Sensoren) Output Units Hidden Units Ausbreitungsregel (propagation rule) Signalweiterleitung zwischen Neuronen meistens: Netto-Input Aktivierungsfunktion (activation function) abhängig vom Netto-Input und evtl. früheren Aktivierungszuständen Outputfunktion (output function) Minimalwert, Maximalwert, monoton steigend oft sigmoide Funktion des Aktivierungszustands (z.b. tanh(a)) 8

9 Beispiel XOR Aktivierungsfunktion: binärer Schwellwert Outputfunktion: Identität 9

10 Lernansätze (1/2) Allgemein: Initialisierung der Gewichte mit Zufallszahlen durch wiederholtes Lernen konvergieren die Gewichte so, dass sie richtige Ergebnisse liefern Hebb-Regel: Wenn Unit a und b zugleich (wiederholt) stark aktiviert sind, so erhöhe die Stärke ihrer Verbindung. abhängig von Lernrate η 1

11 Lernansätze (2/2) Backpropagation: überwachtes Lernen: Soll-Ist-Vergleich des Outputs Algorithmus: 1. Das Eingabemuster läuft vorwärts durch das Netz und liefert Output. 2. Die tatsächliche und die korrekte Ausgabe werden verglichen und die Differenz berechnet. 3. Der Fehler wird rückwärts bis zu den Input Units verfolgt und die Gewichte entsprechend korrigiert. verwendet Gradientenabstieg iterative Anwendung für möglichst viele Eingabemuster Gefahr des Überlernens (zu starke Spezialisierung) 11

12 Netzwerkmodelle Feedforward-Netze überwachtes Lernen (z.b. Backpropagation) Feedback-Netze ermöglicht Selbstorganisation und unüberwachtes Lernen Stabilisierung nötig geeignet für Optimierungsprobleme 12

13 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 13

14 Hopfield-Netze Minimierung von Energiezuständen stabiler Endzustand jedes Neuron ist Input- und Output-Unit totale Vernetzung der Neuronen aber kein Selbst-Feedback symmetrische Gewichte Aktivierungsfunktion: z.b. binärer Schwellwert (meist ) Update asynchron (zufällige Reihenfolge) oder synchron 14

15 Hopfield: Energiefunktion Energiefunktion (Liapunov-Funktion): w...gewichte y...outputwerte E(t)...Energie zum Zeitpunkt t x...externe Eingabe (konstant) Θ...Schwellwert (konstant) jede Veränderung des Netzes verringert den Wert der Energiefunktion konvergiert zu einem stabilen Minimum 15

16 Hopfield: Optimierungsprobleme mehrdimensionales Array von Neuronen jedes Neuron steht für eine Hypothese z.b. TSP: 2 Dimensionen: Städte, Positionen Neuron an Position (x,y) aktiv Stadt y ist auf Position x der Tour z.b. WTAP (Weapon-to-Target Assignment Problem) jede Waffe hat zu jedem Zeitpunkt eine Wahrscheinlichkeit, ein Ziel zu treffen und hat nur einen Schuss gesucht: Maximierung der Werte der zerstörten Ziele 3 Dimensionen: Ziele, Waffen, Zeitpunkte Energiefunktion wird an Probleminstanz angepasst Berechnung der Gewichte und Inputwerte zufällige Initialisierung der Aktivierungswerte 16

17 17 Hopfield: TSP (1/2) N² Neuronen Anforderungen an die Energiefunktion: minimal nur, wenn in jeder Zeile/Spalte genau eine 1 steht kürzere Touren haben geringere Energie als längere 1 E 1 D 1 C 1 B 1 A Tour: C A E B D

18 Hopfield: TSP (2/2) jede Stadt nur einmal besuchen nur eine Stadt gleichzeitig genau n Einser in der Matrix Tourlänge minimal σ(x,i)...outputwert des Neurons für die Stadt X auf Position i d(x,y)...abstand der Städte X und Y in der TSP-Instanz A, B, C, D: Konstanten Vergleich mit Liapunov-Funktion Gewichte + Inputs 18

19 Hopfield: Ergebnisse zahlreiche Varianten von Hopfield-Netzwerken Finden einer guten Energiefunktion schwierig Beispiel WTAP: 46 Neuronen, 49 Mio. Verbindungen findet teilweise sehr gute Lösungen Performance im Bereich von Linearem Programmieren (Heuristik) 19

20 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 2

21 Kohonen-Netze Selbstorganisierende Karten (Self-Organizing Maps - SOM) Kartierung des Eingaberaums ähnliche Werte benachbarte Neuronen mehrdimensionale Gewichtsvektoren pro Neuron Die Neuronen passen sich nach genug Iterationen den Eingabewerten an. 21

22 Kohonen: Lernregel 1. Wähle zufälligen Punkt X aus dem Eingaberaum 2. Suche Neuron k mit geringstem euklidischem Abstand zu X 3. Bewege k und seine Nachbarn in Richtung von X Nachbarschaftsfunktion: Gewichtsanpassung: Lernrate α und Nachbarschaftsradius R werden mit der Zeit kleiner Netz konvergiert Beispiel: 22

23 Kohonen: TSP elastisches Netz von Neuronen Startzustand: Ring passt sich an Topologie der Städte an konvergiert meist schnell zu guter Approximation Abweichung von ca. 3% 1-Städte-Instanz in 2 Minuten (1999) 23

24 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 24

25 weitere Ansätze viele Varianten neuronaler Netze verbreitet Boltzmann-Maschinen Mean-field annealing zahlreiche Verbesserungen im Bereich Hopfield-Netze und SOM viele verschiedene Optimierungsprobleme approximiert Rucksackproblem Graphenfärbung Schedulingprobleme... 25

26 Nachteile neuronaler Netze schwierige Implementierung in Hardware geeignete Parameter müssen erst experimentell gefunden werden liefern nicht immer gute (oder überhaupt gültige) Lösungen 26

27 Zusammenfassung Neuronale Netze versuchen, biologische Nervensysteme zu imitieren. Durch Gewichtsänderungen zwischen Neuronen sind sie lernfähig und können auf ihre Umwelt reagieren. unterschiedlichste Lösungsmöglichkeiten für die Approximation kombinatorischer Optimierungsprobleme ( z.b. nach Hopfield bzw. Kohonen) sehr aktives Forschungsgebiet 27

28 Quellen [1] M. Köhle, Neurale Netze, Springer Verlag, 199 [2] K. Smith, Neural Networks for Combinatorial Optimization: A Review of More Than a Decade of Research, INFORMS Journal on Computing, Vol. 11,No. 1, Winter 1999, p [3] Tagliarini, Christ, Page, Optimization using neural networks, IEEE Transactions on Computers, Vol. 4, Issue 12, Dec. 1991, p [4] de Menezes, Penna, Improving the Hopfield-Tank approach for the traveling salesman problem, International Journal of Modern Physics C 8, 5 (1997) [5] W.-L. Lippe: Interaktive "Einführung in Neuronale Netze" [6] Ritter, Schulten, Kohonen's self-organizing maps: exploring their computational capabilities, Neural Networks, 1988., IEEE International Conference on July 1988, p