Selbstorganisierende Karten

Transkript

1 Selbstorganisierende Karten Proseminar Ausgewählte Themen über Agentensysteme Institut für Informatik Selbstorganisierende Karten 1

2 Übersicht Motivation Selbstorganisierende Karten Aufbau & Definitionen Funktionsweise SOM-Lernregel & Training Anwendungsmöglichkeiten & Varianten Fazit Institut für Informatik Selbstorganisierende Karten 2

3 Motivation Erforschung des Gehirn und seiner Funktionsweise Erste Überlegung: Aristoteles ( v.chr.) 1943: erste Künstliche Neuronale Netze Dienen zur Erforschung des Gehirns & Lösen konkreten Anwendungsproblemen Oft nicht dem menschlichen Gehirn ähnlich Institut für Informatik Selbstorganisierende Karten 3

4 SELBSTORGANISIERENDE KARTEN Institut für Informatik Selbstorganisierende Karten 4

5 Selbstorganisiernde Karten Self-Organizing Maps (SOMs), Kohonennetze Teuvo Kohonen, 1982 Grundlage: Sensorische Karten im menschlichen Gehirn z.b. im somatosensorischen und motorischen Kortex Unüberwachtes Lernen Biologische Plausibilität Name: Netz entscheidet selber, wie es kartographiert Institut für Informatik Selbstorganisierende Karten 5

6 Aufbau 2 Neuronenschichten: Input & Output N-Dimensionalen Input auf G-dimensionales Gitter abbilden Gitter gibt Topologie an Ziel: Bestmögliche Abdeckung der Orte der Input-Punkte mit den Outputneuronen Ursprünglicher Zweck: einfache Visualisierung eines komplexen Eingabe-Datenraums Institut für Informatik Selbstorganisierende Karten 6

7 Aufbau Bildquelle: Institut für Informatik Selbstorganisierende Karten 7

8 Definitionen (nach Kriesel, 2007, S. 155) SOM-Neuron: Ein SOM-Neuron k hat eine feste Position c k (Zentrum) im Eingaberaum. SOM: Eine Self Organizing Map ist eine Menge K von SOM-Neuronen. Bei Eingabe eines Eingabevektors wird genau dasjenige Neuron k K aktiv, welches dem Eingabemuster im Eingaberaum am nächsten liegt. Die Dimension sei N. Topologie: Die Nachbarschaftsbeziehungen der Neuronen nennt man Topologie. Sie wird definiert durch die Topologiefunktion h(i,k,t). i: Genwinnerneuron, k: das gerade zu adaptierende Neuron, t: Zeitschritt. Die Dimension der Topologie sei G. Institut für Informatik Selbstorganisierende Karten 8

9 Eindimensionale vs. zweidimensionale Topologie Institut für Informatik Selbstorganisierende Karten 9

10 Funktionsweise Eingabe beliebiges Muster p R N aus Eingaberaum Abstandsberechnung von jedem Neuron k zu p: p - c k 2 Winner takes it all -Prinzip: Neuron i wird aktiv, gdw. i hat kürzesten Abstand zu p. Alle anderen Neuronen sind inaktiv. Ausgabe: aktives Neuron i Durch Training mit verschiedenen Eingabemustern richtet sich SOM danach aus und kartographiert Nach Training: direkte Nachbarn von i sind sich ähnlich Institut für Informatik Selbstorganisierende Karten 10

11 SOM-Lernregel (nach Kriesel, 2007, S. 157) Δc k = η t h i, k, t (p c k ) c k t + 1 = c k t + c k (t) η t zeitabhängige Lernrate, 0 < η t <1 Topologiefunktion: Die Topologiefunktion beschreibt die Nachbarschaftsbeziehung in der Topologie. Sie kann eine beliebige unimodale Funktion sein, die maximal ( = 1) wird, wenn i = k gilt ( i = Gewinnerneuron). Häufig: Gaußfunktion h i, k, t = e. / Institut für Informatik Selbstorganisierende Karten 11

12 Training 1. Initialisierung: Start des Netzes mit zufälligen Neuronenzentren c k R N aus Eingaberaum 2. Wähle Stimulus: Wähle Muster p R N, Eingabe von p ins Netz 3. Für jedes Neuron k berechne p - c k 2 4. Gewinnerneuron i, für das gilt p - c i 2 p - c k 2 k i 5. Adaption der Zentren nach SOM-Lernregel 6. Wiederhole 2 5 bis t = t max Institut für Informatik Selbstorganisierende Karten 12

13 Initialisierung 10 Schritte 100 Schritte 1000 Schritte Schritte Schritte Bilderquelle: Maik Außendorf, Institut für Informatik Selbstorganisierende Karten 13

14 ANWENDUNGSMÖGLICHKEITEN Institut für Informatik Selbstorganisierende Karten 14

15 Einige Anwendungsmöglichkeiten Verschiedene Arten der Mustererkennung Analyse bei Data Mining Erforschung von Autismus, Paplinski & Gustafsson, 2004 These: Aufmerksamkeitsbeeinträchtigung & Bevorzugung vertrauter Reize behindern Ausbildung von kortikale Merkmalskarten Simulationsergebnisse stimmten mit Befunden überein Institut für Informatik Selbstorganisierende Karten 15

16 Das Traveling Salesman Problem Wir bezeichnen als Botenproblem [...] die Aufgabe, für endlich viele Punkte, deren paarweise Abstände bekannt sind, den kürzesten die Punkte verbindenden Weg zu finden. Karl Menger, 1930 Städtepositionen als Input-Muster Ausgabeneuronen implementieren eine Ringnachbarschaft Topologiefunktion versucht Ring möglichst kurz zu halten (Kurzer-Weg-Forderung) Städtepositionen sukzessive approximiert Institut für Informatik Selbstorganisierende Karten 16

17 Nach 0 Schritten Nach Schritten Nach Schritten Nach Schritten Bildquelle: (Ritter, 1991) S. 113 Institut für Informatik Selbstorganisierende Karten 17

18 GNOD Global Network of Discovery Marek Gibney, 2014 Entdecken neuer Musik, Autoren etc. Karte mit ähnlichen Künstlern Je näher zusammen, desto höher Wahrscheinlichkeit es zu mögen Institut für Informatik Selbstorganisierende Karten 18

19 GNOD Institut für Informatik Selbstorganisierende Karten 19

20 VARIANTEN & FAZIT Institut für Informatik Selbstorganisierende Karten 20

21 Varianten von SOMs Multi-SOM: gleichzeitige Verwendung von M vielen SOMs, Topologie und Größe kann unterschiedlich sein Neural Gas: keine feste Topologie -> Ausbreitung beim Training wie Ausbreitung von Gas, Lernstrategie sehr ähnlich, Martinetz & Schulten, 1991 Kontext-SOMs, Temporäre SOMs, Fuzzy-SOMs, Institut für Informatik Selbstorganisierende Karten 21

22 Fazit Biologische Plausibilität Bei Entfaltung Verknotung möglich, sog. Topologischer Defekt, muss aufgelöst werden Sehr viele Anwendungsmöglichkeiten und Weiterentwicklungen Vereinfacht auch sehr viele, komplexe Daten und zeigt bedeutsame Zusammenhänge auf Einfache Übersicht mit zweidimensionaler Topologie Institut für Informatik Selbstorganisierende Karten 22

23 Literatur T. Kohonen, Self-Organizing Maps, Springer-Verlag, Third Edition, 2001 A. P. Paplinski, L. Gustafsson, An attempt in modelling early intervention in autism using neural networks. In 2004 IEEE International Joint Conference on Neural Networks (IEEE Cat. No.04CH37541), volume 1, page 34, Juli H. Ritter, T. Martinetz, K. Schulten, Neuronale Netze Eine Einführung in die Neuroinformatik selbstorganisiernder Netzwerke, Addison-Wesley, 2. Auflage, 1991 R. Rojas, Theorie der neuronalen Netze Eine systematische Einführung, Springer-Lehrbuch, 1996 Neuronalesnetz.de, zuletzt aufgerufen am Institut für Informatik Selbstorganisierende Karten 23

24 zuletzt aufgerufen am zuletzt aufgerufen am te, zuletzt aufgerufen am Egmont-Petersen, Michael, Dick de Ridder, and Heinz Handels. "Image processing with neural networks a review." Pattern recognition (2002): David Kriesel, Ein kleiner Überblick u ber Neuronale Netze, zuletzt aufgerufen am Institut für Informatik Selbstorganisierende Karten 24

25 Vielen Dank für Ihre Aufmerksamkeit. Gibt es noch Fragen? Institut für Informatik Selbstorganisierende Karten 25