Selbstorganisierende Neuronale Netze. Neuronale Netze 3. Übung

Transkript

1 Selbstoganisieende Neuonale Netze Neuonale Netze 3. Übung

2 Unübewachtes Lenen Keine Päsentation von Len-/Soll-Vektoen Ekennung von Ähnlichkeiten/Unteschieden zwischen Eingabedaten Selbständige Sepaieung de päsentieten Mustedatensätze mittels eines Optimieungspinzips

3 Das Pinzip de Vektoquantisieung Datenkompession / -appoximation Dastellung des Musteaumes M duch eine endliche Menge von Refeenzvektoen w j Zuodnung beliebige Datensätze den ihnen jeweils ähnlichsten Repäsentanten Güte: Übeeinstimmung de Eingangsvektoen mit den Refeenzvektoen im Sinne de Inputfunktion (Skalapodukt, Euklid)

4 Vektoquantisieung Konditionieung: Solange anpassen, bis mittlee Quantisieungsfehle minimal ( ) ( ) ( ) ( ) de w E E P w E F E E j j =, VQ patitioniet den Musteaum M in disjunkte Teilegionen (Voonoi-Polygone) { } i w E w E M E M i j j = :

5 Voonoi-Zelegung Rezeptive Felde zeigen, welches Neuon j einen gegebenen Musteeingabevekto am besten epäsentiet Neuon j best-matching- ode Winne- Neuon

6 Die Kohonen-Kate ode SOM (self-oganizing map) Zweischichtiges Feed-Fowad-Netzwek Eingabeschicht nu zu Päsentation de Vektoen, Neuonenmodell oft nicht nötig Kohonenschicht vollständig mit Eingabeschicht gewichtet vebunden Neuonenanzahl de Eingabeschicht bestimmt Dimension de Gewichtsvektoen

7 Die Kohonenkate (SOM) Optimieungspinzip: Möglichst gute Abdeckung des Musteaums M duch die Neuonen (Intepetation de W j als Kood.) Poblem: Passende Fom de Kate

8 Die Kohonenkate (SOM) Gebiete mit hohe Infomationsdichte zeichnen sich duch höhee Anzahl von Neuonen aus Dicht beieinande liegende Neuonen epäsentieen ähnliche Eingabevektoen Neuonen unteliegen zusätzliche Nachbaschaftsbeziehung und beeinflussen sich wähend de Adaption gegenseitig Abhängig von Distanz zum Winne-Neuon

9 Topologie und Nachbaschaft Distanz abhängig von Neuonenanodnung und Anzahl diekte Nachban eines Neuons Nachbaschaftsfunktion bestimmt Stäke de Anpassung

10 Das Lenvefahen eine SOM 1. Bestimmung des Winne-Neuons duch Vegleich Eingabevekto/Gewichtsvektoen (geingste Abstand bzw. stäkste Anegung) 2. Anpassung des Gewichtsvektos des Winnes (Pinzip de Vektoquantisieung) 3. Distanzabhängige Anpassung de Neuonen in de Umgebung

11 Anpassung de Gewichte (Hebb) W j ( ) ( t + 1) = W ( t) + η( t) h ( t) E ( t) W ( t) j cj j j - Gundlage: aktuelle Diffeenz de Vektoen - η(t) Lenate - h cj (t) Distanzfunktion fü t häufig Distanzpaamete d (Lenbeite) Emöglicht zunächst globale, späte lokale Umodnungen bis hin zu Stabilisieung

12 Bedeutung von Lenate η und Lenbeite d Poblem: Velust de globalen Odnung bei zu kleinem Wet bzw. zu schnellem Absinken (topologische Defekt) Nu Teilbeeiche de Kate topologisch koekt

13 Übung 1 State das Applet KohonenApp/KohonenApp.html Beobachte das Vehalten de SOM bei unteschiedlichen Paametisieungen Povoziee topologische Defekte in de Kate

14 Nachbaschaftsfunktionen h cj Gauss-Glocke Zylinde Konus Cosinus Mexican hat

15 Geschlossene Topologien Unewünschte Eigenschaft: Anodnung de Musteepäsentanten am Katenand Daduch Einfluß auf Umgebung stak eingeschänkt (wenige diekte Nachban)

16 Geschlossene Topologien Definition von geeigneten Topologien Gegenübeliegende Rände vebinden sich zu geschlossenen Stuktuen (Zylinde, Tous) Tous: wede Rände noch Ecken, dahe optimale Veteilung de Eingangsmuste Visualisieung häufig plana, intene Distanzbeechnungen finden auf Tous statt

17 Aktivitätscodiete Dastellung Neuonen-Aktivitäten duch veschiedene Faben bzw. Fabveläufe dagestellt Klassifikationsvehalten ist leichte zu intepetieen

18 Übung 2 State das Pogamm CoNNecT Lade die SOM Test-SOM Initialisiee die Gewichtsvektoen und state den Lenvogang Intepetiee das Klassifikationsvehalten Vewende andee Einstellungen und/ode Tainingsvektoen

19 Das Neual-Gas-Modell Aufbau/Lenvefahen ähnlich dem eine SOM Ebenfalls vollständig mit Eingabeschicht vebunden Statt feste Plazieung fei schwebende Neuonen ( wie in einem Gas ) Keine diekte Nachbaschaft, Vebindungen bilden sich est in de Lenphase aus Vebindungen geben späte Aufschluß übe Zusammenhänge zwischen Eingangsvektoen

20 Das Neual-Gas-Modell Neuonen dagestellt duch Gewichtsvekto w i Infomationen zu Anodnung de Eingangsvektoen E i duch Abstandsmenge D v ehältlich: { } D = E w, i =1 n,..., E i Aufsteigende Odnung innehalb de Abstandsmenge bestimmt Anpassung de Gewichtsvektoen

21 Das Neual-Gas-Modell Neuon mit geingstem Abstand wid am stäksten angepaßt,... Euklidische Abstand zu Bestimmung des Winne-Neuons Eegung f(d E ) eines Neuons abhängig von Abstandsmenge D E

22 Anpassung de Gewichte w i = ε f i ( ) ( ) D E w E i ε 0[0,1] Gesamtausmaß de Ändeung f i (D E ) 0[0,1] beücksichtigt topologische Anodnung de w i im Eingangsaum, abhängig von Anzahl k i de Neuonen, die nähe an E sind als das Neuon i k i definiet Rang des Neuons i

23 Lenvefahen des Neual Gas Umwandlung von f i (D E ) in Funktion f i (k i ): f etwa i ( k ) i f 1 = 0 i ( k ) = e λ i falls k fü k k i i i = 0 λ Anzahl de Neuonen, deen Gewichte in jedem Adaptionsschitt angepaßt weden

24 Nachbaschaftsbeziehungen In jedem Adaptionsschitt wid Vebindung zwischen dem besten und dem zweitbesten Neuon gezogen Jede Vebindung i j hat Alte t ij Bei Übescheitung eine Lebensdaue T wid die Vebindung gelöscht Bei Reaktivieung wid Alte auf Null gesetzt

25 Unteschiede zum Kohonen-Modell Zunächst keine Pojektion vom Eingabe- in den Ausgabeaum, dahe (wähend de Lenphase) keine Pojektionsveluste Poblem taucht auf, sobald das Neual Gas visualisiet weden soll (seh komplex, gaphentheoetische Ansätze möglich) Duch dynamische Vebindungen keine modellbedingten Dimensionskonflikte wie bei Kohonen-Katen

26 3. Übung State das Applet ini/vdm/eseach/gsn/demogng/gng.html Teste die Netztypen Neual Gas und SOM anhand veschiedene Eingangs-Topologien und mit veschiedenen Paameten Vegleiche das unteschiedliche Vehalten beim Abdecken des Eingangsaums