Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser

Transkript

1 Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser

2 CSM Master: Praktikum Simulationstechnik, rs034, bz003 2 Befehlsübersicht Begriffsdefinition / Neuronale Netze: / /

3 CSM Master: Praktikum Simulationstechnik, rs034, bz003 3

4 Natürliche Neuronale Netze Struktur/Informationsarchitektur von Gehirn und Nervensystem bei Menschen/Tieren Bestehend aus einzelnen Neuronen, verbunden durch Synapsen Künstliche Neuronale Netze Funktionsweise des menschlichen Gehirns besser verstehen konkrete Anwendungsprobleme lösen Abgebildet durch eine Matrix CSM Master: Praktikum Simulationstechnik, rs034, bz003 4

5 CSM Master: Praktikum Simulationstechnik, rs034, bz003 5 Neuron (natürlich / künstlich)

6 CSM Master: Praktikum Simulationstechnik, rs034, bz003 6

7 Jedes Neuron ist mit anderen Neuronen verknüpft (abhängig vom Netztyp) Neuronen sind mit Kanten (Synapsen) verbunden. Jede Kante hat ein Gewicht. Je höher Absolut-Betrag, desto stärker der Einfluss. positive Gewichte: erregenden Einfluss negative Gewichte: hemmender Einfluss Null: kein Einfluss CSM Master: Praktikum Simulationstechnik, rs034, bz003 7

8 Lernen = Modifizieren des Netzes gemäß einer vorgeschriebenen Lernregel Neue Verbindungen erstellen Verbindungen löschen Neue Neuronen erstellen Neuronen löschen Modifikation des Schwellwertes Modifikation der Aktivierungsfunktion Modifikation der Verbindungsstärke / Gewichte CSM Master: Praktikum Simulationstechnik, rs034, bz003 8

9 CSM Master: Praktikum Simulationstechnik, rs034, bz003 9 Gewichten wird Zufallswert zugewiesen Eingabe von Trainingsmuster Wenn Ausgabe fehlerbehaftet: Anpassung der Gewichte

10 CSM Master: Praktikum Simulationstechnik, rs034, bz003 10

11 1943 entwickelt von Warren McCulloch & Walter Pitts Bewiesen: Logische Operationen (AND, OR, NOT) mit abbildbar 1958 Frank Rosenblatt entwickelt - Modell bis heute Grundlage künstlich neuronaler Netze CSM Master: Praktikum Simulationstechnik, rs034, bz003 11

12 CSM Master: Praktikum Simulationstechnik, rs034, bz vereinfachtes künstliches neuronales Netz besteht aus einem künstlichen Neuron Arbeitsweise: beeinflussbar durch Gewichte Eingabevektor Ausgabevektor

13 CSM Master: Praktikum Simulationstechnik, rs034, bz003 13

14 CSM Master: Praktikum Simulationstechnik, rs034, bz j1 w j x j w 2 x 2 w x 1 1 w x 0 0 a P x 1 x ) P( x y) w ( 2 bzw. 2y w1 x w0 x0 y w w 1 2 x w x 0 w und x 1 0

15 CSM Master: Praktikum Simulationstechnik, rs034, bz w y w a w 1 2 x w0 x w 2 2y w1 x w0 x Ziel: Geradengleichung ( w ) finden, die o und * Punkte trennt : o Punkte: a > 0 : * Punkte: a

16 CSM Master: Praktikum Simulationstechnik, rs034, bz

17 CSM Master: Praktikum Simulationstechnik, rs034, bz Gewichten wird Zufallswert zugewiesen Eingabe von Trainingsmuster Wenn Ausgabe fehlerbehaftet: Anpassung der Gewichte

18 CSM Master: Praktikum Simulationstechnik, rs034, bz

19 CSM Master: Praktikum Simulationstechnik, rs034, bz Gewichten wird Zufallswert zugewiesen Eingabe von Trainingsmuster Wenn Ausgabe fehlerbehaftet: Anpassung der Gewichte

20 CSM Master: Praktikum Simulationstechnik, rs034, bz a = w 2 *-1,6+w 1 *1,8+w 0 *-1 = -0, a = w 2 *1,6+w 1 *1,6+w 0 *-1 = 0, Gewichten wird Zufallswert zugewiesen Eingabe von Trainingsmuster Wenn Ausgabe fehlerbehaftet: Anpassung der Gewichte

21 Lernregel (Anpassung des Gewichtsvektors) Wenn Punkt o falsch zugeordnet wurde: Wenn Punkt * falsch zugeordnet wurde: CSM Master: Praktikum Simulationstechnik, rs034, bz * 2 * 1 * w w w y x x w w w * 2 * 1 * w w w y x x w w w

22 CSM Master: Praktikum Simulationstechnik, rs034, bz

23 / CSM Master: Praktikum Simulationstechnik, rs034, bz003 23

24 CSM Master: Praktikum Simulationstechnik, rs034, bz Erfunden 1982 von John Hopfield sind eine spezielle Unterklasse der neuronalen Netze Sie bilden einen sogenannten Autoassoziativspeicher Normaler Speicher: Zugriff auf Inhalt über Adresse Autoassoziativspeicher: Zugriff auf Inhalt über Bruchstücke des Inhalts selbst

25 CSM Master: Praktikum Simulationstechnik, rs034, bz A C B D

26 CSM Master: Praktikum Simulationstechnik, rs034, bz Bidirektionale Verbindungen Jedes Neuron ist mit jedem Neuron außer A sich selbst verbunden B C Ein Neuron kann zwei Zustände haben: feuert oder 1 feuert nicht oder -1 Die Verbindungen zwischen den Neuronen D (Synapsen) besitzen ein individuelles Gewicht

27 CSM Master: Praktikum Simulationstechnik, rs034, bz Ein Hopfield-Netz muss zur zunächst trainiert werden Dies erfolgt durch Konfiguration der synaptischen Gewichte Die Gewichte werden mittels der Hebbschen Lernregel ermittelt

28 CSM Master: Praktikum Simulationstechnik, rs034, bz w ij a i a j Gewichtsänderung zwischen Neuron i und j Lernrate (konstanter Faktor) Aktivitätslevel von Neuron i Aktivitätslevel von Neuron j Wenn Neuron i und j im gleichen Aktivierungszustand sind, verstärkt sich die Verbindung zwischen ihnen

29 CSM Master: Praktikum Simulationstechnik, rs034, bz Anwendung der Hebbschen Lernregel bei n w ij w ij n w ji n 1 n k1 0 M k i M k j falls i j sonst Gewicht der Verbindung zwischen i und j Anzahl der Muster 1 2 M, M,..., M k Muster mit Aktivierungswerten -1 und 1

30 CSM Master: Praktikum Simulationstechnik, rs034, bz Nach der Ermittlung der synaptischen Gewichte ist das Netz bereit zur Die Eingabe eines (verrauschten oder unvollständigen) Musters zur Erkennung des zugehörigen gelernten Musters erfolgt durch Setzen der Neuronen in den Aktivierungszustand, der dem Muster entspricht

31 CSM Master: Praktikum Simulationstechnik, rs034, bz

32 CSM Master: Praktikum Simulationstechnik, rs034, bz

33 CSM Master: Praktikum Simulationstechnik, rs034, bz

34 CSM Master: Praktikum Simulationstechnik, rs034, bz Die eigentliche besteht aus einem iterativen Verfahren Dabei werden die Neuronen mit folgender Regel aktualisiert: s i 1 1 falls sonst N j1 w ij s j t i Anzahl Neuronen Schwellenwert des Neurons i Zustand des Neurons j

35 CSM Master: Praktikum Simulationstechnik, rs034, bz Asynchrone Änderung Initialisiere Startzustand gemäß zu erkennendem Muster do { wähle zufälliges Neuron i for(neuron j : alle mit i verbundenen Neuronen) { berechne neuen Zustand von i abhängig von j } } while(system nicht in stabilem Endzustand) Synchrone Änderung Initialisiere Startzustand gemäß zu erkennendem Muster do { for(neuron i : alle Neuronen) { for(neuron j : alle mit i verbundenen Neuronen) { berechne neuen Zustand von i abhängig von j } } } while(system nicht in stabilem Endzustand)

36 CSM Master: Praktikum Simulationstechnik, rs034, bz Bei den Iterationen strebt das Hopfield-Netz einen stabilen Zustand an Dieser Zustand entspricht im Idealfall dem erkannten Originalbild Ein Hopfield-Netz erreicht jedoch unabhängig vom Erfolg bei der immer einen stabilen Endzustand

37 CSM Master: Praktikum Simulationstechnik, rs034, bz Die Speicherkapazität eines s ist begrenzt und abhängig von der Anzahl Neuronen L N L N 0,138 Anzahl zu speichernder Muster Anzahl Neuronen

38 Netzen ist die Performance ein kritischer Faktor Da jedes Neuron mit allen anderen Neuronen vernetzt wird, ergeben sich sowohl für den Lernvorgang als auch den Erkennungsvorgang ( n 2 ) Schritte Beim praktischen Einsatz von Hopfield CSM Master: Praktikum Simulationstechnik, rs034, bz003 38

39 CSM Master: Praktikum Simulationstechnik, rs034, bz Auch der Speicherverbrauch für das Netz steigt quadratisch mit der Zahl der Neuronen Die Zahl der Neuronen wiederum steigt quadratisch mit der Auflösung der Muster Die Erkennung von Musterbildern mit höheren Auflösungen (>50x50 Pixel) mittels eines einzelnen Netzes wird daher schnell unmöglich

40 CSM Master: Praktikum Simulationstechnik, rs034, bz003 40

41 CSM Master: Praktikum Simulationstechnik, rs034, bz003 41

42 MATLAB Befehlsübersicht CSM Master: Praktikum Simulationstechnik, rs034, bz003 42

43 CSM Master: Praktikum Simulationstechnik, rs034, bz Zugriff auf ein Element: x(zeile,spalte) o Punkt zeichnen (rot): plot(x, y, 'or'); Zugriff auf alle Zeilen und Spalte 2: x(:,2) Zufallswerte [-2,, 2] für Vektor mit 20 Zeilen, 2 Spalten: -2+(4*(rand(20,2))) For Schleife: for i=1:5 end Benutzereingabe: v = input(['text']); * Punkt zeichnen (grün): plot(x, y, '*g'); If Bedingung: if x>0 else end Gitter anzeigen, Figur beibehalten: grid on; hold on;

44 CSM Master: Praktikum Simulationstechnik, rs034, bz Matrix mit 10 Spalten, 10 Zeilen gefüllt mit 1en: ones(10,10) Jedes Element einer Matrix mit dem zugehörigen Element einer zweiten Matrix multiplizieren: M.*S Matrix in Spaltenvektor mit 100 Zeilen umwandeln: reshape(v, 100, 1) Neues Hopfield-Netz erzeugen: net = newhop( [Spaltenvektor_Muster_1, Spaltenvektor_Muster_2, ]); Hopfield-Netz simulieren: sim(net, 1, [], Spaltenvektor_GestörtesMust er); Matrix zeichnen: imagesc(m)

45 Skript Künstliche Intelligenz ; Prof. Dr. Johannes Maucher; HdM Stuttgart Neuronale Netze: Lässt sich das Denken simulieren? ; Benjamin Polak; Universität Erlangen: Artifical Intelligence Neuronale Netze; Universität für angewandte Kunst Wien Wikipedia: ; (DE, EN) Neuronale Netze: eine Einführung; Günter Daniel Rey CSM Master: Praktikum Simulationstechnik, rs034, bz003 45

46 Vielen Dank für die Aufmerksamkeit! CSM Master: Praktikum Simulationstechnik, rs034, bz003 46