Grundlagen Neuronaler Netze

Transkript

1 Grundlagen Neuronaler Netze Neuronen, Aktivierung, Output, Netzstruktur, Lernziele, Training, Grundstruktur Der Begriff neuronales Netz(-werk) steht immer für künstliche neuronale Netzwerke, wenn nicht biologisch oder natürlich davor geschrieben ist. 1. Eingabeschicht: n Inputneuronen, n = Dimension des Eingabevektors. 2. Ausgabeschicht: k Outputneuronen, k = Dimension des Ausgabevektors. 3. Verarbeitungsschichten: weitere Neuronen und Verbindungen. 4. Neuronenart: Aktivierungsregel und Outputregel. 5. Propagierungsregel: im Fall von Rückkopplungen ist festzulegen, wann das System als stabil zu gelten hat und in welcher Reihenfolge die Neuronen aktualisiert werden müssen. 6. Lern-Regel: lege fest, wie das Netzwerk an die zu trainierenden Daten angepaßt wird. Version 04.1 Heinrich Werner Grundlagen 2

2 McCulloch-Pitts-Neuron nur zwei Outputs 0 (inaktiv) und 1 (aktiv) nur zwei Typen von Synapsen mit den Synapsengewichten +1 (excitatorisch) oder -1 (inhibitorisch). es werden excitatorische und inhibitorische Inputs (0,1 oder -1) aufsummiert, die Aktivierung ist also eine ganze Zahl. Die Schwellwertfunktion liefert für jedes Neuron 1, wenn die Aktivierungs den Schwellwert s erreichtt, sonst 0. Version 04.1 Heinrich Werner Grundlagen 3 McCulloch-Pitts-Neuron erw. Diese ursprünglich starren Bedingungen haben sich in folgenden Punkten gelockert Outputs können beliebig im Intervall [0,1] liegen. Synapsengewichte und Schwellwert können beliebige reelle Zahlen sein. Aktivierungs- und Output-Funktionen können beliebige Funktionen sein. Version 04.1 Heinrich Werner Grundlagen 4

3 Neuron Schema. Der Input ist gekennzeichnet durch die Aktivierungs- Funktion Σ. Diese legt fest, wie die über die Verbindungen eingehenden Reize x i mit den Gewichten w i zur Aktivierung zusammengefaßt werden Die Output-Funktion θ legt fest, wie der Output aus der Aktivierung ermittelt wird. Der Output wird dann über die Verbindungen als Reiz an andere Neuronen geleitet Version 04.1 Heinrich Werner Grundlagen 5 Aktivierungs-Funktionen Die Modifikation der Inputs x 1,x 2,...,x n wird stets durch Multiplikation mit den Gewichten w 1,w 2,...,w n realisiert. 1. Skalarprodukt-Regel Die modifizierten Inputs a 1,a 2,...,a n werden zur Aktivität des Neurons aufaddiert: a = a 1 +a a n. 2. Winner-take-all-Regel alle Aktivitäten a nach der Skalarproduktregel ermitteln, dann auf 0 herabsetzen, wenn ein anderes Neuron der Schicht höhere Aktivität hat. 3. sigma-pi-regel (Summe von Produkten) Die Inputs werden in k Gruppen aufgeteilt Modifizierte Inputs jeder Gruppe miteinander multiplizieren, danach werden die Produkte p 1,p 2,...,p k zur Aktivität des Neurons aufaddiert. (Der Effekt ist, daß ein Input von fast 0 die gesamte Gruppe blockiert.) Version 04.1 Heinrich Werner Grundlagen 6

4 Monotone Outputfunktionen Normierung: Der Output von Neuronen liegt im Intervall [0,1], wenn nicht ausdrücklich anders definiert. (Verschiebungen können, wie wir später sehen, anders realisiert werden) Version 04.1 Heinrich Werner Grundlagen 7 Radiale Outputfunktionen Version 04.1 Heinrich Werner Grundlagen 8

5 Schichten oder Rückkopplung Für neuronale Netze wählt man entweder einen rückkopplungsfreien Schichtenaufbau oder man fasst die rückgekoppelten Neuronen zu Gruppen zusammen, die dann ihrerseits wieder Schichten bilden Version 04.1 Heinrich Werner Grundlagen 9 Lernziel Muster-Erkennung Zum Normmuster ergänzen Version 04.1 Heinrich Werner Grundlagen 10

6 Lernziel Muster-Assoziation Korrekten Antwortteil ergänzen Version 04.1 Heinrich Werner Grundlagen 11 Lernziel Klassenbildung (Cluster) Repräsentant ausgeben Version 04.1 Heinrich Werner Grundlagen 12

7 Lernziel Muster-Klassifikation Einordnen in vorgegebene Klassen Version 04.1 Heinrich Werner Grundlagen 13 Lernparadigmen 1. Überwachtes Lernen (supervised, mit Lehrer, output-oriented) Das Netzwerk verarbeitet den Trainingsinput und liefert sein Ergebnis, das der Lehrer mit dem gewünschten Output vergleicht. In Abhängigkeit von dem Fehler wird das Netzwerk so verändert, daß dieser Fehler nicht mehr (in derselben Stärke) auftritt. 2. Unüberwachtes Lernen (selforganized, durch Gewöhnung, input-oriented) Das Netzwerk verarbeitet die Inputs und verändert sich dabei so, daß es auf die präsentierten Inputs immer stärker reagiert. 3. verstärkendes Lernen (reinforced, mit Belohnung, behavior-oriented) Das Netzwerk verarbeitet die Inputs und überprüft, ob seine Aktivitäten eine bestimmte vorgegebene Form haben. Je nach Antwort wird das Verhalten des Netzwerks verstärkt oder abgschwächt. online-(einzelschritt)-learning : nach jeder Eingabe wird gelernt offline(gesamtschritt)-learning: nach Eingabe aller Trainingsdaten wird ein Anpassungsschritt gemacht. Version 04.1 Heinrich Werner Grundlagen 14

8 Gewichts-Anpassung Die meisten Trainingsmethoden für Neuronale Netze basieren auf Gewichts-Anpassung In frühen Modellen wurde auch mit der Veränderung des Schwellwerts gearbeitet, der kann aber durch ein zusätzliches Neuron, das immer 1 feuert als ein Gewicht interpretiert werden, also realisiert die Gewichtsveränderung auch die Schwellwertanpassung Version 04.1 Heinrich Werner Grundlagen 15 Topologieveränderung Neuronen und/oder Verbindungen werden gelöscht oder neu eingefügt Version 04.1 Heinrich Werner Grundlagen 16

9 genetischen Algorithmen Populationen von Netzwerken Version 04.1 Heinrich Werner Grundlagen 17 Korrektheit (Lernfähigkeit) Das Netzwerk muß auf den Trainingsdaten das gewünschte Verhalten zeigen: 1. gute Rekonstruktion trainierter Muster. 2. richtige Assoziation trainierter Musterpaare. 3. klare Trennung der trainierten Daten in unterschiedliche Cluster und korrekte Zuweisung der trainierten Daten an die vogegebenen Klassen. Version 04.1 Heinrich Werner Grundlagen 18

10 Das Problem lokaler Minima Fehlerminimierung kann in einem lokalen Minimum stecken bleiben Version 04.1 Heinrich Werner Grundlagen 19 Overfitting (auswendig lernen) Training kann auch zu zu guter Anpassung führen: Version 04.1 Heinrich Werner Grundlagen 20

11 Generalisierung (Abstraktionsfähigkeit) Das Netzwerk muß auch auf neue Daten sinnvolle Antworten geben können: 1. nur für solche Daten vernünftig, die nah(?) an den Trainingsdaten liegen. 2. "sinnvoll" kann für Benutzer und Netz sehr verschiedene Bedeutung haben (das Netz modelliert die Wirklichkeit evtl. nicht korrekt). 3. Bei Redundanz der Netzausgaben kann eine Konsistenzprüfung klären, ob das Netz eine klare Entscheidung getroffen hat. Version 04.1 Heinrich Werner Grundlagen 21 Fehlertoleranz/Generalisierung Fehlertoleranz: sehr nah beieinanderliegende Inputs erzeugen sehr nah beieinanderliegende Outputs Generalisierung: bei Inputs in der Nähe mehrerer trainierter Inputs wird über deren Outputs gemittelt. Version 04.1 Heinrich Werner Grundlagen 22

12 Generalisierungstest Die vorhandenen Daten werden in zwei Gruppen geteilt, die Trainingsdaten und die Testdaten Nach erfolgreichem Training mit den Trainingsdaten wird mit den Testdaten überprüft, ob das Netz auch auf diesen zufriedenstellend arbeitet. Version 04.1 Heinrich Werner Grundlagen 23 Vor-/Nachteile Nuronaler Netze Vorteile: 1. verarbeiten verrauschte, unvollständige und widersprüchliche Inputs. 2. verarbeiten multisensorischen Input (Zahlen, Farben, Töne,...). 3. erzeugen ein implizites Modell für die Eingabedaten (ohne Hypothesen des Anwenders). 4. fehlertolerant auch gegen Hardwarefehler. Der Totalausfall eines Neurons verändert das Verhalten des Netzwerks kaum. 5. leicht zu handhaben und führen zu leicht interpretierbaren Ergebnissen. Nachteile: 1. benötigen lange Trainingszeiten. (sehr viele Durchläufe aller Trainingsdaten) 2. Ein Lernerfolg kann nicht garantiert werden. (lokale Minima) 3. Generalisierungsfähigkeit kann nicht garantiert werden (Overfitting). 4. Bei Neuronalen Netzen ist nicht nachzuvollziehen, warum sie eine bestimmte Antwort geben (black box). Version 04.1 Heinrich Werner Grundlagen 24

13 Anwendungsgebiete Mustererkennung Handschrift-Erkennung / Spracherkennung / optische Musterkassifikation / EEG-Klassifikation. Codierung / Visualisierung Bildkompression / Sprachsynthese / Rauschfilter / Mapping z.b. in der Medizin. Kontrolle Qualitätskontrolle (optisch, akustisch) / Robotersteuerung / Navigation / Schadens-Diagnostik / EEG-Überwachung. Optimierung Parametervariation in Fertigungsprozessen / TSP-Probleme / Scheduling-Probleme). Version 04.1 Heinrich Werner Grundlagen 25