7. Vorlesung Neuronale Netze

Transkript

1 Soft Control (AT 3, RMA) 7. Vorlesung Neuronale Netze Grundlagen

2 7. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation und Wissensverarbeitung (Symbolische KI) Anwendung: Expertensysteme 3. Fuzzy-Systeme: Umgang mit unscharfem Wissen Anwendung: Fuzzy-Control 4. Konnektionistische Systeme: Neuronale Netze Anwendung: Identifikation und neuronale Regler 1. Grundlagen 5. Stochastische Optimierung (Genetische Algorithmen, Simulated Annealing, Differential Evolution) Anwendung: Optimierung 6. Zusammenfassung & Literaturhinweise 176

3 Inhalt der 7. Vorlesung 1. Abgrenzung zu Expertensystemen und Fuzzy-Systemen 2. Natürliches Vorbild 1. Das menschliche Gehirn 2. Das natürliche Neuron 3. Eigenschaften neuronaler Netze in Bezug zur Automatisierungstechnik 4. Künstliche Neuronen 5. Künstliche Neuronale Netze 177

4 Abgrenzung zu Expertensystemen und Fuzzy-Systemen (1) Ziel: Nachbildung von intelligentem Verhalten Eine makroskopische Betrachtung führt zu Expertensystemen bzw. Fuzzy Control Hier modelliert man die intelligenten Denkvorgänge des Menschen Die Fähigkeit des Menschen aufgrund gegebener (u.u. unscharfer) Informationen intelligente Schlussfolgerungen abzuleiten soll nachgebildet werden Man zielt auf die Nutzung des vom Menschen angesammelten (bereits erlernten) Wissens zur Lösung spezieller Aufgaben Eine mikroskopische Betrachtung führt zu Neuronalen Netzen Hier modelliert man die Träger der menschlichen Intelligenz (die Nervenzellen und ihre gegenseitige Vernetzung) Die Fähigkeit des Menschen aus Daten bzw. Erfahrungen Zusammenhänge zu abstrahieren soll nachgebildet werden Man zielt auf die Nutzung der Lernfähigkeit der funktionalen Einheiten des Gehirns 178

5 Abgrenzung zu Expertensystemen und Fuzzy-Systemen (2) Verarbeitung symbolisch numerisch verarbeitetes Wissen strukturiert unstrukturiert Expertensysteme Fuzzy Systeme Neuronale Netze (NN) 179

6 Das Gehirn als natürliches Vorbild ca. 100 Milliarden Neuronen Jedes Neuron ist mit ca bis anderen Neuronen verbunden kleinste funktionale Einheit enthält ca Neuronen Unterteilung in verschiedene Reaktionsorte (Sinneswahrnehmungen, motorische Tätigkeiten) Bei Schäden an Teilen des Gehirns kann die Aufgabe teilweise von anderen Stellen übernommen werden Das Gedächtnis ist nicht örtlich beschränkt sondern über die ganze Hirnrinde verteilt Antwortzeiten ms bis s Nervenzellen in der Hirnrinde 180

7 Das natürliche Neuron als kleinster Baustein Synapsen Dendriten Axon Endknöpfchen Komponenten: Zellkörper (Soma) Axon Dendriten Endknöpfchen Verbindung zu anderen Neuronen Synapsen 181

8 Funktionsweise eines Neurons Das Neuron empfängt Signale von anderen Neuronen über die Synapsen Die Synapsen bestimmen wie das ankommende Signal in das Neuron eingeht (Gewicht der Verbindung, kann auch negativ sein) Die Dendriten sind die Eingangskanäle des Neurons, sie leiten die Signale von den Synapsen in das Soma Die Signale werden im Soma des Neurons aufaddiert Wenn genügend Signalenergie vorhanden ist feuert das Neuron, d.h. es schickt nun selbst ein Signal an andere Neuronen Das Axon ist der Ausgangskanal des Neurons, es leitet das im Soma erzeugte Signal zu den Endknöpfchen Die Endknöpfchen stellen die elektrochemische Verbindung zu den Empfängerneuronen her (Synapsen) 182

9 Einige Eigenschaften natürlicher Neuronen Alle Vorgänge sind elektrochemischer Natur und damit merklich zeitbehaftet (die Fortpflanzungsgeschwindigkeit eines Impulses über das Axon liegt im Bereich 0,5 100 m/s) Die Erzeugung von Ausgangsimpulsen erfolgt nach dem Alles-oder- Nichts-Prinzip (feuern) Nach dem Auslösen eines Impulses dauert es einige Millisekunden, bis das Neuron wieder erregt werden kann (Refraktärphase) Synapsen können hemmend oder erregend sein Neuronen passen bei konstanter Reizung ihre Empfindlichkeit an Es gibt in natürlichen NN keinen Synchronismus 183

10 Lernen auf Neuronenebene Bekannteste Theorie (Donald Hebb): Wenn Paare von Neuronen gleichzeitig aktiv sind, werden die Verbindungen zwischen ihnen verstärkt (die Wege im Netz werden stärker gebahnt) Lernvorgänge werden also durch Änderung der Verbindungsstärken an den Synapsen erreicht Mögliche Änderungen: Strukturell = Form der Endknöpfchen, Form und Größe der Dendritenenden Chemisch = Zahl der Rezeptormoleküle, freie Menge der Übertragungsstoffe Strukturelle Änderungen finden dabei im relativ frühen Lebensalter statt Bei Erwachsenen erfolgen chemische Änderungen 184

11 Eigenschaften neuronaler Netze mit Bezug zur AT NN bilden nichtlineare Zusammenhänge ab und sind daher direkt für nichtlineare Regelungsprobleme einsetzbar NN verfügen über eine MIMO Struktur NN sind durch ihre massiv parallele Struktur robust gegenüber Fehlern in einzelnen Elementen NN können dazu benutzt werden zu Generalisieren und zu Interpolieren NN können Zusammenhänge aufgrund von Daten erlernen (ohne Modell) NN können online weiterlernen (Adaptivität) Für die Anwendung ist ein vereinfachtes mathematisches Modell eines Neurons erforderlich 185

12 Mathematisches Modell eines Neurons W. McCulloch und W. Pitts,

13 Leistungsfähigkeit eines einzelnen Neurons Beispiel mit Sprung als Aktivierungsfunktion 187

14 Anwendung: logische Funktionen 188

15 Grenze: XOR-Problem Lösung erfordert mehrere Neuronen Lösung mit 3 Neuronen in zwei Schichten 189

16 Neuronale Netze (einschichtig) Anordnung der Neuronen in mehreren Schichten Jedes Neuron ist mit allen Neuronen der Folgeschicht verbunden Einschichtiges Netz 190

17 Neuronale Netze (mehrschichtig) Multi-Layer-Perceptron 191

18 Erste Einteilung von NN synchrone und asynchrone Netze bei synchronen Netzen wird die Ausgabe aller Neuronen gleichzeitig berechnet (Voraussetzung: Keine Rückkopplungsschleifen) Bei mehrschichtigen Netzen erfolgt die synchrone Berechnung i. A. für jede Schicht in der Reihenfolge von der Eingangsschicht zur Ausgangsschicht bei asynchronen Netzen erfolgt die Berechnung der Ausgabe für jedes Neuron unabhängig von den anderen Neuronen statische und dynamische Netze Ein Neuron ohne gespeicherten Zustand berechnet seine Ausgabe rein aufgrund der aktuellen Eingabe statisches Netz Neuronen mit gespeichertem Zustand berechnen die Ausgabe als Funktion der Eingabe und des vorherigen Zustands. Für diesen Zustand müssen Übergangsregeln aufgestellt werden dynamisches Netz 192

19 Verbindungsstrukturen vorwärts lateral rückwärts 193

20 Aktivierungsfunktionen 194

21 Offenes Problem: Lernen in NN Aufbauend auf dem dargestellten mathematischen Modell eines Neurons lassen sich beliebig komplexe NN bilden Die zugrunde liegende Idee für das Lernen in solchen Netzen (Anpassung der Gewichte an den Synapsen bzw. Kanten) ist klar Problem: Das Modell gibt jedoch keinen Hinweis darauf, wie der Lernvorgang ablaufen soll Lösung: Zunächst natürliche Formen des Lernens untersuchen Daraus die prinzipielle Idee eines Lernalgorithmus ableiten Diesen Algorithmus so umformen, dass er auf das mathematische Modell passt Dabei zu beachten: Effizienz (Zeitaufwand, Implementierungsaufwand) Konvergenz (Stabilität der Lösung) Güte (Optimalität der Lösung) 195

22 Zusammenfassung und Lernkontrolle zur 7. Vorlesung Prinzipielle Funktion eines Neurons beschreiben können natürlich künstlich Mathematisches Modell eines einfachen Neurons entwickeln können Fähigkeiten und Grenzen einzelner Neuronen kennen Möglichkeiten zum Aufbau von Netzen kennen Synchronismus Dynamik Verknüpfungen Aktivierungsfunktionen Grundlegende Unterschiede zwischen natürlichen und künstlichen NN kennen 196