Konzepte der AI Neuronale Netze

Transkript

1 Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien

2 Was sind Neuronale Netze? Simulation des Gehirns [Erklärung menschlichen Verhaltens] biologische Informationsverarbeitung Konzept zur Lösung von Problemen [ techn. Aspekt ] Mustererkennung Vorhersage Planen Diagnose... 2

3 Vorteile Weniger notwendig relevante Faktoren der Eingabe zu bestimmen (im Gegensatz zu wissensbasierten Systemen) Im Gegensatz zu statistischen Modellen einfacher zu entwickeln Fehlertolerant Verteilte Wissensrepräsentation Inherente Parallelität Lernen (Anpassung von Parameter) Gute Ergebnisse bei Klassifikation und Vorhersage 3

4 Geschichte 943 McCulloch und Pitts, erstes Neuronenmodell ohne Lernen 949 Hebb, Lernen von Synapsengewichten 957 Rosenblatt, Perceptron mit 3 Schichten 969 Minsky und Pappert, vernichtende Kritik fehlende Möglichkeiten in Schichten Modellen zu lernen. 984 Kohonen, 2-Ebenen Modell als Assoziativer Speicher 986 Rumelhart et al., Backpropagation als Lernmethode für Schichten Modelle Verbesserungen bei Lernalgorithmen, Anwendungen,... 4

5 Klassifikation Klassifikation nach mehreren Gesichtspunkten möglich: Applikationsorientiert Modellorientiert (Perceptrons, Hopfield Nets, Kohonen Maps, Backpropagation,... ) Nach der verwendeten Aktivierungsfunktion (Linear, Nichtlinear,... ), des Lernverfahrens (supervised, reinforcement, unsupervised) oder der Konnektivität (feedforward, recurent) 5

6 Neuronen (Units) Artificial Neuron y j- w i Input Activation x j i act a i j Output y j i j- y N j- w N j- i Eine Unit besteht aus einer Input, einer Activation, und einer Output Funktion. Die Standard Input Funktion ist die Aggregationsfunktion Die Output Funktion wird normalerweise nicht verwendet. An ihre Stelle tritt die Erregungsfunktion (Activation Function). Verbindung von Neuronen über gewichtete Kanten (Synapsen mit Synapsengewichten ). 6

7 Aktivierungsfunktionen Berechnung der Aktivierung (= Erregung) eines Neurons, erfolgt entweder zu diskreten Zeitpunkten oder kontinuierlich (analoge Netze). Output Hard Limiter Output Threshold Logic 0 Aggregated input 0 Aggregated input Sigmoid Output 0 Aggregated input Lineare Schwellwert Funktion (Hard Limiter) Lineare Funktion (Threshold Logic) Sigmoide Funktion (Sigmoid) 7

8 Schichtenmodell Output Layer Hidden Layer Input Layer Schichten (Layers) Input Layer Hidden Layer(s) OutputLayer Neuronen im selben Layer sind im einfachen Modell nicht verbunden. Z.B. Perceptron mit 2 Schichten Kann nichtlineare Funktionen nicht lernen: XOR-Problem 8

9 Lösung des XOR-Problems XOR-Verhalten I 0 0 I2 0 0 O 0 0 Perceptron mit Hidden Layer (Activation Function: Schwellwertfunktion if otherwise ) I - H O I2 - H2 9

10 Berechnung I I2 H H H2 H2 O O I I2 H H H2 H2 O O I I2 H H H2 H2 O O I I2 H H H2 H2 O O 0

11 Lernen in Neuronalen Netzen Lernen über Gewichtsveränderungen Supervised Learning: Lernalgorithmus minimiert den Fehler zwischen den berechneten und gewünschten Output. Reinforcement Learning: Lernalgorithmus adaptiert Gewichte basierend auf Maximierung einer Belohnung (Reward) (oder Minimierung Bestrafung (Punishment)), die Aufgrund des berechneten Outputs ausgesprochen wird. Unsupervised Learning: Optimierung von Gewichten basierend auf Kriterien, die das Netz selber hat. Backpropagation Learning (Supervised, für Multi-Layer Feedforward Netze)

12 Backpropagation Learning. [Forwardpropagation] Ausgehend von gegebenen Input-Werten berechne die Output-Werte. 2. [Backpropagation] Berechne das Fehlersignal ausgehend von den erwarteten Werten. Falls Neuron in der Output Schicht liegt: mit als aggregierter Input, der erwartete Output, und der berechnete Output. Falls Neuron ein Hidden Neuron ist: Berechne die Gewichtsänderung, wobei der berechnet Output von Neuron, die Lernrate und das Fehlersignal ist. 3. Wiederhole beide Phasen bis der Ausgangsfehler kleiner als ein gegebener Wert ist. 2

13 Backpropagation Learning (II) Wird als Activation Function die Sigmoide Funktion gewählt, so erhält man: und wir können die Berechnung wie folgt vereinfachen: für Output Neuronen bzw. für Hidden Neuronen. 3

14 Beispiel Forward Propagation 0 0 U U U3 U U U5 U5 U5 U4 U4 U4 U5 U5 U5 U4U5 Die anderen -Werte werden analog berechnet: U3 U2 U 4

15 Beispiel (II) Berechnung der Gewichtsänderungen (mit Lernrate ): U4U5 U5 U4 Somit ergibt sich ein neues Gewicht U4U5 Die anderen Gewichtsänderungen werden analog dem Beispiel berechnet. Anmerkung: Die angegebene Zahlen sind gerundet wiedergegeben. Backward Propagation U U U3 U = 0.7 U =

16 Backpropagation Netze - Probleme Anzahl der Hidden Neurons und der Lernrate vom Anwendungsgebiet abhängig Schnelle Konvergenz zu einer (optimalen) Lösung nicht immer gegeben. Nur lokales Minimum möglich. Optimale Minima können während des Lernens verlassen werden. Gefahr der Überlernens 6

17 Probleme (II) globales Minimum lokales Minimum flaches Plateau globales Minimum globales Minimum lokales Minimum lokales Minimum globales Minimum 7

18 Bias Neuronen Bias Wert bei der Berechnung des aggregierten Inputs. Kann auch durch ein Neuron in vorhergegangenen Schicht dargestellt werden, das mit dem anderen Neuron verbunden ist. Dieses Bias Neuron liefert immer am Ausgang. Der Bias Wert ergibt sich dann aus dem Gewicht. Lernen erfolgt mit dem Backpropagation-Algorithmus. Teilweise bessere Lernergebnisse 8

19 Elman Netz Context Units Partiell rekursives Netz Erweiterung des Backpropagation Netzes Für jedes Neuron des Hidden Layers eine State Neuron. Der Output des Hidden Neurons ist Input des State Neurons. Das Gewicht der Verbindung ist. Jedes State Neuron ist mit allen Hidden Neurons verbunden. Kann Zeitreihen (wo vorhergegangene Informationen wichtig sind) darstellen. 9

20 Modified Elman Netz Wie Elman Netz aber zusätzlich ist jedes State Neuron mit sich selber verbunden. Der Output eines State Neurons durch: ist gegeben wobei der Output des zugehörigen Hidden Neurons ist. Neuron Inertia Optimal zur Modellierung von nichtlinear Zeitreihen 20

21 Anwendungen Vorhersage von Ozonkonzentrationen (besser als physikalisch/chemisches Modell und statistisches Modell) Vorhersage von Strompreisen Entschwefelung VA Stahl Andere Anwendungen: Mustererkennung (Schrifterkennung), Gesichterkennung, Vorhersage von Aktienkursen,... 2

22 Anwendungen - Vorhersage BEFORE LEARNING AFTER LEARNING 22