Structurally Evolved Neural Networks for Forecasting

Transkript

1 Structurally Evolved Neural Networks for Forecasting - Strukturierte neuronale Netze für Vorhersagen Institut für Informatik - Ausgewählte Kapitel aus dem Bereich Softcomputing

2 Agenda Grundlagen Neuronale Netze Backpropagation Networks Feststellungen Evolutionäre Algorithmen Der genetische Algorithmus Der strukturierte genetische Algorithmus sga vs GA Strukturierte neuronale Netze zur Vorhersage Experimentelle Validierung Diskussion der Ergebnisse Ausblick 1

3 Agenda Grundlagen Neuronale Netze Backpropagation Networks Feststellungen Evolutionäre Algorithmen Strukturierte neuronale Netze zur Vorhersage Zusammenfassung und Ausblick 2

4 Neuronale Netze - Idee Künstliche Intelligenz Beobachtung und Nachahmung menschlichen Verhaltens Verarbeitung von Symbolen Künstliche Neuronale Netze Nachbau der menschlichen Hardware Verarbeitung von Reizen 3

5 Natur Menschliches Gehirn Hirnzellen (Neuronen) Vernetzung Reizübermittlung Parallele Verarbeitung Lernen Künstliche Neuronale Netze versuchen diese Mechanismen zu simulieren. 4

6 Neuronale Netze - Beispiel Inputschicht Hidden Outputschicht Einfaches LayerMultilayer Perzeprton Empfang Nur Empfängt Vorwärtsverknüpfungen der und Signale Siganle Weitergabe vom von System der nur (Feed Systemaußenwelt innerhalb forward des net) Systems Interne Keine Gibt Signale Schicht Weiterveratrbeitung weiter wird übersprungen an die Systemaußenwelt 5

7 Neuronale Netze - Lernen Überwachtes Lernen Training, Eingabe und korrekte Ausgabe bekannt Wird mit tatsächlicher Ausgabe verglichen Daraufhin Änderung des Netzes Bestärkendes Lernen Ausgabe ist korrekt oder inkorrekt Netz erfährt nicht den exakten Unterschiedsbetrag Unüberwachtes Lernen Ziel nicht bekannt Netz erkennt Ähnlichkeitsklassen selbst 6

8 Neuronale Netze - Anwendung Beispiele zur Anwendung: Regelung und Analyse komplexer Prozesse Frühwarnsysteme Optimierung Zeitreihenanalyse Bildverarbeitung und Mustererkennung Roboter und Agenten... 7

9 Backpropagation Networks Tripartiter Graph ( feedforward network ) Eingabeschicht: n Knoten ( Neuronen ) Verborgene Schicht: k Knoten, k 1 Designparameter Ausgabeschicht: m Knoten Vollständige Verbindung einer Schicht mit der nächsten Keine Sprung-, Quer-, Rückverbindungen Verbindung = Kante ( Synapse ) mit bewerteten Gewichten 8

10 Verhalten eines BP-Netzes Modellierung von Eingabe-Ausgabe-Mustern Eingaben x R n quantitativ, Ausgaben y R m quantitativ Ziel: Hohe Prognosegenauigkeit von x y(x w) Überwachtes Lernen der Gewichte w Eingabewerte werden an die Eingabeneuronen gegeben Schichtweise Berechnung der Werte an den Kanten bzw. in den Knoten Feststellung der Zahlenwerte an den Ausgabeneuronen 9

11 Backpropagation Zusammenfassung des Algorithmus Vorwärtsdurchlauf Berechne zu angelegtem Muster Ausgabe y Ermittle Fehler y -ŷ Berechne δ-werte für letzte Schicht und passe Gewichte an Rückwärtsdurchlauf Berechne δ-werte für versteckte Schichten von hinten nach vorne und passe Gewichte an Wiederhole Durchlauf mit neuem Muster 10

12 Backpropagation Parameterwahl Anzahl verborgene Schichten Anzahl Knoten in verborgenen Schichten Lernrate Faustregeln verfügbar, Optimierung durch Ausprobieren Testfrage: Generalisierung erreicht? 11

13 Anwendungsmöglichkeiten Verbreitete Anwendungen Prognosen auf Basis von Querschnittsdaten (z. B. Diagnose) Prognosen auf Basis von Zeitreihen (z. B. Stromverbrauchsprognosen) Steuerung (z. B. Robotik), hier auch Neuro-fuzzy techniques Weiter häufig genannt: Klassifikationsaufgaben Mustererkennung Textkategorisierung (Krankheits-)Diagnose Bonitätsprüfung... 12

14 Feststellungen Schwerigkeit eine optimale ANN-Konfiguration für ein gegebenes Problem zu finden Verhalten eines ANN kann sehr komplex sein ANN können nicht auf einfache Weise in ein Projekt eingebunden werden Parameterauswahl muss vom Nutzer getroffen werden Auch bei erfahrenem Nutzer oft durch trial and error BP bleibt oft bei lokalen Optima stecken 13

15 Agenda Grundlagen Evolutionäre Algorithmen Der genetische Algorithmus Der strukturierte genetische Algorithmus sga vs GA Strukturierte neuronale Netze zur Vorhersage Zusammenfassung und Ausblick 14

16 Evolutionäre Algorithmen Idee: Evolution kann als Lernprozess (Anpassung an Umwelt) gesehen werden. Deshalb Imitation der grundlegenden Elemente von Evolution und Vererbung Klassische Anwendung von Evolutionären Algorithmen: Optimierung Einsatz für KI-Anwendungen möglich und sinnvoll 15

17 Evolution Elemente der Evolution Population = mehrere Individuen Bei der Vererbung werden Eigenschaften von (meist) zwei Individuen kombiniert und weitergegeben Das entstehende Individuum hat sich in der Natur gegen andere durchzusetzen Schlechte Individuen haben weniger Möglichkeiten, ihre Eigenschaften weiterzugeben, als gute Survival of the fittest 16

18 Der Genetische Algorithmus Mechanismen Mehrere potenzielle Lösungen gleichzeitig Codierung Fitness Selektion Rekombination/Crossover und Mutation 17

19 Der Genetische Algorithmus Der Grundalgorithmus Initialisierung (Erschaffen der ersten Generation) Evaluierung (Bewerten der ersten Generation) Wiederhole Erschaffen neuer Individuen Evaluierung (Bewerten der aktuellen Generation) Bis eine Abbruchbedingung erfüllt ist Das beste Individuum stellt dann die Lösung dar. 18

20 Codierung Während die Natur bei ihren Genen die Codes mit vier verschiedenen Elementen aufbaut, ist es bei GA üblich, binär zu arbeiten. Eine potenzielle Lösung (= ein Individuum) muss also in irgendeiner Weise binär codiert werden. Beispiel: Normale binäre Codierung von natürlichen Zahlen 0000 = = = = = = = = = = = = = = = = 15 Man beachte, dass bei festgelegter Länge der Individuen nur eine endliche Zahl dargestellt werden kann. 19

21 Fitness Jedem Individuum wird eine Fitness zugeordnet, die etwas mit seiner Nähe zum Optimum zu tun hat Der Bitstring eines Individuums ist also zu decodieren und mit einem Fitnesswert zu bewerten. Beispiel: f(13) 20

22 Selektion Die fittesten Individuen sollen eine größere Chance haben, Ihre Eigenschaften weiterzugeben. Entsprechend muss eine passende Wahrscheinlichkeit für das Überleben (bzw. die Weitergabe von Eigenschaften) vergeben werden. Dann üblich: Fitnessproportionale Auswahl roulette wheel 21

23 Crossover Verfahren: 1-Point-Crossover: 2-Point-Crossover: 22

24 Mutation In der Natur sind oft leichte zufällige Abweichungen im Erbgut festzustellen. Der Sinn der Mutation liegt darin, neue Aspekte, die in den Eltern-Genen nicht vorhanden waren, zu ermöglichen. Bei der Mutation wird praktisch irgendein Bit mit geringer Wahrscheinlichkeit gekippt. 23

25 Parameter Festzulegende Parameter: Populationsgröße Selektions-WS Crossover-Methode Mutations-WS Abbruchkriterium/Laufzeit Die Parameterwahl hat durchaus Einfluss auf die Qualität des Ablaufs. 24

26 Der strukturierte genetische Algorithmus Der sga als Variante des GA Bereits bei irreführenden und nicht-stationären Fitness-Räumen als effektiver i. V. zum GA herausgestellt Nutzt hierarchische Beziehungen zwischen den Genen Gene werden weiterhin in linearer Form im Chromosom gespeichert Somit können die allgemeinen Crossover- und Mutations-Operatoren eingesetzt werden 25

27 Hierarchische Organisation des sga Control-Gene Parametrische Level Gene Ebene Gene, Eine hierarchische die keinerlei der Lage Einfluss Stufe, sind auf den auf der den nur Aktivierungs-Status Control paramtrische Gene Gene vorhanden anderer Gene sind haben zu beeinflussen 26

28 sga vs GA sga interpretiert das Chromosom als hierarchische genomische Struktur Gene können aktiv oder passiv sein Nur aktive beeinflussen die Fitness Passive sind neutral und werden als genetisches Material mitgeführt High Level Genes können andere Gene aktivieren oder deaktivieren Die Wahrscheinlichkeit in einem lokalen Optimum stecken zu bleiben wird noch geringer 27

29 sga zum Trainieren von ANN Effektive Methode zum simultanen Herleiten der ANN- Topologie und der Verbindungsgewichte Zeitliche Verbesserung Verbreitung der evolutionären Algorithmen zur automatischen Entwicklung von ANN sga als mögliche Lösung für die Anwendungsprobleme der ANN SENNGA Structurally evolved Neural Network Generator Algorithm 28

30 Agenda Grundlagen Evolutionäre Algorithmen Strukturierte neuronale Netze zur Vorhersage Experimentelle Validierung Diskussion der Ergebnisse Zusammenfassung und Ausblick 29

31 Motivation Weiterentwickelte ANN (oder genauer evolved Multilayer-Perceprtrons) bei einem Vorhersage-Problem Ziel: Überprüfung der Effektivität des sga bei der Generierung von ANN zur Vorhersage i. V. mit einem GA Untersuchung wie das Codierungs-Schema die sga- Performance beeinflusst 30

32 Verwendete sga zur ANN-Generierung Two-Level-sGA Control-Level: Kodierung der Verbindungen Parametric Level: Kodierung der Gewichte Three-Level-sGA (I) Control-Level 1: Kodierung versteckter Neuronen Control-Level 2: Kodierung der Verbindungen Parametric Level: Kodierung der Gewichte Three-Level-sGA (II) Control-Level 1: Kodierung von hidden layers Control-Level 2: Kodierung von hidden nodes Parametric Level: Kodierung der Gewichte Four-Level-sGA Control-Level 0: Kodierung von hidden layers Three-Level-sGA (I) 31

33 Fitness-Funktion Population s smallest error in the current generation Population s smallest number of ANN Desired connections emphasis to reducing the current ANN generation size e min x ( 1 -Φ) c min x Φ f ind = + Fitness of an individual e ind Training error for a given individual in the population c ind Number of connections in the current generation 32

34 Mackey-Glass-Zeitreihe Y t = Y t ,5 * ( 0,2*Y t Y t-5 10 ) - 0,1* Y t-1 Chaotische Zeitreihen-Funktion Offensichtliche Zufälligkeit Ähnlichkeit zu beobachteten Trends auf Wirtschaftsund Finanzmärkten 33

35 Experimentelles Vorgehen 2000 Datensätze Erste 200 zum Training des ANN Letzte 200 zum Testen der Verallgemeinerung Simulationen starten mit dem GA Hinzufügen eines zusätzlichen Control-Levels Zwei Four-Level-Simulationen Mit zwei hidden layers Mit vier hidden layers 34

36 Experiment Level Error Sum (%) Final Error (%) (0) 73,99 (0) (70) 15,51 (79) (70) 15,67 (79) 4a (71) 16,30 (78) 4b (73) 14,59 (80) Tabelle 1: Training Errors and Real Time Generelle Steigerung der Genauigkeit bei jedem zusätzlichen Control-Level Ausnahme: 4-Level-sGA mit 2 hidden layers Die Anzahl der hidden layers beeinflusst also die Konvergenz des sga 35

37 Experiment Level Time Test Error 1 77,31 230, ,27 82, ,75 75,38 4a 68,68 66,53 4b 68,34 64,05 Tabelle 2: Real Time and Test Errors Level Connections Connections (%) , , a 15, b 13,32 85 Tabelle 3: Connections Jedes hinzugefügte Control-Level verringerte den Test Error (die letzten 200 Mackey-Glass-Datensätze) Jedes hinzugefügte Control-Level verringerte die Anzahl von Verbindungen Die Unterschiede zwischen GA und sga sind signifikant 36

38 Ergebnis Zusätzliche Control-Level verbessern die Vorhersage der Zukunfts-Daten Allgemeine Verbesserung beim Training Error, Testing Error, Simulation Time, ANN Größe Starker Beweis für die Vermutung, dass die optimale Anzahl an Gen-Leveln 4 ist 3 Control-Level 1 parametric Level Alle sga übertrafen den GA sga als Methode besserer Performance und Genauigkeit bei Vorhersage-Probleme 37

39 Agenda Grundlagen Evolutionäre Algorithmen Strukturierte neuronale Netze zur Vorhersage Ausblick 38

40 Ausblick Vielen Dank für die Aufmerksamkeit und ein frohes Weihnachtsfest! 39