Neuronale Netze/ Soft Computing. Teil 3

Transkript

1 Neuronale Netze/ Soft Computing Teil 3 BiTS, Wintersemester 24/25 Dr. Stefan Kooths KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 1

2 Gliederung 1. Einführung und Einordnung 2. Neuronale Netze 1: Grundlagen 3. Neuronale Netze 2: Konzeption und Anwendung 4. Neuro--Systeme 5. Genetische Algorithmen 6. Zusammenfassung und Ausblick KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 2

3 Vorgehensweise Grundlagen der Logik Transformation eines Systems in ein BP-Netz Modifizierter BP-Algorithmus KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 3

4 Klassische Mengen und Mengen Zugehörigkeitsgrad (ZG) 1 klassische Menge (binäre Zugehörigkeit) Zugehörigkeitsgrad (ZG) 1 -Menge (graduelle Zugehörigkeit),5 "nicht warm" "warm",5 "fuzzy-warm" ,5 scharfer Trennwert Temperatur in C (b) α α-level-set (Zugehörigkeit α) Temperatur in C (b) Unschärfebereich Support (Zugehörigkeit > ) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 4

5 Fuzzifizierung Raumtemperatur linguistische Variable (LV) Ausprägungen angenehm vom Grad,82 kühl vom Grad,19 ZG 1,5 kalt kühl angenehm warm sehr warm ,7 scharfe Eingabe b linguistische Terme (LT j ) Definition von Zugehörigkeitsfunktionen -Mengen (F j ) Verbindung zwischen linguistischer und reelwertiger Ebene scharfe Basisvariable (B) Indikatorfunktion KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 5

6 Fuzzifizierung: Schwarz-Weiß-Grau-Beispiel KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 6

7 Fuzzifizierung: Ökonomisches Beispiel 1 ZG sehr niedrig Auslastungsgrad einer Maschine niedrig normal hoch sehr hoch, Betriebsstunden/Tag KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 7

8 -Mengen: Grundformen trianguläre Form Gauß-Form 1 ZG ZG 1,5,5 linke Weite rechte Weite,37 wl wr linke Weite (wl) Zentrum (z) rechte Weite (wr) b Zentrum (z) b KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 8

9 Gaußproblem: Dominanzeffekt der großen Weite ZG 1 ZG 1 rel. ZG1 F2 F1 rel. ZG1 F2 F1,5, KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 9

10 Randsättigung als Lösung des Gaußproblems 1 ZG kalt sehr warm, b KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 1

11 -Regeln: Aufbau und Inferenzprinzip Stilisierte Form einer -Regel IF Bedingung(en) THEN Reaktion auf Bedingung(en) Konditionalteil Konsekutivteil Inferenzprinzip -Regel Konditionalteil Übertragung des Erfülltheitsgrades (= Applikationsgrad der Regel) Konsekutivteil KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 11

12 -Inferenz: Beispiel Inflationsprognosen Determinante Erwartungsgröße ZG 1 hohe Arbeitslosigkeit (-Menge FW) ZG 1 niedrige Inflation (-Menge FD),5 hat Einfluß auf..., Arbeitslosenquote in % d Inflationsrate in % 4 e Konditionalteil Konsekutivteil 1 ZG ZG 1 Skalierung,5 ZG =,52 Übertragung des Applikationsgrades,5 Signifikanzgrad d d = 8,15 % Arbeitslosenquote in % Inflationsrate in % 4 e KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 12

13 -Regelbasis: Inflationsprognose fuzzifizierte Folgerung Inflationsrate in % e ZG 1, WENN sehr niedrige Arbeitslosigkeit DANN sehr hohe Inflation WENN niedrige Arbeitslosigkeit DANN hohe Inflation WENN normale Arbeitslosigkeit DANN normale Inflation DANN WENN hohe Arbeitslosigkeit DANN niedrige Inflation Regelbasis W E N N WENN sehr hohe AL DANN sehr niedrige Infl. 1 ZG,5,53,15 d d = 4,85 Arbeitslosenquote in % fuzzifizierte Bedingung KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 13

14 -Regelbasis: Laffer-Kurve (Abschätzung des Abgabenaufkommens) Abgabenaufkommen WENN niedriger Abgabensatz DANN mittleres Abgabenaufkommen WENN sehr niedriger Abgabensatz DANN niedriges Abgabenaufkommen WENN mittlerer Abgabensatz DANN hohes Abgabenaufkommen Abgabensatz WENN hoher Abgabensatz DANN mittleres Abgabenaufkommen WENN sehr hoher Abgabensatz DANN niedriges Abgabenaufkommen KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 14

15 -Inferenz: Akkumulation verschiedene Regeln mit identischen Konsekutivteil Signifikanzgrad = min(1,summe der Applikationsgrade) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 15

16 -Inferenz: Aggregation Auswertung mehrdimensionaler -Regeln -Und Minimum-Operator Produkt-Operator KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 16

17 -Regelauswertung im Überblick AGGREGATION AKKUMULATION INFERENZ i.e.s. Regel 1 Regel 2 Auswertung multidimensionaler Regelbedingungen IF-Term X2 IF-Term Y3 IF-Term X4 IF-Term Y2 ZG(X2) ZG(Y3) ZG(X4) ZG(Y2) Und Und ZG(X2 AND Y3) ZG(X4 AND Y2) THEN-Term E4 THEN-Term E4 identischer Konsekutivterm E4 Regelbündelung bei identischem Konsekutivterm ZG(X2 AND Y3) ZG(X4 AND Y2) ZG(E4) Konsekutivterm E4 gewichtete -Partitionierung der Erwartungsgröße E5 fuzzifizierte Erwartungsgröße e Regel 3 IF-Term X1 IF-Term Y5 ZG(X1) ZG(Y5) Und ZG(X1 AND Y5)... THEN-Term E1 Konsekutivterm E1 ZG(X1 AND Y5) = ZG(E1) Konsekutivterm E1 E4 E3 E2 Regel n-1 Regel n IF-Term X5 IF-Term Y2 IF-Term X4 IF-Term Y3 ZG(X5) ZG(Y2) ZG(X4) ZG(Y3) Und Und ZG(X5 AND Y2) ZG(X4 AND Y3) THEN-Term E5 THEN-Term E5 identischer Konsekutivterm E5 ZG(E5) ZG(X5 AND Y2) ZG(X4 AND Y3) Konsekutivterm E5 E1 ZG 1 ZG(E4) ZG(E5) Ergebnis: Applikationsgrade der Regeln Ergebnis: Signifikanzgrade der Konsekutivterme -Inferenzergebnismenge KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 17

18 Defuzzifizierung Suche nach dem repräsentativen scharfen Wert der Outputbasisvariablen Center-of-Maximum-Verfahren Center-of-Maximum-Verfahren 1 ZG,5 SIW = ^e (gewichtete Zentren) e KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 18

19 Defuzzifizierung Suche nach dem repräsentativem scharfen Wert der Outputbasisvariablen Center-of-Area-Verfahren Center-of-Area-Verfahren 1 ZG,5 SIW = ^e (Flächenschwerpunkt) e KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 19

20 -Inferenzprozess KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 2

21 -Regelung (-Control) linguistische Ebene Fuzzifizierung Inferenz IF... THEN... IF... THEN... IF... THEN... Defuzzifizierung -Regler reellwertige Ebene gewünschtes Systemergebnis Sollwertvorgabe! scharfer Systemoutput scharfe Umweltzustände Regelstrecke (technisches System) scharfe Stellgrößen scharfe Störgrößen Systemumgebung (exogene Einflüsse) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 21

22 Wissensbasis eines Regelsystems KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 22

23 Motivation für Neuro--Systeme KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 23

24 Hybrides Neuro--System 1. Schicht 2. Schicht 3. Schicht 4. Schicht 5. Schicht Eingabebasisneuronen Eingabetermneuronen Konditionalneuronen Konsekutivneuronen/ Ausgabetermneuronen Defuzzifizierungsneuron/ Ausgabeneuron Regelbasis/ Inferenzmaschine scharfer Wert von Determinante 1 scharfer Wert von Determinante 2 scharfer Erwartungswert Signalverteilung Determinanten- Fuzzifizierung Aggregation Konklusion/ Akkumulation Erwartungsgrößen- Defuzzifizierung KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 24

25 Variablenfuzzifizierung: Subnetz-Extraktion scharfer Wert von Determinante 1 scharfer Wert von Determinante 2 scharfer Erwartungswert KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 25

26 Umbau des Subnetzes für die Outputfuzzifizierung scharfer Erwartungswert tatsächlicher scharfer Wert der Erwartungsgröße KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 26

27 Wettbewerbliches Regeltraining vollverknüpfte Regelbasis scharfer Wert von Determinante 1 scharfer Wert von Determinante 2 Eingabesignalfluß für Konditionalteil g 4 m,k Erwartungsgrößenfuzzifizierung Eingabesignalfluß für Konsekutivteil tatsächlicher scharfer Wert der Erwartungsgröße KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 27

28 BP-Training des Gesamtsystems 1 (Rückwälzung des Fehlersignals) Prognosefehler KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 28

29 BP-Training des Gesamtsystems 2 (Rückwälzung des Fehlersignals) Prognosefehler KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 29

30 BP-Training des Gesamtsystems 3 (Rückwälzung des Fehlersignals) Prognosefehler KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 3

31 BP-Training des Gesamtsystems 4 (Rückwälzung des Fehlersignals) Prognosefehler KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 31

32 Neuverknotung bei Termzentrentausch scharfer Wert von Determinante 1 scharfer Wert von Determinante 2 scharfer Erwartungswert KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 32

33 Modifizierter BP-Algorithmus keine Anpassung ALTE WEITEN Anpassung ALTE ZENTREN ALTE REGELGEWICHTE 2a konstante Überlappung lernen 1 lernen keine Anpassung 3 keine erlernte Weitenänderung 4 Error-Backpropagation-Algorithmus mit Perzeptionsintervall und optionaler Randsättigungsabschmelzung 4 konstante exogene Gewichtung aller Regeln 5 optionale Extremwertlimitierung 6 Negativkorrektur Negativkorrektur 2b optionale relative Deckelung der trainierten Parameteränderung 7 Weiten proportional zum Zentrenabstand optionale Konservierung der Regelbasis 11 optionale maximale Nachbartermüberlappung 9 b) optionale Weitenreduktion a) optionale Zentrenverschiebung 8 Normierung 1 optionale minimale Nachbarzentrenüberlappung und obligatorische Mindesttermüberlappung (triang. ZGF) obgligatorische Untergrenze: Weiten,1 NEUE WEITEN NEUE ZENTREN NEUE REGELGEWICHTE KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 33

34 AND AND AND AND AND AND AND AND AND Einsatz als Prognosewerkzeug -Erwartungsgenerator für Periode ts -Erwartungsgenerator für Periode ts+1 Inferenz IF... THEN... IF... THEN... IF... THEN... Inferenz IF... THEN... IF... THEN... IF... THEN... Fuzzifizierung Defuzzifizierung Transformation in äquivalentes neuronales Netz Retransformation in -System Fuzzifizierung Defuzzifizierung beobachtbare Vergangenheitsgrößen Erwartungswert Parametertraining in Abh. des Progonsefehlers in Periode ts Prognosefehler tatsächlicher Wert der Erwartungsgröße Periode ts-1 Periode ts Periode ts+1 Periodenende Periodenanfang Periodenende Erwartungen ökonomisches Modell Ergebnisse Zeit KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 34

35 Gliederung 1. Einführung und Einordnung 2. Neuronale Netze 1: Grundlagen 3. Neuronale Netze 2: Konzeption und Anwendung 4. Neuro--Systeme 5. Genetische Algorithmen (Überblick) 6. Zusammenfassung und Ausblick KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 35

36 Grundidee Kodierung der Problemlösung in Chromosomenform (meist -1-Strings) Erzeugung einer Population möglicher Lösungen Bewertung über Fitnessfunktion Weiterentwicklung der Population (Generationen) Selektion/Reproduktion Crossover/Recombination Mutation Anwendung kein abzählbarer Lösungsraum Ziel: gute (nicht zwingend perfekte) Lösung geeignet bei zerklüfteten Suchräumen KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 36

37 Neuronale Netze und Genetische Algorithmen Neuronale Netze (EBP) Genetische Algorithmen 1 4,8 3,6 2 F(x1;x2),4,2 F(x1;x2) 1-1 -,2-2 x1 2 2 x x x2 1 KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 37

38 Selektion und Reproduktion Survival of the fittest Mating Pool Individuenauswahl aus bestehender Population (Eltern) für die Bildung der nächsten Generation (offspring) Ziehen mit Zurücklegen Auswahlwahrscheinlichkeit steigt mit zunehmender Fitness Selektionsalgorithmen Stochastic Universal Sampling fitnessproportional rangbasiert Tournament Selection (Elite Selection) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 38

39 Stochastic Universal Sampling KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 39

40 Crossover/Recombination Suchoperator zur Erzeugung neuer Lösungen aus dem Mating Pool zufälliger Austausch von Teilabschnitten der Zeichenkette der Eltern Crossover-Wahrscheinlichkeit: ca. 6 % Bsp.: Ein-Punkt-Crossover, binäre Zeichenkette: KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 4

41 Mutation zufällige Veränderung einzelner Elemente der Zeichenkette (background-operator) Abkürzung des Crossover-Verfahrens wirkt lokalen Optima entgegen Mutationswahrscheinlichkeit: ca. 1 % KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 41

42 Ökonomisches Beispiel: Monopolmenge KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 42

43 Ökonomisches Beispiel: Monopolmenge (Forts.) KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 43

44 Pseudocode des Genetischen Algorithmus Terminierungskriterien vorgegebene Generationenanzahl (Obergrenze) Gütekriterium für beste Lösung keine Verbesserung der Lösung KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 44

45 Anwendungsbeispiel: Kodierung einer -Regel KOOTHS BiTS: Neuronale Netze / Soft Computing, WS 24/25 Teil 3 45