Adaptive Systeme. Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff

Transkript

1 Adaptive Systeme Evolutionäre Algorithmen Teil II Evolutionsfenster durch Mutation und sexuelle Rekombination Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff

2 Evolutionäre Algorithmen Zwei Fitness Modelle: Kugelmodell N 1 f x = n=0 x n 2 Korridormodell x 2 x 1 x 0 f x =x 0 mit den Beschränkungen x i B für 1 i N 1 bzw. g i x = x i für 1 i N 1 x 2 x 0 x 1 Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 2

3 Evolutionäre Algorithmen Lokaler Fortschritt Der lokale Fortschritt ist definiert als die mittlere Strecke, die in einer Generation in Richtung des Optimums x o zurückgelegt wird. x E x o x N Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 3

4 Evolutionäre Algorithmen Die Erfolgswahrscheinlichkeit P Erfolg ist definiert als die relative Häufigkeit der erfolgreichen Mutationen. Anzahl erfolgreicher Mutationen P Erfolg = Gesamtzahl der Mutationen x E x o x N x N Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 4

5 (1+1)-Evolutionsstrategie Fortschritt im Korridormodell Betrachte Korridormodell mit N = 2 f x = f x 0, x 1 =x 0 und x 1 B x 1 x 0 x E,0, x E,1 Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 5

6 Optimale Varianz Gegeben sei eine (1+1)-Evolutionsstrategie. (1+1)-Evolutionsstrategie Maximaler lokaler Fortschritt für das Korridormodell d d =d d N 1 2 B = B =0 N 1 2 N B opt = 2 N B N B Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 6

7 (1+1)-Evolutionsstrategie Adaption der optimalen Varianz σ Wie wird die optimale Standardabweichung opt bestimmt? Betrachte Korridormodell mit N = 2 x 1 Erfolgswahrscheinlichkeit x E x N x N x 0 Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 7

8 (1+1)-Evolutionsstrategie Erfolgswahrscheinlichkeit in Abhängigkeit von σ Erfolgswahrscheinlichkeit für Korridormodell mit N = 2 P Erfolg x E,0, x E,1 = x N,0 =x E,0 = 1 2 B x N,1 = B x N,0 =x E,0 p x N,0, x N,1 x E,0, x E,1 dx N,0 dx N,1 exp x N,0 x E, B x N,1 = B dx N,0 2 2 exp x x N,1 E, dx N,1 Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 8

9 (1+1)-Evolutionsstrategie Erfolgswahrscheinlichkeit in Abhängigkeit von σ Erfolgswahrscheinlichkeit für Korridormodell mit N = 2 P Erfolg x E,0, x E,1 = 1 0 e 2 d = = B x E,1 / 2 B x E,1 / 2 B x E,1 / 2 B x E,1 / 2 e 2 d e 2 d = 1 4 { erf B x E,1 2 erf B x E,1 2 } Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 9

10 (1+1)-Evolutionsstrategie Erfolgswahrscheinlichkeit in Abhängigkeit von σ Erfolgswahrscheinlichkeit für Korridormodell mit N = 2 P Erfolg = 1 2B B x E,1 = B P Erfolg x E,0, x E,1 dx E,1 = 1 2 { erf 2 B 2 B 1 e2 B 2 / 2 } P Erfolg = B für B Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 10

11 (1+1)-Evolutionsstrategie Erfolgswahrscheinlichkeit in Abhängigkeit von σ Erfolgswahrscheinlichkeit für das Korridormodell P Erfolg = N 1 2 B für B Für die optimale Standardabweichung N 1 P Erfolg = N Wegen lim 1 x N =e x gilt für große N: N N P Erfolg = 1 2e =0,1839 opt = 2 N B folgt Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 11

12 (1+1)-Evolutionsstrategie Für B geht das Korridormodell in die Modellfunktion einer linear ansteigenden Fitness über. Lokaler Fortschritt φ= σ 2 π Erfolgswahrscheinlichkeit P Erfolg = 1 2 Klar! Warum? Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 12

13 (1+1)-Evolutionsstrategie Eine analoge Rechnung im Kugelmodell liefert den lokalen Fortschritt im Kugelmodell = 2 { exp N 2 8 R N 8 R [ 1 erf N 8 R ]} Für N 2 1 R N 8 R = 2 N 2 4 R Optimale Standardabweichung für das Kugelmodell opt = 1,224 N R Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 13

14 (1+1)-Evolutionsstrategie Erfolgswahrscheinlichkeit für das Kugelmodell P Erfolg = 1 2 [ 1 erf N 8 R ] für N 1 Mit der optimalen Standardabweichung folgt P Erfolg =0,270 Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 14

15 (1+1)-Evolutionsstrategie Vergleich von Korridor- und Kugelmodelle opt P Erfolg Korridormodell 2 N B 1 2e =0,1839 Kugelmodell 1,224 N R 0,270 Schrittweitenanpassung durch Einstellung der für einen optimalen Fortschritt näherungsweise geltenden Erfolgswahrscheinlichkeit von P Erfolg 1 5 Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 15

16 (1+1)-Evolutionsstrategie Adaptive Anpassung der Varianz mit 1/5-Erfolgsregel Erzeugung eines Nachkommens durch Mutation x N t = x E t z t Selektion x E t 1 ={ x N t, f x N t f x E t x E t, sonst Schrittweitenanpassung Die Streuung wird vergrößert, falls P Erfolg 1. 5 Die Streuung wird verkleinert, falls P Erfolg 1. 5 Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 16

17 Evolutionäre Algorithmen Evolutionsstrategie (1+1)-Evolutionsstrategie mit 1/5-Erfolgsregel MATLAB (Kugelmodell) % Anzahl der Komponenten n=100; % Initialisierung xe=ones(n,1); s=1; fe=sum(xe.^2); % Generationen for t=1:1000 % Mutation xn=xe+s*randn(n,1); fn=sum(xn.^2); % Selektion if fn<fe xe=xn; fe=fn; s=s*1.3; else s=s/(1.3^0.25); end end Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 17

18 Evolutionäre Algorithmen Evolutionsstrategie (1+1)-Evolutionsstrategie Korridormodell ' = N B K o r r i d o r m o d e l l K u g e l m o d e l l Kugelmodell ' = N R ' P E r f o l g Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 18

19 Evolutionäre Algorithmen Evolutionsstrategie (1+1)-Evolutionsstrategie Evolutionsfenster Korridormodell ' = N B ' = N B Kugelmodell '= N R '= N R ' K o r r i d o r m o d e l l K u g e l m o d e l l ' Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 19

20 Evolutionäre Algorithmen Evolutionsstrategie (1+ )-Evolutionsstrategie Initialisierung Ein N-dimensionaler Vektor x E 0 R N wird zufällig gewählt. Setze t=0. Mutation Der Elter x E t in der Generation t erzeugt durch Mutation Nachkommen x N, j t ; die Mutationsschrittweite des Elters wird ebenfalls mutiert. Selektion Das beste Individuum der 1+ Individuen aus { x E t } { x N,1 t, x N,2 t,, x N, t } wird zum Elter der nächsten Generation t 1. Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 20

21 Evolutionäre Algorithmen Evolutionsstrategie (1, )-Evolutionsstrategie Erzeugung von Nachkommen durch Mutation x N,1 t = x E t z 1 t x N,2 t = x E t z 2 t x N, t = x E t z t mit den mittwertfreien normalverteilten Zufallszahlen mit der Streuung 1/ N Selektion x E t 1 =argmax { f x N, j t : 1 j } z j,n t Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 21

22 Evolutionäre Algorithmen Evolutionsstrategie (1, )-Evolutionsstrategie mit Schrittweitenanpassung Erzeugung von Nachkommen durch Mutation x N,1 t = x E t N,1 t z 1 t x N,2 t = x E t N,2 t z 2 t x N, t = x E t N, t z t mit den mittwertfreien normalverteilten Zufallszahlen mit der Streuung 1/ N Selektion x E t 1 =argmax { f x N, j t : 1 j } z j,n t Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 22

23 Evolutionäre Algorithmen Evolutionsstrategie (1, )-Evolutionsstrategie mit Schrittweitenanpassung Erzeugung von Nachkommen durch Mutation N,1 t = E t 1 N,2 t = E t 2 N, t = E t mit den mittwertfreien normalverteilten Zufallszahlen mit Streuung 1/ N Selektion x N,1 t = x E t N,1 t z 1 t x N,2 t = x E t N,2 t z 2 t x N, t = x E t N, t z t x E t 1, E t 1 =argmax { f x N, j t : 1 j } z j,n t Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 23

24 Evolutionäre Algorithmen Evolutionsstrategie (1, )-Evolutionsstrategie mit Schrittweitenanpassung Mutation der Schrittweiten N, j t = E t j 1. Variante: ={ mit Wahrscheinlichkeit 1/2 j 1 mit Wahrscheinlichkeit 1/2 In der Praxis hat sich = 1,3 bewährt. 2. Variante: Die Zufallsvariablen j =e j stellen log-normalverteilte Zufallsvariablen dar. Hierzu werden normalverteilte Zufallszahlen erzeugt. j Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 24

25 ( + )-Evolutionsstrategie Evolutionsstrategie Initialisierung t=0 Eine Population { x E,1 t, x E,2 t,, x E, t } bestehend aus N-dimensionalen reellen Vektoren wird zufällig gewählt. Mutation Jeder Elter x E,i t in der Generation t erzeugt im Mittel Nachkommen x N, j t durch Mutation, so dass insgesamt Nachkommen vorliegen. Selektion Die besten Individuen der + Individuen aus { x E,1 t, x E,2 t,, x E, t } { x N,1 t, x N,2 t,, x N, t } werden zu Eltern der nächsten Generation t 1. Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 25

26 (, )-Evolutionsstrategie Evolutionsstrategie Initialisierung t=0 Eine Population { x E,1 t, x E,2 t,, x E, t } bestehend aus N-dimensionalen reellen Vektoren wird zufällig gewählt. Mutation Jeder Elter x E,i t in der Generation t erzeugt im Mittel Nachkommen x N, j t durch Mutation, so dass insgesamt Nachkommen vorliegen. Selektion Die besten Individuen der Nachkommen aus { x N,1 t, x N,2 t,, x N, t } werden zu Eltern der nächsten Generation t 1. Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 26

27 Evolutionäre Algorithmen Evolutionsstrategie Rekombination Diskrete Rekombination Intermediäre Rekombination Zu optimierende Parameter Diskrete Rekombination Strategieparameter i, i, j Intermediäre Rekombination Multirekombination x n in der Praxis bewährt Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 27

28 Diskrete Rekombination (μ# )-Evolutionsstrategie Beispiel für N = 5 und ρ = 2. x E' = xe',0 xe'',0 x E',1 x E'',1 x E',2 x x E',3 x E',4 xe''= = E'',2 E',0 x E'',3 x E'' x N,4 x E'',1 x E'',2 x E',3 x E'',4 x Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 28

29 Intermediäre Rekombination (μ# )-Evolutionsstrategie x E' = = xe',0 xe'',0 xe',0 2 xe'',0 x x E',1 x E'',1 E',1 x E'',1 x E',2 x x E',3 x E',4 2 xe''= E'',2 x x E',2 x E'',2 x E'',3 N 2 x E'' x E',3 x E'',3 2,4 x E',4 x E'',4 2 Beispiel für N = 5 und ρ = 2. Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 29

30 ( + )-Evolutionsstrategie Initialisierung t=0 Eine Population { x E,1 t, x E,2 t,, x E, t } bestehend aus N-dimensionalen reellen Vektoren wird zufällig gewählt. Rekombination & Mutation zufällig gewählte Eltern in der Generation t erzeugen einen Nachkommen durch Rekombination und Mutation. Dies wird -mal wiederholt zur Erzeugung von Nachkommen. Selektion Die besten Individuen der + Individuen aus { x E,1 t, x E,2 t,, x E, t } { x N,1 t, x N,2 t,, x N, t } werden zu Eltern der nächsten Generation t 1. Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 30

31 (, )-Evolutionsstrategie Initialisierung t=0 Eine Population { x E,1 t, x E,2 t,, x E, t } bestehend aus N-dimensionalen reellen Vektoren wird zufällig gewählt. Rekombination & Mutation zufällig gewählte Eltern in der Generation t erzeugen einen Nachkommen durch Rekombination und Mutation. Dies wird -mal wiederholt zur Erzeugung von Nachkommen. Selektion Die besten Individuen der Nachkommen aus { x N,1 t, x N,2 t,, x N, t } werden zu Eltern der nächsten Generation t 1. Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 31

32 Evolutionäre Algorithmen Evolutionsstrategie Universale lokale Fitnessfunktion Lokaler Fortschritt bei der (, )-Evolutionsstrategie x 1, x 2,, x N 1 linearer Fortschritt c x N ' ' x E S Q R x N x o x 0 Satz des Pythagoras R 2 Q 2 = R S 2 R 2 2 R S Rückschritt durch Querschritt S Q2 2 N 1 = 2 R 2 R N 2 2 R Kugelmodell = N 2 R S 2 x N ' R S =c /, 2 Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 32

33 (, )-Evolutionsstrategie Evolutionsstrategie Universale lokale Fitnessfunktion Lokaler Fortschritt bei der ( )-Evolutionsstrategie =c /, 2 für intermediäre Rekombination Fortschrittsbeiwerte ,00 2 0,56 0,00 3 0,85 0,42 0,00 4 1,03 0,66 0,34 0,00 5 1,16 0,83 0,55 0,48 0,00 6 1,27 0,95 0,70 0,48 0,25 0,00 7 1,35 1,06 0,82 0,62 0,42 0,23 0,00 8 1,42 1,14 0,92 0,73 0,55 0,38 0,20 0,00 9 1,49 1,21 1,00 0,82 0,65 0,50 0,35 0,19 0, ,54 1,27 1,07 0,89 0,74 0,60 0,46 0,32 0,17 0,00 Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 33

34 (, )-Evolutionsstrategie Evolutionsstrategie Universale lokale Fitnessfunktion Durch die intermediäre Rekombination bei der (, )- Evolutionsstrategie wird der Querschritt um den Faktor verkleinert. Q= N 1 2 N 2 Durch die diskrete Rekombination bei der (, )- Evolutionsstrategie wird die Varianz ² der Mutation virtuell um den Faktor vergrößert, d.h. eff =. =c /, eff 2 für diskrete eff Rekombination Hinweis: kontinuierliche Thales-Rekombination Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 34

35 Evolutionäre Algorithmen Evolutionsstrategie Rekombination bei der (, )-Evolutionsstrategie Beschleunigung der Konvergenz durch Zentrierung eines virtuellen Elters auf dem Gradienten der Fitnessfunktion (Reduzierung des Querschritts Q um die Wurzel aus der Zahl der Eltern) Vergrößerung der effektiven Streuung eff der Mutation bei der diskreten Rekombination im Vergleich zu der intermediären Rekombination um die Wurzel aus der Zahl der Eltern Der lokale Fortschritt wächst näherungsweise mit der Zahl der Eltern. Prof. Dr. H.-G. Fehn und Prof. Dr. N. Wulff Adaptive Systeme 35