Computational Intelligence 1 / 28. Computational Intelligence Evolutionsstrategien 3 / 28

Transkript

1 1 / 28 Gliederung 1 Evolutionsstrategien Selektion Rekombination Mutation Ablauf 2 Genetische Programmierung Repräsentation Genetische Operatoren Ablauf Überblick Evolutionsstrategien 3 / 28 Repräsentation Vektoren reeller Zahlen Jede Komponente wird als Koordinate eines n-dimensionalen Optimierproblems interpretiert Beschränkung auf numerische Optimierung Genetische Operatoren Mutation durch Addition normalverteilter Zufallszahlen Rekombination mehrerer Vektoren (bisher Crossover ) Selektion Elitistische, deterministische Selektion

2 Evolutionsstrategien 4 / 28 Beispiel (1+1)-Evolutionsstrategie Algorithmus 1 Erzeuge eine zufällige Anfangspopulation, d.h. Startpunkt x 0 2 Erzeuge einen normalverteilten Zufallsvektor z und bestimme den Nachkommen als x = x t + z 3 Berechne die Fitness der Individuen mit der Zielfunktion 4 Selektiere den Elter der nächsten Population { x (t+1) x (t) falls f ( x (t) ) f ( x ) = x sonst 5 Gehe zu Schritt 2 bis ein Abbruchkriterium erfüllt ist Evolutionsstrategien 5 / 28 Beispiel (1+1)-Evolutionsstrategie (1+1)-Evolutionsstrategie entspricht dem Verfahren des Zufallsabstieg Erste Variante einer Evolutionsstrategie (Rechenberg, 1964) Genutzt zur experimentellen Optimierung Tragflächenprofil Rohrkrümmer Frage: Wie stark soll das Individuum mutiert werden? Anmerkungen Erlaubt keine Rekombination Erweiterung auf µ Eltern in der Population ist möglich Erweiterung auf λ Nachkommen in der Population ist möglich Dann Mutation und Rekombination sind möglich Alternatives Selektionsverfahren ist möglich

3 Evolutionsstrategien 6 / 28 Mutation durch Addition eines Zufallsvektors Anforderungen Kleine Änderungen sollen mit hoher Wahrscheinlichkeit auftreten Große Änderungen sollen mit nur geringer Wahrscheinlichkeit auftreten Die Stärke der Mutation soll variabel sein Unter Abwesenheit von Selektion soll der Zufallsprozess stationär sein Normalverteilung Die Normalverteilung mit Erwartungswert µ und Varianz σ 2 erfüllt obige Anforderungen Ihre Dichte ist gegeben durch f X (z; µ, σ) = 1 2π σ exp ( ) (x µ)2 2σ 2, x R Die Mutationsstärke kann durch die Varianz σ 2 bzw. die Standardabweichung σ gesteuert Der Erwartungswert µ wird zu 0 gesetzt Normalverteilung Evolutionsstrategien 7 / 28 N 0,Σ Σ 1 2 Σ 1 Σ x Kleine Varianz: Kleine Änderungen des Chromosoms lokale Suche (Ausbeutung guter Individuen) Große Varianz: Große Änderungen des Chromosoms globale Suche (Erkundung des Suchraums)

4 Evolutionsstrategien 8 / 28 Anpassen der Varianz des Zufallsvektors 1/5-Erfolgsregel Wähle die globale Mutationsstärke (Standardabweichung σ) so, dass die Konvergenzgeschwindigkeit maximal ist Überprüfe dazu in regelmäßigen Abständen die Erfolgsrate p s, d.h. das Verhältnis der erfolgreichen Nachkommen (also der erfolgreichen Mutationen) zur Gesamtzahl der erzeugten Nachkommen p s misst also die Wahrscheinlichkeit, dass ein Nachkomme den Elter ersetzt Um in etwa die optimale (lokale) Konvergenzgeschwindigkeit zu erreichen, sollte die (gemessene) Erfolgsrate bei ungefähr 1/5 liegen Heuristisch aus Berechnungen des Kugelmodells abgeleitet Anmerkungen Wertet globale, über die Generationen gesammelte Information aus Steuerung nur einer einzigen globalen Mutationsschrittweite ist möglich 1/5-Erfolgsregel Evolutionsstrategien 9 / 28 Definition c σ (g), if p s < 1/5 σ (g+1) = σ (g), if p s = 1/5 σ (g) /c, if p s > 1/5, Die Wahl von c hängt von der Zielfunktion, der Dimension und der Anzahl der Generationen ab Empfehlung von Rechenberg: 0.85 c 1 Interpretation Ist die Erfolgsrate zu hoch, erhöhe die Mutationsstärke Annahme: Schnelleres Voranschreiten in Richtung des Optimums ist möglich Ist die Erfolgsrate zu niedrig, senke die Mutationsstärke Annahme: Feinere Analyse des Suchraums ist nötig

5 Selbstadaptation Evolutionsstrategien 10 / 28 Alle Individuen besitzen eigene Strategieparameter, wie bspw. die Mutationsstärke Die Strategieparameter werden nicht explizit eingestellt, sondern sind selbst Teil des evolutionären Geschehens Die Strategieparameter entwickeln sich mit den Individuen im Verlauf der Optimierung weiter (Koevolution) Realisierung Die Strategieparameter werden wie auch die Objektparameter im Chromosom kodiert Ein Individuum besteht somit aus dem Tupel ( x, s) Die Strategiekomponenten werden ebenso den genetischen Operationen unterzogen wie die Objektparameter Zunächst werden Strategiekomponenten eines Nachkommen erzeugt (Rekombination und Mutation) und mit diesen Strategiekomponenten dann entsprechend die Objektparameter Selbstadaptation Evolutionsstrategien 11 / 28 Anmerkungen Strategieparameter haben keinen direkten Einfluss auf die Fitnessberechnung Gute Strategieparameter pflanzen sich indirekt durch die gute Fitness ihrer Individuen fort Strategieparameter parametrisieren die genetischen Operatoren, im Wesentlichen die Mutation

6 Evolutionsstrategien Selektion 12 / 28 Selektion Übernehme nur die besten Individuen in die nächste Generation (deterministische, streng elitäre Selektion) Varianten + -Strategie ( Plus-Strategie ) Wähle aus den µ Eltern und den λ Nachkommen die µ besten Individuen aus, Notation: (µ + λ), -Strategie ( Komma-Strategie ) Wähle nur aus den λ Nachkommen die µ besten Individuen aus, d.h. die Eltern sterben auf jeden Fall aus. Notation: (µ, λ) Vergleich + -Variante garantiert, dass die Population sich nie verschlechtert + -Variante erhöht die Gefahr des Hängenbleibens in lokalem Optimum Wahl hängt auch von der Art des Suchraums (Granularität) ab Reproduktion Evolutionsstrategien Rekombination 13 / 28 Wähle zufällig 1 ρ µ Eltern aus der Population, die im folgenden ein neues Individuum erzeugen Alle Individuen werden mit der selben Wahrscheinlichkeit gewählt (Gleichverteilung) Anmerungen Im Falle ρ > 2 liegt Multirekombination vor, d.h. es sind mehr als zwei Eltern an der Erzeugung eines Nachkommen beteiligt Aus Gründen der einfacheren Implementierung werden bereits gewählte Individuen häufig nicht aus der Menge der potentiellen Eltern entfernt und können somit mehrfach gewählt werden

7 Evolutionsstrategien Rekombination 14 / 28 Rekombination Mische die genetische Information der ρ vorausgewählten Eltern Der Vektor v bezeichne das ρ-tupel der vorausgewählten Eltern Intermediäre ρ-rekombination Mittele über die Eltern, d.h. der rekombinierte Nachkomme entspricht dem Schwerpunkt der Eltern ρ r := 1 ρ i=1 v i Diskrete ρ-rekombination Wähle jede Komponente zufällig aus einem der Eltern r := dim x i=1 ( e T i v mi ) ei wobei m i := rand{1,..., ρ} eine gleichverteilte Zufallszahl und e i der Einheitsvektor in der i-ten Dimension sind Mutation Evolutionsstrategien Mutation 15 / 28 Variiere die genetische Information durch Addition normalverteilter Zufallszahlen Anmerkungen In ES tritt die Mutation wesentlich häufiger auf als in GA Verschiedenste Mutationsvariantionen sind üblich Isotropische Mutation: Eine Schrittweite für alle Dimensionen des Optimierproblems Skalierte Mutation: Eine dezidierte Schrittweite für jede Dimensionen Korrelierte Mutation: Variiere neben den Mutationsschrittweiten auch die Korrelationen der Zufallsvariablen Gerichtete Mutation: Bevorzuge bestimmte Richtungen durch den Einsatz schiefsymmetrischer Verteilungen

8 Isotropische Mutation Evolutionsstrategien Mutation 16 / 28 Eine einzige Mutationsschrittweite für alle Dimensionen des Optimierproblems Realisierung Zufallsvektor: z N ( 0, σ 2 I ) = σn ( 0, I ) ( I ist die Einheitsmatrix) Einzelne Komponente: z i σ N (0, 1), i = 1,..., n Eigenschaften Resultierende Verteilungen haben die Form von (Hyper-)Sphären Geringe Flexibilität die Verteilungsfunktion an die Topologie des Optimierproblems anzupassen Geringer zusätzlicher Aufwand da nur ein weiterer Strategieparameter pro Individuum zu adaptieren ist Skalierte Mutation Evolutionsstrategien Mutation 17 / 28 Je Dimensionen des Optimierproblems eine eigene Mutationsschrittweite Realisierung Zufallsvektor: z N ( 0, C) ( C = diag(σ 2 i,..., σ2 n) ist eine Diagonalmatrix) Einzelne Komponente: z i σ i N (0, 1), i = 1,..., n Eigenschaften Resultierende Verteilungen haben die Form von skalierten (Hyper-)Sphären Mittlere Flexibilität die Verteilungsfunktion an die Topologie des Optimierproblems anzupassen Mittlerer zusätzlicher Aufwand da n weitere Strategieparameter pro Individuum zu adaptieren sind

9 Evolutionsstrategien Mutation 18 / 28 Korrelierte Mutation Je Dimension des Optimierproblems eine eigene Mutationsschrittweite, zusätzlich frei einstellbare Lagewinkel zwischen den Koordinatenachsen Realisierung Zufallsvektor: z N ( 0, C) ( C ist eine vollständige Kovarianzmatrix) Eigenschaften Resultierende Verteilungen haben die Form von rotierten, skalierten (Hyper-)Sphären Große Flexibilität die Verteilungsfunktion an die Topologie des Optimierproblems anzupassen Großer zusätzlicher Aufwand da n + n(n 1)/2 weitere Strategieparameter (Schrittweiten und Kovarianzen) pro Individuum zu adaptieren sind Evolutionsstrategien Ablauf 19 / 28 Ablauf einer Evolutionsstrategie Algorithmus 1 Erzeuge eine zufällige Anfangspopulation 2 Erzeuge λ Nachkommen. Dazu jeweils: 1 Wähle ρ Eltern zur Erzeugung eines Nachkommen aus 2 Rekombiniere und mutiere die Strategieparameter 3 Rekombiniere und mutiere die Objektparameter 3 Bewerte die Individuen gemäß ihrer Fitness 4 Selektiere die µ Eltern der nächsten Population 5 Gehe zu Schritt 2 bis ein Abbruchkriterium erfüllt ist

10 Genetische Programmierung 21 / 28 Überblick Repräsentation Individuen repräsentieren Funktionen oder Programme Komplexe Chromosomen variabler Länge Genetische Operatoren Mutation durch Ersetzen von Teilbäumen Crossover durch Austausch von Teilbäumen verschiedener Individuen Selektion Wie bei Genetischen Algorithmen Genetische Programmierung Repräsentation 22 / 28 Repräsentation Grundlage: Formale Grammatiken zur Beschreibung der Sprache T : Menge der Terminalsymbole F: Menge der Funktionssymbole Die Wahl von T und F ist problemspezifisch Terminalsymbole: Benötigen keine Argumente Eingaben vom Benutzer Konstanten Kurzlebige Konstaneten ( ephemeral constants ) werden zu Beginn eines Laufs mit zulässigen Werten initialisiert und behalten diese Werte während des Laufs Veränderliche Konstanten ( mutable constants ) können durch die genetischen Operatoren geändert werden Funktionssymbole: Nichtterminale Symbole die Argumente benötigen Funktionen Operatoren (Wertzuweisungen,... ) Kontrollstrukturen (If-then-else, for, do-while, goto,... )

11 Genetische Programmierung Repräsentation 23 / 28 Beispiele Symbolische Regression Bestimme zu gegebenen Daten eine Näherungsfunktion, die die Summer der Fehlerquadrate minimiert Terminalsymbole T = {x 1,..., x m } R Funktionssymbole F = {+,,, /,, sin, cos, exp, log,... } Boolesche Funktionen Finde eine Funktion, die eine gegebene Wahrheitstabelle abbildet Terminalsymbole T = {b 1,..., b m } {0, 1} Funktionssymbole F = {and, or, not,... } Genetische Programmierung Repräsentation 24 / 28 Abgeschlossenheit der Funktionen Die verwendeten Funktionen müssen für alle Belegungen ihrer Argumente auswertbar sein Bei einigen Funktionen muss der Definitionsbereich sinnvoll erweitert werden Beispiel: x/0 liefere maximalen Wert zurück Weitere problematische Funktionen: log tan...

12 Genetische Programmierung Repräsentation 25 / 28 Kodierung der Individuen Die Gene der Chromosomen eines Individuums enthalten Elemente der Menge C = F T Zugelassen werden nur Ausdrücke gemäß folgender rekursiver Definition (Präfixnotation): Terminalsymbole sind gültige Ausdrücke Sind t 1,..., t n symbolische Ausdrücke und ist f F ein n-stelliges Funktionssymbol, dann ist auch (f t 1... t n ) ein symbolischer Ausdruck Symbolische Ausdrücke in Präfixnotation können als Bäume dargestellt werden Beispiele + 2 ist ein symbolischer Ausdruck, der 6 x + 2 repräsentiert Als Baum: x ist kein symbolischer Ausdruck Mutation Genetische Programmierung Genetische Operatoren 26 / 28 Ersetzt einen Teilausdruck (Teilbaum) durch einen zufällig erzeugten neuen x 7 Mutationen sollten eher selten sein Zu ersetzende Teilbäume sollten eher klein sein

13 Genetische Programmierung Genetische Operatoren 27 / 28 Crossover Tausche Teilausdrücke (Teilbaume) zwischen Individuen Operation ist hier variantenreicher als auf Vektoren, da selbst identische Individuen neue Nachkommen erzeugen können x 7 x x -. 7 x 7 Üblicherweise wird nur Crossover und keine Mutation verwendet Die Population muss dann groß genug sein, um hinreichende Variabilität garantieren zu können Genetische Programmierung Ablauf 28 / 28 Ablauf der Genetischen Programmierung Algorithmus 1 Erzeuge eine zufällige Anfangspopulation symbolischer Ausdrücke Parameter: Maximale Verschachtelungstiefe Wahrscheinlichkeiten der Terminalsymbole 2 Bewerte die Ausdrücke gemäß ihrer Fitness Symbolische Regression: Summe der Fehlerquadrate zu allen Datenpunkten Boolesche Funktionen: Anteil korrekter Ausgaben für die Menge der Eingaben 3 Selektiere die Individuen der Zwischenpopulation 4 Wende die genetischen Operatoren an 5 Gehe zu Schritt 2 bis ein Abbruchkriterium erfüllt ist