Computational Intelligence

Transkript

1 / 44 Computational Intelligence Wintersemester 0/04. Evolutionäre Algorithmen II Stefan Berlik Fachgruppe Praktische Informatik Fakultät IV, Department Elektrotechnik und Informatik Universität Siegen 0. Oktober 0 Gliederung / 44 Grundlagen Praktisches Beispiel: n-damen Problem Das n-damen Problem Lösungsmöglichkeiten Java Implementierung eines Genetischen Algorithmus Live-Demo Kodierung Interpretation Ähnlichkeitsprinzip der Fitness ähnlicher Lösungskandidaten Ähnlichkeitsprinzip auf Geno- und Phänotypebene Prinzip des abgeschlossenen Suchraums

2 Grundlagen 4 / 44 Struktur t = 0; initialize (P(t )); evaluate (P(t )); while (! termination ) P (t) = variate (P(t )); evaluate (P (t )); P(t + ) = select (P (t )); t = t + ; Grundelemente Grundlagen 5 / 44 Kodierungsvorschrift - Repräsentation der Individuen ist offensichtlich problemspezifisch - Auswahl einer angemessenen Kodierung hat erheblichen Einfluss auf die Funktion des Algorithmus Initialisierungsmethode - Erzeugt die Ausgangspopulation - Gene werden üblicherweise mit zufälligen Werten belegt - Komplexe Probleme erfordern ggf. spezialisierte Initialisierung Fitnessfunktion - Bewertet die Individuen und spiegelt damit die Umwelt wider - Fitnessfunktion und zu optimierende Funktion sind normalerweise identisch - Weitere Kriterien können die Fitness beeinflussen, beispielsweise Nebenbedingungen

3 Grundelemente () Grundlagen 6 / 44 Selektionsoperator - Legt auf Basis der Bewertung durch die Fitnessfunktion fest, welche Individuen überleben bzw. Nachkommen erzeugen Reproduktionsoperatoren - Erzeugen Nachkommen durch Variation der genetischen Informationen eines oder mehrerer Eltern Crossover - Rekombination von Chromosomen eines oder mehrerer Eltern Mutation - Zufällige Variation einzelner Gene Abbruchkriterium - Legt fest, wann der Evolutionäre Algorithmus endet - Mögliche Abbruchkriterien Festgelegte Anzahl von Generationen wurde erreicht Festgelegte Anzahl von Zielfunktionsauswertungen wurde erreicht Festgelegte Mindestgüte der Lösung wurde erreicht Stagnation der Optimierung Zeitüberschreitung Praktisches Beispiel: n-damen Problem Das n-damen Problem 8 / 44 Das n-damen Problem Plaziere n Damen so auf einem n n großen Schachbrett, dass keine Dame eine andere sieht, d.h. in jeder Zeile, Spalte und auf jeder Diagonalen höchstens eine Dame steht. Zugmöglichkeiten einer Dame Eine Lösung des 8-Damen-Problems

4 Praktisches Beispiel: n-damen Problem Lösungsmöglichkeiten 9 / 44 Lösung per Backtracking Lösung des n-damen-problems mittels Backtracking Damen werden zeilenweise (oder spaltenweise) platziert Für jede Zeile gilt - In der Zeile wird die Dame der Reihe nach von links nach rechts auf die Felder gesetzt - Es wird jeweils überprüft, ob es zu Kollisionen mit bereits bearbeiteten Zeilen gekommen ist - Gab es keine Kollisionen, wird rekursiv mit der nächsten Zeile fortgefahren - Andernfalls wird die Dame eine Position nach rechts verschoben und erneut auf Kollisionen geprüft - Kann eine Dame nicht konfliktfrei in einer Zeile positioniert werden, wird auf die nächst höhere Rekursionsebene zurückgesprungen Kann eine Dame auf der letzten Zeile des Brettes kollisionsfrei platziert werden, wird die Lösung ausgegeben. Direkte Lösung Praktisches Beispiel: n-damen Problem Lösungsmöglichkeiten 0 / 44 Wird lediglich eine Lösung gesucht, können die Positionen der Damen für alle n > nach Pauls (874) folgendermaßen berechnet werden: n ist ungerade Setze eine Dame auf (n, n ) und verringere n um n mod 6 Setze die Damen - in den Zeilen y = 0,..., n/ in die Spalten x = y + - in den Zeilen y = n/,..., n in die Spalten x = y n n mod 6 = Setze die Damen - in den Zeilen y = 0,..., n/ in die Spalten x = (y + n/ ) mod n - in den Zeilen y = n/,..., n in die Spalten x = (y n/ + ) mod n

5 Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus / 44 Kodierung Jedes Individuum wird durch ein Chromosom mit n Genen beschrieben Jedes Gen entspricht einer Zeile des Schachbretts. Es gibt die Position der Dame in der entsprechenden Zeile an und hat somit n mögliche Allele. Diese Kodierung schließt bereits mehr als eine Dame pro Zeile aus Datentypen Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus / 44 Klasse der Individuen public class Individual implements Cloneable private int [] genes ; // Array der Gene private int fitness ; // Fitness des Individuums [...] Klasse der Populationen public class Population private int popsize ; // Größe der Population private int boardsize ; // Größe des Bretts private Individual [] inds ; // Array der Individuen private int bestindex ; // Index des besten Individuums [...]

6 Hauptschleife Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus / 44 Grundform des Genetischen Algorithmus // --- Evolutionäre Schleife --- pop. init (); // Initialisiere die Population int gencnt = 0; // Initialisiere den Generationenzähler while (( pop. eval () < 0) // Solange keine Lösung gefunden wurde && ( gencnt <= genmax )) // und die maximale Generationenzahl // noch nicht erreicht wurde pop. select ( tmsize, elitist ); // Selektiere Individuen, pop. crossover ( frac ); // führe das crossover durch pop. mutate ( prob ); // und mutiere die Individuen. gencnt ++; // Erhöhe den Generationenzähler Parameter maxgen Maximale Anzahl zu berechnender Generationen tmsize Turniergröße der Individuenauswahl elitist Bestes Individuum stets übernehmen? frac Anteil der Individuen, die crossover durchlaufen prob Mutationswahrscheinlichkeit Initialisierung Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus 4 / 44 Es werden zufällige Folgen von n Zahlen aus 0,,..., n erzeugt Klasse Individual public void init () for ( int i = 0; i < genes. length ; i ++) genes [i] = ( int ) ( Math. random () * genes. length ); Klasse Population public void init () for ( Individual i : inds ) i. init ();

7 Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus 5 / 44 Bewertung Fitness entspricht der negierten Anzahl der Spalten und Diagonalen mit mehr als einer Dame. Damit ist die Fitness zu maximieren. Kollisionen Fitness = Bei mehr als zwei Damen pro Spalte bzw. Diagonale wird aus Gründen der einfacheren Implementierung jedes Paar gezählt Eine Lösung hat somit die maximale Fitness 0 Bewertung () Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus 6 / 44 public void eval () // Methode verlassen, falls Fitness bereits bekannt ist if ( fitness <= 0) return ; int d; // Horizontale Distanz zwischen den Königinnen int k = 0; // Anzahl der Kollisionen // Durchlaufe alle Paare von Königinnen for ( int i = 0; i + < genes. length ; i ++) for ( int j = i; ++j < genes. length ;) d = Math. abs ( genes [i] - genes [j ]); // Anzahl der Königinnen in der selben // Spalte oder Diagonale zählen if ((d == 0) (d == j - i)) k - -; fitness = k; // Anzahl der Kollisionen speichern

8 Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus 7 / 44 Auswahl der Individuen Turnierauswahl mit tmsize Teilnehmern - Das beste Individuum gewinnt das Turnier und wird gewählt - Höhere Fitness resultiert in einer größeren Chance gewählt zu werden public Individual tmselection ( int tmsize ) Individual tmbest = inds [( int )( Math. random () * popsize )]; for ( int i = 0; i < tmsize ; i ++) // Wähle zufällig tmsize Individuen Individual compet = inds [( int )( Math. random () * popsize )]; // und bestimme das mit der besten Fitness if ( compet. getfitness () > tmbest. getfitness ()) tmbest = compet ; return tmbest ; Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus 8 / 44 Auswahl der Individuen () Individuen die die nachfolgende Generation bilden werden durch einzelne Turniere bestimmt Ggf. wird das beste Individuum direkt übernommen public void select ( int tmsize, boolean elitist ) // Zwischenspeicher für temporäre Population einrichten Individual [] buf = new Individual [ popsize ]; int i = popsize ; // Selektiere popsize Individuen // Bestes Individuum sichern? if ( elitist ) buf [--i] = inds [ bestindex ]. clone (); // Selektiere die ( restlichen ) Individuen while (--i >= 0) buf [i] = tmselection ( tmsize ). clone (); inds = buf ; // Temporäre Population übernehmen bestindex = -; // Bestes Individuum ist noch unbekannt

9 Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus 9 / 44 Crossover Austausch eines Chromosomenteilstücks zwischen zwei Individuen Beispiel (-Punkt-Crossover) Wähle zufällig eine Schnittstelle zwischen den Genen Tausche die entstandenen Teilstücke unter den beiden Individuen Crossover () Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus 0 / 44 Austausch eines Chromosomenstücks zwischen zwei Individuen public void crossover ( Individual other ) int i = 0; // Laufvariable int s; // Zwischenspeicher // Bestimme einen Crossover Punkt int r = ( int ) ( Math. random () * genes. length ); if ( r >= genes. length / ) // Durchlaufe den kürzeren Abschnitt i = r; r = genes. length ; while ( i < r) // Tausche die Gene der Chromosomen s = genes [i]; genes [i] = other. genes [i]; other. genes [i ++] = s; fitness = Integer. MAX_VALUE ; // Annuliere die Fitness other. fitness = Integer. MAX_VALUE ; // der geänderten Individuen

10 Crossover () Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus / 44 Ein bestimmter Teil der Individuen wird Crossover unterzogen Beide gekreuzten Individuen werden in die neue Population übernommen, die Eltern gehen verloren Das beste Individuum wird keinem Crossover unterzogen public void crossover ( double frac ) if ( frac < 0) frac = 0; if ( frac > ) frac = ; int k = ( int )( popsize * frac ); for ( int i =0; i+ <k; i +=) inds [i]. crossover ( inds [i +]); Mutation Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus / 44 Zufällig bestimmte Gene werden durch zufällige Werte ersetzt Anzahl zu ändernder Gene kann variabel gewählt werden Beispiel Wähle zufällige Mutationspositionen, hier die Positionen 0 und Überschreibe die gewählten Gene mit Zufallswerten Fitness Die meisten Mutationen sind schädlich Anfangs nicht vorhandene Allele können nur durch Mutation entstehen

11 Mutation () Praktisches Beispiel: n-damen Problem Java Implementierung eines Genetischen Algorithmus / 44 Es wird für jedes Gen neu entschieden, ob es mutiert wird Klasse der Individuen public void mutate ( double prob ) if ( Math. random () >= prob ) return ; do // Mutiere zufällig gewähltes Gen int p = ( int ) ( Math. random () * genes. length ); int v = ( int ) ( Math. random () * genes. length ); genes [p] = v; while ( Math. random () < prob ); fitness = Integer. MAX_VALUE ; // Annuliere die Fitness Klasse der Populationen public void mutate ( double prob ) for ( Individual i : inds ) i. mutate ( prob ); Praktisches Beispiel: n-damen Problem Live-Demo 4 / 44 Live-Demo: Genetischer Algorithmus in Aktion Beispiel (Java Implementierung unter Eclipse)

12 Kodierung 6 / 44 Kodierung Überblick Kodierung der Lösungskandidaten Kodierung ist problemspezifisch Ergo: Es gibt nicht das Verfahren um automatisch gute Kodierungen zu finden Aber: Es existieren einige Prinzipien, die beachtet werden sollten Eigenschaften einer guten Kodierung Ähnliche Lösungskandidaten sollten ähnliche Fitness haben (Prinzip der starken Kausalität) Ähnliche Genotypen sollten ähnliche Phänotypen repräsentieren Suchraum sollte falls möglich unter den verwendeten genetischen Operatoren abgeschlossen sein Kodierung Interpretation 7 / 44 Kodierung klassischer GA Binäre Vektoren fester Länge l (bit-strings) Repräsentation direkt geeignet für Probleme mit booleschem Definitionsbereich Vektor kann außerdem auf verschiedene Art und Weise interpretiert werden - l -stellige binäre Entscheidungsvariablen - m n-stellige binär kodierte Variablen mit mn = l - Eine l-stellige binär kodierte Variable -...

13 Kodierung Interpretation 8 / 44 Kodierung klassischer GA Beispiel (5-stellige OneMax -Funktion) f OneMax : 0, 5 N mit f OneMax ( x) = 5 i= x i f OneMax x x Kodierung Interpretation 9 / 44 Binärkodierung reeller Zahlen Gegeben Intervall reeller Zahlen [u, v] und Kodierungsgenauigkeit ɛ Gesucht Kodierung die eine reelle Zahl x [u, v] als Binärzahl b darstellt, so dass die kodierte Zahl um weniger als ɛ vom tatsächlichen Wert abweicht Ansatz - Teile das Intervall [u, v] in Abschnitte mit einer Länge ɛ. Wähle dazu k Abschnitte, durchnummeriert von 0,..., k. Dann gilt für k: k = v u log ɛ - Kodierung: x u b = v u (k ) - Dekodierung: x = u + b v u k

14 Kodierung Interpretation 0 / 44 Binärkodierung reeller Zahlen Beispiel Gegeben sei das Intervall [, 4], die Kodierungsgenauigkeit ɛ = 0 6 und die zu kodierende Zahl x = Es werden k = 4 ( ) log 0 6 = log (5 0 6 ) = Stellen für die Binärkodierung benötigt Die Binärdarstellung ist somit.459 ( ) b = ( ) = ( ) = Kodierung Ähnlichkeitsprinzip der Fitness ähnlicher Lösungskandidaten / 44 Ähnlichkeitsprinzip der Fitness ähnl. Lösungskandidaten Prinzip Ähnliche Lösungskandidaten sollten ähnliche Fitness haben Motivation Prinzip der starken Kausalität Ähnliche Ursachen haben ähnliche Wirkungen Grundlage für die Anwendbarkeit Evolutionärer Algorithmen Problem der Epistase Zwischen den Genen eines Chromosoms können Wechselwirkungen existieren Ein Allel eines epistatischen Gens unterdrückt die Wirkung aller möglichen Ausprägungen eines anderen Gens oder mehrerer anderer Gene Fitnessänderung eines Gens kann stark von den Ausprägungen anderer (epistatischer) Gene abhängen

15 Kodierung Ähnlichkeitsprinzip der Fitness ähnlicher Lösungskandidaten / 44 Epistase in der Biologie Häufig die Ursache für Abweichungen von den Mendelschen Gesetzen Beispiel (Fellfarben bei Tieren) Ein Gen für die Fellfarbe: Schwarz (B) / braun (b), wobei schwarz gegenüber braun dominant ist Ein Gen für farbig (C) / nicht farbig (c) Das zweite Gen steht epistatisch über dem ersten Kreuzen zweier Tiere mit Genotyp BbCc ergibt - zu 9/6 schwarze Tiere (Bb, bb oder BB und Cc, cc oder CC) - zu /6 braune Tiere (bb und Cc, cc oder CC) - zu 4/6 weiße Tiere (cc, unabhängig vom Farbtyp) Kodierung Ähnlichkeitsprinzip der Fitness ähnlicher Lösungskandidaten / 44 Beispiel (Epistase beim n-damen-problem) Kodierung Brettbelegung wird durch eine Permutation der möglichen Spaltenpositionen zeilenweise dargestellt Geringe Epistase: Austausch zweier Zeilen stellt eine lokale Änderung dar und ändert die Fitness im Allgemeinen etwa gleich stark Kodierung Brettbelegung erfolgt zeilenweise durch Auswahl von Elementen aus der Liste der nichtbelegten Spalten Hohe Epistase: Änderung eines Gens, speziell der im Cromosom vorn liegenden, kann die Brettbelegung (fast) vollständig ändern und entsprechend auch die Fitness. Änderungen sind insofern global.

16 Kodierung Ähnlichkeitsprinzip der Fitness ähnlicher Lösungskandidaten 4 / 44 Beispiel (. Kodierung Wirkung einer Mutation) Vor der Mutation Kollisionen: 4 Chromosom Liste zu belegender Spalten,,, 4, 5,, 4, 5,, 5, Brettbelegung 4 5 Nach der Mutation Kollisionen: 8 Chromosom 5 Liste zu belegender Spalten,,, 4, 5,,, 4,, 4, Brettbelegung 5 4 Kodierung Ähnlichkeitsprinzip der Fitness ähnlicher Lösungskandidaten 5 / 44 Epistase Konsequenzen Kodierung mit hoher Epistase - Das Optimierungsproblem ist für einen genetischen Algorithmus meist schwer zu lösen, da keine Regelmäßigkeiten vorhanden sind die genutzt werden könnten - Mutation und Crossover führen zu fast zufälligen Fitnessänderungen Kodierung mit sehr geringer Epistase Lässt sich eine solche Kodierung finden, sind andere Verfahren wie z.b. der Zufallsabstieg oft besser geeignet

17 Kodierung Ähnlichkeitsprinzip auf Geno- und Phänotypebene 6 / 44 Ähnlichkeitsprinzip auf Geno- und Phänotypebene Prinzip Ähnliche Genotypen sollten ähnlichen Phänotypen entsprechen Mutationen (Alleländerungen einzelner Gene) stellen kleine Änderungen des Chromosons dar und führen somit zu ähnlichen Genotypen Die Bewertung der Fitness findet auf Phänotypebene statt Entsprechen ähnlichen Genotypen nicht auch ähnliche Phänotypen, können naheliegende Verbesserungen ggf. nicht erzeugt werden. Um ähnliche Phänotypen zu erzeugen können dann große Genotypänderungen erforderlich sein Beispiel: Einfache Kodierung als Binärzahl führt zu Hamming-Klippen Hamming-Klippen Problem Kodierung Ähnlichkeitsprinzip auf Geno- und Phänotypebene 7 / 44 Benachbarte Zahlen können sich in ihrer Kodierung stark unterscheiden (d.h. der Anzahl verschiedener Bits) Den Grad des Unterschiedes beschreibt der Hamming-Abstand Große Hamming-Abstände können durch Mutation und Crossover nur schwer überwunden werden ( Hamming-Klippen ) Beispiel (Analytische Optimierung einer Zielfunktion) Stelle die Zahlen 0,..., durch 5-bit Binärzahlen dar Die Zahlen 5 0 = 0 und 6 0 = 0000 haben den Hamming-Abstand 5, da jedes Bit Hamming verschieden ist f x f OneMax x

18 Kodierung Ähnlichkeitsprinzip auf Geno- und Phänotypebene 8 / 44 Vermeidung von Hamming-Klippen Idee Nutze eine Kodierung, bei dem sich je zwei benachbarte Zahlen nur durch ein Bit unterscheiden, d.h. einen Gray-Kode Gray-Kode Meist aus einer Binärkodierung berechnet Nicht eindeutig Häufigste Form - Kodierung: g = b b - Dekodierung: b = k i=0 g i ( ist der Exklusiv-Oder-Operator der Binärkodierung) dezimal binär Gray Kodierung Ähnlichkeitsprinzip auf Geno- und Phänotypebene 9 / 44 Beispiel (Berechnung eines Gray-Kodes) Berechne Gray-Kode für die bereits bekannte Binärdarstellung b der Zahl x = (Intervall [, 4], Kodierungsgenauigkeit ɛ = 0 6 ) mit b = Gray-Kode ist somit g = = f x f x 5 f OneMax f OneMax Hamming x Hamming x

19 Kodierung Prinzip des abgeschlossenen Suchraums 40 / 44 Prinzip des abgeschlossenen Suchraums Prinzip Der Suchraum sollte falls möglich unter den verwendeten genetischen Operatoren abgeschlossen sein Was unter Verlassen des Suchraums zu verstehen ist, ist ggf. Definitionsfrage Allgemein: Der Suchraum wird verlassen, falls - das neue Chromoson nicht sinnvoll interpretiert bzw. dekodiert werden kann, - der Lösungskandidat bestimmte Nebenbedingungen nicht erfüllt, - der Lösungskandidat durch die Fitnessfunktion falsch bewertet wird. Problem der Abhängigkeit / Abstimmung von Kodierung und genetischen Operatoren - Genetische Operatoren sind i.d.r. kodierungsspezifisch - Einsatz von Reparaturmechanismen für Chromosomen - Einsatz von Straftermen, die die Fitness von Chromosomen außerhalb des zulässigen Suchraums (signifikant) verringern Kodierung Prinzip des abgeschlossenen Suchraums 4 / 44 Beispiel (Verlassen des Suchraums beim n-damen-problem) Kodierung - Kodiere die Spaltenpositionen der Damen für jede Zeile in das Chromosom (Länge n, Allele 0,..., n ; wie im einführenden Beispiel) - Mit den Operatoren Ein-Punkt-Crossover und Standardmutation entstehen stets wieder gültige Lösungskandidaten Suchraum wird nicht verlassen Kodierung 4 - Kodiere die Feldpositionen der Damen in das Chromosom (Länge n, Allele 0,..., n ) - Mit den Operatoren Ein-Punkt-Crossover und Standardmutation können ungültige Lösungskandidaten entstehen, die mehrere Damen auf ein Feld setzen Suchraum wird verlassen

20 Kodierung Prinzip des abgeschlossenen Suchraums 4 / 44 Verlassen des Suchraums Lösungsstrategien für die 4. Kodierung Verwende andere Kodierung Verwende eine Kodierung, die den Suchraum nicht verlässt, hier z.b. Kodierung Kodierungsspezifische genetische Operatoren - Mutation: Verhindere die Erzeugung von Allelduplikaten - Crossover: Filtere die Feldnummern je Chromosom, die im jeweils anderen nicht vorkommen und wende auf das Resultat das Ein-Punkt-Crossover an Reparaturmechanismen Ersetze mehrfach vorkommende Feldnummern derart, dass alle Feldnummern verschieden sind Strafterm Verringere die Fitness pro Mehrfachbelegung, ggf. mit Gewichtungsfaktor Kodierung Prinzip des abgeschlossenen Suchraums 4 / 44 Nicht zusammenhängende Suchräume Bei nicht zusammenhängenden Suchräumen können Reparaturmaßnahmen das Erreichen des Optimums verhindern, da Lösungskandidaten stets in den zulässigen Bereich zurückgeführt werden. Unzulässige Bereiche können dann nicht überwunden werden. Optimum Unzulässiger Bereich Individuum In dieser Situation können Strafterme vorteilhaft sein, da sie unzulässige Lösungen lediglich bestrafen, nicht aber generell ausschließen.

21 44 / 44 Zusammenfassung Evolutionäre Algorithmen - Grundstruktur ist einfache Schleife Wesentliche Elemente Evolutionärer Algorithmen - Kodierungsvorschrift - Initialisierungsmethode - Fitnessfunktion - Selektionsoperator - Reproduktionsoperatoren (Crossover & Mutation) - Abbruchkriterium n-damen Problem - Backtracking und direkte Lösung existieren - Kompakter Genetischer Algorithmus in Java (s. homepage) Kodierung - Problemspezifisch - Prinzipien für gute Kodierung Ähnliche Lösungskandidaten sollten ähnliche Fitness haben Ähnliche Genotypen sollten ähnliche Phänotypen repräsentieren Suchraum möglichst abgeschlossen