Biologische Optimierung

Transkript

1 Biologische Optimierung verfasst von Markus Zizler Mai 2007 Fakultät für Physik Universität Regensburg Prof. Dr. Ingo Morgenstern

2 Inhaltsverzeichnis 1 Biologischer Hintergrund Evolution Genetik Genetische Algorithmen (GA) Die künstliche Ente Der Algorithmus Genetische Operationen Auswahlverfahren Rekombination Mutation Inversion Dekodierung Diploidie und Dominanz Kovergenzsätze Allgemeine Konvergenzsätze Konvergenzsätze für Schemata Hybride Verfahren Evolutionsstrategien Das Verfahren Population Mutation Rekombination Selektion Mehrfache Zielsetzung Evolutionary Computing 26 Literatur 28 1

3 Kapitel 1 Biologischer Hintergrund Selektion,Mutation, Cross-Over und das Prinzip Survival of the fittest sind wesentliche Bausteine der Genetischen Algorithmen (GA). In diesem Abschnitt sollen daher die biologischen Hintergründe kurz erläutert werden. 1.1 Evolution Charles Darwin veröffentlichte 1859 sein berühmtes Werk On the Origin of Species by Means of Natural Selection. Darin wird beschrieben, dass sich alle Lebewesen aus primitiveren Arten entwickelt haben. Unter Darwinismus wird die nach Darwin benannte Lehre verstanden, die in der natürlichen Selektion den entscheidenden Faktor für die Entwicklung der Arten sieht; dabei wird von zwei Voraussetzungen ausgegangen [Kn82]: 1. zufälliges Auftreten ungerichteter erblicher Merkmalsänderungen (Variation) 2. Überproduktion der Nachkommen; im Konkurrenzkampf überleben die Organismen, die der Umwelt am besten angepasst sind. Da die Population einer Art langfristik mehr Nachkommen produziert als Nahrungsressourcen vorhanden sind, entsteht nach Darwins Theorie ein sogenannter Selektionsdruck. Dies führt zu einer Abnahme der Populationsgröße, solange bis die vorhandenen Nahrungsmittel wieder ausreichen. Des Weiteren ist im Darwinismus von Bedeutung, dass sich Lebewesen jeder Art sehr ähneln, aber letztlich nie identisch sind. Jede Art ist daher mehr oder weniger starken Variationsbreiten der Erbanlagen ausgestattet. Außerdem werden diejenigen erblichen Variationen, die sich im Überleben bewährt haben, bevorzugt in den Folgegenerationen auftreten. Die kleinen Variationen der Individuen können so im Laufe der Generationen zu einer Vervollkommnung und Optimierung der Lebewesen führen. Der Kampf um das Überleben führt zu einem Auswwahlprozess, zu einer natürlichen Selektion. Für die tauglichsten Individuen bestehen die höchsten Chancen zu überleben. Man spricht in diesem Zusammenhang auch von survival of 2

4 KAPITEL 1. BIOLOGISCHER HINTERGRUND 3 the fittest. Dieses Prinzip hat zur Folge, dass an nachfolgenden Generationen bevorzugt die Eigenschaften und Besonderheiten der jeweils aktuell überlegenen Individuen einer Art weitergegeben werden. 1.2 Genetik Genetik ist ein Teilbereich der Biologie, der sich mit der Vererbung und der Variation von Organismen auseinandersetzt. Das zentrale Anliegen ist die Klärung, welche Funktionen Gene haben und wie sie an Nachfahren weitergegeben werden. Um zu verstehen was Gene sind, muss man wissen was ein Zellkern ist: Der Zellkern ist eine Art Steuerzentrale der Zelle und für die Vererbungsvorgänge von großer Bedeutung, da er die Träger der Erbsubstanz, die Chromosomen, enthält. Als Chromosomen werden fadenförmige Gebilde bezeichnet, die Träger des Erbgutes, der Gene sind. Chromosomen bestehen aus Nukleinsäuren und Proteinen; die wichtigste vorkommende Nukleinsäure ist die Desoxyribonukleinsäure (DNS). Sie tritt bei Menschen als Doppelstrang von einigen Millionen Nukleotiden auf. Die Nukleotiden bilden die Grundbausteine der Nukleinsäuren. Der Doppelstrand der DNS ist über Wasserstoffbrücken verbunden, so dass es sich zur sog. Doppelhelix verdrillt [Kn82]. Abbildung 1.1: Doppelhelix der DNS Am Aufbau der DNS sind vier Basen beteiligt: Adenin, Guanin, Cytosin und Thymin. Die Basen sind eine Art Alphabet für die genetische Codierung. Bei der Eiweißsynthese werden die Basensequenzen in bestimmte Aminosäuren übersetzt. Diese Aminosäuren bilden die Eiweiße, wobei die Moleküle eines Eiweißes die Aminosäuresequenz besitzt; diese ist genetisch determiniert. Die Eiweiße sind wiederum die wichtigsten Zellbausteine; sie steuern u.a. den gesamten Stoffwechsel. Demnach wird über die Basen der Aufbau eines Lebewesens codiert.

5 KAPITEL 1. BIOLOGISCHER HINTERGRUND 4 Ein Gen ist bekannt als Träger der Erbinformation. Gene sind bestimmte Abschnitte der DNS, die zur Herstellung von Polypeptidketten dienen. Polypeptidketten werden für die Bildung des Eiweißmoleküls benötigt. Gene sind folglich eine Art Einheit der DNS, die die Information für die Bildung dieser Einweiße enthält. Diese Gene können spontanen Änderungen unterliegen, die als Mutationen bezeichnet werden. Treten solche Mutationen in den Keimzellen auf, so sind sie vererbbar. Mutationen in Körperzellen sind nicht vererbbar, führen jedoch in der Regel zu Schädigungen des Lebewesens. Genmutationen können sowohl durch äußere als auch innere Einflüsse verursacht werden. Chemikalien und Strahlen, insbesondere energiereiche Strahlung wie Röntgenstrahlung und UV-Licht, sind die wichtigsten Ursachen von Mutationen. Die Mutationshäufigkeit ist bei Lebewesen ziemlich verschieden; sie bezeichnet die Anzahl der Mutationen pro Gen und Generation und ist meist sehr gering. Bei höheren Lebewesen erwartet man eine Mutationsrate von einer Mutation pro Gene. Bei niedrigeren Organismen ist die Mutationsrate meist noch geringer [WGWZ93]. Eine weitere Möglichkeit zur Veränderung der DNS entsteht beim Zell- und Kernteilungsprozess. Hierbei werden zwei Typen unterschieden: die Mitose und die Meiose. Bei der Mitose geschieht eine erbgleiche Zell- und Kernteilung aus ungeschlechtlicher Fortpflanzung; die neuen Zellen haben dasselbe Erbgut der Ausgangszelle. Wesentlicher für die Evolution ist die Meisose. Während der Meiose werden Chromosomen durch das sog. Crossing-Over miteinander rekombiniert und dann zufällig auf die einzelnen Keimzellen verteilt. Die Meiose ist also verantwortlich für die Mischung des Erbgutes.

6 Kapitel 2 Genetische Algorithmen (GA) Benutzt wurde der Begriff Genetische Algorithmen zum ersten mal von J.D. Bagley. Geprägt wurde er jedoch vor allem durch John H. Holland, der durch seine Forschungen in den 60er Jahren an der University of Michigan die Ausgangsbasis für die Entwicklung der GA legte. Holland war in erster Linie daran interessiert, offenzulegen, wie und warum der natürlich Evolutionsprozess funktioniert. Dazu versuchte er die dafür notwendigen Faktoren zu ergründen und Modelle zu entwickeln, um zu erklären wie das Zusammenspiel dieser Faktoren einen Anpassungsprozess an die Umgebung bewirkt. Diese Modelle bilden die Grundlage für die von Holland vorgeschlagenen GA [Ho92]. Außerdem erkannte er auch die Bedeutung für die Optimierung. Bei den GA handelt es sich um eine Klasse von Algorithmen, für die keine exakte Definition angegeben werden kann. Vielmehr rechnet man einen Algorithmus zur Klasse der GA, wenn er deren charakteristische Bausteine enthält. Überträgt man die Ansätze von Genetik und Evolution auf Algorithmen, dann müssen folgende Gegebenheiten vorliegen: Es muss eine Population von Individuen existieren. Alle Individuen sind Strings über einem Alphabet, die Individuen sind verschieden. Es existieren genetische Operationen, die die Individuen verändern. Es existiert eine Funktion, die für jedes Individuum die Fitness festlegt. Nach mehreren Veränderungen erfolgt eine auf die Fitness orientierte Neuordnung (Reproduktion) der Population. Die Reproduktion, die Chromosomen mit hoher Fitness überleben und solche mit niedriger sterben lässt, bewirkt, dass von Generation zu Generation die Chromosomen im Sinne der zu lösenden Aufgabe besser werden. 2.1 Die künstliche Ente Das vorliegende Beispiel wurde in ähnlicher Form von verschiedenen Autoren dargestellt (z.b. [Je91]). Gegeben sei ein Teich, den eine Ente durchschwimmen soll. Der Teich ist 5

7 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 6 rechteckig und in Planquadrate (Abb. 2.1) eingeteilt. Die Ente befindet sich in der Position A1. Sie kann von links nach rechts um ein Kästchen vorwärtsschwimmen oder sich von oben nach unten um ein Kästchen hinunterbewegen. Legt man diese beiden Bewegungsformen hintereinander, so entsteht eine Schwimmbahn. Die Ente soll den Teich durchschwimmen und dabei möglichst viele Futterstellen <> durchlaufen. Man codiert jede horizontale Entenbewegung durch die Zahl 0 und jede Bewegung von oben nach unten durch 1. Dann ist eine Schwimmroute eindeutig beschrieben durch eine Folgen von Nullen und Einsen. Man lässt nun die Ente so lange schwimmen, bis sie eine der dem Planquadrat A1 gegenüberliegenden Kante erreicht hat, das heißt bis sie also entweder die letzte Spalte S oder die unterste Reihe 8 erreicht hat. Für eine Route, die den Teich durchquert benötigt man höchstens 25 Zeichen in der zugeordneten Binärfolge. Sollte die Route durch weniger Bits beschreibbar sein, dann betrachtet man die restlichen Strings als bedeutungslos. Abbildung 2.1: Bewegungsfeld der Ente. Futterstellen sind mit <> markiert Eine sog. Fitness-Funktion ordnet jeder Route eine Zahl zu. Die Ente soll auf ihrem Weg durch den Teich möglichst viele Futterstellen anlaufen; je mehr Futter sie zu sich nimmt, desto fitter ist sie. Gesucht ist nun die Route mit der höchsten Fitness. Algorithmisch wird dabei wie folgt vorgegangen: Per Zufallszahlen wird eine Menge von Routen produziert, eine sog. Population. Jeder Route ist eine Binärfolge zugeordnet, die man als Chromosom bezeichnet kann. Die Chromosomen bekommen jeweils einen bestimmten Fitness-Wert; die Summe aller Fitness-Werte der Population bezeichnet man als Gesamtfitness. Entsprechend dem Vorbild der Natur werden nun die Chromosomen in ihrer Zusammensetzung verändert, um bezüglich der Fitness bessere zu erhalten. Zwei möglich genetische Operationen sind dabei: Mutation: jedes Element der Binärfolge einer Route wird mit einer bestimmten Wahrscheinlichkeit verändert.

8 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 7 Abbildung 2.2: Schwimmroute zum Chromosom mit Fitness 2 Rekombination (Crossover, Kreuzung): zwei Routen werden gekreuzt, indem man die zugehörigen Binärfolgen an einem bestimmten Punkt auseinanderschneidet und so zusammenfügt, dass zwei neue Individuen entstehen. Nach jeder Veränderung vernichtet man die Chromosomen mit niedrigen Fitness-Werten und ersetzt sie durch Individuen mit hoher Fitness. Man spricht bei dieser Operation von Reproduktion. Die Reproduktion wirkt wie die Darwinsche Auslese der Individuen. Eine nur genetische Veränderung wie Mutation oder Kreuzung wäre nicht sehr wirkungsvoll, wenn in der Population nicht das Überleben der fittesten Individuen und das Aussterben der weniger guten Chromosomen gewährleistet wäre. Durch das Zusammenwirken aller genetischen Operationen einschließlich der Reproduktion wird erreicht, dass sich die durchschnittliche Fitness einer Population von Generation zu Generation erhöht. 2.2 Der Algorithmus Gegeben sei eine Menge M. Die Elemente von M seien Individuen, Strings oder Chromosomen. Jedes Individuum sei eine Folge der Binärwerten 0 und 1. Alle Strings besitzen die Länge s. Die Menge M bezeichnet man als Suchraum. Eine Fitness-Funktion ordnet jedem Element von M eine reelle Zahl zu: f : M R (2.1) Gesucht ist das Individuum r, für welche f(r) optimal wird. Sucht man ein Minimum, lässt sich durch Multiplikation von f(x) mit 1 das Problem auf die Suche nach einem Maximum überführen. Man kann sich also auf Maxima beschränken. Über Zufallszahlen

9 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 8 produziert man N Individuen und fasst diese zu einer Menge P zusammen. P heißt Anfangspopulation. Individuen einer Population können durch genetische Operationen verändert werden. Das Konzept eines genetischen Algorithmus basiert darauf, dass in einem Iterationsverfahren bei jedem Schritt eine oder mehrere der genetischen Operationen ausgeführt werden. Die entstehenden Individuen werden zu einer neuen Population (Generation) zusammengefasst. Dabei werden die jeweils durchzuführenden Operationen nach Wahrscheinlichkeiten ausgewählt. Die Grundform des Algorithmus lautet: 1. Wähle eine Anfangspopulation 2. Ermittle aus der Population durch genetische Operationen neue Individuen. Fasse diese Individuen zu einer neuen Population (Generation) zusammen. 3. Fahre fort bei 2., falls das Abbruchkriterium nicht erfüllt ist. Der Punkt 2. sei genauer spezifiziert: Die Ermittlung einer neuen Generation erfolgt dadurch, dass per Zufall eine der Operationen Rekombination, Mutation und Reproduktion ausgewählt wird. Die dadurch erzeugten neuen Individuen weden in einer Menge P gesammelt. Dies wird so oft wiederholt, bis P in seinem Umfang Populationsgröße erreicht hat. P ist dann die neue Population bzw. Generation. Die Auswahl der genetischen Operationen geschieht probabilistisch. Jeder Operation wird eine Wahrscheinlichkeit (Rate) zugeordnet, so dass p(c) : Rekombinationsrate p(m) : Mutationsrate p(r) : Reproduktionsrate Genetischer Algorithmus p(c) + p(m) + p(r) = 1 (2.2) 1. Wähle eine Anfangspopulation P mit N Individuen und definiere P als leere Menge. 2. Berechne für alle Individuen von P die Fitness. 3. Führe eine der Operationen Rekombination, Mutation oder Reproduktion aus. 4. Füge die neuen bzw. ausgewählten Individuen zur Population P hinzu. 5. Ist die Zahl der neuen Individuen kleiner als N, fahre fort bei 3., andernfalls weiter bei Die neugewonnenen Individuen bilden eine neue Population P. Prüfe Abbruchkriterium. Falls es nicht erfüllt ist, setze P = P und fahre fort bei 2. Setze P =

10 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 9 Abbildung 2.3: Ablauf eines Genetischen Algorithmus Abbildung 2.3 zeigt den Rechenverlauf des Algorithmus grafisch. Der Algorithmus wird in seinem Ablauf bestimmt durch die Populationsgröße N sowie durch die Raten p(c), p(m) und p(r). Die Wahl der Raten ist anwendungsbezogen, jedoch gibt es allgemeine heuristische Regeln[Go89]: Die Populationsgröße N liegt meistens zwischen 50 und einigen hundert. Die Rekombinationsrate sollte größer als 0.5 sein. Die Mutationsrate sollte klein sein. Es empfiehlt sich p(m) 1 N. Die Codierung der Individuen ist im allgemeinen binär. Dies hat u.a. historische Gründe; es gibt aber kein Verbot, auch andere Codierungen zuzulassen. Zu empfehlen ist das kleinste Alphabet, welches das zu Grunde liegende Problem ausreichend repräsentieren kann. In vielen Anwendungen geht es um die Suche nach Extremwerten, die bestimmte Nebenbedingungen erfüllen. Sucht man zum Beispiel optimale Belegungszeiten für Maschinen, können die Ergebnisse nicht negativ sein. Die Menge der Individuen im Suchraum müssen dann die Nebenbedingungen erfüllen. Es gibt eine einfache Methode, bei der Bildung neuer Populationen den zulässigen Bereich praktisch nicht zu verlassen: Man ordnet jedem Individuum, das nicht im zulässigen Bereich liegt, eine so schlechte Fitness zu, dass es bald ausgesondert wird und damit langfristig nicht überleben kann.

11 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) Genetische Operationen Die wichtigsten genetischen Operationen sind Mutation, Rekombination und Selektion. In diesem Abschnitt werden diese Operationen in ihren Eigenschaften und Varianten erläutert sowie weitere Operationen eingeführt Auswahlverfahren Genetische Algorithmen verändern die Individuen durch genetische Operationen. Welche Individuen zu verändern sind, muss über ein an der Fitness orientiertes Auswahlverfahren ermittelt werden. Das Auswahlverfahren muss sicherstellen, dass prinzipiell alle Individuen gewählt werden können, auch diejenigen mit niedriger Fitness. Derartige Auswahlverfahren sollen im folgenden erläutert werden. Das Roulette-Auswahl-Verfahren wählt vorrangig Individuen mit hoher Fitness aus. Je höher die Fitness, desto höher ist die Auswahlwahrscheinlichkeit. Die Methode orientiert sich an der Zahlenermittlung beim Roulettespiel und ist das am häufigsten eingesetzte Verfahren. Es sei N die Zahl der Individuen in einer Population und 1 j N. Zudem sei f(j) = f(x(j)) die Fitness des Individuums j in der Population. Dann ist die totale Fitness definiert durch F(k) := k f(j) mit 1 k N, k N (2.3) j=1 Man produziert nun eine Zufallszahl z, 1 z F(N). Sodann wählt man das Individuum p mit der Bedingung F(p 1) z F(p) (2.4) Das Verfahren läßt sich grafisch veranschaulichen. In einen Kreis zeichne man für jedes Individuum einen Sektor, dessen Fläche proportional zur Fitness ist. Läßt man wie beim Roulette eine Kugel entlang der Kreisperipherie laufen, entspricht die Zahl, in dessen Sektor die Kugel hineinläuft, dem ausgewählten Individuum. Ein anderes Vorgehen wird bei der Linearen-Rang-Selektion gewählt: Anstatt die Fitness der Individuen direkt zur Bestimmung der Selektionshäufigkeit zu nutzen, werden die Individuen gemäß ihrer Fitness geordnet. Bei einer Populationsgröße von N wird dem besten Individuum der Rang R(i 1 ) = N, dem schlechtesten der Rang R(i 2 ) = 1 zugewiesen. Die Werte p max und p min dienen dazu, minimale und maximale Reproduktionsraten festzulegen. Sei p max + p min = 2 N. Dann gilt p i = p max (p max p min R(i) 1 ) i = 1,...,N (2.5) N 1 N p i = 1 i=1

12 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 11 Abbildung 2.4: Proportionalauswahl eines Individuums F(k) := k i=1 p i,1 k N ist die zugehörige Verteilungsfunktion. Die folgende Vorschrift stellt dann eine fitnessorientierte Auswahl dar: 1. Sortiere die Individuen der Population nach Fitness-Werten in absteigender Reihenfolge, das heißt die Individuen mit hoher Fitness als erste, zuletzt die mit niedriger Fitness. 2. Wähle eine Zufallszahl z, 0 z 1 und ermittle die Zahl j, für die gilt F(j 1) F(j). 3. Das Individuum j gilt als ausgewählt. Das Auswahlverfahren bevorzugt Individuen mit hoher Fitness. Wählt man nämlich eine Zufallszahl gemäß 2. und trägt diese auf der F(k)-Achse der Abbildung 2.5 ab, so liegt die zugehörige Zahl k im Durchschnitt näher bei 0 als bei N, was eine höhere Fitness bedeutet. Die (N, µ)-selektion lässt nur die µ besten Individuen aus der Population mit dem Umfang N zur Auswahl zu. Aus den µ besten Strings wird mit der Wahrscheinlichkeit p = 1 µ ein String ausgesucht. Die Realisierung des Verfahrens ist folgende 1. Sortiere die Individuen der Population nach Fitness-Werten in absteigender Reihenfolge, d.h. die Individuen mit hoher Fitness als erste, die mit niedriger Fitness als letzte. 2. Suche eine Zufallszahl z mit 1 z µ. 3. Das Individuum z wird ausgewählt.

13 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 12 Abbildung 2.5: Verteilungsfunktion F(k) Im Gegensatz zu den früher beschriebenen Auswahlverfahren haben Individuen mit geringer Fitness keine Überlebenschance. Dies impliziert eine schnellere Konvergenz. Allerdings werden die Populationen gezwungen, sich auf die jeweils nächstliegenden Extrema zuzubewegen; das globale Extremum wird bei dieser Methode daher leicht verpasst. Insofern ist es durchaus wünschenswert, dass auch schlechtkonditionierte Strings in die nächste Generation eingehen können; auf diese Weise können lokale Extreme verlassen werden Rekombination Es gibt verschiedene Varianten der Rekombination. Bei der Ein-Punkt-Rekombination (1-Punkt-Crossover) werden über ein Auswahlverfahren zwei Individuen ausgewählt, die man als Eltern oder Vorfahren bezeichnet. Per Zufall wird eine Zahl z N bestimmt, die kleiner oder gleich der Dimension der Strings ist, welche die Individuen codieren. Danach werden die zwei Strings an der Stelle z auseinandergeschnitten und vertauscht. Das folgende Beispiel zeigt eine Rekombination, bei der ab dem 7-ten Bit gekreuzt wurde: Elter 1: Elter 2: Nachkomme 1: Nachkomme 2: Ähnlich geht man bei der Zwei-Punkt-Rekombination vor. Man bestimmt zwei Zufallszahlen z 1,z 2 N und führt die Überkreuzung zwischen z 1 und z 2 durch.

14 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 13 Elter 1: Elter 2: Nachkomme 1: Nachkomme 2: Bei der Gleichmäßigen Rekombination (Uniform Crossover) wird über Zufallszahlen ein Hilfsvektor (Template) nach folgenden Regeln produziert: Schreibe den Hilfsvektor unter die Eltern und vertausche die über einem Element des Hilfsvektors stehende Spalte genau dann, wenn der Hilfsvektor eine 0 besitzt. Elter 1: Elter 2: Template: Nachkomme 1: Nachkomme 2: Für viele Anwendungen ist diese Art von Crossover nicht brauchbar, da bei Ein- Punkt- oder Zwei-Punkt-Crossover Eigenschaften einer guten Fitness beibehalten werden, bei gleichmäßiger Rekombination aber nicht. Syswerda [Sy89] konnte aber zeigen, dass es Anwendungen gibt, wo diese Art von Rekombination sinnvoll ist. Die Intermediäre Rekombination ist nicht für binärwertige Vektoren anwendbar. Die Elemente der Chromosomen müssen reelle Zahlen sein. Man geht aus von den Eltern und bildet nur einen Nachkommen, der dadurch entsteht, dass die Elemente der Eltern gemittelt werden: Elter 1: Elter 2: Nachkomme: Die PMX-Rekombination(Partially matched Crossover) wird benötigt bei Anwendungen, bei denen die Elemente eines Individuums nicht mehrfach vorkommen dürfen. Ein einfaches Beispiel ist das TSP-Problem. Betrachtet man zwei mögliche Routen einer Rundreise mit den Städten 1, 2,..., N, dann würde ein 2-Punkt-Crossover in manchen Fällen dazu führen, dass einzelne Städte zweimal angefahren werden, was jedoch unzulässig ist. Generation n Generation n Mit einer einfachen Reorganisation in den Strings wird dieser Nachteil jedoch aufgehoben: Kommen in einem String nach der Rekombination zwei Zahlen doppelt vor, wie

15 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 14 etwa die Zahl 1 im ersten String des obigen Beispiels, dann wird die 1 (außerhalb des in der Rekombination vertauschten Teils) durch 7 (im Rekombinationsteil des zweiten Strings) ersetzt. Dies wird solange wiederholt, bis keine Zahl mehr doppelt vorkommt. Als Ergebnis findet man nach 2 Vertauschungs-Schritten für das Beispiel: 1.Schritt Mutation 2.Schritt Bei Individuen mit p Bits und einer Population vom Umfang N werden zwei Zufallszahlen i,j mit 1 i N und 1 j p ermittelt und verändert das Bit j im Individuum i. Die Mutationsrate ist klein anzusetzen, da Mutationen sinnvolle Informationen zerstören können. Andererseits kann man auf Mutationen nicht verzichten, denn mit ihnen lassen sich lokale Extrema überwinden. Mutationen können völlig neue Aspekte in den Generationsprozess einbringen; sie garantieren die Irreversibilität im Entwicklungsprozess der Generationen Inversion Die Inversion ist ein Operator, der die Reihenfolge der Bits umkehrt. Es werden zufällig zwei Zahlen k,n p mit k < n und p als Zahl der Bits eines Individuums ausgewählt und in einem beliebigen Chromosom alle Elemente zwischen k und n invertiert: Dekodierung Die Individuen einer Population setzen sich meistens aus den Binärzahlen 0 und 1 zusammen. Im Allgemeinen wird aber das zu optimierende Objekt durch reelle Zahlen charakterisiert. Daraus entsteht die Frage, wie reelle Zahlen durch die Binärfolgen der Chromosomen codiert werden können. Im folgenden wird ein mögliches Verfahren vorgestellt. Sollen die binärwertigen Individuen reelle Zahlen aus dem Intervall a x b repräsentieren, dann hat eine Umwandlung zu erfolgen. Sei z 1,z 2,...,z n eine Binärfolge. Als Dualzahl steht sie für die ganze Zahl N = M z j 2 j 1 (2.6) j=1 wobei M die Länge der Folge ist. Die Transformation r(z 1,z 2,...,z n ) = a + b a 2 M 1 N (2.7) überführt dann die Binärfolge z 1,z 2,...,z n in eine reelle Zahl im Intervall [a,b].

16 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 15 Abbildung 2.6: Dekodierung der Folge im Intervall [-10,10] 2.5 Diploidie und Dominanz Die meisten Pflanzen und praktisch alle Tiere sowie der Mensch besitzen in den Zellen einen doppelten Chromosomensatz (Diploidie). Die doppelte Auslegung aller Eigenschaften und Charakteristika eines Lebewesens führt möglicherweise zu mehr Konsistenz und Stabilität im Erhalt der Populationen. Sind alle Eigenschaften doppelt ausgelegt, kann nur eine der beiden phänomenologisch in Erscheinung treten, die andere bleibt im Hintergrund. Letztere heißt rezessiv, die andere heißt dominant. Liegen etwa für die Haarfarbe die Farben schwarz und blond vor und ist schwarz dominant, dann besitzt der Träger schwarze Haare. Die blonde Farge tritt nicht in Erscheinung, kann jedoch weitervererbt werden. Es liegt nahe, diese Vorgabe der Natur algorithmisch dahingehend umzusetzen, dass jedes Individuum einer Population durch zwei Strings (Chromosomen) charakterisiert ist. Allerdings muss dann festgelegt werden, welche Bits als dominant und welche als rezessiv zu betrachten sind. So kann man z.b. einen String als dominant und den anderen als rezessiv erklären. Durch Rekombination erfolgt von Zeit zu Zeit der Informationsaustausch. In anderen Ansätzen wird für jedes Bit einzeln festgelegt, welches der vorliegenden Bits dominant sein soll. Die meisten Anwendungen arbeiten arbeiten aber nicht mit diploiden, sondern mit einfachen (haploiden) Chromosomensätzen. 2.6 Kovergenzsätze Allgemeine Konvergenzsätze J.H. Holland, der Vater der genetischen Algorithmen, formulierte einige Konvergenzsätze. Auf diese und weitere Aussagen sei im folgenden eingegangen.

17 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 16 Sei P eine Population mit n Elementen und N eine Teilmenge von P. Weiterhin sei f(n) die Durchschnittsfitness aller Elemente aus N und f(p) die Durchschnittsfitness der gesamtem Population P, so gibt im Falle der Roulette-Selektion p = f(n) f(p) (2.8) die Wahrscheinlichkeit an, dass ein Element aus N in der nächsten Generation wieder vorkommt. Der Satz zeigt, dass Mengen von Individuen mit hoher Fitness eine gute Chance besitzen, sich in der nächsten Generation wiederzufinden. Dies zeigt die Auswahl der besseren Individuen bei Generationenwechsel. Allerdings berücksichtigt der Satz weder die Mutation noch die Rekombination, er bezieht sich lediglich auf die Roulette- Selektion. Als Folgerungen ergeben sich zwei Aussagen: 1. Die wahrscheinlichste Anzahl der Elemente von n in der nächsten Generation ist n = f(n) f(p) n (2.9) 2. Die Zahl der Elemente mit hoher Fitness nimmt im Laufe der Populationsbildung zu. Grundsätzlich hat jedes Chromosom die Chance, in die Population aufgenommen zu werden. Dafür sorgt allein Schon die Mutation, die (wenn auch mit geringer Rate) jedes beliebige Bit verändern kann. Strings mit hoher Fitness haben darüber hinaus auch eine hohe Wahrscheinlichkeit, in die Population zu kommen. Dies garantiert die Methode der Reproduktion, die sich an hohen Fitness-Werten orientiert. Bei einer hohen Zahl von Generationswechseln ist daher die Wahrscheinlichkeit, dass ein String mit hoher Fitness erreicht wird, nahe bei 1. Lässt man die Zahl der Generationen G gegen unendlich gehen, dann gilt für die Wahrscheinlichkeit p des Maximums x Konvergenzsätze für Schemata lim G p(x ) = 1 (2.10) Betrachtet seien alle 5-stelligen binären Strings x = a 1 a 2 a 3 a 4 a 5 mit der Fitness f(x) = j a j 2 j (2.11) Die Fitness-Werte liegen zwischen den Werten 0 (00000) und 31 (11111). Die durchschnittliche Fitness aller möglichen 32 binären Strings hat den Wert 15,5. Betrachtet man nun die Strings, die mit 1 beginnen, so liegt der Durchschnittswert dieser Stringmenge bei 23,5. Binärfolgen, die mit 11 beginnen, besitzen eine Durchschnittsfitness von 27,5. Die formale Darstellung einer solchen Menge von Strings ist 11 (2.12)

18 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 17 wobei der Platzhalten entweder für 0 oder 1 steht. Eine solche Anordnung bezeichnet man als Schema. Das Schema 11 0 zum Beispiel steht für die Individuenmenge 11101, 11100, 11001, Bei der Suche nach optimalen Individuen in einer Population sind die fitness-guten oft dadurch charakterisiert, dass sie einem Schema angehören. Eine evolutionsgemäße Reproduktion sollte Elemente eines solchen Schemas in der Fortpflanzung bevorzugen und den Anteil der zum Schema gehörenden Individuen vergrößern. Dass dies bei bestimmten Reproduktionsmethoden der Fall ist, soll im Folgenden nachgewiesen werden. Zunächst seien dazu noch einige Begriffe definiert. Definition 1 1. Ein Schema ist eine Folge, bestehend aus den Gliedern 0, 1 oder 2. Ein Element eines Schemas entsteht, wenn man jedes durch 0 oder 1 ersetzt. 3. O(H) ist die Zahl der Nullen und Einsen eines Schemas S und heißt Ordnung des Schemas S. 4. S ist die Differenz zwischen der Position des letzten Gliedes, welches 0 oder 1 ist, und der Position des ersten Gliedes dieser Art und heißt Länge des Schemas. Für das Beispiel S = ist O = 4 und S = 8 2 = 6. Ist L die Gesamtlänge eines Strings, dann besitzt ein Schema insgesamt m = 2 L O(S) (2.13) Elemente. Die Zahl aller möglichen Schemata bei der Stringlänge L Ist z = 3 L. Definition 2 1. Es sei n(p) die Zahl der Individuen einer Population P und f(i) die Fitness des i-ten Elements in der Population P. 2. Die mittlere Fitness einer Population ist i P f(p) := f(i) n(p) (2.14) 3. n(h) sei die Zahl der Individuen eines Schemas. 4. Die mittlere Fitness eines Schemas ist f(s) := i S f(i) n(s) (2.15)

19 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 18 Im Folgenden geht es um das Vererbungspotenzial eines Schema von einer Generation zur nächsten. Es zeigt sich, dass die mittlere Fitness f(s) über die Vermehrung oder das Aussterben eines Schemas entscheidet. Ist nämlich f(s) größer als die mittlere Fitness f(p) der Population, dann vermehren sich die Elemente von S, andernfalls sterben sie aus. Selbst wenn sich nur ein Element eines Schemas in einer Population befindet und dieses ein überdurchschnittliche Fitness besitzt, wird es sich vermehren, die Anteile des übergeordneten Schemas wachsen. Satz Sei n(s,t) die Zahl der Individuen des Schemas S zur Generation t. Dann gilt für probabilistische Reproduktionen N(S,t + 1) = n(s,t) f(h) f(p) (2.16) Beweis: Für die Roulette-Auswahl gilt. p i = f(i) k f(k) (2.17) die Wahrscheinlichkeit, mit der das Individuum i für die nächste Generation ausgewählt wird. Dann ist i S f(i) p(s) = k f(k) (2.18) die Auswahlwahrscheinlichkeit für die Elemente des Schemas S, die in der Population P sind. Offenbar ist n(s,t + 1) = p(s) n(p) (2.19) woraus folgt n(s,t + 1) = = i S f(i) n(p) k f(k) i S f(i)/n(s) n(s) (2.20) f(k)/n(p) k = f(s) f(p) n(s,t) Der Satz besagt, dass die Zahl der Elemente eines Schemas von Generation zu Generation wächst, wenn die Durchschnittsfitness der Schemaelemente größer ist als die Durchschnittsfitness der gesamten Population, wenn also f(s) > f(p) (2.21)

20 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 19 Genetisch besonders gut konditionierte Elementgruppen setzen sich bei der Reproduktion durch, sie durchsetzen die Population immer mehr. Dieses Durchsetzen erfolgt exponentiell mit wachsendem t. Ist nämlich dann ergibt sich aus Satz 1 und daraus folgt durch sukzessives Einsetzen f(s) > α f(p) mit α > 1 (2.22) N(s,t + 1) = n(s,t) f(s) > α n(s,t) (2.23) f(p) N(S,t + 1) = n(s,t) > α t n(s,0) (2.24) Der obige Satz bezieht sich ausschließlich auf die Reproduktion, beachtet also Rekombinationen und Mutationen nicht. Satz 1 soll nun daher so erweitert werden, dass Rekombinationen eingeschlossen sind. Betrachtet man das Schema , sowie den Vertreter des Schemas und ein weiteres Individuum , welches nicht Element des Schemas ist. Ab den Markierungen nach dem dritten Bit soll rekombiniert werden. Man erhält dann aus den beiden Strings und Der zweite Nachkomme ist Element des Schemas, die Zahl der Schema-Elemente wurde also nicht verringert. Hätte man nur die beiden letzten Bits vertauscht, so dass sich die Nachkommen und ergeben, dann wären beide keine Schema-Elemente mehr; die Zahl der Schema-Elemente verringert sich um Eins. Den Bereich eines Schemas von dem ersten Element, welches 0 oder 1 ist, bis zum letzten Element dieser Art bezeichnet man als Feld. Für den Fall [1 0 11] ist das Feld der eingeklammerte Bereich. Bringt man nun die Markierung, ab der rekombiniert wird, außerhalb des Feldes an, dann muss mindestens einer der Nachkommen den Schemavorschriften genügen, da das Feld erhalten bleibt; der Umfang des Schemas verringert sich nicht. Setzt man dagegen die Markierung im Feld an, sind möglicherweise beide Nachkommen schemakonträr; der Schema-Umfang verringert sich. Im Feld existieren genau S Markierungsmöglichkeiten. Im gesamten String gibt es L 1 Markierungsmöglichkeiten (L: Länge des Strings). Also ist die Wahrscheinlichkeit, dass die Markierung außerhalb des Feldes liegt 1 S L 1 (2.25) Daraus ergibt sich für die Wahrscheinlichkeit p, dass sich die Zahl n(s, t) der Individuen eines Schemas durch Rekombination nicht verringert p 1 S L 1 (2.26)

21 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) 20 Nach Satz 1 ergibt sich n(s,t + 1) p n(s,t) f(s) f(p) (1 S f(s) ) n(s,t) L 1 f(p) (2.27) Bei dieser Formel wurden Reproduktion und Rekombination zugelassen. Bei der Rekombination wurde allerdings nicht berücksichtigt, das nur ein Teil der Individuen rekombiniert wird. Ist die Rekombinationswahrscheinlichkeit p(r), so geht obige Formel über in p(r) S n(s,t + 1) (1 ) n(s,t) f(s) (2.28) L 1 f(p) Daraus folgt, dass ein Schema innerhalb einer Population wächst, falls (1 p(r) S ) n(s,t) f(s) L 1 f(p) > 1 (2.29) Die Vergrößerung eines Schemas setzt also voraus, dass die mittlere Fitness des Schemas größer als die mittlere Fitness der Population sein muss. Dies ist jedoch nur notwendig, aber nicht hinreichend. Es gehen nämlich noch die Wahrscheinlichkeit p(r) und die Schemalänge S ein. Günstig für exponentielles Wachstum ist, wenn S klein ist. Für eine vollständige Konvergenzaussage fehlt noch der Einfluss der Mutation. Ein Schema bestitzt O(S) feste Positionen. Eine Mutation verursacht die Eliminierung eines Individuums aus einem Schema S, wenn eine dieser O(S) Positionen bei der Mutationsänderung getroffen wird. Die Überlebenswahrscheinlichkeit für ein Bit ist 1 p(m), wobei p(m) die Mutationsrate ist. Sollen alle O(S) Bits überleben, so gilt für die zugehörige Wahrscheinlichkeit (1 p(m)) O(S) 1 p(m) O(S) (2.30) da die Mutationsrate im Allgemeinen sehr klein ist. Daraus ergibt sich für die Zahl der überlebenden Schema-Elemente n(s,t + 1) p(r) S (1 ) n(s,t) f(s) (1 p(m) O(S)) L 1 f(p) (2.31) S f(s) (1 p(r) p(m) O(S)) n(s,t) L 1 f(p) Damit sind die genetischen Operationen Mutation, Rekombination und Reproduktion berücksichtigt. Das Vergrößern eines Schemas S in einer Population erfolgt, wenn die folgenden Voraussetzungen erfüllt sind 1. f(s) > f(p) 2. S klein 3. O(S) klein Schemata mit hoher Fitness pflanzen sich also mit überproportionaler Geschwindigkeit fort, sie bilden eine Art, die sich besonders schnell vermehrt

22 KAPITEL 2. GENETISCHE ALGORITHMEN (GA) Hybride Verfahren Genetische Algorithmen garantieren keine Konvergenz. Die Populationen bewegen sich auf Gebiete des Suchraums zu, die im Sinne der Fitness interessant sind, aber sie müssen nicht unbedingt die relevanten Extrema auffinden. In diesem Sinne kann man Genetische Algorithmen als weiche Verfahren bezeichnen. Für viele Anwendungen existieren konventionelle Iterationsverfahren, die für günstige Startwerte konvergieren; dabei ist die Konvergenz nachweisbar. Diese Verfahren besitzen allerdings meist den Nachteil, dass die Startwerte nicht zu weit von der zu findenden Lösung entfernt sein dürfen. Ein Beispiel dafür ist das Tangentenverfahren von Newton zur Bestimmung einer Nullstelle. Das führt auf den nahe liegenden Ansatz, beide Verfahren zu verbinden: Man produziert zunächst einige Generationen im Rahmen Genetischer Algorithmen, so dass man nahe an die Lösungen herangeführt wird und setzt dann ein konventionelles Verfahren ein. Eine Alternative wäre, abwechselnd je einen oder mehrere Schritte genetisch durchzuführen, um dann konventionell die Rechnung fortzusetzen. Der nichtgenetische Teil ist im allgemeinen konstruktiv, indem logisch einsehbare Konstrukte algorithmisch eine Verbesserung der Individuen herbeiführen. Es gibt Anwendungen, wo dieser konstruktive Anteil als ein Operator definiert und codiert wird, der gleichrangig mit den genetischen Operatoren eingesetzt wird. Es hat sich herausgestellt, dass man mit diesem Vorgehen bei bestimmten Anwendungen erstaunliche Rechenzeitersparnisse erzielt. Die Methode ist oft besser als das gewählte konservative Verfahren und besser als ein rein genetisches Vorgehen. Außerdem scheint die Konvergenz gesichert zu sein. Hybride Verfahren entsprechen in der Natur einer Evolution, die Sprünge zulässt, die über einfache Mutationen hinausgehen. Eine solche Sicht der Evolution findet man z.b. in [Hoy84], wo die evolutionäre Entwicklung einer Spinne exemplarisch aufgeführt wird: Die reine Evolutionstheorie führt zu Schwierigkeiten, da das Spinnennetz einerseits eine Mindestgröße besitzen muss, andererseits aber evolutionär nur eine Entwicklung von kleineren zu größeren Netzen denkbar ist. Es muss also ein Evolutionssprung stattgefunden haben.

23 Kapitel 3 Evolutionsstrategien Die im folgenden darzustellende Optimierungsmethode orientiert sich wie die genetischen Algorithmen an den Prinzipien der biologischen Evolution. Auch hier existeren Populationen und genetische Operatoren wie Mutation, Rekombination und Selektion. Die Schaffung neuer Generationen geschieht im wesentlichen wie bei genetischen Algorithmen, nur die algorithmische Implementierung unterscheidet sich. Evolutionsstrategien (ES) wurden bereits zu Beginn der 70er Jahre von I. Rechenberg [Re73] und später auch H. Schwefel [Sc81] angedacht und weiterentwickelt. Die ersten Anwendungen waren experimentelle Optimierungen mit diskreten Mutationen: z.b. die Optimierung von Plattenformen im Windkanal. Später erst erfolgten entsprechende Rechnersimulationen. Mittlerweile wurde das Verfahren der Evolutionsstratgie erfolgreich in verschiedenen Anwendungen eingesetzt. Einige davon seien genant [SBK93]: Optimierung optischer Linsen Optimierung sozio-ökonomischer Systeme Regressionsanalyse Die Entwicklung der Evolutionsstrategie erfolgte trotz der identischen Grundkomponenten zu den genetischen Algorithmen eigenständig; erst 1990 kam es zu Kontakten zwischen den GA-Forschern der USA und den ES-Forschern aus Deutschland. 3.1 Das Verfahren Im Gegensatz zu den Genetischen Algorithmen ist die Mutation bei den Evolutionsstrategien der Hauptoperator und nicht nur lediglich eine Hintergrundoperation. Ansonsten arbeiten beide Methoden mit den gleichen Basisbegriffen, wobei die ES jedoch eine unterschiedliche Konkretisierung dieser Begriffe vornehmen: Population Eine Population besteht aus N Individuen, wobei jedes Individuum ein reellwertiger Vektor ist. Die Anfangspopulation wird über reellwertige Zufallsvektoren gewonnen, 22

24 KAPITEL 3. EVOLUTIONSSTRATEGIEN 23 die den Restriktionen genügen. Zu den Systemparametern (Objektvariablen) kommen noch Strategieparameter hinzu Mutation Es werden alle Vektorkoordinaten gleichzeitig verändert, indem normalverteilte Zufallsgrößen aus N(0,σ) (Erwartungswert 0, Varianz σ 2 ) addiert werden. Ist x i eine Vektorkoordinate, dann erfolgt die Mutationsänderung durch x i neu = x i alt + σ i neu z i (3.1) wobei z i eine normalverteilte Zufallszahl aus N(0,1) und σ i die Standardabweichung für die i-te Koordinate ist. Die Werte σ i werden dabei aus der Vorschrift σ i neu = σ i alt exp (τ 0 z 0 ) exp (τ 1 z i ) (3.2) = σ i exp (N(0,τ 0 ) exp (N(0,τ 1 )) gewonnen, wobei z 0 und z i normalverteilte Zufallszahlen aus N(0,1) sind und man die Faktoren τ 0, τ 1 als Anpassungsfaktoren bezeichnen könnte. τ 0 beschreibt die Anpassung des Individuums und τ 1 die Anpassung pro Koordinate. Für diese Faktoren setzt man τ 0 = α 0 2 N (3.3) τ 1 = α 1 2 N (3.4) Dabei ist N die Populationsgröße und α 0,α 1 sind Konstanten. Dies bedeutet, dass die Standardabweichungen σ i bei jedem Mutationsschritt nicht nur neu berechnet werden, sondern auch für zukünftige Mutationen zu speichern sind. Dies ist realisierbar, indem man bei einem Individuum der Population zum Vektor x noch den Vektor σ der Standardabweichung anfügt und den so entstehenden Vektor der Dimension 2N als Individuum betrachtet. Ein Vektor der Population hat also die Struktur: x 1,x 2,...,x N,σ 1,σ 2,...,σ N (3.5) Die x-koordinaten bezeichnet man als Objektvariablen und die σ-komponenten als Strategievariablen. Ein Individuum besteht damit aus Objekt- und Stratgievariablen. Das Mitführen der Strategieparameter hat sich in Experimenten als konvergenzsteigernd herausgestellt [SBK93], allerdings fehlt bisher eine fundierte Theorie, welche diese Aussagen untermauern könnte Rekombination Obwohl die Mutation der Hauptoperator ist, ist die Rekombination für die Selbstadaption der Strategieparameter unverzichtbar. Man unterscheidet zwischen intermediärer und diskreter Rekombination. Die intermediäre Rekommbination produziert Nachkommen durch Mittelung der Komponenten von meistens zwei zufällig ausgewählten Eltern.

25 KAPITEL 3. EVOLUTIONSSTRATEGIEN 24 Bei der diskreten Rekombination werden die Vektorkomponenten zufällig von einem der Eltern übernommen; die diskrete Rekombination wirkt diversitätserhaltend. Es empfiehlt sich, die diskrete Rekombination für die Objektvariablen und die intermediäre Rekombination für die Strategieparameter einzusetzen Selektion Bei Genetischen Algorithmen erfolgt die Selektion probabilistisch, indem den Individuen Überlebenswahrscheinlichkeiten zugeordnet werden, welche sich aus dem Anteil der Fitness an der Gesamtfitness ergeben. Evolutionsstrategien besitzen ein deterministisches Konzept, nach dem die µ besten Nachkommen überleben. Es existieren zwei Selektionsansätze: 1. (µ, Γ)-Konzept: µ Eltern produzieren Γ Nachkommen, von denen die µ besten überleben. 2. (µ+γ)-konzept: µ Eltern produzieren Γ Nachkommen. Von den µ+γ Individuen überleben die µ besten. 3.2 Mehrfache Zielsetzung Obige Evolutionsstrategie wurde von H.Schwefel auf mehrfache Zielsetzung (Vektoroptimierung) erweitert, das heißt es liegen mehrere Zielfunktionen vor. In Anlehung an die Natur wird ein diploider Chromosomensatz mitgeführt mit dominanter und rezessiver Erbinformation. Daher wid jedes Individuum der Population durch zwei Vektoren charaktersisiert, nämlich x 1,σ 1 und x 2,σ 2, wobei x 1,x 2 je die Vektoren der Objektvariablen und σ 1,σ 2 die Vektoren der Strategieparameter sind. Abbildung 3.1: Diploidie bei der Evolutionsstategie

26 KAPITEL 3. EVOLUTIONSSTRATEGIEN 25 Der erste Vektor x 1,σ 1 heißt dominant, der zweite x 2,σ 2 rezessiv. Für beide Vektoren wird getrennt die Fitness f(x 1 ),f(x 2 ) berechnet. Aus diesen ergibt sich die Fitness für das Individuum durch F(x 1 ) = α f(x 1 ) + (1 α) f(x 2 ) (3.6) Im allgemeinen ist α > 0.5, so dass die dominante Eigenschaft stärker durchschlägt als die rezessive. Für die so strukturierten Individuen definiert man die Mutation wie bei der Evolutionsstrategie; für die rezessiven Vektoren wird zusätzlich mutiert.... die Rekombination ebenfalls wie bei der Evolutionsstrategie; die rezessiven Vektoren werden zusätzlich rekombiniert. Mit einer Wahrscheinlichkeit von p 0.33 werden rezessive und dominante Eigenschaften vertauscht.... die Selektion: Der Vektor der Zielfunktionen sei gegeben durch die Vektorkomponenten F j (x 1 ), wobei x 1 der Vektor der dominanten Informationen ist. Über einen Wahrscheinlichkeitsvektor wird ermittelt, welche Komponente zur Selektion herangezogen wird. Diese Komponente ergibt dann die Fitness des Individuums im aktuellen Iterationsschritt; die schlechtesten Individuen werden gelöscht.

27 Kapitel 4 Evolutionary Computing Evolutionary Computing (EC) bezeichnet eine Gruppe von Ansätzen, die sich alle an die Evolution und Genetik anlehnen. Es bestehen mehrere Hauptrichtungen im Bereich des EC, welche mehrheitlich unabhängig voneinander entwickelt wurden. Natürlich hat über die Zeit eine Anpassung der Ideen hinter den Ansätzen stattgefunden, wobei die jeweiligen Ideen in andere Ansätze übernommen wurden. Neben den Genetischen Algorithmen und den Evolutionsstrategien werden folgende Ansätze unter dem Begriff des Evolutionary Computing zusammengefasst: Evolutionäres Programmieren (EP) Das Verfahren ist vergleichbar mit einem genetischem Algorithmus, jedoch mit zwei wesentlichen Unterschieden: Erstens wird die zu optimierende Datenstruktur durch Chromosomen direkt abgebildet; es gibt keine binäre Codierung und zweitens gibt es als Optimierungsoperatoren nur Mutation und Selektion und kein Crossover ( asexuelle Reproduktion ). Genetisches Programmieren (GP) ist der jüngste Ansatz im Forschungsbereich des Evolutionary Computing. Er basiert auf den Genetischen Algorithmen. Im allgemeinen ist das zu optimierende System durch reellwertige Parameter definiert. Bei Genetischen Algorithmen sucht man die Paramtermenge mit der optimalen Fitness. Dieses Konzept kann jedoch auch gut verallgemeinert werden. Ersetzt man nämlich das parameterdefinerte System durch ein theoretisches Konstrukt, wie etwa eine Berechnungsvorschrift oder ein Computerprogramm, so kann man die Frage nach der Vorschrift oder dem Programm stellen, welches eine vorgegebene Aufgabe optimal löst. Für binäre Ein-/Ausgabewerte wäre ein geeigneter Bool scher Ausdruck zu suchen. Auch dieser Optimierungstyp ist durch Evolutionsähnliche Verfahren angehbar, indem syntaktisch korrekte Berechnungsvorschriften solange verändert werden, bis die anstehende Aufgabe optimal gelöst wird. Den Wissensbereich, der sich mit diesen Fragen beschäftigt, bezeichnet man als Genetische Programmierung. Das Konzept wurde zufrieden stellend auf die Ermittlung von Berechnungsvorschriften angewandt. Prinzipiell lassen sich auch Computerprogramme genetisch entwickeln; der Rechner lernt, eine Aufgabe zu lösen, ohne dass er programmiert wird. Allerdings sind die Anwendungen noch 26

28 KAPITEL 4. EVOLUTIONARY COMPUTING 27 nicht über Miniprogramme hinausgekommen.

29 Literaturverzeichnis [Ho92] J.H.Holland:Adaption in artificial and natural systems, The University of Michigan Press, 1992 [Hoy84] F.Hoyle: Das intelligente Universum. Eine neue Sicht von Entstehung und Evolution, Umschau Verlag, Breisenstein, 1984 [Go89] D.E. Goldberg: Genetic Algorithms in Search, Optimization and Machine Learning, Addison Weasley, New York, Sidney 1989 [Ki94] W.Kinnebrock: Optimierung mit genetischen und selektiven Algorithmen, Oldenbourg Verlag, München, 1994 [Kn82] Knaurs Lexikon: Darwinismus, Band 4, Buchclub Ex Libris, Zürich 1982 [Kn82] Knaurs Lexikon: Genetische Information, Band 7, Buchclub Ex Libris, Zürich 1982 [Re73] I.Rechenberg: Evolutionsstrategie: Optimierung technischer Systeme nach Prinzipien der biologischen Evolution, Frommann Holzboog Verlag, Stuttgart, 1973 [SBK93] H.P. Schwefel, T. Bäck, F. Kursawe: Naturanaloge Verfahren. Grundlagen und praktischer Einsatz in der Optimierung, Tutorium Universität Dortmund,