Genetische Algorithmen

Transkript

1 Genetische Algorithmen Von Valentina Hoppe und Jan Rörden Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert

2 Gliederung Biologische Evolution Genetischer Algorithmus Definition theoretischer Hintergrund wichtige Merkmale Der rtneat Algorithmus Beispiele NERO 2.0 Travelling Salesman Problem Anwendungsbereiche Fazit

3 Grundlagen: Biologische Evolution

4 Erbgut Lebewesen bestehen aus Zellen; in diesen befinden sich Chromosomen, dort ist das Erbgut gespeichert Bauplan für das Individuum Chromosome sind in Genome unterteilt, die bestimmte Teileigenschaften festlegen keine beliebigen Zustände (z.b. Augenfarben)

5 Evolutionsmechanismen Selektion: natürliche Auslese; Angepasstheit wird als Fitness bezeichnet Mutation: Allele (=Ausprägung) von Genen verändern sich positive oder negative Folgen für die Fitness Rekombination (Crossover): neue Merkmalskombinationen durch Austausch von Allelen zweier Chromosomen genetische Variabilität einer Population

6 Entsprechung im Code Erbgut: alle relevanten Variablen Selektion/Fitness wird durch Nutzer- Einstellungen beurteilt Mutation: zufällige Veränderung von Variablen Rekombination: 2 Individuen tauschen einen Satz von Variablen aus ALLE Ergebnisse müssen trotzdem den Regeln entsprechen!

7 Definition: Was macht genetische Algorithmen aus?

8 Was ist ein genetischer Algorithmus? Grundidee: Man betrachtet nicht nur eine Lösung (Populationen) sondern mehrere, die durch eine Bewertung, Mutation und Rekombination zu neuen und besseren Lösungen führen. Dieser Algorithmus ist an die biologische Evolution angelehnt.

9 Aufbau eines genetischen Algorithmus 1. Wird eine Anfangspopulation erstellt 2. Die wird zur aktuellen Population 3. Jedes Individuum der Population wird durch die Fitnessfunktion bewertet 4. Die besten werden in der Selektion ausgewählt und sind die Elternpaare für die Nachfolgepopulation 5. Nachkommen werden durch Rekombination erzeugt und dann mutiert 6. Falls die Lösung mit den neuen Nachkommen ausreicht, wird der Algorithmus beendet, falls nicht wird alles von Schritt 2 an wiederholt

10 Pseudocode Wähle problemspezifische Individuencodierung Initialisiere Individuum der Startpopulation zufällig do { Bewerte Individuum mit Bewertungs-/Fitnessfunktion Selektiere Elternpaare nach Heiratsschema Erzeuge Nachkommen durch Rekombination Mutiere die erzeugten Nachkommen Ersetze Individuen der akt. Generation nach Ersetzungsschema } while Abbruchbedingung trifft nicht zu

11 Individuencodierung Eine geeignete Kodierung der Variablen ist sehr wichtig, da sonst der Algorithmus nicht erfolgreich ist. Erste Population muss so gewählt werden, dass der Suchraum gut abgedeckt wird werden zufällig erzeugt Je mehr Individuen, desto schneller ist das Ergebnis.

12 Bewertungs-/Fitnessfunktion Bewertungsfunktion = Optimierungskriterium Es misst die Qualität des Individuums bzw. wie weit es vom Optimum entfernt ist. Fitnessfunktion legt fest mit welcher Wahrscheinlichkeit ein Individuum an der nächsten Rekombination teilnimmt.

13 Heirats-Schema Auswählung der Individuen, die an Rekombination teilnehmen sollen. Am meisten verwendet: Roulette-Wheel-Schema Auswählung der Eltern durch eine Wahrscheinlichkeit, die abhängig von der Bewertung ist Mit zunehmender Generation soll die Güte der Population steigen Fitnessfunktion = Bewertungsfunktion

14 Rekombination / Crossover Mit je 2 Eltern, die zu 2 Nachkommen führen. Daten über den Suchraum werden mit den ausgewählten Individuen aus dem Heirats-Schema gemischt neue Individuen mit Orientierungssinn entstehen Dient dazu Suchraum schneller und zielgerichteter zu durchsuchen.

15 Crossover-Verfahren One-point-crossover: Eine Bruchstelle wird zufällig ausgewählt, dort werden die Chromosomen der beiden Eltern- Individuen gekreuzt. z.b. Eltern: e1 = Bruchstelle: b = 3 e2 = Kinder: k1 = k2 = Es gibt noch einen two-point-crossover. Er enthält eine weitere Bruchstelle.

16 Mutation Wird verwendet um Suchvorgang zu beschleunigen. Hilft dabei, dass die Population mit zunehmender Generation nicht gleich bleibt.

17 Ersetzungsschema Entscheidet darüber welche Individuen der vorherigen Population durch Individuen der Folgegeneration ersetzt werden. Ersetzungsschemata: Generational Replacement : alle Eltern- Individuen werden durch die besten Kinder ersetzt. Elitismus : Survival of the fittest

18 Vor- und Nachteile Vorteile Schnellstes evolutionäres Optimierungsverfahren Parallelisierbar, da Verwendung mehrerer Individuen möglich ist Guter Ansatz um ein globales Optimum zu bestimmen Kann erweitert werden

19 Vor- und Nachteile Nachteile Man kann die genaue Dauer nicht im Vorfeld bestimmen Parameterabhängig Sehr rechenintensiv

20 Unterschiede zu anderen Verfahren GA ist im Vergleich zur Genetischen Programmierung relativ unflexibel, da nur die Parameter der Lösungskandidaten geändert werden. Mutationen werden nur als zusätzliche Option verwendet, nicht so wie bei den Evolutionsstrategien. GA verwendet binäre Informationen; Evolutionsstrategien hingegen reelle Zahlen GA führt schon bei der Auswahl der Eltern eine Selektion durch; Evolutionsstrategien machen das erst bei den Nachkommen.

21 Theorie: der rtneat Algorithmus

22 rtneat real-time Neuro-Evolution of Augmenting Topologies Veränderungen sofort sichtbar keine Generationen ; Selektion findet permanent statt! gute und schlechte Aktionen werden vom Spieler bewertet Belohnung/Bestrafung hilft, gute und schlechte Agenten zu identifizieren

23 rtneat Besonderheit: startet mit der kleinstmöglichen Komplexität größtmögliche Flexibilität auch mit kleinen Populationen funktionsfähig (30 Individuen ) auf verschiedenen Plattformen und Sprachen verfügbar (C++, Java, Matlab...)

24 Beispiele: NERO 2.0 und das Travelling Salesman Problem

25 NERO 2.0 Neuro-Evolving Robotic Operatives state-of-the-art machine learning technology zeigen, was möglich ist Videospiel, aber wissenschaftlicher Hintergrund und wiss. Verwendung

26 NERO 2.0 Interface Regler für gute/schlechte Bewertung Vorgabe für Zeit auf dem Feld (= ein Selektions-Zyklus) Anzeigen für: Fitness, Species, Brain ID, Neural Net Complexity, Champ, Fitness Rank verschiedene Graphen, z.b.: graphische Darstellung des Gehirns

27 NERO 2.0 Modi Sandbox Trainingsmodus simples Umfeld verschiedene Arenen mit steigender Komplexität zwei verschiedene Spielmodi vortrainierte Teams (verschiedene Schwerpunkte, siehe Benennung)

28 NERO 2.0 Darstellung eines Genoms abgespeichert in einer.txt-datei kann einfach eingesehen werden lesbar Struktur der einzelnen Individuen kann betrachtet werden wie sind die unterschiedlichen Verhaltensweisen auf das Genom zurückzuführen? manipulierbar

29 Travelling Salesman Problem ein zentrales Lager, mehrere Adressen in der Stadt, die angefahren werden müssen jede Adresse darf nur einmal besucht werden welcher Weg ist der kürzeste?

30 TSP: Umsetzung in Java Chromosom als Abfolge der durchnummerierten Stationen nach jeder Mutation/Kombination müssen noch alle Stationen enthalten sein 100 Generationen, keine identischen Durchläufe

31 Anwendungsbereiche

32 Wo werden genetische Algorithmen bisher angewendet? Optimierung Konstruktion von komplexen Bauteilen; z.b. beim Brückenbau Erstellung von Phantombildern Flugzeugbau Logistik

33 Fazit

34 Möglicherweise nicht das optimale Ergebnis eignet sich das Problem für diese Strategie? besonders, wenn viel Wissen über das Problem vorhanden ist nicht die erste Wahl geringer Formalisierungs- und Modellierungsaufwand des Problems nötig benötigen kein großes Wissen über Struktur des Problems sehr flexibel, vor allem bei großem Suchraum eignet sich besonders, wenn globales Optimum zu aufwendig ist

35 Quellen

36 Genetische Algorithmen Von Valentina Hoppe und Jan Rörden Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert 1

37 Gliederung Biologische Evolution Genetischer Algorithmus Definition theoretischer Hintergrund wichtige Merkmale Der rtneat Algorithmus Beispiele NERO 2.0 Travelling Salesman Problem Anwendungsbereiche Fazit 2

38 Grundlagen: Biologische Evolution 3

39 Erbgut Lebewesen bestehen aus Zellen; in diesen befinden sich Chromosomen, dort ist das Erbgut gespeichert Bauplan für das Individuum Chromosome sind in Genome unterteilt, die bestimmte Teileigenschaften festlegen keine beliebigen Zustände (z.b. Augenfarben) 4

40 Evolutionsmechanismen Selektion: natürliche Auslese; Angepasstheit wird als Fitness bezeichnet Mutation: Allele (=Ausprägung) von Genen verändern sich positive oder negative Folgen für die Fitness Rekombination (Crossover): neue Merkmalskombinationen durch Austausch von Allelen zweier Chromosomen genetische Variabilität einer Population 5

41 Entsprechung im Code Erbgut: alle relevanten Variablen Selektion/Fitness wird durch Nutzer- Einstellungen beurteilt Mutation: zufällige Veränderung von Variablen Rekombination: 2 Individuen tauschen einen Satz von Variablen aus ALLE Ergebnisse müssen trotzdem den Regeln entsprechen! 6

42 Definition: Was macht genetische Algorithmen aus? 7

43 Was ist ein genetischer Algorithmus? Grundidee: Man betrachtet nicht nur eine Lösung (Populationen) sondern mehrere, die durch eine Bewertung, Mutation und Rekombination zu neuen und besseren Lösungen führen. Dieser Algorithmus ist an die biologische Evolution angelehnt. 8

44 Aufbau eines genetischen Algorithmus 1. Wird eine Anfangspopulation erstellt 2. Die wird zur aktuellen Population 3. Jedes Individuum der Population wird durch die Fitnessfunktion bewertet 4. Die besten werden in der Selektion ausgewählt und sind die Elternpaare für die Nachfolgepopulation 5. Nachkommen werden durch Rekombination erzeugt und dann mutiert 6. Falls die Lösung mit den neuen Nachkommen ausreicht, wird der Algorithmus beendet, falls nicht wird alles von Schritt 2 an wiederholt 9

45 Pseudocode Wähle problemspezifische Individuencodierung Initialisiere Individuum der Startpopulation zufällig do { Bewerte Individuum mit Bewertungs-/Fitnessfunktion Selektiere Elternpaare nach Heiratsschema Erzeuge Nachkommen durch Rekombination Mutiere die erzeugten Nachkommen Ersetze Individuen der akt. Generation nach Ersetzungsschema } while Abbruchbedingung trifft nicht zu 10

46 Individuencodierung Eine geeignete Kodierung der Variablen ist sehr wichtig, da sonst der Algorithmus nicht erfolgreich ist. Erste Population muss so gewählt werden, dass der Suchraum gut abgedeckt wird werden zufällig erzeugt Je mehr Individuen, desto schneller ist das Ergebnis. 11

47 Bewertungs-/Fitnessfunktion Bewertungsfunktion = Optimierungskriterium Es misst die Qualität des Individuums bzw. wie weit es vom Optimum entfernt ist. Fitnessfunktion legt fest mit welcher Wahrscheinlichkeit ein Individuum an der nächsten Rekombination teilnimmt. 12

48 Heirats-Schema Auswählung der Individuen, die an Rekombination teilnehmen sollen. Am meisten verwendet: Roulette-Wheel-Schema Auswählung der Eltern durch eine Wahrscheinlichkeit, die abhängig von der Bewertung ist Mit zunehmender Generation soll die Güte der Population steigen Fitnessfunktion = Bewertungsfunktion 13

49 Rekombination / Crossover Mit je 2 Eltern, die zu 2 Nachkommen führen. Daten über den Suchraum werden mit den ausgewählten Individuen aus dem Heirats-Schema gemischt neue Individuen mit Orientierungssinn entstehen Dient dazu Suchraum schneller und zielgerichteter zu durchsuchen. 14

50 Crossover-Verfahren One-point-crossover: Eine Bruchstelle wird zufällig ausgewählt, dort werden die Chromosomen der beiden Eltern- Individuen gekreuzt. z.b. Eltern: e1 = Bruchstelle: b = 3 e2 = Kinder: k1 = k2 = Es gibt noch einen two-point-crossover. Er enthält eine weitere Bruchstelle. 15

51 Mutation Wird verwendet um Suchvorgang zu beschleunigen. Hilft dabei, dass die Population mit zunehmender Generation nicht gleich bleibt. 16

52 Ersetzungsschema Entscheidet darüber welche Individuen der vorherigen Population durch Individuen der Folgegeneration ersetzt werden. Ersetzungsschemata: Generational Replacement : alle Eltern- Individuen werden durch die besten Kinder ersetzt. Elitismus : Survival of the fittest 17

53 Vor- und Nachteile Vorteile Schnellstes evolutionäres Optimierungsverfahren Parallelisierbar, da Verwendung mehrerer Individuen möglich ist Guter Ansatz um ein globales Optimum zu bestimmen Kann erweitert werden 18

54 Vor- und Nachteile Nachteile Man kann die genaue Dauer nicht im Vorfeld bestimmen Parameterabhängig Sehr rechenintensiv 19

55 Unterschiede zu anderen Verfahren GA ist im Vergleich zur Genetischen Programmierung relativ unflexibel, da nur die Parameter der Lösungskandidaten geändert werden. Mutationen werden nur als zusätzliche Option verwendet, nicht so wie bei den Evolutionsstrategien. GA verwendet binäre Informationen; Evolutionsstrategien hingegen reelle Zahlen GA führt schon bei der Auswahl der Eltern eine Selektion durch; Evolutionsstrategien machen das erst bei den Nachkommen. 20

56 Theorie: der rtneat Algorithmus 21

57 rtneat real-time Neuro-Evolution of Augmenting Topologies Veränderungen sofort sichtbar keine Generationen ; Selektion findet permanent statt! gute und schlechte Aktionen werden vom Spieler bewertet Belohnung/Bestrafung hilft, gute und schlechte Agenten zu identifizieren 22

58 rtneat Besonderheit: startet mit der kleinstmöglichen Komplexität größtmögliche Flexibilität auch mit kleinen Populationen funktionsfähig (30 Individuen ) auf verschiedenen Plattformen und Sprachen verfügbar (C++, Java, Matlab...) 23

59 Beispiele: NERO 2.0 und das Travelling Salesman Problem 24

60 NERO 2.0 Neuro-Evolving Robotic Operatives state-of-the-art machine learning technology zeigen, was möglich ist Videospiel, aber wissenschaftlicher Hintergrund und wiss. Verwendung 25

61 NERO 2.0 Interface Regler für gute/schlechte Bewertung Vorgabe für Zeit auf dem Feld (= ein Selektions-Zyklus) Anzeigen für: Fitness, Species, Brain ID, Neural Net Complexity, Champ, Fitness Rank verschiedene Graphen, z.b.: graphische Darstellung des Gehirns 26

62 NERO 2.0 Modi Sandbox Trainingsmodus simples Umfeld verschiedene Arenen mit steigender Komplexität zwei verschiedene Spielmodi vortrainierte Teams (verschiedene Schwerpunkte, siehe Benennung) 27

63 NERO 2.0 Darstellung eines Genoms abgespeichert in einer.txt-datei kann einfach eingesehen werden lesbar Struktur der einzelnen Individuen kann betrachtet werden wie sind die unterschiedlichen Verhaltensweisen auf das Genom zurückzuführen? manipulierbar 28

64 Travelling Salesman Problem ein zentrales Lager, mehrere Adressen in der Stadt, die angefahren werden müssen jede Adresse darf nur einmal besucht werden welcher Weg ist der kürzeste? 29

65 TSP: Umsetzung in Java Chromosom als Abfolge der durchnummerierten Stationen nach jeder Mutation/Kombination müssen noch alle Stationen enthalten sein 100 Generationen, keine identischen Durchläufe 30

66 Anwendungsbereiche 31

67 Wo werden genetische Algorithmen bisher angewendet? Optimierung Konstruktion von komplexen Bauteilen; z.b. beim Brückenbau Erstellung von Phantombildern Flugzeugbau Logistik 32

68 Fazit 33

69 Möglicherweise nicht das optimale Ergebnis eignet sich das Problem für diese Strategie? besonders, wenn viel Wissen über das Problem vorhanden ist nicht die erste Wahl geringer Formalisierungs- und Modellierungsaufwand des Problems nötig benötigen kein großes Wissen über Struktur des Problems sehr flexibel, vor allem bei großem Suchraum eignet sich besonders, wenn globales Optimum zu aufwendig ist 34

70 Quellen