Evolutionäre Robotik

Transkript

1 Evolutionäre Robotik

3 Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen)

4 Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption

5 Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten

6 Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten 2. Lernen

7 Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten 2. Lernen Längerfristige (strukturelle) Veränderungen: Zeitraum: Minuten bis Jahre

8 Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten 2. Lernen Längerfristige (strukturelle) Veränderungen: Zeitraum: Minuten bis Jahre 3. Evolution

9 Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten 2. Lernen Längerfristige (strukturelle) Veränderungen: Zeitraum: Minuten bis Jahre 3. Evolution Lernen über Generation auf der Ebene von Populationen

10 Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten 2. Lernen Längerfristige (strukturelle) Veränderungen: Zeitraum: Minuten bis Jahre 3. Evolution Lernen über Generation auf der Ebene von Populationen Evolution: Adaption durch zufällige Mutation und natürliche Selektion

12 Evolutionäre Robotik Population

13 Evolutionäre Robotik Population Evaluation

14 Evolutionäre Robotik Population Evaluation Population

15 Evolutionäre Robotik Population Evaluation Population Selektion

16 Evolutionäre Robotik Population Evaluation Population Selektion Population

17 Evolutionäre Robotik Population Evaluation Population Selektion Population Reproduktion/ Variation

18 Evolutionäre Robotik Population Evaluation Population Selektion Population Reproduktion/ Variation Population

19 Evolutionäre Robotik Population Evaluation Population Selektion Population Reproduktion/ Variation Population

20 Genetische Algorithmen Evaluation Genotyp Phänotyp d

21 Genetische Algorithmen Fitnessfunktion Explizit Implizit Extern Funktion Intern Verhalten

22 Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Explizit Implizit Extern Funktion Intern Verhalten

23 Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit Implizit Extern Funktion Intern Verhalten

24 Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit vs. Implizit Explizit Implizit Extern Funktion Intern Verhalten

25 Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit vs. Implizit Welche Variablen verwendet werden (z.b. Lebenszeit vs. Distanz) Explizit Implizit Extern Intern Funktion Verhalten

26 Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit vs. Implizit Welche Variablen verwendet werden (z.b. Lebenszeit vs. Distanz) Intrinsisch vs. Extrinsisch Explizit Implizit Extern Intern Funktion Verhalten

27 Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit vs. Implizit Welche Variablen verwendet werden (z.b. Lebenszeit vs. Distanz) Intrinsisch vs. Extrinsisch Globale Information vs. Information die dem Agenten durch seine Sensoren zur Verfügung stehen Explizit Implizit Extern Funktion Intern Verhalten

28 Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit vs. Implizit Welche Variablen verwendet werden (z.b. Lebenszeit vs. Distanz) Intrinsisch vs. Extrinsisch Globale Information vs. Information die dem Agenten durch seine Sensoren zur Verfügung stehen Explizit Implizit Extern Funktion Intern Verhalten

29 Genetische Algorithmen Mutation

30 Genetische Algorithmen Mutation Genotyp

33 Genetische Algorithmen Crossover

34 Genetische Algorithmen Crossover Genotyp

35 Genetische Algorithmen Crossover Genotyp Genotyp

37 Genetische Algorithmen Crossover Genotyp Genotyp Offspring

38 Genetische Algorithmen Crossover Genotyp Genotyp Offspring Offspring

39 Genetische Algorithmen Crossover

40 Genetische Algorithmen Crossover Genotyp

43 Genetische Algorithmen Crossover Genotyp Genotyp Offspring

44 Genetische Algorithmen Crossover Genotyp Genotyp Offspring Offspring

45 Genetische Algorithmen Selektion Rank-basiert Die besten n Die besten n% Die schlechtesten n Die schlechtesten n% Probabilistisch p Individual

46 Genetische Algorithmen Reproduktion Rank-basiert Feste Anzahl von Individuen, nach Rank Feste Anzahl von Individuen, nach Fitnesswert Probabilistisch p Individual

47 Karl Sims, 1994

48 Karl Sims, 1994

49 Karl Sims Genotype

50 Karl Sims Mutation von Directed Graphs Parameter der Graphen werden mit Gaußverteilungen verändert und abgeschnitten Knoten können hinzugefügt werden. Knoten ohne Verbindung werden vom Garbage Collector entfernt Verbindungen werden wie Graphparameter verändert Verbindungen können hinzugefügt oder entfernt werden

51 Karl Sims Reproduktion

52 Karl Sims Beispiel Creature

53 Karl Sims Evaluation: Laufen Fitnessfunktion: Ergebnisse: Geschwindigkeit entlang der Ebene

54 Karl Sims Evaluation: Laufen Fitnessfunktion: Ergebnisse: Geschwindigkeit entlang der Ebene

55 Karl Sims Evaluation: Springen Fitnessfunktion: Höhe des niedrigsten Punktes Ergebnisse

56 Karl Sims Evaluation: Schwimmen Fitnessfunktion: Distanz zum Ursprung Geschwindigkeit am Ende der Evaluationszeit Ergebnisse

57 Karl Sims Evaluation: Schwimmen Fitnessfunktion: Distanz zum Ursprung Geschwindigkeit am Ende der Evaluationszeit Ergebnisse

58 Karl Sims Evaluation: Following Mehrere Läufe mit unterschiedlicher Position der Lichtquelle

59 Karl Sims Evaluation: Following Mehrere Läufe mit unterschiedlicher Position der Lichtquelle

60 Karl Sims Co-Evolution Fitnessfunktion: Belohnung für die Minimierung der eigenen Distanz zum Würfel Belohnung für die Maximierung der Distanz des anderen zum Würfel f 1 = d 2 d 1 d 1 + d 2 f 2 = d 1 d 2 d 1 + d 2

61 Karl Sims Co-Evolution: Evaluation

62 Karl Sims Co-Evolution: Evaluation Jeder gegen jeden

63 Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen

64 Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen Jeder gegen jeden Geteilte Spezies

65 Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen Jeder gegen jeden Geteilte Spezies Zufällige Paarungen Geteilte Spezies

66 Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen Jeder gegen jeden Geteilte Spezies Zufällige Paarungen Geteilte Spezies Alle gegen den besten

67 Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen Jeder gegen jeden Geteilte Spezies Zufällige Paarungen Geteilte Spezies Alle gegen den besten Jeder gegen jeden Geteilte Spezies

68 Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen Jeder gegen jeden Geteilte Spezies Zufällige Paarungen Geteilte Spezies Alle gegen den besten Jeder gegen jeden Geteilte Spezies Tourniermodus

71 Zusammenfassung der letzten Vorlesung

72 Zusammenfassung der letzten Vorlesung Evolutionäre Robotik Population Evaluation Population Selektion Population Reproduktion/ Variation Population

73 Zusammenfassung der letzten Vorlesung Evolutionäre Robotik Genetische Algorithmen Population Population Population Population Evaluation Selektion Reproduktion/ Variation

74 Zusammenfassung der letzten Vorlesung Evolutionäre Robotik Genetische Algorithmen Karl Sim s Arbeiten Population Population Population Population Evaluation Selektion Reproduktion/ Variation

75 Zusammenfassung der letzten Vorlesung Evolutionäre Robotik Genetische Algorithmen Karl Sim s Arbeiten Population Population Population Population Evaluation Selektion Reproduktion/ Variation

76 Hod Lipson GOLEM Project

79 Lindenmayer-Systeme (L-systems)

80 Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik

81 Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a

82 Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a a ab aba abaab abaababa

83 Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a a ab aba abaab abaababa Turtle-Interpretation (LOGO) F Move forward a step of length d f Move forward, without drawing a line + Turn left by angle δ

84 Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a a ab aba abaab abaababa Turtle-Interpretation (LOGO) F Move forward a step of length d f Move forward, without drawing a line + Turn left by angle δ - Turn right by angle δ

85 Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a a ab aba abaab abaababa Turtle-Interpretation (LOGO) F Move forward a step of length d f Move forward, without drawing a line + Turn left by angle δ - Turn right by angle δ! : F F F F p : F! F F + F + FF F F + F

86 Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a a ab aba abaab abaababa Turtle-Interpretation (LOGO) F Move forward a step of length d f Move forward, without drawing a line + Turn left by angle δ - Turn right by angle δ! : F F F F p : F! F F + F + FF F F + F

87 NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11

88 NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11 Phänotyp

89 NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11 Phänotyp 1

90 NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11 Phänotyp 1 2

91 NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11 Phänotyp 1 2 3

101 NEAT NeuroEvolution of Augmenting Topologies DIS DIS Neue Synapse

102 NEAT NeuroEvolution of Augmenting Topologies DIS DIS Neues Neuron

103 NEAT NeuroEvolution of Augmenting Topologies DIS DIS DIS DIS DIS DIS disjoint disjoint excess excess DIS DIS

104 NEAT NeuroEvolution of Augmenting Topologies Speciation E = c 1 N + c D 2 N + c 3W N E D # Gene im größeren Genom # Excess Gene # Disjunct Gene Wenn δ > δthreshold, wird das Genome einer neuen Spezies zugeordnet Fitnessanpassung (fitness sharing): f 0 i = P n j=1 f i sh( (i, j)) Jede Species i bekommt Nachkommen nach der angepassten Fitness fi

105 CPPN Compositional Pattern Producing Networks Natürliche Systeme können mit verhältnismässig wenig Parametern ( Gene im menschlichen Genom) sehr komplexe Strukturen erzeugen ( Neurone im menschlichen Gehirn)

106 CPPN Compositional Pattern Producing Networks Natürliche Systeme können mit verhältnismässig wenig Parametern ( Gene im menschlichen Genom) sehr komplexe Strukturen erzeugen ( Neurone im menschlichen Gehirn) Wiederholungen Wiederholungen mit Abweichungen Symmetrie Erweiterte Regularitäten (z.b. Flossen die zu Armen werden) Regularitäten, die erhalten bleiben (Symmetrie) Symmetrie mit Abweichungen

107 CPPN Compositional Pattern Producing Networks x y f y x

108 CPPN Compositional Pattern Producing Networks