Evolutionäre Robotik

Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen)

Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption

Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten

Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten 2. Lernen

Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten 2. Lernen Längerfristige (strukturelle) Veränderungen: Zeitraum: Minuten bis Jahre

Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten 2. Lernen Längerfristige (strukturelle) Veränderungen: Zeitraum: Minuten bis Jahre 3. Evolution

Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten 2. Lernen Längerfristige (strukturelle) Veränderungen: Zeitraum: Minuten bis Jahre 3. Evolution Lernen über Generation auf der Ebene von Populationen

Evolutionäre Robotik Lernen / Adaption erfolgt auf (mindestens 3 Ebenen) 1. Adaption Lokales Lernen, z.b. Hebb sches Lernen. Zeitraum: Sekunden bis Minuten 2. Lernen Längerfristige (strukturelle) Veränderungen: Zeitraum: Minuten bis Jahre 3. Evolution Lernen über Generation auf der Ebene von Populationen Evolution: Adaption durch zufällige Mutation und natürliche Selektion

Evolutionäre Robotik

Evolutionäre Robotik Population

Evolutionäre Robotik Population Evaluation

Evolutionäre Robotik Population Evaluation Population

Evolutionäre Robotik Population Evaluation Population Selektion

Evolutionäre Robotik Population Evaluation Population Selektion Population

Evolutionäre Robotik Population Evaluation Population Selektion Population Reproduktion/ Variation

Evolutionäre Robotik Population Evaluation Population Selektion Population Reproduktion/ Variation Population

Genetische Algorithmen Evaluation Genotyp 1 0 0 1 0 1 1 1 0 0 1 0 1 1 Phänotyp d

Genetische Algorithmen Fitnessfunktion Explizit Implizit Extern Funktion Intern Verhalten

Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Explizit Implizit Extern Funktion Intern Verhalten

Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit Implizit Extern Funktion Intern Verhalten

Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit vs. Implizit Explizit Implizit Extern Funktion Intern Verhalten

Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit vs. Implizit Welche Variablen verwendet werden (z.b. Lebenszeit vs. Distanz) Explizit Implizit Extern Intern Funktion Verhalten

Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit vs. Implizit Welche Variablen verwendet werden (z.b. Lebenszeit vs. Distanz) Intrinsisch vs. Extrinsisch Explizit Implizit Extern Intern Funktion Verhalten

Genetische Algorithmen Fitnessfunktion Funktion vs. Verhalten Frequenz vs. Distanz Explizit vs. Implizit Welche Variablen verwendet werden (z.b. Lebenszeit vs. Distanz) Intrinsisch vs. Extrinsisch Globale Information vs. Information die dem Agenten durch seine Sensoren zur Verfügung stehen Explizit Implizit Extern Funktion Intern Verhalten

Genetische Algorithmen Mutation

Genetische Algorithmen Mutation Genotyp

Genetische Algorithmen Mutation Genotyp 1 0 0 1 0 1 1 1 0 0 1 0 1 1

Genetische Algorithmen Mutation Genotyp 1 0 0 1 0 1 1 1 0 0 1 0 1 1 1 0 0 1 0 1 0 1 0 0 1 0 1 1

Genetische Algorithmen Crossover

Genetische Algorithmen Crossover Genotyp 1 1 0 0 1 0 1 1 1 0 0 1 0 1 1

Genetische Algorithmen Crossover Genotyp 1 1 0 0 1 0 1 1 1 0 0 1 0 1 1 Genotyp 2 0 1 0 1 1 0 0 1 1 0 0 0 0 1

Genetische Algorithmen Crossover Genotyp 1 1 0 0 1 0 1 1 1 0 0 1 0 1 1 Genotyp 2 0 1 0 1 1 0 0 1 1 0 0 0 0 1 Offspring 1 1 0 0 1 0 0 0 1 1 0 0 0 0 1

Genetische Algorithmen Crossover Genotyp 1 1 0 0 1 0 1 1 1 0 0 1 0 1 1 Genotyp 2 0 1 0 1 1 0 0 1 1 0 0 0 0 1 Offspring 1 1 0 0 1 0 0 0 1 1 0 0 0 0 1 Offspring 2 0 1 0 1 1 1 1 1 0 0 1 0 1 1

Genetische Algorithmen Crossover

Genetische Algorithmen Crossover Genotyp 1 1 0 0 1 0 1 1 1 0 0 1 0 1 1

Genetische Algorithmen Crossover Genotyp 1 1 0 0 1 0 1 1 1 0 0 1 0 1 1 Genotyp 2 0 1 0 1 1 0 0 1 1 0 0 0 0 1

Genetische Algorithmen Crossover Genotyp 1 1 0 0 1 0 1 1 1 0 0 1 0 1 1 Genotyp 2 0 1 0 1 1 0 0 1 1 0 0 0 0 1 Offspring 1 1 0 0 1 1 0 0 1 1 0 1 0 1 1

Genetische Algorithmen Crossover Genotyp 1 1 0 0 1 0 1 1 1 0 0 1 0 1 1 Genotyp 2 0 1 0 1 1 0 0 1 1 0 0 0 0 1 Offspring 1 1 0 0 1 1 0 0 1 1 0 1 0 1 1 Offspring 2 0 1 0 1 0 1 1 1 0 0 0 0 0 1

Genetische Algorithmen Selektion Rank-basiert Die besten n Die besten n% Die schlechtesten n Die schlechtesten n% Probabilistisch p Individual

Genetische Algorithmen Reproduktion Rank-basiert Feste Anzahl von Individuen, nach Rank Feste Anzahl von Individuen, nach Fitnesswert Probabilistisch p Individual

Karl Sims, 1994

Karl Sims Genotype

Karl Sims Mutation von Directed Graphs Parameter der Graphen werden mit Gaußverteilungen verändert und abgeschnitten Knoten können hinzugefügt werden. Knoten ohne Verbindung werden vom Garbage Collector entfernt Verbindungen werden wie Graphparameter verändert Verbindungen können hinzugefügt oder entfernt werden

Karl Sims Reproduktion

Karl Sims Beispiel Creature

Karl Sims Evaluation: Laufen Fitnessfunktion: Ergebnisse: Geschwindigkeit entlang der Ebene

Karl Sims Evaluation: Springen Fitnessfunktion: Höhe des niedrigsten Punktes Ergebnisse

Karl Sims Evaluation: Schwimmen Fitnessfunktion: Distanz zum Ursprung Geschwindigkeit am Ende der Evaluationszeit Ergebnisse

Karl Sims Evaluation: Following Mehrere Läufe mit unterschiedlicher Position der Lichtquelle

Karl Sims Co-Evolution Fitnessfunktion: Belohnung für die Minimierung der eigenen Distanz zum Würfel Belohnung für die Maximierung der Distanz des anderen zum Würfel f 1 = 1.0 + d 2 d 1 d 1 + d 2 f 2 = 1.0 + d 1 d 2 d 1 + d 2

Karl Sims Co-Evolution: Evaluation

Karl Sims Co-Evolution: Evaluation Jeder gegen jeden

Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen

Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen Jeder gegen jeden Geteilte Spezies

Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen Jeder gegen jeden Geteilte Spezies Zufällige Paarungen Geteilte Spezies

Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen Jeder gegen jeden Geteilte Spezies Zufällige Paarungen Geteilte Spezies Alle gegen den besten

Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen Jeder gegen jeden Geteilte Spezies Zufällige Paarungen Geteilte Spezies Alle gegen den besten Jeder gegen jeden Geteilte Spezies

Karl Sims Co-Evolution: Evaluation Jeder gegen jeden Zufällige Paarungen Jeder gegen jeden Geteilte Spezies Zufällige Paarungen Geteilte Spezies Alle gegen den besten Jeder gegen jeden Geteilte Spezies Tourniermodus

Karl Sims Co-Evolution: Evaluation

Zusammenfassung der letzten Vorlesung

Zusammenfassung der letzten Vorlesung Evolutionäre Robotik Population Evaluation Population Selektion Population Reproduktion/ Variation Population

Zusammenfassung der letzten Vorlesung Evolutionäre Robotik Genetische Algorithmen Population Population Population Population Evaluation Selektion Reproduktion/ Variation 10010111001011 01011001100001 10010001100001 01011111001011

Zusammenfassung der letzten Vorlesung Evolutionäre Robotik Genetische Algorithmen Karl Sim s Arbeiten Population Population Population Population Evaluation Selektion Reproduktion/ Variation 10010111001011 01011001100001 10010001100001 01011111001011

Hod Lipson GOLEM Project

Lindenmayer-Systeme (L-systems)

Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik

Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a

Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a a ab aba abaab abaababa

Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a a ab aba abaab abaababa Turtle-Interpretation (LOGO) F Move forward a step of length d f Move forward, without drawing a line + Turn left by angle δ

Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a a ab aba abaab abaababa Turtle-Interpretation (LOGO) F Move forward a step of length d f Move forward, without drawing a line + Turn left by angle δ - Turn right by angle δ

Lindenmayer-Systeme (L-systems) Kontextfreie Grammatik a ab b a a ab aba abaab abaababa Turtle-Interpretation (LOGO) F Move forward a step of length d f Move forward, without drawing a line + Turn left by angle δ - Turn right by angle δ! : F F F F p : F! F F + F + FF F F + F

NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11

NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11 Phänotyp

NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11 Phänotyp 1

NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11 Phänotyp 1 2

NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11 Phänotyp 1 2 3

NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11 Phänotyp 4 1 2 3

NEAT NeuroEvolution of Augmenting Topologies Genotyp Node 1 Sensor Node 2 Sensor Node 3 Sensor Node 4 Output Node 5 Hidden In 1 Out 4 Weight 0.7 Innov 1 In 2 Out 4 Weight -0.5 Disabled Innov 2 In 3 Out 4 Weight 0.5 Innov 3 In 2 Out 5 Weight 0.2 Innov 4 In 5 Out 4 Weight 0.4 Innov 5 In 1 Out 5 Weight 0.6 Innov 6 In 4 Out 5 Weight 0.6 Innov 11 Phänotyp 4 5 1 2 3

NEAT NeuroEvolution of Augmenting Topologies 1 1 4 2 2 4 DIS 3 3 4 4 2 5 5 5 4 6 1 5 1 1 4 2 2 4 DIS 3 3 4 4 2 5 5 5 4 6 1 5 7 3 5 4 5 Neue Synapse 4 5 1 2 3 1 2 3

NEAT NeuroEvolution of Augmenting Topologies 1 1 4 2 2 4 DIS 3 3 4 4 2 5 5 5 4 6 1 5 1 1 4 2 2 4 DIS 3 3 4 4 2 5 5 5 4 6 1 5 8 3 6 9 6 4 4 Neues Neuron 4 5 5 6 1 2 3 1 2 3

NEAT NeuroEvolution of Augmenting Topologies 1 1 4 2 2 4 DIS 3 3 4 4 2 5 5 5 4 8 1 5 1 1 4 2 2 4 DIS 3 3 4 4 2 5 5 5 4 DIS 6 5 6 7 6 4 9 3 5 10 1 6 4 5 2 3 1 5 4 6 2 3 1 1 1 4 2 2 4 DIS 3 3 4 4 2 5 5 5 4 8 1 5 1 1 4 2 2 4 DIS 3 3 4 4 2 5 5 5 4 DIS 6 5 6 7 6 4 9 3 5 10 1 6 disjoint disjoint excess excess 1 1 4 2 2 4 DIS 3 3 4 4 2 5 5 5 4 DIS 6 5 6 7 6 4 8 1 5 9 3 5 10 1 6 5 4 6 2 3 1

NEAT NeuroEvolution of Augmenting Topologies Speciation E = c 1 N + c D 2 N + c 3W N E D # Gene im größeren Genom # Excess Gene # Disjunct Gene Wenn δ > δthreshold, wird das Genome einer neuen Spezies zugeordnet Fitnessanpassung (fitness sharing): f 0 i = P n j=1 f i sh( (i, j)) Jede Species i bekommt Nachkommen nach der angepassten Fitness fi

CPPN Compositional Pattern Producing Networks Natürliche Systeme können mit verhältnismässig wenig Parametern (30.000 Gene im menschlichen Genom) sehr komplexe Strukturen erzeugen (100.000.000.000 Neurone im menschlichen Gehirn)

CPPN Compositional Pattern Producing Networks Natürliche Systeme können mit verhältnismässig wenig Parametern (30.000 Gene im menschlichen Genom) sehr komplexe Strukturen erzeugen (100.000.000.000 Neurone im menschlichen Gehirn) Wiederholungen Wiederholungen mit Abweichungen Symmetrie Erweiterte Regularitäten (z.b. Flossen die zu Armen werden) Regularitäten, die erhalten bleiben (Symmetrie) Symmetrie mit Abweichungen

CPPN Compositional Pattern Producing Networks x y f y x

CPPN Compositional Pattern Producing Networks

CPPN Compositional Pattern Producing Networks picbreeder.org

CPPN Compositional Pattern Producing Networks picbreeder.org endlessforms.com

HyperNEAT

HyperNEAT destination source

HyperNEAT destination source xsource xdestination ysource y destination CPPN w

NMODE Neuro-MODule Evolution

NMODE Neuro-MODule Evolution F = TX y(t) t=1 F = X11 i=1 H(S i, S i+1 ) TX y(t) t=1

NMODE Neuro-MODule Evolution