Künstliche Intelligenz

Transkript

1 Künstliche Intelligenz Vorlesung 9 und 10: Evolutionäre Standardalgorithmen 1/69

2 LERNZIELE Die gängigen Standardalgorithmen, aus der Anfangszeit bis heute, werden vorgestellt. Die bekannten Standardalgorithmen können erläutert und bezüglich der Prinzipien aus Vorlesung 6 und 7 eingeordnet werden. Die einzelnen Verfahren können auf neue Optimierungsprobleme angewandt werden. Die Vielfalt verschiedener evolutionärer Algorithmen und ihrer Abläufe wird verstanden. Dadurch können die Standardalgorithmen voneinander und zu weniger erfolgversprechenden Varianten abgegrenzt werden. 2/69

3 GENETISCHE ALGORITHMEN Genetische Algorithmen (GA, engl. genetic algorithms) sind im Wesentlichen durch eine probabilistische Elternselektion und die Rekombination als primären Suchoperator gekennzeichnet. Die Mutation ist meist nur ein Hintergrundoperator, der nur mit einer geringen Wahrscheinlichkeit zur Anwendung kommt. Er garantiert die Erreichbarkeit aller Punkte im Suchraum und erhält eine Grunddiversität in der Population. 3/69

4 GENETISCHE ALGORITHMEN Es gibt zwei grundsätzlich unterschiedliche Grundalgorithmen. Der Standard-GA GENETISCHER-ALGORITHMUS (s. Vorlesung 7) wurde bereits ausführlich diskutiert. Er ist dadurch charakterisiert, dass am Ende jeder Generation die erzeugten Kindindividuen die Elternpopulation komplett ersetzen. Ein anderer Algorithmus ist der STEADY-STATE-GA Algorithmus mit überlappenden Populationen, der immer nur ein Individuum pro Generation erzeugt und dieses sofort in die Gesamtpopulation integriert, d. h. ein Individuum der Elternpopulation auswählt und dieses durch das neue Individuum ersetzt. 4/69

5 STEADY-STATE GA 5/69

6 GENETISCHE ALGORITHMEN Abbildung 1: Der unterschiedliche Ablauf des (a) GA und des (b) steady state GA wird jeweils mit einem Ablaufschema verdeutlicht. 6/69

7 GENETISCHE ALGORITHMEN Die beiden formulierten Algorithmen unterscheiden sich in der benutzten Rekombination: Jedes Elternpaar im Standard-GA GENETISCHER-ALGORITHMUS erzeugt zwei Kindindividuen, während im STEADY-STATE-GA insgesamt nur ein Kindindividuum pro Generation erzeugt wird. Beim GA in seiner ursprünglichen Form besteht ein Individuum aus einer binären Zeichenkette, d. h. der Suchraum hat die Form G = B l = {0, 1} l. Es gibt einige Optimierungsprobleme mit einem binären Suchraum, wie z. B. das Rucksackproblem, bei dem aus mehreren Gegenständen eine möglichst wertvolle Menge unter Berücksichtigung der Kapazität des Rucksacks ausgewählt wird, oder das Erfüllungsproblem, bei dem eine Belegung boolescher Variablen gesucht ist, für die eine aussagenlogische Formel wahr ist. 7/69

8 GENETISCHE ALGORITHMEN Für die meisten Optimierungsprobleme ist jedoch eine Kodierung des Lösungsraums in den Raum B l notwendig. Sowohl die standard- binäre als auch die Gray-Kodierung sind hierbei üblich. Als Operationen kommen die BINÄRE-MUTATION sowie einer der Rekombinationsoperatoren EIN-PUNKT- CROSSOVER Algorithmus, UNIFORMER-CROSSOVER Algorithmus oder der K-PUNKT-CROSSOVER als Verallgemeinerung des 1-Punkt-Crossovers zum Einsatz. 8/69

9 K-PUNKT-CROSSOVER 9/69

10 BEISPIEL Bei den binären Zeichenketten und würden durch einen 2-Punkt- Crossover an den Stellen j 1 = 3 und j 2 = 6 die Individuen und entstehen. Meist wird nur ein gewisser Prozentsatz der neuen Individuen durch die Rekombination erzeugt (ein häufiger Richtwert in der Literatur ist ca. 70%). Die restlichen Individuen entstehen nur durch Mutation auf einem Elternindividuum. 10/69

11 Abbildung 2: Häufig benutzte Parameterwerte bei binär kodierten genetischen Algorithmen. 11/69

12 Das bisher beschriebene Verfahren zur Mutation ist für lange Zeichenketten sehr rechenintensiv, da für jede Binärinformation eine Zufallszahl benötigt wird. Die in Algorithmus EFFIZIENTE-BINÄRE-MUTATION beschriebene Methode benutzt stattdessen die Eigenschaft, dass die Abstände zwischen den auftretenden Mutationen in der Zeichenkette geometrisch verteilt sind. Mittels einer Zufallszahl u U([0, 1]) lässt sich der Abstand zur nächsten auftretenden Mutation bestimmen. Falls der Abstand über das Ende des Individuums hinausgeht, wird der uberhang auf das nächste zu mutierende Individuum weitergereicht und bestimmt dort die erste veränderte Position. 12/69

13 EFFIZIENTE-BINÄRE-MUTATION 13/69

14 BEISPIEL Angenommen in dem Individuum A.G = (1, 0, 1, 1, 1, 0, 0, 1, 0, 1) wurde soeben die erste Stelle mutiert, dann gilt next = 1. Nun wird über die Zufallszahl u = 0, 7 das nächste mutierte Bit ermittelt. Mit p m = 0, 1 gilt: ln(0, 7) 0, next = 1+ = 1+ = 1+ 3, = 4. ln(1 0, 1) 0, Daher wird auch das vierte Bit invertiert und es ergibt sich das folgende Individuum (1, 0, 1, 0, 1, 0, 0, 1, 0, 1). 14/69

15 BEISPIEL Wird als nächste Zufallszahl u = 0, 3 gewählt, ergibt sich die nächste Position ln(0, 3) 1, next = 4+ = 4+ = 4+ 11, = 15. ln(1 0, 1) 0, Da dies größer als die Länge des Individuums l = 10 ist, wird next = 15 l = 5 gesetzt und im nächsten Individuum, wird das fünfte Bit verändert. 15/69

16 REELWERTIGE GENETISCHE ALGORITHMEN Mit der Zeit kamen neben der rein binären Kodierung auch andere problemnahere Repräsentationen auf - insbesondere reellwertige Zeichenketten und Permutationen. Im Weiteren werden kurz die speziellen genetischen Operatoren für diese Repräsentationen vorgestellt und zusammengefasst. Bei reellwertigen GAs hat der Suchraum die Form G = R l. Für jede Suchraumdimension i ist ein Intervall [ug i, og i ] vorgegeben, also gilt G = [ug 1, og 1 ] [ug l, og l ]. Durch diese Repräsentation werden Probleme bei der Kodierung vermieden. 16/69

17 REELWERTIGE GENETISCHE ALGORITHMEN Als Rekombinationsoperatoren bieten sich die selben Crossoveroperatoren wie im binären Fall an: EIN-PUNKT-CROSSOVER, UNIFORMER-CROSSOVER und K-PUNKT-CROSSOVER. Allerdings decken diese Operatoren nicht den kompletten Suchraum ab, da keine Zwischenwerte angenommen werden. Daher wird häufig der Operator ARITHMETISCHER-CROSSOVER eingesetzt. 17/69

18 REELWERTIGE GENETISCHE ALGORITHMEN Bei der Mutation kann nicht mehr einfach eine Informationseinheit invertiert werden, stattdessen wird mit einer gewissen Wahrscheinlichkeit auf jede Komponente des Individuums ein zufälliger gleichverteilter Wert addiert. Die GLEICHVERTEILTE-REELLWERTIGE-MUTATION wird auch als Kriechmutation (engl. creep mutation) bezeichnet, da im Gegensatz zur GAUSS-MUTATION die Schrittweite beschränkt ist. 18/69

19 GLEICHVERTEILTE-REELLWERTIGE- MUTATION 19/69

20 KOMBINATORISCHE SUCHPROBLEME Für kombinatorische Probleme werden oft Permutationen, d. h. G = S l, als Genotyp benutzt. Die Mutation ist in der Regel die wichtigere Operation. Bislang wurden die INVERTIERENDE-MUTATION und die VERTAUSCHENDE-MUTATION ausführlich vorgestellt. Eine Alternative ist die VERSCHIEBENDE-MUTATION, die eine Zahl aus der Permutation entfernt und an einer beliebigen Stelle wieder einfügt. 20/69

21 VERSCHIEBENDE-MUTATION 21/69

22 BEISPIEL Beispielsweise produziert die VERSCHIEBENDE-MUTATION mit den Zufallszahlen u 1 = 3 und u 2 = 6 aus dem Individuum (1, 2, 3, 4, 5, 6, 7) das Individuum (1, 2, 4, 5, 6, 3, 7). 22/69

23 MISCHENDE MUTATION Eine weitere Möglichkeit besteht in dem zufälligen Umsortieren eines Teils der Permutation wie in Algorithmus MISCHENDE-MUTATION. 23/69

24 MISCHENDE-MUTATION 24/69

25 BEISPIEL Die MISCHENDE-MUTATION wird mit den Schnittpunkten u 1 = 3 und u 2 = 6 aus dem Individuum (1, 2, 3, 4, 5, 6, 7) beispielsweise das Individuum (1, 2, 5, 3, 6, 4, 7) oder jede andere beliebige Anordnung der markierten Ziffern. Verglichen mit den anderen vorgestellten Mutationsoperatoren für Permutationen verändert dieser zuletzt vorgestellte Operator ein Individuum relativ stark. 25/69

26 REKOMBINATIONSOPERATOREN Während Mutationsoperatoren relativ leicht auf Permutationen definiert werden, ist es sehr viel schwieriger passende Rekombinationsoperatoren zu formulieren, da bei jeder Anwendung eine gültige Permutation entstehen muss. Wir haben bislang die KANTENREKOMBINATION und die ORDNUNGSREKOMBINATION eingeführt. Eine dritte Möglichkeit stellt die ABBILDUNGSREKOMBINATION dar, die einige Werte von einem Elternindividuum übernimmt und die restlichen gemäß einer partiellen Abbildung zwischen den beiden Elternindividuen ermittelt. 26/69

27 ABBILDUNGSREKOMBINATION 27/69

28 BEISPIEL In der ABBILDUNGSREKOMBINATION werden die Elternindividuen A = (1, 4, 6, 5, 7, 2, 3) und B = (1, 2, 3, 4, 5, 6, 7) an den Schnittpunkten 2 und 4 miteinander rekombiniert, d. h. es werden vom zweiten Individuum (x, 2, 3, 4, x, x, x) übernommen. Nun definieren wir eine Abbildung g zwischen den Werten des ersten und des zweiten Individuums, indem dem Wert A.G k der Wert B.G k zugeordnet wird: i= g(i)= /69

29 BEISPIEL Für jede noch unbesetzte Position des Kindindividuums prüfen wir nun, ob der Wert des ersten Elternteils an dieser Stelle übernommen werden kann - falls nicht wird der Wert gemäß der Abbildung durch den Bildwert ersetzt. An der ersten noch freie Position des Nachkommens kann 1 aus dem Individuum A übernommen werden, da kein Konflikt dadurch entsteht, ebenso 7 an der fünften Position. Sowohl 2 als auch 3 sind jedoch bereits vom Individuum B übernommen worden. 2 kann gemäß der Abbildung durch 6 ersetzt werden. item Bei 3 würde die Abbildung auf 7 verweisen, diese Zahl wurde jedoch bereits von A übernommen. In diesem Falle iterieren wir die Abbildung erneut und erhalten die 5 für die fehlende Stelle. Also resultiert insgesamt das Individuum (1, 2, 3, 4, 7, 6, 5). 29/69

30 ABBILDUNGSREKOMBINATION Dieser Operator hat den Vorteil, dass er möglichst viele Werte an ihren ursprünglichen Stellen belässt und mögliche Konflikte durch eine schnelle Technik auflöst. Es lässt sich auch leicht eine Variante mit zwei Kindindividuen formulieren. 30/69

31 EVOLUTIONSSTRATEGIEN Bei den Evolutionsstrategien (ES) ist der Genotyp der Individuen grundsätzlich immer reellwertig, also gilt A.G G = R l oder analog zu den reellwertigen genetischen Algorithmen G = [ug 1, og 1 ] [ug l, og l ] R l. In der Literatur wird meist davon ausgegangen, dass der Genotyp exakt einem reellwertigen Phänotyp entspricht - es gibt allerdings auch Beispiele, bei denen die reellen Zahlen als Kodierung für einen anderen Raum aufgefasst werden (z. B. für Permutationen). 31/69

32 EVOLUTIONSSTRATEGIEN Die Evolutionsstrategie verzichtet auf Selektionsdruck bei der Auswahl der Eltern: Diese werden gleichverteilt zufällig gewählt. Stattdessen überleben in der Umweltselektion nur die besten Individuen durch die BESTEN-SELEKTION. Wird der Algorithmus nur auf die erzeugten Kindindividuen angewandt, spricht man von der Komma-Selektion (µ, λ)-es. Dabei werden aus µ Eltern λ(> µ) Kinder erzeugt, die im Rahmen der Umweltselektion wieder auf die µ besten Individuen reduziert werden. 32/69

33 EVOLUTIONSSTRATEGIEN Im Gegensatz zum genetischen Algorithmus ist bei der Evolutionsstrategie die Mutation der primäre Operator. In den ersten Implementationen wurde die Rekombination überhaupt nicht benutzt. Daher muss der Mutationsoperator gleichzeitig sowohl die Feinabstimmung als auch die Erforschung garantieren. Hierfür ist die GAUSS-MUTATION besonders gut geeignet, da vornehmlich kleine Veränderungen vorgenommen werden, aber auch beliebig große Mutationen mit einer kleinen Wahrscheinlichkeit möglich sind. 33/69

34 EVOLUTIONSSTRATEGIEN Wie man sich leicht veranschaulichen kann, hängt der Erfolg (z. B. das überwinden von lokalen Optima) ebenso wie die Konvergenzgeschwindigkeit direkt von der erwarteten Schrittweite der Mutation ab. Diese wird durch die Standardabweichung σ als Schrittweitenparameter bestimmt. Wird der Wert σ klein gewählt, werden kleine Schritte im Suchraum durchgeführt, bei großem σ große Schritte. 34/69

35 ANPASSUNGSSTRATEGIEN FÜR EVOLUTIONÄRE OPERATOREN Die GAUSS-MUTATION eignet sich besonders gut für eine Anpassung, da mit dem Parameter σ ein einfacher Regler zur Verfügung steht, mit dem die Kindindividuen unterschiedlich stark im genotypischen Raum gestreut werden können. 35/69

36 ANPASSUNG DES PARAMETERS σ 36/69

37 ANPASSUNG DES PARAMETERS σ MIT DER SOG. 1/5 -ERFOLGSREGEL 37/69

38 Es wird ein Kriterium für die Beurteilung des aktuellen Stands der Optimierung und eine Regel benötigt, die daraus die notwendigen Veränderungen ableitet. p s Erfolgsrate welche dem Anteil der Mutationen entspricht, die in den letzten k Generationen eine Verbesserung bewirkt haben. Je kleiner p s ist, desto näher ist man am Optimum und desto lokaler muss die Mutation werden. Der Schwellwert θ legt fest, wann σ verkleinert bzw. vergrößert wird. Solche Verfahren werden als adaptiv bezeichnet. 38/69

39 SELBSTADAPTATION Für beliebige Parameter eines Algorithmus ist es dennoch eine schwierige Aufgabe, die Anpassungsregeln so zu formulieren, dass alle möglichen Situationen im Verlauf einer Suche sinnvoll berücksichtigt werden. Auch der vorhin vorgestellte Algorithmus hat Mängel bei andersgearteten Problemen - bei vielen lokalen Optima tendiert er zur vorzeitigen Konvergenz. 39/69

40 SELBSTADAPTATION Man wünscht sich eine individuellere und flexiblere Anpassung der Parameter, was durch die dritte Technik, die Selbstadaptation, möglich ist. Jedes Individuum wird um Kontrollparameter ergänzt. Vereinfacht dargestellt merken sich diese sog. Strategieparameter für jedes Individuum, mit welchen Einstellungen es entstanden ist. Diese Information dient als Grundlage für die Mutationen der nächsten Generation. Der einfachste Ansatz, die SELBSTADAPTIVE-GAUSS-MUTATION, benutzt einen Strategieparameter A.S 1 = σ und unterwirft die Veränderung der Strategieparameter ebenfalls einer zufälligen Evolution. 40/69

41 SELBSTADAPTIVE-GAUSS-MUTATION 41/69

42 Techniken zur Anpassung nicht nur die Schrittweite des Mutationsoperators beeinflussen können. Es gibt in der Literatur auch Varianten der drei Anpassungsstrategien, welche beispielsweise die Repräsentation der Individuen, die Gütefunktion, den Selektionsoperator oder die Populationsgröße verändern. 42/69

43 SELBSTADAPTATION Die 1/5 -Erfolgsregel ermittelt aufgrund von statistischen Erhebungen in den letzten Generationen einen neuen Wert σ für die gesamte Population. ES-ADAPTIV Algorithmus beschreibt die komplette Evolutionsstrategie mit Mutation und einer Komma-Selektion. Für eine Plus-Selektion wird in Zeile 7 P mit P(t) initialisiert. 43/69

44 ES-ADAPTIV 44/69

45 SELBSTADAPTATION Die Selbstadaptation unterwirft die Schrittweite als Strategieparameter in jedem Individuum ebenfalls dem Evolutionsprozess. Hier unterscheidet man drei Varianten. 45/69

46 ES-SELBSTADAPTIV 46/69

47 EVOLUTIONÄRES PROGRAMMIEREN Das evolutionäre Programmieren (EP, engl. evolutionary programming) ist durch die Grundidee geprägt, die Evolution auf einer mehr verhaltensbestimmten Ebene nachzubilden, d. h. es wird kein Wert darauf gelegt, die Genetik zu berücksichtigen. Bei den Nachkommen ist lediglich ihre phänotypisch beobachtbare Ähnlichkeit zu einem Elternteil von Interesse. Daher wird in EP kein Rekombinationsoperator benutzt und die Repräsentation möglichst problemnah gewählt. 47/69

48 EVOLUTIONÄRES PROGRAMMIEREN Der Ausgangspunkt für die Entwicklung des evolutionären Programmierens war das Problem der Zeitreihenprognose. Es gibt zwei Standardverfahren des evolutionären Programmierens, die jeweils die Modellierungstechniken der künstlichen Intelligenz ihrer Zeit reflektieren: Der Ansatz der 1960er Jahre benutzt endliche Automaten und der Ansatz der 1980er Jahre neuronale Netze. 48/69

49 EVOLUTIONÄRES PROGRAMMIEREN In den ersten Algorithmen wurde eine Population von endlichen Automaten benutzt. Bei der Zeitreihenprognose muss in diskreten Schritten jeweils der nächste Wert der Zeitreihe vorhergesagt werden, d. h. ein endlicher Automat bestimmt aus seinem internen Zustand und dem aktuellen Wert der Zeitreihe sowohl die Prognose für den nächsten Wert der Zeitreihe als auch den neuen internen Zustand des Automaten. Die simulierte Evolution soll die Prognosefähigkeiten der Automaten verbessern. 49/69

50 ENDLICHER AUTOMAT Definition Formal ist ein endlicher Automat ein Tupel (Q, Start, Σ, übergang, Ausgabe). Dabei ist Q eine endliche Menge der möglichen Zustände, Start Q der Startzustand, Σ das Eingabeund Ausgabealphabet, übergang: Q Σ Q eine übergangsfunktion, sowie Ausgabe: Q Σ Σ eine Ausgabefunktion. Die übergangsfunktion berechnet für jedes mögliche Eingabesymbol abhängig vom aktuellen Zustand des Automaten den neuen Zustand, die Ausgabefunktion ein Ausgabesymbol. Die Ausgabe des Automaten wird in jedem Zeitschritt als Prognose für das nächste Eingabesymbol interpretiert. 50/69

51 BEISPIEL Sei ein Beispielautomaten mit Q = {q 0, q 1, q 2 } und Σ = {0, 1, 2, 3}. Angenommen der Automat befindet sich im Zustand q 0 und der letzte Wert der Zeitreihe war eine 1. Dann ergibt sich für die Zeitreihe 0, 2, 3, 1, 2 die folgende Vorhersage 51/69

52 ENDLICHER AUTOMAT Abbildung 3: Graphische Darstellung eines endlichen Automaten mit drei Zuständen. An den übergängen bezeichnet der erste Wert das Eingabesymbol und der zweite Wert das Ausgabesymbol. 52/69

53 ENDLICHER AUTOMAT Abbildung 4: Der beispielhafter Ablauf für die Prognose mit dem oben dargestellten Automaten zeigt, dass drei von fünf Prognosewerten richtig waren (unterstrichen). 53/69

54 ENDLICHER AUTOMAT Da für eine Zeitreihe das Alphabet Σ fest vorgegeben ist, enthält der Genotyp die restliche Information des Tupels: A.G = (Q, übergang, Ausgabe, Start). Die Funktionen können als Tabelle gespeichert werden. Es wird keine Zusatzinformation A.S benötigt, d.h. Z = { }. 54/69

55 VARIATION VON ENDLICHEN AUTOMATEN AUTOMATENMUTATION-AUSGABE:Die Ausgabe wird an einer Stelle in der Übergangstabelle verändert. AUTOMATENMUTATION-FOLGEZUSTAND:Ein Folgezustand wird durch einen zufällig neu gewählten Eintrag in der Übergangstabelle ersetzt. AUTOMATENMUTATION-NEUER-ZUSTAND:Ein neuer Zustand wird zur Menge Q hinzugefügt und ein Übergang aus der alten Zustandsmenge in den neuen Zustand eingerichtet. AUTOMATENMUTATION-ZUSTAND-LÖSCHEN: Ein Zustand wird gelöscht und alle Übergänge, die in diesen Zustand geführt haben, werden umgesetzt. AUTOMATENMUTATION-STARTZUSTAND: Ein neuer Startzustand wird gewählt 55/69

56 VARIATION VON ENDLICHEN AUTOMATEN 56/69

57 VARIATION VON ENDLICHEN AUTOMATEN Abbildung 5: AUTOMATENMUTATION-AUSGABE: Änderung der Ausgabe für (q 0, 1). 57/69

58 VARIATION VON ENDLICHEN AUTOMATEN 58/69

59 VARIATION VON ENDLICHEN AUTOMATEN Abbildung 6: AUTOMATENMUTATION-FOLGEZUSTAND: Änderung des Folgezustands für (q 1, 0). 59/69

60 VARIATION VON ENDLICHEN AUTOMATEN 60/69

61 VARIATION VON ENDLICHEN AUTOMATEN Abbildung 7: AUTOMATENMUTATION-NEUER-ZUSTAND: Hinzufügen des Zustands q 3, seinen Übergängen und Ausgaben sowie einen Übergang von q 2 nach q 3. 61/69

62 VARIATION VON ENDLICHEN AUTOMATEN 62/69

63 VARIATION VON ENDLICHEN AUTOMATEN Abbildung 8: AUTOMATENMUTATION-ZUSTAND-LÖSCHEN: Löschen des Zustands q 1 und Reparatur der Übergänge für (q 0, 1) und (q 2, 3). 63/69

64 VARIATION VON ENDLICHEN AUTOMATEN 64/69

65 VARIATION VON ENDLICHEN AUTOMATEN Abbildung 9: AUTOMATENMUTATION-STARTZUSTAND: Wechsel des Startzustands von q 0 nach q 1. 65/69

66 EP REKOMBINATIONSOPERATOR Die Erfinder von EP hatten konzeptionell auch einen Rekombinationsoperator vorgesehen, der im wesentlich aus mehreren Automaten mittels einer Potenzmengenkonstruktion einen Automaten durch die Vereinigung der Elternautomaten berechnet. Dieser Operator wurde jedoch nicht im- plementiert vermutlich aus Effizienzgründen, da zur damaligen Zeit die Rechnerleistung noch stark beschränkt war. 66/69

67 EVOLUTIONÄRES-PROGRAMMIEREN Im Gesamtalgorithmus EVOLUTIONÄRES-PROGRAMMIEREN-1960ER des ursprünglichen EP wird für jedes Individuum aus der aktuellen Population durch einen der Mutationsoperatoren ein neues Kindindividuum erzeugt. Gemäß der Plus-Selektion (µ + µ) wird die bessere Hälfte der Eltern und der Kindindividuen durch die Umweltselektion übernommen. Häufig ist die Populationsgröße zwischen Individuen. 67/69

68 EVOLUTIONÄRES-PROGRAMMIEREN 68/69

69 EVOLUTIONÄRES PROGRAMMIEREN Mit dem Wechsel von endlichen Automaten als Vorhersagemodell zu neuronalen Netzen ändert sich der genotypische Suchraum vollständig. Künstliche neuronale Netze gehen auf die Modellierung von natürlichen Neuronen zurück, wie sie z. B. im Gehirn vorliegen. Ein einfaches Modell sind Perzeptronen mit mehreren Schichten (auch Feedforward-Netze genannt). Wir kommen später noch auf dieses Modell zurück. 69/69