TEUBNER-TEXTE zur Informatik Band 9. J. Heistermann. Genetische Algorithmen

Transkript

1 TEUBNER-TEXTE zur Informatik Band 9 J. Heistermann Genetische Algorithmen

2 TEUBNER-TEXTE zur Informatik Herausgegeben von Prof. Dr. Johannes Buchmann, Saarbrücken Prof. Dr. Udo Lipeck, Hannover Prof. Dr. Franz J. Rammig, Paderborn Prof. Dr. Gerd Wechsung, Jena Als relativ junge Wissenschaft lebt die Informatik ganz wesentlich von aktuellen Beiträgen. Viele Ideen und Konzepte werden in Originalarbeiten, Vorlesungsskripten und Konferenzberichten behandelt und sind damit nur einem eingeschränkten Leserkreis zugänglich. Lehrbücher stehen zwar zur Verfügung, können aber wegen der schnellen Entwicklung der Wissenschaft oft nicht den neu esten Stand wiedergeben. Die Reihe "TEUBNER-TEXTE zur Informatik" soll ein Forum für Einzel- und Sammelbeiträge zu aktuellen Themen aus dem gesamten Bereich der Informatik sein. Gedacht ist dabei insbesondere an herausragende Dissertationen und Habilitationsschriften, spezielle Vorlesungsskripten sowie wissenschaftlich aufbereitete Abschlußberichte bedeutender Forschungsprojekte. Auf eine verständliche Darstellung der theoretischen Fundierung und der Perspektiven für Anwendungen wird besonderer Wert gelegt. Das Programm der Reihe reicht von klassischen Themen aus neuen Blickwinkeln bis hin zur Beschreibung neuartiger, noch nicht etablierter Verfahrensansätze. Dabei werden bewußt eine gewisse Vorläufigkeit und Unvollständigkeit der Stoffauswahl und Darstellung in Kauf genommen, weil so die Lebendigkeit und Originalität von Vorlesungen und Forschungsseminaren beibehalten und weitergehende Studien angeregt und erleichtert werden können. TEUBNER-TEXTE erscheinen in deutscher oder englischer Sprache.

3 Genetische Algorithmen Theorie und Praxis evolutionärer Optimierung Von Dr. Jochen Heistermann Siemens AG München-Perlach B. G. Teubner Verlagsgesellschaft Stuttgart. Leipzig 1994

4 Dr. Jochen Heistermann Geboren 1961 in Hilten. Abitur 1980 in Waltrop (Nordrhein-Westfalen). Von 1980 bis 1985 Studium der Informatik an der Universität Dortmund, 1985 Diplom. Seit 1985 im Zentrallabor für Forschung und Technik der Siemens AG in München-Perlach beschäftigt. Promotion 1993 bei Prof. Waldschmidt in Frankfurt. Arbeitsschwerpunkte: Parallele Datenverarbeitung, Neuronale Netze, Genetische Algorithmen, Modellierung und Optimierung Komplexer Systeme. Die Deutsche Bibliothek - CIP-Einheitsaufnahme Heistermann, Jochen: Genetische Algorithmen: Theorie und Praxis evolutionärer Optimierung / von Jochen Heistermann. - Stuttgart; Leipzig: Teubner, 1994 (Teubner-Texte zur Informatik; Bd. 9) ISBN ISBN (ebook) DOI / NE:GT Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar. Das gilt besonders für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. B. G. Teubner Verlagsgesellschaft Leipzig 1994 Umschlaggestaltung: E. Kretschmer, Leipzig

5 Für Sabine-Dorothee und Fiona

6 Vorwort Das Prinzip der Evolution wurde von Charles Darwin vor nur wenig mehr als hundert Jahren entdeckt. Die Lebewesen in der Natur unterliegen einer steten Veränderung, die durch Kooperation und Konkurrenz zwischen einzelnen Arten und deren Anpassungsfähigkeit an ihre Umwelt vorangetrieben wird. Inwieweit die heute existierenden Lebewesen ausschließlich durch den Evolutionsprozeß entstanden sind, ist eine philosophische und theologische Streitfrage, die in diesem Buch nicht weiter behandelt werden soll. Das grundlegende Prinzip besteht in der iterativen Abfolge von Rekombination, Mutation und Selektion, wobei eine Tendenz zum Überleben der stärkeren und besseren Individuen besteht. Dieses Prinzip ist in der Natur sehr erfolgreich. Optimierung ist eine der wichtigsten Aufgaben in der modernen Industrie. Prozesse müssen schneller und sicherer ablaufen, Material wird gespart, die Produktivität soll ständig steigen. Diejenigen Firmen, denen das gelingt, haben im Wettbewerb um die Märkte die besten Überlebenschancen. Die freie Marktwirtschaft hat sich dieses Prinzip zu eigen gemacht und große Erfolge erzielt (allerdings oft zum Schaden der Umwelt, weil die dort entstandenen Schäden meistens keine finanziell meßbaren Kosten verursachen). Optimierung wird als Wissenschaft vor allem im Bereich des Operations Research untersucht. In der Mathematik sind ebenfalls viele Verfahren vorgeschlagen und entwickelt worden. Seit Mitte der 80er Jahre sind darüber hinaus Neuronale Netze zur Lösung von Optimierungsproblemen attraktiv geworden. Im Grunde liegt es nahe, das so erfolgreiche Prinzip der Evolution ebenfalls zur Optimierung technischer Systeme heranzuziehen. Dazu müssen die Verfahren der Natur - die Genetischen Algorithmen - verstanden, modelliert und auf konkrete Problemstellungen angewandt

7 Vorwort 7 werden. Im Rahmen dieses Buches werden die grundlegenden Prinzipien erläutert. Mit dem Buch möchte ich mich gleichermaßen an Studenten, Anwender oder Entscheidungsträger wenden. Die Prinzipien der Evolution bieten ein hohes Potential, welches sicherlich für praktische Anwendungen genutzt werden kann. Ich möchte all denen danken, die zu diesem Buch beigetragen haben. An erster Stelle gilt mein Dank Prof. K. Waldschmidt. Aus Diskussionen mit ihm und seinen Mitarbeitern sind zahlreiche wertvolle Anregungen entstanden. Ich bedanke mich für seine Bemühungen und seine Unterstützung während der letzten Jahre. Dr. L. Spaanenburg (IMS Stuttgart) hat sich lange Zeit sehr für die Arbeit engagiert. Durch ihn ist der Kontakt zum Lehrstuhl von Prof. Waldschmidt zustande gekommen. Die komplette Arbeit haben M. Höhfeld, L. Pfefferer und E. Thurner (alle Siemens AG) kritisch gelesen. Die Siemens AG hat mir viel Freiraum gelassen zur Verfolgung meiner akademischen Ambitionen. Dafür möchte ich insbesondere meinen direkten Linienvorgesetzten G. Watzlawik und R. Kober meinen Dank aussprechen. Als wesentlich für meine Arbeit hat sich der Simulator für neuronale Netze von J. Nijhuis (IMS Stuttgart) erwiesen. Ferner habe ich Datenmaterial von Dr. F. Hergert und A. Aktas (beide SIEMENS AG) zur Verfügung gestellt bekommen. M. Schulz (Universität Frankfurt) hat den genetischen Basisalgorithmus implementiert und die Testreihen auf dem AM3 durchgeführt. Der Springer Verlag und der Verlag Freie Akademie haben mir die Verwendung einiger Abbildungen (Kap.4, Abb.1-6) erlaubt. Mit meinem langjährigen Arbeitskollegen Prof. Dr. M. Hulin (FH Ravensburg) habe ich große Teile meiner Ideen diskutieren können. Meine Frau Sabine-Dorothee hat mich während der ganzen Dauer der Arbeit liebevoll unterstützt. Ihr gebührt besonderer Dank, weil sie mir viel Freiraum für meine Studien gelassen hat. München, im März 1994 Jochen Heistermann

8 Inhalt 1. Einleitung Die Arbeitsweise Genetischer Algorithmen Biologischer Hintergrund Praktische Implementierungen Ein allgemeiner Genetischer Algorithmus Das Evolutionsverfahren nach Rechenberg und Schwefel Der Genetische Algorithmus nach Holland und Goldberg Ein Vergleich beider Algorithmen Theoretische Arbeiten Das Schema-Konzept Formale Beschreibung des Verhaltens Untersuchungen zum k-armigen Banditen Irreführen von Genetischen Algorithmen Konventionelle Optimierungsverfahren und Genetische Algorithmen Gradientenverfahren und Genetische Algorithmen Simulated Annealing und Genetische Algorithmen Hybride Optimierungsverfahren Evaluierung Genetischer Algorithmen Ein Modell für die Arbeitsweise Genetischer Algorithmen Genetische Operatoren Rekombination Selektion Mutation Inversion Anwendungen Genetischer Algorithmen Anwendungen der Evolutionsstrategie 161

9 Inhalt Erste Anwendungen in den 60er Jahren Neuere praktische Anwendungen der Evolutionsstrategie Anwendungen der Genetic Algorithms Genetic Algorithms in der Optimierung Classifier Systeme Der Lernvorgang in Neuronalen Netzen Modelle Neuronaler Netze Zur Bedeutung des Lernvorgangs in künstlichen Neuronalen Netzen Allgemeine Definition des Lernens Der Lernvorgang in natürlichen und künstlichen Neuronalen Netzen Grundlegende Lern verfahren Ein Modell eines Lernalgorithmus Ein Lernverfahren basierend auf der Hebbschen Regel Die Delta-Regel in Feed-Forward Netzen ohne Hidden Units Erweiterung der Delta-Regel auf Feed-Forward Netze mit Hidden Units Kurze Analyse der Hopfield Netze Die Boltzmann Maschine Diskussion der Verwendung Genetischer Algorithmen als Lernverfahren in Neuronalen Netzen Praktische Ergebnisse anhand von Anwendungen Die Applikationen Die Implementierung Kriterien zur Abschätzung der Qualität der Algorithmen Ergebnisse der Simulationsläufe Zusammenfassung der Ergebnisse Unterstützung Genetischer Algorithmen mittels paralleler Architekturen Die Eignung von Genetischen Algorithmen für

10 10 Genetische Algorithmen parallele Architekturen Genetische Algorithmen und Vektorrechner Genetische Algorithmen und Arrayrechner Genetische Algorithmen und Multiprozessorsysteme Praktische Konsequenzen aus den Überlegungen Genetische Algorithmen auf dem AM Der assoziative Universalprozessor AM Die Kodierung Rekombination Mutation Selektion Ergebnisse praktischer Vergleichsmessungen Anpassung Genetischer Algorithmen an eine flagorientierte Datenspeicherung Das flagorientierte Architekturkonzept ARAM Die Kodierung Die Rekombination Mutation Bewertung Selektion Zusammenfassung der Ergebnisse Zusammenfassung Referenzen Index 292