Norbert Hoffmann. Simulation neuronaler Netze

Transkript

1 Norbert Hoffmann Simulation neuronaler Netze

2 -Aus dem Bereich -... Computerliteratur Effektiv Starten mit Turbo Pascal von A. Kotulla Objektorientierte Programmierung mit Turbo Pascal von M. Aupperle Dynamische Systeme und Fraktale Computergrafische Experimente mit Pascal von K.-H. Becker und M. Dörfler Turbo Pascal Tools Einsatz von Turbo Pascal in der naturwissenschaftlichen Praxis von M.Weber Simulation neuronaler Netze Grundlagen, Modelle, Programme in Turbo Pascal von N. Hoffmann Simulation dynamischer Systeme Grundwissen, Methoden, Programme von H. Bossel Das Modula-2 Umsteigerbuch Von Turbo Pascal zu TopSpeed Modula-2 von R. Abdelhamid Parallele Programmierung mit Modula-2 von E. A. Heinz USP Fallstudien mit Anwendungen in der Künstlichen Intelligenz von R. Esser und E. Feldmar Prolog Eine methodische Einführung von R. Cordes, R. Kruse, H. Langendörfer und H. Rust Logische Grundlagen der Künstlichen Intelligenz von M. R. Genesereth und N. J. Nilsson '----Vieweg

3 NORBERT HOFFMANN SIMULATION NEURONALER NETZE Grundlagen, Modelle, Programme in Turbo Pascal

4 Das in diesem Buch enthaltene Programm-Material ist mit keiner Verpflichtung oder Garantie irgendeiner Art verbunden. Der Autor und der Verlag übernehmen infolgedessen keine Verantwortung und werden keine daraus folgende oder sonstige Haftung übernehmen, die auf irgendeine Art aus der Benutzung dieses Programm-Materials oder Teilen davon entsteht. Der Verlag Vieweg ist ein Unternehmen der Verlagsgruppe Bertelsmann International. Alle Rechte vorbehalten Friedr. Vieweg & Sohn Verlagsgesellschaft mbh, Braunschweig 1991 Softcover reprint ofthe hardcover 1st edition 1991 Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlags unzulässig und strafbar. Das gilt insbesondere rur Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Umschlaggestaltung: Schrimpf & Partner, Wiesbaden ISBN ISBN (ebook) DOI /

5 VORWORT In letzter Zeit ist immer öfter von "neuronalen Netzen" oder "Neurocomputern" die Rede. Von ihren Fähigkeiten werden vielfach wahre Wunderdinge berichtet. Wer allerdings - über eine bloße Begriffsbestimmung hinaus - nähere Auskünfte über neuronale Netze sucht und vielleicht sogar den Wunsch verspürt, ihre Funktionsweise zu verstehen, der wird bestenfalls auf anspruchsvolle und zumeist englischsprachige Literatur verwiesen. Der Aufwand, um neuronale Netze zu verstehen, ist also beträchtlich. Diese Situation ist nicht allein darauf zurückzuführen, daß neuronale Netze eine relativ neue Konzeption sind und daß es daher noch wenig Literatur für den interessierten Laien gibt. Vielmehr liegt es im Wesen der neuronalen Netze, daß sie schwer verstehbar sind. Ihr Aufbau und ihre Funktionsweise beruhen nämlich auf Prinzipien, die von tierischen und menschlichen Nervenzellen abgeleitet sind. Zwar ist es nicht schwierig, die Arbeitsweise einer einzelnen Nervenzelle und die gegenseitige Einwirkung mehrerer Nervenzellen aufeinander zu verstehen; das daraus resultierende Verhalten größerer Ansammlungen von Nervenzellen ist jedoch - zumindest nach dem derzeitigen Kenntnisstand - mit einfacher Logik nicht erfaßbar. Ein intellektuelles Verständnis neuronaler Netze scheint also heute kaum erreichbar zu sein. Eine vielversprechende Alternative stünde offen, wenn es gelänge, mit neuronalen Netzen zu experimentieren und so einen Einblick in ihr Verhalten zu gewinnen. Glücklicherweise können neuronale Netze auf Computern simuliert werden; für einfache Netze, an denen bereits alle wichtigen Eigenschaften demonstriert werden können, genügt bereits ein Personalcomputer. Genau dieser Demonstration ist das vorliegende Buch gewidmet. Zur Simulation ist ein IBM-PC oder kompatibler Rechner erforderlich. Das Programm ist in Turbo-Pascal 6.0 geschrieben und vollständig abgedruckt. Zum Buch ist eine Diskette erhältlich, die das ausführbare Programm, die Quelltexte und alle im Buch verwendeten Musterbeispiele enthält. Zum Verständnis ist die Kenntnis der Programmiersprache Turbo-Pascal nicht erforderlich. Das Buch kann auch ohne Verwendung des Programms gelesen werden, doch entfällt dann natürlich die Möglichkeit zu eigenen Experimenten. Dem Vieweg-Verlag und insbesondere den Anregungen des Lektors, Herrn Dr. Reinald Klockenbusch, ist es zu verdanken, daß dieses Buch erscheinen konnte. März 1991 Norbert Hoffmann

6 INHALT S VERZEI C HNI S I GRUNDLAGEN 1 Einleitung Begriff und Bedeutung neuronaler Netze Nervensysteme Abstraktes Modell eines Nervensystems Neuronales Netz Vergleich mit herkömmlichen Computern Ausblicke Übersicht über den Buchinhalt Vorkenntnisse des Lesers Allgemeine Beschreibung des Programms Allgemeine Hinweise Hardwarevoraussetzungen und Programminstallation Konventionen zur Programmbedienung Bedieneroberfläche aus Anwendersicht Einteilung des Bildschirms Aufruf eines Menüpunkts Umgang mit Fenstern Dialogfenster Anzeige von Zahlen Anzeige von Zahlengruppen Monochrome Bildschirme Künstliche neuronale Netze Aufbau Aktivierungsfunktionen Ausgangsfunktionen Zustände und Zustandsänderungen... 24

7 VIII Inhaltsverzeichnis 2.4 Programmtechnische Realisierung Aufbau des Programms Datenstruktur eines Neurons Neuronen in Turbo-Pascal Datenstruktur des Netzes Netz in Turbo-Pascal MODELLE 3 Grundlagen des Muster-Assoziators Begriff des Muster-Assoziators Struktur des Netzes..., Eigenschaften der einzelnen Neuronen Aktivierung des Netzes in der Reproduktionsphase Reproduktion gespeicherter Muster: Das ODER-Problem Erklärung des Problems Programmbedienung Analyse der Ergebnisse Speichern der Musterpaare und Gewichte Drucken des Netzzustandes Lernen beim Muster-Assoziator Lernen des ODER-Problems mit der Hebb'schen Lernregel Versagen der Hebb'schen Lernregel Lernen mit der Delta-Lernregel Allgemeine Richtlinien für die Bedienung des Programms Programmablauf Menü "Aktionen" Menü "Anzeige" Menü "Parameter" Menü "Werte" Menü "Muster" Menü "Rücksetzen" Menü "Info" Sondertasten Typische Vorgangsweise Zusammenfassung... 72

8 Inhaltsverzeiclmis IX 4 Anwendungen des Muster-Assoziators Assoziative Speicherung Problemstellung Verwendung der McCulloch-Pitts-Funktion Verwendung der Fermi-Funktion Vereinfachtes Problem Verwendung der linearen Ausgangsfunktion Lesen von Buchstaben Problemstellung Darstellung auf dem Bildschirm Lemphase Reproduktionsphase Folgerungen Verwendung der Fermi-Funktion Auto-Assoziatoren Definition des linearen Auto-Assoziators Struktur des Netzes Eigenschaften der Neuronen Akti vierung des Netzes in der Reproduktionsphase Hebb'sche Lemregel beim linearen Auto-Assoziatof Richtlinien für die Programmbedienung Festlegung des Netzes Lernen Erläuterung der Anzeige Reproduzieren Weiteres Beispiel Besonderheiten der Reproduktion Lernen und Wiedererkennen von Buchstaben Problemstellung DeIta-Lemregel beim Auto-Assoziator Lemphase Rekonstruktion gestörter Vorlagen BSB-Modell (Brain-State-in-the-Box) Beschreibung des BSB-Modells Lernen und Wiedererkennen im BSB-Modell DMA-Modell (Distributed memory and anmesia) Aufbau des OMA-Modells Beschreibung eines Beispiels: Möbel Lernen des Prototyps Tisch

9 x Inhaltsverzeichnis Simultanes Lernen mehrerer Prototypen Automatische Einteilung gelernter Muster in Kategorien Zusätzliches Lernen einzelner Muster Zusammenfassung Training verborgener Einheiten mit der Backpropagation-Lemregel Begriff des Backpropagation-Netzes Ein bisher unlösbares Problem Struktur des Backpropagation-Netzes Eigenschaften der einzelnen Neuronen Aktivierung des Netzes in der Reproduktionsphase Backpropagation-Lernregel Variante der Backpropagation-Lernregel Erfolg und Versagen der Backpropagation-Lernregel Lernen des XOR-Problems Festlegung der Netzstruktur Vorbereitung des Netzes Erster Lernschritt Weitere Lernschritte Lernen mit geänderten Startgewichten Hopfield-Netze Definition des Hopfield-Netzes Struktur des Netzes Eigenschaften der Neuronen Lernregel Reproduktionsphase Beispiel: MöbeL Problemstellung Lernen der Prototypen Überprüfung des Lernerfolgs Vervollständigung von Möbel-Fragmenten Zusammenfassende Übersicht über die behandelten Netzmodelle Berechnung eines Neurons Berechnung des Netzes Netzmodelle Muster-Assoziator Auto-Assoziator Backpropagation-Netz Hopfield-Netz

10 Inhaltsverzeichnis XI illprogramme 9 Grundlegende Programme Vorbemerkungen zu allen Programmen Rahmenprogramm (NN.PAS) Erläuterungen Programmtext Allgemeine Unterprogramme (Unit ALLGUPG) Erläuterungen Programmtext Fensterprogramme (Unit ALLGPROG) Neuronstrukturen und Hilfsprogramme Neuronstrukturen (Unit UNEURON) Rahmenprogramm Interface Methoden für TAktivierungs_Parameter Methoden für TAusgangs_Parameter Methoden für TEingangs_Zuordnung Methoden für TRea Methoden für TNeuron Hilfsprogramme (Unit UNETZ) Rahmenprogramm Interface Methoden für TSchichtbeschreiber Methoden für TAnzeigeformat Methoden für Terw_Anzeigeformat Methoden für TAnzeige Methoden für TIAnzeigefenster Methoden für TAnzeigefenster Prozedur Daten_eingeben Methoden für TMusterpaar Objekt TNetz (Unit NETZ) Rahmenprogramm Interface Implementation Menüsteuerung Speicher bereitstellen

11 XII Inhal tsverzeiclmis Weitere Programme Fensterüberschriften Zufallsgenerator Reproduzieren Lernen Eingabe und Modifikation des Programms Neuerstellung des Programms Einfache Änderungen Änderung von Texten Änderung von Programmkonstanten Änderung von Standardwerten IV ANHANG 13 Literaturverzeichnis Literaturverweise aus dem Text Weiterführende Literatur Synonymverzeichnis Symbolverzeichnis Register