Neokognitron und Hopfield Netz als künstliche neuronale Netze zur Mustererkennung

Transkript

1 Raoul Privenau Neokognitron und Hopfield Netz als künstliche neuronale Netze zur Mustererkennung Theorie, computergestützte Simulation und Anwendungen Diplomica Verlag

2 Raoul Privenau Neokognitron und Hopfield Netz als künstliche neuronale Netze zur Mustererkennung: Theorie, computergestützte Simulation und Anwendungen ISBN: Herstellung: Diplomica Verlag GmbH, Hamburg, 2012 Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen, der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung, vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der Bundesrepublik Deutschland in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des Urheberrechtes. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Die Informationen in diesem Werk wurden mit Sorgfalt erarbeitet. Dennoch können Fehler nicht vollständig ausgeschlossen werden und der Verlag, die Autoren oder Übersetzer übernehmen keine juristische Verantwortung oder irgendeine Haftung für evtl. verbliebene fehlerhafte Angaben und deren Folgen. Diplomica Verlag GmbH Hamburg 2012

3 Inhaltsverzeichnis Abbildungsverzeichnis Abkürzungsverzeichnis Tabellenverzeichnis V VII IX 1 Einleitung Motivation Ziele des Buches Aufbau der Arbeit Mustererkennung Mustererkennungsprozess Wesentliche Mustererkennungsaufgaben Methoden der Mustererkennung Künstliche Neuronale Netze Standardneuronenmodell Grundlegende Netzarchitekturen Lernverfahren Einsatz im Bereich der Mustererkennung Hopfield-Netz Netzstruktur Mustererkennung Rekursive Berechnung Energiefunktion Musterspeicherung Musterlöschung Verschiedene Netzkonfigurationen Bewertung Neokognitron Grundlegende Netzstruktur Eingabeschicht Stufensystem I

4 5.1.3 Verbindungsstruktur Mustererkennung S-Zellen Verbindungsstruktur Mathematische Beschreibung Merkmalsextraktion auf Basis der Ähnlichkeit Steuerung der Selektivität C-Zellen Verbindungsstruktur Mathematische Beschreibung Positionsinvarianz und Unschärfe Lernverfahren Wahl der Netzgröße Nicht-überwachtes Lernen Überwachtes Lernen Vergleich der Lernverfahren Bewertung Integration in den Mustererkennungsprozess Geeignete Muster Erkennungsleistung und Störungsinvarianz Fazit Erweiterungen des Neokognitrons Erweitertes Neokognitron Kontrastgewinnung Hemmendes Umfeld von C-Zellen Hybrider Lernprozess Weiterentwicklung Computersimulation Selektive Aufmerksamkeitssteuerung und Autoassoziation Routenwahl Autoassoziation Verstärkung der Aufmerksamkeit Segmentierung Wechsel der Aufmerksamkeit Antwortkontrolle Rotationsinvarianz II

5 6.3.1 Version 1 Rotationsinvariantes Neokognitron Version 2 Hybrides Neokognitron entsprechend der mentalen Rotation Doppelte C-Zellen-Schicht Anwendungen Zeichenerkennung Erkennung numerischer und alphanumerischer Zeichen Weitere Anwendungen im Bereich der Zeichenerkennung Erkennung handgeschriebener Musiknoten Gesichtserkennung Automatische Zielerkennung Analyse von Echokardiogrammen Erkennung von Draht-Modellen Suche struktureller Einheiten auf Mikrochips Weitere Anwendungen E-Learning Modul für binäre Hopfield-Netze Wahl der Software-Plattform und Entwicklungsumgebung Softwarearchitektur und allgemeine Modulverwendung Kritische Aspekte der Entwicklung Hopfield-Logik Benutzeroberfläche und Ablaufsteuerung Resümee und Ausblick 101 A Hopfield Netz 105 A.1 Gewichtsmatrix A.2 Beispiel für eine Energiefunktion A.3 Beispiel zum Lernen der Schwellen B Software zur Simulation eines Neokognitrons 107 B.1 Beholder 2.0b B.2 NeoCognitron Beta C Muster bei der Erkennung alphanumerischer Zeichen 117 D CAPTCHA-Beispiele 123 III

6 E E-Learning Modul 125 E.1 Abbildung des zweidimensionalen Eingabebereiches auf ein eindimensionales Feld E.2 Abbildung der zweidimensionalen Gewichtsmatrix auf ein eindimensionales Feld E.3 Einsatz einer Datenbank zur Speicherung der Gewichtsmatrix E.4 Ermittlung der maximalen Mustergröße in Abhängigkeit von der Prozessorarchitektur Literaturverzeichnis 131 IV

7 Abbildungsverzeichnis 2.1 Mustererkennungsprozess Vergleich biologisches und künstliches neuronales Netz Grundlegende Netzstruktur eines dreistufigen Neokognitrons Unterscheidung direktes und indirektes rezeptives Feld Beispiel für die Mustererkennung mit dem Neokognitron Verbindungsstruktur von S-Zellen der ersten S-Schicht Verbindungsstruktur eines Stufenübergangs Ein- und Ausgabecharakteristika einer S-Zelle Bewertung der Ähnlichkeit durch S-Zellen im mehrdimensionalen Merkmalsraum Verbindungsstruktur von C-Zellen Ein- und Ausgabecharakteristika einer C-Zelle Positionsinvarianz und Unschärfe-Operation Störungstoleranz einer C-Zelle in Abhängigkeit von der Größe ihres rezeptiven Feldes Hypercolumns als Basis des Lernverfahrens Kontrastgewinnungsschicht Funktionen des hemmenden Umfeldes von C-Zellen Enthemmung von C-Zellen Grundlegende Netzstruktur mit integrierter selektiver Aufmerksamkeitssteuerung Struktur einer Stufe mit selektiver Aufmerksamkeitssteuerung Rotationsinvariantes Neokognitron (Version 1) Grundlegender Ablauf der Mustererkennung mit dem rotationsinvarianten Neokognitron (Version 2) auf Basis der mentalen Rotation Gleichmäßige und ungleichmäßige Unschärfe-Operation im Vergleich Netzstruktur zur Gesichtserkennung und Segmentierung Drahtmodelle für das Training Softwarearchitektur des E-Learning Moduls Programmbildschirm des E-Learning Moduls A.1 Beispiel für eine Energiefunktion V

8 B.1 Beholder Konfiguration der Netzstruktur B.2 Beholder Konfiguration der Parameter B.3 Beholder Mustermenge B.4 Beholder Mustereditor B.5 Beholder Aktivierungen der Rezeptorzellen bei angelegtem Muster B.8 NeoCognitron Programmfenster mit trainiertem Neokognitron B.9 NeoCognitron Konfiguration der Netzstruktur B.10 NeoCognitron Mustermenge B.11 NeoCognitron Mustereditor B.12 NeoCognitron Aktivierung von S-Zellen auf der zweiten S-Schicht bei angelegtem Muster B.13 NeoCognitron Programmabsturz B.6 Beholder Programmfenster mit angelegtem gelerntem Muster B.7 Beholder Programmfenster mit angelegtem nicht gelerntem Muster C.1 Trainingsmuster der ersten S-Schicht C.2 Trainingsmuster der zweiten S-Schicht C.3 Trainingsmuster der dritten S-Schicht C.4 Trainingsmuster der vierten S-Schicht C.5 Korrekt erkannte Muster bei der Mustererkennung D.1 Registrierungsformular eines Google Mail Kontos (Ausschnitt) D.2 Registrierungsformular zur Webanwendung Delicious (Ausschnitt) D.3 CAPTCHA-Erzeugung durch den freien CAPTCHA Webdienst recapt- CHA D.4 CAPTCHA zur Objektidentifikation und manuellen Abgrenzung E.1 Abbildung der zweidimensionalen Mustereingabe auf ein eindimensionales Feld E.2 Abbildung der zweidimensionalen Gewichtsmatrix auf ein eindimensionales Feld E.3 Java-Code des Zugriffs auf das eindimensionale Feld der Gewichtsmatrix 126 VI