Grundlagen Künstlicher Neuronaler Netze

Transkript

1 FernUniversität in Hagen Fachbereich Elektrotechnik und Informationstechnik Lehrgebiet Informationstechnik Seminar Computational Intelligence in der Prozessautomatisierung 7. Juli 2003 Grundlagen Künstlicher Neuronaler Netze Guido Breuer Matr.-Nr.: Inhaltsverzeichnis 1 Einleitung Biologisches Vorbild Historische Entwicklung Ausgewählte Netztypen und zugehörige Lernverfahren Multilayer Perceptron Kohonen-Modell der selbstorganisierenden Karten Literatur Einleitung In der Prozessautomatisierung werden in steigendem Maße Methoden der Computational Intelligence eingesetzt. Neben Fuzzy Logic und Evolutionären Algorithmen sind Künstliche Neuronale Netze einer der Teilbereiche der Computational Intelligence. Künstliche Neuronale Netze (KNN) orientieren sich an der Informationsverarbeitung in Gehirnen. Sie zeichnen sich dadurch aus, dass durch geeignete Lernverfahren die Netzparameter trainiert werden können. Die Netze sind somit im Hinblick auf den jeweiligen Anwendungsfall lernfähig. Ein klassisches Einsatzgebiet Künstlicher Neuronaler Netze ist die Mustererkennung. Es soll zunächst auf das biologische Vorbild Künstlicher Neuronaler Netze eingegangen werden. Anschließend wird die historische Entwicklung skizziert. Danach werden einige ausgewählte Netztypen sowie die zugehörigen Lernverfahren erläutert. 1

2 2 Biologisches Vorbild Die Grundzüge Künstlicher Neuronaler Netze entstammen den Erkenntnissen der Hirnforschung. Sitz der intelligenten Leistungen des Gehirns ist die Hirnrinde (Neokortex). Die Hirnrinde ist eine beim Menschen etwa 0,2 m 2 große und im Durchschnitt 2 bis 3 mm dicke Schicht aus Nervenzellengewebe, die, aus Platzgründen stark gefaltet, die Außenseite der beiden Gehirnhälften bildet. Beim Menschen liegen unter jedem Quadratmillimeter Hirnrinde circa Neuronen (Nervenzellen). Das zentrale Nervensystem besteht aus mehreren Milliarden von Neuronen. Diese sind netzartig miteinander verbunden; jedes Neuron mit im Durchschnitt zehntausend anderen Neuronen. Die menschliche Informationsverarbeitung ist im Wesentlichen auf die Übertragung von Erregungen zwischen den Neuronen zurückzuführen. Abbildung 1 zeigt schematisch ein typisches Neuron. Dendrit Zellkörper Axon Synapse Fremd-Dendrit Abbildung 1: Schematische Darstellung eines Neurons Bei einem typischen Neuron sind drei Hauptstrukturen zu unterscheiden, nämlich Dendriten, Zellkörper und Axon, denen man die Aufgaben Eingabe, Verarbeitung und Ausgabe zuordnen kann. Die Dendriten, eine verästelte Struktur dünner Zellfortsätze, bilden den Haupteingabepfad des Neurons. Sie summieren die Ausgabesignale der umgebenden Neuronen in Form eines elektrischen Signals, das dem Zellkörper zugeleitet wird. Überschreitet dieses Signal einen, dem Zellkörper inhärenten und für jeden Zellkörper individuellen Schwellwert, erzeugt der Zellkörper einen kurzen elektrischen Impuls, der vom Axon weitergeleitet wird. Das Axon verzweigt sich, und führt so den Impuls bis zu mehreren Tausend Zielneuronen zu. Die Kontaktstellen eines Axons befinden sich in der Regel auf den Dendriten des Zielneurons und heißen Synapsen. Die Übertragung geschieht dabei auf biochemischem Wege, d.h. der elektrische Impuls des Axons bewirkt das Ausschütten eines Überträgerstoffes (Neurotransmitter), der zu einer Potentialänderung an den Dendriten des Zielneurons führt. Je nach Art der Synapse führt der elektrische Impuls des Axons zu einer Potentialerhöhung oder zu einer Potentialerniedrigung am Zielneuron. Man unterscheidet hier erregende (exzitatorische) Synapsen und hemmende (inhibitorische) Synapsen. Die Synapsen wirken also wie Analogschalter, die die Kommunikation zwischen den Neuronen regeln und somit wichtige Informationsträger darstellen. Man geht heute davon aus, dass ein Lernvorgang im Gehirn auf der Veränderung dieser Kopplungsverhältnisse zwischen den Neuronen beruht. 2

3 3 Historische Entwicklung Die ersten Modelle Künstlicher Neuronaler Netze gehen bereits auf die vierziger Jahre des vergangenen Jahrhunderts zurück. Im Jahre 1943 schlugen die beiden Mathematiker Warren S. McCulloch und Walter Pitts vor, ein Neuron durch ein logisches Schwellwertelement zu beschreiben. Abbildung 2 zeigt das Prinzip eines McCulloch-Pitts-Neurons. x 1 w 1 x 2 w 2 Σ a f(a-s) y - x n w n s y = f(σw i x i s) Abbildung 2: Künstliches Neuron nach McCulloch und Pitts Ein solches Schwellwertelement besitzt n Eingabeleitungen, die entweder aktiv (logisch 1 ) oder ruhig (logisch 0 ) sein können. Der Zustand des Neurons ergibt sich durch Summation aller mit synaptischen Gewichtungsfaktoren w i gewichteten Eingangssignale x i und Vergleich der Summe mir dem Schwellwert s. Beim McCulloch-Pitts-Neuron dient als Aktivierungsfunktion f eine Sprungfunktion. McCulloch und Pitts zeigten, dass sich durch geeignete Kombination dieser Elemente UND-Gatter oder Inverter aufbauen lassen. Ungeklärt war die Frage, wie ein solches Netz lernt. Hier gab 1949 der Psychologe Donald O. Hebb Hilfe. Er legte Lernen neurophysiologisch auf das Wachstum von Synapsen bei gleichzeitiger Aktivität der gekoppelten Neuronen fest. Das heißt: die Verbindung zwischen zwei Neuronen wird verstärkt, wenn beide Neuronen zur gleichen Zeit aktiv sind. Diese sogenannte Hebbsche Lernregel findet, mathematisch formuliert, auch heute noch in zahlreichen Typen Künstlicher Neuronaler Netze Anwendung. Mit dem Aufkommen des Computers bot sich die Möglichkeit, die Lernfähigkeit von Künstlichen Neuronalen Netzen unter Regeln wie die Hebbsche Lernregel zu erproben und Anwendungsmöglichkeiten zu demonstrieren. Einen wichtigen Schritt machte hier der Neuropsychologe Frank Rosenblatt mit seinem 1958 vorgeschlagenen Perzeptron (Perceptron). Dieses besteht aus einer festen Anzahl von Elementen (Neuronen), denen über eine Anzahl Leitungen Eingabemuster zugeführt werden. Das Perzeptron soll die korrekte Klassifikation der Muster anhand bekannter Klassifikationsbeispiele während einer Lernphase erlernen. Im Laufe dieser Lernphase, bei der zu jeder Eingangsinformation die zugehörige Ausgangsentscheidung von einem menschlichen Überwacher getroffen werden muss, passt jedes Element seine Koeffizienten w so an, dass es nur auf die Eingabemuster seiner Klasse mit einem Ausgabewert y = 1 reagiert. Das erste lauffähige Perzeptron, das Mark I Perzeptron, war in der Lage, nach einer Lernphase Buchstaben zu erkennen. 3

4 Das Perzeptron ist heute nur noch von historischem Wert. Im Übrigen war es nicht in der Lage, beispielsweise eine XOR-Entscheidung zu fällen. Auf diesen Nachteil wiesen 1969 Marvin Minsky und Seymour Papert nachdrücklich hin. Damit hatten sie maßgeblich Anteil an der Tatsache, dass den Künstlichen Neuronalen Netzen in der Forschung weniger Aufmerksamkeit geschenkt wurde. Nur das 1959 von Bernard Widrow und Marcian Hoff entwickelte ADALINE-Netz (Adaptive Linear Elements), ein 3-Schichten-Netz mit Fehlerkorrektur, hat überleben können. Es wird beispielsweise als adaptiver Filter zur Verminderung von Übertragungsfehlern in Modems benutzt. Größere Aufmerksamkeit erhielten Künstliche Neuronale Netze erst wieder, nachdem 1982 der Physiker John Hopfield sein Hopfield-Netz vorgeschlagen hatte. Eine wichtige Neuerung war hier die Einführung von Rückkopplungen in das Modell von McCulloch und Pitts. Wie das Perzeptron, muss auch das Hopfield-Netz in der Lernphase supervidiert werden. Das 1982 von Teuvo Kohonen vorgestellte Modell der selbstorganisierenden Karten, auch Kohonen-Modell oder Self Organizing Feature Map genannt, ist, aufgrund seiner biologischen Orientierung und seiner einfachen Struktur, ein in der Praxis oft verwendetes Modell Künstlicher Neuronaler Netze. Das Multilayer Perceptron (MLP), auch Backpropagation-Netzwerk genannt, wurde erstmals 1972 von Paul Werbos vorgestellt. Auf Basis des Backpropagation-Algorithmus, einer Verallgemeinerung der Delta-Lernregel, wurde es 1983 von David Rumelhart mit anhaltendem Erfolg präsentiert. 4 Ausgewählte Netztypen und zugehörige Lernverfahren Es gibt heute eine Vielzahl unterschiedlicher Modellansätze für Künstliche Neuronaler Netze. Die verschiedenen Modelle unterscheiden sich durch ihre unterschiedlichen Netzstrukturen und unterschiedliche Lernverfahren. Als Netzstrukturen lassen sich beispielsweise vorwärtsgerichtete Netze (Feedforward-Netze) und rückgekoppelte Netze (Feedback-Netze) unterscheiden. Bei den vorwärtsgerichteten Netzen breitet sich die Information ausgehend von der Eingangsschicht durch die verdeckten Schichten zur Ausgabeschicht aus. Zu den vorwärtsgerichteten Netzen gehört beispielsweise das Multilayer Perceptron. Bei den rückgekoppelten Netzen werden die Ausgangsinformationen von Neuronen auf eine vorherige Schicht rückgekoppelt. Rückgekoppelte Netze haben ein nichtdeterministisches Verhalten der Ausgabe, das heißt sie benötigen eine nicht genau bestimmbare Zeit, bis sich an ihrem Ausgang ein stabiler Zustand einstellt. Zu ihnen gehört beispielsweise das Hopfield-Netz. Bei den Lernverfahren kann man die überwachten Lernverfahren (Supervised Learning), die selbstorganisierenden oder nichtüberwachten Lernverfahren (Unsupervised Learning), das Reinforcement Learning und die stochastischen Lernverfahren unterscheiden. Bei den überwachten Lernverfahren werden den Netzen ein Eingangsmuster und das dazugehörige Ausgangsmuster vorgegeben. Das Netz berechnet ein Ausgangsmuster zu dem gegebenen Eingangsmuster. Stimmt das Ausgangsmuster nicht mit dem gegebenen Ausgangsmuster überein, wird der Fehler berechnet und korrigiert. Dazu werden die 4

5 Gewichtungsfaktoren durch ein Lerngesetz, zum Beispiel dem Backpropagation-Algorithmus, so angepasst, bis das gewünschte Ausgangsmuster erreicht ist. Bei einem selbstorganisierenden Lernverfahren wird als Lernmuster nur das Eingangsmuster vorgegeben. Das Netz organisiert seine Reaktion auf das Eingangsmuster selbst. Diese Lernverfahren basieren auf dem konkurrierenden Verhalten der einzelnen Künstlichen Neuronen. Dasjenige Neuron, das am stärksten durch ein Eingangsmuster erregt wird, erhält eine Gewichtungsänderung. Während der Lernphase bilden so die einzelnen Künstlichen Neuronen selbständig bestimmte Musterklassen und werden zu Musterdetektoren. Das Reinforcement Learning ist ein Sonderfall eines überwachten Lernverfahrens. Allerdings wird dem Netz kein Ausgabemuster, sondern nach jeder Aktion eine Bewertung derselben errechnet. Daraufhin werden durch das Netz die Gewichtungsfaktoren für gute Aktionen verstärkt und für schlechte Aktionen vermindert. Stochastische Lernverfahren sind Lernverfahren mit einem Zufallsanteil. Das Netzwerk hat hier die Freiheit, nach dem Prinzip Versuch und Irrtum selbständig nach Lösungen zu suchen. Nachfolgend wird mit dem Multilayer Perceptron ein Modell mit überwachtem Lernverfahren und mit dem Kohonen-Modell der selbstorganisierenden Karten ein Modell mit selbstorganisierendem Lernverfahren beschrieben. Beide Modelle sind in der praktischen Anwendung weit verbreitet. 4.1 Multilayer Perceptron Das Multilayer Perceptron, nach seinem Lernverfahren auch Backpropagation-Netz genannt, besteht aus einer Eingangsschicht (Input Layer), einer Ausgangsschicht (Output Layer) und einer oder mehreren Zwichenschichten (Hidden Layer). Abbildung 3 zeigt ein Multilayer Perceptron mit einer aus drei Neuronen bestehenden Eingangsschicht, einer aus vier Neuronen bestehenden Ausgangsschicht und einer aus zwei Neuronen bestehenden Zwischenschicht. N 6 y 1 x 1 N 1 x 2 N 2 N 4 N 7 y 2 N 5 N 8 y 3 x 3 N 3 N 9 y 4 Abbildung 3: Multilayer Perceptron Die einzelnen Elemente (Neuronen) entsprechen dabei der Beschreibung aus Abbildung 2, allerdings wird statt der Sprungfunktion meist eine sigmoide (s-förmige) Funktion als Aktivierungsfunktion verwendet, da diese die für den Backpropagation-Algorithmus 5

6 erforderlichen Voraussetzungen, Stetigkeit und Differenzierbarkeit, erfüllt. Die einzelnen Schichten sind vorwärts gerichtet und in der Regel vollständig miteinander verknüpft. Der Erfolg des Multilayer Perceptrons ist auf die Effektivität der Backpropagation-Lernregel zurückzuführen. Dieser Algorithmus ist eine Verallgemeinerung der Delta-Lernregel. Bei der Delta-Lernregel wird die Differenz zwischen dem gewünschten und dem tatsächlichen Ausgangssignal eines Netzes zur Anpassung der Gewichte verwendet. Das Lernen erfolgt beim Backpropagation-Algorithmus in zwei Phasen. In der ersten Phase wird dem Netz ein Eingangsmuster präsentiert. Die Aktivierung eines jeden Elements N i wird Schicht für Schicht berechnet, bis die Ausgangsschicht erreicht ist. Das errechnete Ausgangsmuster wird dem zum gegebenen Eingangsmuster gehörenden Ausgangsmuster verglichen und der Fehler berechnet. In der zweiten Phase erfolgt die Veränderung der Gewichte anhand dieses Fehlers. Dabei wird das Fehlersignal von der Ausgangsschicht zurückgesandt. In jeder Schicht werden die Gewichte anhand des Fehlersignals von der jeweils vorherigen Schicht geändert. Ein Lernfaktor bestimmt, wie stark die Änderung ist. Dann wird ein korrigiertes Fehlersignal an die nächste Schicht weitergeleitet, bis die letzte Schicht erreicht ist. Mit den veränderten Gewichtsfaktoren kann ein weiteres Eingabemuster bearbeitet und der gesamte Prozess erneut durchlaufen werden. Lernen definiert sich hier als die Minimierung der über alle Paare von tatsächlichen und gewünschten Ausgangsmustern gebildeten quadratischen Fehler. Diese Lernregel wird auch Error Back Propagation genannt, weil die Berechnung des Fehlergradienten, ausgehend von der Ausgabeschicht rückwärts durch das Netz, durch Weiterreichen von Fehlerwerten erfolgt. 4.2 Kohonen-Modell der selbstorganisierenden Karten Das Kohonen-Modell der selbstorganisierenden Karten ist aufgrund seiner biologischen Orientierung und seiner einfachen Struktur ein in der Praxis oft verwendetes Modell eines Künstlichen Neuronalen Netzes. Die Basis des Kohonen-Modells beruht auf einem Grundgedanken der Neurologie, nachdem die Anordnung von Neuronen häufig in Relation zu äußeren physikalischen Merkmalen steht. Zum Beispiel ist die Anordnung der Neuronen im Innenohr nicht anatomisch willkürlich, sondern steht in Relation zur Frequenz. Eine bestimmte Frequenz bewirkt an einem ihr zugeordneten Neuron die größte Erregung. k NB k (t 3 ) NB k (t 2 ) NB k (t 1 ) Abbildung 4: Kohonen-Modell mit Nachbarschaftsbeziehungen NB k eines Elements k zu unterschiedlichen Zeiten t (t 1 < t 2 < t 3 ) Bei der praktischen Implementierung des Kohonen-Modells sind die einzelnen Elemente (Neuronen) auf einer zweidimensionalen Fläche angeordnet. Dabei erhält jedes Element das gleiche Eingangsmuster und interagiert mit seinem Ausgangssignal mit anderen Elementen in 6

7 seiner Nachbarschaft. Die Ausdehnung dieser nachbarschaftlichen Beziehungen werden im Laufe der Lernphase kleiner. Ihre geometrische Form ist für das Ergebnis irrelevant. Abbildung 4 zeigt ein Netz mit Nachbarschaftsbeziehungen zu unterschiedlichen Zeiten. Für dieses Modell werden Elemente benutzt, bei denen das Ausgangssignal das Maß der Ähnlichkeit zwischen Eingangs- und Gewichtsvektor ist. Als Ähnlichkeitsmaß wird dabei die euklidische Distanz zwischen Eingangs- und Gewichtungsvektor berechnet. Die Gewichtsfaktoren werden wie bei allen Künstlichen Neuronalen Netzen während einer Lernphase bestimmt. Allerdings handelt es sich hier um ein nichtüberwachtes Lernverfahren. Das Netz organisiert selbst sensitive Bereiche für bestimmte Merkmale in den Eingangsvektoren. Dies geschieht durch Verändern der Gewichtungsfaktoren nach der folgenden Lernregel: Zu Beginn werden die Gewichtungsfaktoren der einzelnen Elemente mit kleinen Werten initialisiert. Danach werden dem Netz Eingangsmuster präsentiert und dabei für jedes Element die euklidische Distanz zwischen seinem Eingangsvektor und seinem Gewichtungsvektor berechnet. Das Element mit der kleinsten Distanz gewinnt. Nach dem Prinzip the winner takes it all werden bei diesem Element und den Elementen, die momentan mit ihm in Nachbarschaftsbeziehung stehen, die Gewichtungsfaktoren angepasst. Dabei bestimmt ein Lernfaktor, der mit steigender Lernzeit abnimmt, wie stark die Änderung ist. Alle anderen Elemente bleiben unverändert. Die Lernphase wird beendet, wenn die Gewichtungsfaktoren konvergieren. 5 Literatur Callan Robert: Neuronale Netze im Klartext. München: Pearson Studium, Haffner Sigrid, Geiger Hans und Kreßel Ulrich H.-G.: Anwendungsstand Künstlicher Neuronaler Netze. Teil 1: Einführung, in atp Automatisierungstechnische Praxis 34/10. München u.a.: Oldenbourg, Hamilton Patrick: Künstliche Neuronale Netze. Grundprinzipien, Hintergründe, Anwendungen. Berlin u.a.: VDE-Verlag, Patterson Dan W.: Künstliche Neuronale Netze. Das Lehrbuch. München u.a.: Prentice Hall, Rigoll Gerhard: Neuronale Netze. Eine Einführung für Ingenieure, Informatiker und Naturwissenschaftler. Renningen-Malmsheim: Expert-Verlag, 1994 Rojas Raul: Theorie der neuronalen Netze. Eine systematische Einführung. Korr. Nachdruck Berlin u.a.: Springer, Ritter Helge, Martinetz Thomas und Schulten Klaus: Neuronale Netze. Eine Einführung in die Neuroinformatik selbstorganisierender Netzwerke. Bonn u.a.: Addison-Wesley, Scherer Andreas: Neuronale Netze. Grundlagen und Anwendungen. Braunschweig u.a.: Vieweg,