Ratsgymnasium Bielefeld Schuljahr 2004/2005 Facharbeit aus dem Fach Biologie Thema: Künstliche neuronale Netze Verfasser: Joa Ebert Leistungskurs: Biologie Kursleiter: Herr Bökamp Abgabetermin: 25.02.2005 Abgabe am:....................................................... (Unterschrift des Kursleiters)
Inhaltsverzeichnis 1 Vorwort 3 2 Biologische neuronale Netze 3 2.1 Nervenzellen................................ 3 2.1.1 Das Axon............................. 4 2.1.2 Die Dendrite........................... 4 2.1.3 Die Synapse............................ 4 2.2 Nervennetze................................ 5 2.2.1 Lernen nach Hebb........................ 6 2.2.2 Kommunikation.......................... 6 3 Künstliche neuronale Netze 7 3.1 Aufbau künstlicher Neuronen...................... 7 3.1.1 Verarbeitung der Informationen................. 8 3.2 Das Feed-Forward Netz.......................... 9 3.2.1 Lernen............................... 9 3.2.2 Backpropagating......................... 10 3.3 Andere Netzwerk-Typen......................... 10 3.3.1 Self Organizing Maps...................... 11 3.3.2 Hopfield Netze.......................... 11 4 Versuch 11 4.1 Zielsetzung................................ 11 4.2 Durchführung............................... 11 4.2.1 Input und Desired Output.................... 11 4.3 Beobachtung und Auswertung...................... 12 4.4 Erkenntnis................................. 12
Künstliche neuronale Netze......................................................3 1 Vorwort Diese Facharbeit behandelt die Thematik der neuronaeln Netze und ich habe mich hauptsächlich mit der Simulation am Computer befasst. Da einer jeden Praxis immer eine Theorie zu Grunde liegt, wird auch diese hier behandelt. Leider wird durch limitierten Platz die Abhandlung eines so komplexen Themas sehr stark eingeschränkt und ich hoffe, dass ich wenigstens die Grundlagen für den von mir gewählten Versuch erläutern kann 2 Biologische neuronale Netze Da künstliche Neuronale Netze von biologischen abgeleitet wurden, gilt es, vorher den Aufbau und die Arbeitsweise des neuronalen Netzes wie es in Natura vorkommt, zu verstehen. Auch um die Unterschiede zwischen den biologischen und den künstlichen Netzen zu erkennen, ist es sinnvoll, diese erst zu erklären. Im Rahmen dieser Facharbeit ist eine exakte Beschreibung leider nicht möglich, daher musste ich teilweise Vereinfachungen vornehmen und vor allem chemische Prozesse außer Acht lassen. 2.1 Nervenzellen Abbildung 1: Schematischer Aufbau einer Nervenzelle 1 Nervenzellen (Neuronen) sind noch nicht vollständig erforscht 2, sie zeichnen sich 1 Quelle: http://www.gc.ssr.upm.es/inves/neural/ann3/concepts/biotype.htm 2 vgl.: http://www.grundstudium.info/neuro/node4.php
Künstliche neuronale Netze......................................................4 jedoch durch ihre besondere Leitfähigkeit sowie Erregbarkeit aus 3. Sie nehmen Reize auf, leiten diese weiter und sind in der Lage Erregungen (Nervenimpulse) zu verarbeiten. Schematisch gesehen besteht ein Neuron (s. Abb.1) aus Dendriten, welchen die Impulese der anderen Zellen aufnehmen. Sowohl an den Dendriten einer Nervenzelle, als auch am Zellkörper (Soma) befinden sich Synapsen die von einer anderen Zelle ausgehen. Botenstoffe, welche ein elektrischen Impuls auslösen, werden über den synaptischen Spalt übertragen. 4 Die Weiterleitung eines elektrischen Signals findet über das Axon statt, welches wieder über synaptische Verbindungen Impulse weitergeben kann. 2.1.1 Das Axon Jede Nervenzelle bildet für gewöhnlich ein Axon (oder auch Neurit) aus 5, welches eine Länge von 1mm bis hin zu 1m haben kann. Mit dem Axon können die elektrischen Impulse vom Zellkörper aus weitergeleitet werden. Ein Axon beginnt am Axonhügel und hat die Möglichkeit, sich an seiner zellentfernten Seite aufzuzweigen. Dieses verzweigte Ende wird auch als Telodendron bezeichnet und mündet in einer Vielzahl von Synapsenendköpfchen an denen bei genügend hohem Aktionspotential die Übertragung von Informationen erfolgt. 6 2.1.2 Die Dendrite Dendriten vergrößen die Oberfläche einer Nervenzelle und bilden mit dem Soma zusammen den Ort des Errregungsempfanges. 7 Sie sind ein Fortsatz des Zytoplasmas der Nervenzelle und teilen sich baumartig dichotom. 8 2.1.3 Die Synapse Im Folgenden werde ich die Bindungen zwischen Axon und Dendrite so, wie die Bindung von Axon und Nervenzelle näher erläutern, welche Synapsen genannt werden (es gibt noch ein Vielzahl weiterer Verbindungen die ich hier auslassen werde 9 ). Diese Verbindungen werden in axo-dendritische Synapsen und axo-somatische Synapsen differenziert. 10 Über die Synapsen wird ein Nervenimpuls übertragen, welcher 3 Spitzer, M. (2000); Geist im Netz; S.19 Z.8 4 vgl.: http://www.grundstudium.info/neuro/node4.php 5 vgl.: http://www.aum.iawf.unibe.ch/vlz/bwl/akupunktur/glossar/axon.html 6 vgl.: http://de.wikipedia.org/wiki/axon 7 vgl.: http://www.neuro24.de/synapse.htm 8 vgl.: http://de.wikipedia.org/wiki/dendrit (Biologie) 9 Zum weiterlesen: http://www.uni-mainz.de/fb/medizin/anatomie/workshop/em/emsynapse.html 10 vgl.: http://www.uni-mainz.de/fb/medizin/anatomie/workshop/em/emsynapse.html
Künstliche neuronale Netze......................................................5 von der präsynaptischen Nervenzelle zur postsynaptischen geleitet wird. Die Erregung kann dabei nur in eine Richtung weitergeleitet werden. 11. Eine Synapse benötigt immer einen Botenstoff (Neurotransmitter), welcher die transmitterspezifischen Rezeptoren der präsynaptischen Zelle anregt. Diese Neurotransmitter können einerseits exzitatorisch (erregend) oder inhibitorisch (hemmend) wirken. Die meisten Botenstoffe können aus dem synaptischen Spalt (eine Entfernung von 20 30nm zwischen Synapsenendköpfchen und Rezeptoren der präsynaptischen Nervenzelle 12 ) wieder aufgenommen werden, nachdem sie ausgeschüttet wurden. Diese werden in sogenannten Vesikeln gespeichert. Dadurch, dass das Aktionspotential das Synapsenendköpfchen erreicht, strömen Ca 2+ -Ionen ein und die Vesikeln verschmelzen mit der präsynaptischen Membran. Die Folge ist, dass der Neurotransmitter zu den postsynaptischen Rezeptoren gelangt, wodurch die Membran kurzzeitig durchlässig wird und Na + -Ionen einströmen. Die Einströmenden Na + -Ionen bewirken eine Umpolung der Nervenzelle, wodurch wiederkum Spannungsabhängige K + -Kanäle geöffnet werden und K + -Ionen solange ausströmen, bis die Zelle wieder ihr Ruhepotential erreicht. Der Unterschied zwischen Ruhe- und Aktionspotential beträgt ca. 100mV. 13 Nach diesem Vorgang werden die Botenstoffe wieder von den Rezeptoren gelöst. Wie oben erwähnt besteht bei manchen Botenstoffen die Möglichkeit, dass diese ein weiteres mal verwendet werden. Die Hemmung von synaptischen Verbindungen ist nötig, um ungewünschte Assoziationen zu unterdrücken. Wenn wir das Wort Haus hören ist es nicht Sinnvoll an einen Luftballon zu denken. Bei vielen Künstlern ist es auffällig, dass diese ihre Kreativität auch mit Rauschmitteln wie Alkohol angeregt haben. 2.2 Nervennetze Es gibt keine wirkliche Definition von neuronalen Netzen. Fakt ist aber, dass ein neuronales Netz ein hyperkomplexes Netzwerk 14 ist, welches aus vielen kleinen Einheiten (Neuronen) besteht, die hochgradig miteinander verknüpft sind. Neuronen sind adaptiv, also dazu bereit zu lernen. Die Neuronen übernehmen dabei simple Aufgaben, das ganze Netz jedoch eine sehr komplexe. 15 Derzeit geht man davon aus, dass ein neuronales Netz aus 10 10 Neuronen besteht, welche 10 4 Synapsen pro Zelle haben. Dies führt zu 10 40 Kombinationen, wobei man davon ausgehen muss, dass es die Zustände An/Aus gibt. Das lässt auf eine Zahl von 10 80 elektrischen Schaltzuständen schließen. Zum Vergleich hat eine DVD grade 11 vgl.: http://www.neuro24.de/synapse.htm 12 vgl.: http://www.neuro24.de/synapse.htm 13 vgl.: http://www.abi-bayern.de/bio/glossar.htm#aktionspotential 14 Aus einer Vorlesung zu neuronalen Netzen am pädagotischen Tag an der Universität Bielefeld 15 vgl.: http://www.grundstudium.info/neuro/node3.php
Künstliche neuronale Netze......................................................6 mal die Möglichkeit 10 12 Bits zu speichern (4GB). 16 Die Besonderheit neuronaler Netze besteht darin, dass diese komplexe Muster erlernen können, ohne dass eine Regel dafür vorgegeben ist. Rückwirkend kann man aber auch nicht sagen, welche Logik diesem zugrunde gelegen hat und was den Lernerfolg ausgemacht hat. 17 2.2.1 Lernen nach Hebb Donald O. Hebb, der Autor der Arbeit The Organization of Behavior welche 1949 erschienen ist, beschrieb das Lernen in einem neuronalen Netz mit dem Satz what fires together that wires together 18. Auch heute noch hält man an der sogenanten Hebb schen Lernregel fest. Die Prinzipien von Hebb besagen, dass ein Neuron i, welches gleichzeitig mit einem Neuron j häufig aktiv ist, eine bevorzugte Bindung mit diesem eingehen wird, woraus ein Wachstumsprozess oder eine Veränderung der metabolischen Prozesse resultiert. 19 Für die künstlichen neuronalen Netze wurde so eine der bedeutensten Erkentnisse gewonnen. Nach Hebb gilt die Formel w ij = η a i o i welche besagt, dass sich eine Gewichtung der Synapse zwischen den Neuronen i und j abhängig von einer geeignet gewählten Lernrate η, sowie der Ausgabe o i des Neurons i und seiner Aktivierung a i verändert. 20 2.2.2 Kommunikation Die Ausweitung neuronaler Netze ist außergewöhnlich, doch enden sie nicht im Nervennetz. Auf der untersten Ebene kommunizieren Moleküle miteinander. Dies ermöglicht die Kommunikation der Nervenzellen, die sich zu Nervennetzen zusammenschließen. Die Nervennetze bilden die Gehirnhälften, welche wiederum miteinander kommunizieren. Und auf der höchsten Ebene kommunizieren Gehirne miteinander so, dass ein Austuasch von Informationen nicht nur uns selbst vorbehalten wird. Botenstoffe sind dabei jedoch nicht mehr Mokeküle, sondern Sprache, Mimik und Gestik. 16 Aus besagter Vorlesung 17 vgl.: http://de.wikipedia.org/wiki/neuronale Netze 18 vgl.: http://de.wikipedia.org/wiki/hebb sche Lernregel 19 vgl.: http://de.wikipedia.org/wiki/hebb sche Lernregel 20 vgl.: http://www.grundstudium.info/neuro/node22.php
Künstliche neuronale Netze......................................................7 3 Künstliche neuronale Netze Abbildung 2: Ein 63 6 9 Feed-Forward Netz zur Erkennung von Zahlen Aus den biologischen Systemen möchte man vorallem die Fehlertoleranz, die Selbstorganisation und das Lernen übernehmen. 21 Am Computer hat man es geschafft Netze zu entwickeln, die aus identischen Einheiten (künstlichen Neuronen) bestehen, die lernfähig sind. Die Neuronen sind dabei untereinander hochgradig verknüpft und können an Beispielen lernen. 22 3.1 Aufbau künstlicher Neuronen Wie in der Natur werden Verbindungen zwischen Neuronen in ihrer Stärke unterschieden. Diese Stärke einer Verbindung zwischen den Neuronen i und j wird mit w ij bezeichnet. Alle empfangenen Informationen eines Neurons i werden mit net i bezeichnet und stellen die Aufsummierung aller eingegangenen Impulse da. Desweiteren erhält ein Neuron die Ausgabe o i, welche erfolgt, falls der Schwellwert des Neurons θ i überschritten wird. Das Berechnen dieser Aktivierung wird mit dem Begriff Propagierung bezeichnet. Künstliche Neuronen sind also auffallend vereinfacht. Die chemischen Prozesse innerhalb der Zellen und untereinander werden vernachlässigt und nicht simuliert. 21 vgl.: http://www.grundstudium.info/neuro/node5.php 22 vgl.: http://www.grundstudium.info/neuro/node6.php
Künstliche neuronale Netze......................................................8 3.1.1 Verarbeitung der Informationen Wie erwähnt werden die eingehenden Reize eines Neurons i aufsummiert dargestellt und mit net i bezeichnet. Die Eingabe wird für n Synapsen also wie folgt errechnet: net i = n w ki o k k=1 Der Aktivierungszustand a i wird aus der Eingabe net i und dem Schwellwert θ i anhand der Aktivierungsfunktion berechnet und es gilt a i = f act (net i, θ i ) Es wird meistens eine sigmoide 23 Aktivierungsfunktion gewählt. Hier wird zwischen der logistischen Aktivierungsfunktion und der des Tangens hyperbolicus differenziert. Die Wahl der Aktivierungsfunktion hängt von dem Ergebnis ab, welches erzielt werden soll. So ist ein inaktives Neuron bei der logistischen Funktion 0, wärend der Tangens hyperbolicus auch negative Werte zulässt. Ebenso gibt es die binäre Aktivierungsfunktion, welche strikte Werte (1 und 0) zurück gibt. Abbildung 3: Die logistische Aktivierungsfunktion und der Tangens hyperbolicus Die logistische Aktivierungsfunktion: f log (x) = 1 1 + e x θ i 23 S-Förmig. Vgl: http://home.zait.uni-bremen.de/ mn/old/glossar/g/node252.html
Künstliche neuronale Netze......................................................9 Der Tangens Hyperbolicus: f tanh (x) = tanh(x) Die binäre Aktivierung: f bin (x) = { 1 für net i θ i ; 0 3.2 Das Feed-Forward Netz In meiner Facharbeit habe ich mich auf sogenannte Feed-Forward-Netze spezialisiert, da diese leicht nachzuvollziehen sind. Ein Feed-Forward-Netz ist dadurch gekennzeichnet, dass Neuronen-Schichten miteinander verbunden werden und von links nach rechts durchlaufen werden, ohne dass dabei eine Rückkopplung stattfindet. Die Netze des Typs Feed-Forward werden numerisch bezeichnet. Ein 63 6 9 Feed-Forward-Netz (s. Abb.2) würde 63 Neuronen auf der äußersten Ebene (Input- Layer) haben, 6 weitere in der versteckten Ebene (Hidden-Layer) und 9 auf der letzten Ebene (Output-Layer). Die Begriffe kommen dadurch zustande, dass der Input-Layer immer als eine Eingabe-Schicht (=Input) gesehen wird. In dem Hidden- Layer werden die Informationen differenziert und der Output-Layer (=Ausgabe) bietet die Möglichgkeit zur Auswertung. Die Arbeit eines Feed-Forward-Netzes kann man mit dem Erkennen einer Zahl vergleichen. Mit dem Auge können wir sehen und die Nerven unseres Gehirns werden dadurch angeregt. Dies ist vergleichbar mit dem Input-Layer, nur dass wir kein Bild in dem Sinne übermitteln können, sondern für das Netz spezifisch aufbereitete Informationen in z.b. binärer Form. Weiterhin erfolgt die Verarbeitung des wahrgenommenen Seh-Reizes, und als Ergebnis wird eine Zahl erkannt (=Output). Zwischen dem Sehen und dem Erkennen liegt die Verarbeitung des Reizes, der bei dem künstlichen neuronalen Netz in der versteckten Ebene abläuft. Diese Verarbeitung kann man mit dem Computer zwar auch messen und visualisieren, er liefert aber kein Ergebnis. Dafür ist allein der Output-Layer zuständig. Ein Feed-Forward-Netz kann zudem auch weitere Ebene in der versteckten beinhalten. Dies ist notwendig um komplexe Mengen von Informationen zu verarbeiten, welche von nur einer Schicht fehlerhaft erfasst würden. 3.2.1 Lernen Lernen bei einem Feed-Forward-Netz bedeutet Wiedererkennung von Mustern, die aber anhand keiner vorgegebenen Regel erfolgt. Muster können voneinander abweichen und ergeben dennoch das selbe Ergebnis. Ein künstliches neuronales Netz kann durch seine Architektur bedingt dadurch lernen, dass es seine Synapsengewichte einstellt. Eine Art des Lernes wird als überwachtes Lernen bezeichnet. Hier werden dem
Künstliche neuronale Netze.....................................................10 Netz Beispielmuster vorgeführt und deren bestimmte Ausgabe des Netzes. Dadurch lässt sich ein Wert bestimmen, welcher anzeigt wie groß die Differenz zwischen der vorgegebenen Ausgabe (Desired Output) und der tatsächlichen liegt. An hand dieser Daten lassen sich die Gewichte so einstellen, dass das Netz in der Lage ist, einem Muster die entsprechende Ausgabe zuzuweisen. 24 3.2.2 Backpropagating Rückwärts-Propagierung oder allgemein bekannt auch als Backpropagating ist ein Algorithmus, welcher einen Fehler bis zum Input-Layer zurück propagiert und die Gewichtsänderung w ij bestimmt. 25 In vereinfachter Form läuft Backpropagating folgendermaßen ab: 26 1. Initialisieren der Gewichte auf zufällige Werte 2. Trainigsmuster wählen 3. Vorwärtsschritt durchführen und Ausgabe bestimmen 4. Desired Output mit tatsächlicher Ausgabe Vergleichen und w des Output- Layer berechnen 5. Rückwärtsschritt in die darüberliegende Ebenen und die Abweichung zum Output berechnen, um w zu erhalten 6. Ändern der Gewichte w = w + w 7. Ist die Differenz zwischen Desired Output und tatsächlicher Ausgabe höher als eine Fehlertoleranz wieder bei 2. beginnen. Man nennt die Lernschritte auch Epochen. Ein Netz muss viele Epochen hintereinander trainiert werden, um eine geringe Abweichung zwischen Desired Output und tatsächlicher Ausgabe zu erhalten. 3.3 Andere Netzwerk-Typen Neuronale Netze haben sich seit 1980 immer weiter entwickelt und das Feed-Forward- Netz ist nur ein Teil dieser Materie. Weitere bedeutende Modelle möchte ich kurz erläutern. 24 vgl.: http://www.grundstudium.info/neuro/node20.php 25 vgl.: http://www.grundstudium.info/neuro/node24.php 26 vgl.: http://www.grundstudium.info/neuro/node24.php
Künstliche neuronale Netze.....................................................11 3.3.1 Self Organizing Maps Self-Organizing-Maps (kurz: SOMs) sind Gitternetze aus Neuronen die sich einer Struktur anpassen. Sie werden unüberwacht trainiert und besitzen daher keine Desired Output. 27 Besonders bei den SOMs ist deren räumliches Verhalten. Neuronen aktivieren benachbarte in geringem Maße und es lässt sich ein Muster durch die aktivierten Neuronen erkennen. 3.3.2 Hopfield Netze Hopfield-Netze sind vollverknüpfte Netze, bei denen alle Neuronen miteinander verknüpft sind, jedoch keine Bindung von einem Neuron zu sich selbst vorhanden ist. Die Gewichte liegen nur in der Form +1 und 1 vor. Hopfield Netze sind deshalb so bekannt, weil sie in Form von Hardware realisiert wurden. 28 4 Versuch 4.1 Zielsetzung Das Ziel meines Versuches ist es, ein künstliches neuronales Netz zu programmieren, welches in der Lage ist eine von mir gestellte Aufgabe zu bewerkstelligen. Das Netz an sich werde ich auf eine Mustererkennung von Zahlen auslegen, da so Ergebnis und Rechenzeit überschaubar bleiben. 4.2 Durchführung Die Durchführung meines Versuches teilt sich in Programmierung, Training und Überprüfung des Ergebnisses auf. Programmiert habe ich ein 63 6 9 Feed- Forward-Netz, welches ich durch Backpropagating trainiert habe. Dabei habe ich die Lernepochen in mehreren Schritten überwacht, um Veränderungen und Verhalten der Synapsen erkennen zu können. 4.2.1 Input und Desired Output Die Eingabe des Netzes besteht für mich aus den Zahlen von 1 bis 9. Diese habe ich in als eine 9 7 Matrix aus den Werten 1 und 0 angelegt. Die Desired Output ist die entsprechende Zahl. Dieser Vorgang wird auch in Abbildung 2 visualisiert. Nachdem das Netz bereit war und ich die Muster für die Zahlen von 1 9 erstellt hatte, habe ich mit dem Training begonnen. Die Rechenleistung war dabei sehr gering. Für das Training von 10 6 Epochen habe ich keine 5min benötigt. 27 vgl.: http://www.grundstudium.info/neuro/node39.php 28 vgl.: http://www.grundstudium.info/neuro/node55.php
Künstliche neuronale Netze.....................................................12 4.3 Beobachtung und Auswertung Nach 100 Epochen haben die Synapsen begonnen sich zwischen dem Hidden- und Output-Layer besonders auszuprägen. Input- und Hidden-Layer sind nur schwache Verbindungen eingegangen. 29 Auch nach 10 6 Epochen haben sich die Gewichte nicht konstant eingestellt, was für mich zeigt, dass das Netz nicht auswendig gelernt hat und eine Fehlertoleranz besteht. Die Überprüng habe ich mit schmutzigen Mustern vorgenommen. In die vorgegebenen Muster wurden Störpunkte eingebaut um, eine Fehlertoleranz nachzuwei- sen. Auch ein fehlerhaftes Muster wurde bis zu einer starken Abweichung korrekt erkannt. 4.4 Erkenntnis Ein Feed-Forward-Netz der Struktur 63 6 9 reicht aus, um die Zahlen von eins bis neun wiederzuerkennen. Auch vom Gelernten abweichende Muster wurden korrekt wiederkannt. Die Ansprüche von Lernen, und Fehlertoleranz wurden also erfüllt. Selbstorganisation kann man mit einem Feed-Forward-Netz jedoch nicht erreichen. Die Ausweitung lässt sich auf die verschiedensten Bereiche übertragen. Ich habe eine Vielzahl weiterer Versuche mit anderen Sachverhalten gemacht und musste teilweise feststellen, dass komplexe Anforderungen durch ein Feed-Forward-Netz nicht mehr realisierbar sind. So bietet sich für eine komplexe Mustererkennung von Sprache eher eine Self-Organizing-Map anstatt eines Feed-Forward-Netzes an. 29 Bilder befinden sich auf der beigelegten CD-Rom
Selbständigkeitserklärung Ich erkläre hiermit, dass ich die Facharbeit ohne fremde Hilfe angefertigt habe, und nur die angeführten Quellen und Hilfsmittel benutzt habe. Bielefeld, 12. April 2005................................. (Unterschrift des Schülers)