Stephan Ruttloff
1. Neuronale Netzwerke 2. Lernen in neuronalen Netzen 3. Überblick und Klassifizierung von Modellen 4. Eigenschaften von neuronalen Netzen 5. Verwendungsweise 6. Quellen
Was sind neuronale Netzwerke?
Mathematische Modelle, die sich an der Funktionsweise des Gehirns orientieren Ein Netz besteht aus vielen kleinen Einheiten, den Neuronen Neuronen sind gewichtet miteinander verbunden Das Wissen eines neuronalen Netzwerkes findet sich in den einzelnen Verbindungsgewichten der Neuronen wieder Frühe neuronale Netze wurden als eigenständige elektronische Geräte aufgebaut Heute werden sie hauptsächlich als Simulationen umgesetzt
Eingänge Neuron Ausgang Gewichtete Kante Neuron Biologisches Neuron Künstliches Neuron
Eingaben o i Ausgabe Eingabefunktion net j Aktivierungsfunktion f Ausgabe o j
Neuronen verarbeiten Eingangssignale und erzeugen Ausgangswerte Innerhalb des Neurons werden gewichtete Signale zur Netzaktivität (net i ) aufsummiert Die Netzaktivität eines Neurons i ist gleich der Summe der Gewichte mal der Eingangssignale o j für alle Eingänge in das Neuron i, angefangen beim Ausgang des Neurons j=1 und endet bei j=n
einfachste Aktivierungsfunktion ist die Identität, also genau die Summe der gewichteten Eingangswerte in komplizierteren Modelle benutzt die Aktivierungsfunktion auch den vorhergehenden Aktivitätszustand des Neurons, so dass das Neuron sich selbst erregen kann Manchmal ist die Aktivierungsfunktion auch stochastisch, enthält also einen Zufallsfaktor Jedes Neuron hat einen individuellen Aktivierungswert, der als a i (t) geschrieben wird, wobei a für Aktivierung steht, i das Neuron bezeichnet und (t) einen bestimmten Zeitpunkt darstellt
Die Aktivierungsfunktion spezifiziert, was das Neuron mit dem Signal tut, nachdem die Gewichtungen ihre Wirkung gezeigt haben In meisten Modellen kann Aktivierungswert beliebiger Betrag in einem beschränkten Bereich kontinuierlicher Werte sein, einschließlich gebrochener Zahlen In anderen Modellen ist Aktivierungswert gebunden und diskret, kann also keinen gebrochenen Wert annehmen Gebräuchliche Werte sind -1 (für inaktiv) und +1 (für aktiv) Manche Modelle haben keine Grenzen des Wertebereichs, wobei man von einem unbeschränkten und kontinuierlichen Aktivierungswert spricht
Einfachste Aktivierungsfunktion Summe der gewichteten Eingangswerte
Alles-oder-Nichts-Funktion Ist der Aktivierungswert größer als ein festgelegter Betrag, gibt das Neuron eine 1 aus, ansonsten eine 0 Aktivität des Neurons muss ein bestimmtes Niveau erreichen um einen Beitrag zum Gesamtzustand des Netzes zu leisten
Besonders nützliche nichtlineare Funktion Sättigungsfunktion oberhalb eines bestimmten Maximalwertes hat eine stärkere Erregung keine zusätzliche Wirkung mehr Obere und untere Sättigungsgrenze, sowie proportionalen Bereich dazwischen
n Eingänge m Ausgänge Neuronen veränderlich gewichtete Kanten Verarbeitungsrichtung Neuronen weisen vielfache Verknüpfungen untereinander auf Wissen eines Neurons auf die Querverbindungen verteilt Neuronen können prinzipiell frei miteinander verbunden sein, sind jedoch meist in Schichten organisiert
n Eingänge m Ausgänge Eingangsschicht verborgene Schicht Ausgangsschicht Neuronen können an drei verschiedenen Positionen in einem Netz vorkommen: der Eingangsschicht, der Ausgangsschicht und einer verborgenen Schicht
n Eingänge m Ausgänge Eingangsneuronen empfangen Daten aus der äußeren Welt Daten können von anderen Programmen, aus Dateien, etc. stammen
n Eingänge m Ausgänge Alle Neuronen zwischen den Ein- und Ausgangsschichten Ein- und Ausgangsdaten bleiben unsichtbar, da sie nur mit anderen Neuronen und nicht mit der Außenwelt verbunden sind
n Eingänge m Ausgänge Ausgangsneuronen senden Informationen an uns oder an einen anderen Empfänger, wie zum Beispiel eine mechanische Steuerung
Eine Verbindung ist eine einzelne Nachrichtenstrecke, die von einem sendenden zu einem empfangenden Neuron führt Es gibt zwei Arten von Verbindungen: erregende und hemmende Erregende Verbindungen neigen dazu, ein Neuron zum feuern zu veranlassen Hemmende Verbindungen neigen dazu, ein Neuron am feuern zu hindern Weist die Struktur eines Netzwerkes hemmende Verbindungen von einem Neuron zu allen übrigen der selben Schicht auf, nennt man dies laterale Hemmung
Eingänge Ausgänge Laterale Hemmung Rückkoppelung Rückkoppelung bezeichnet eine Verbindung vom Ausgang einer Schicht zum Eingang einer früheren, oder zu derselben Schicht
Wie lernt ein künstliches neuronales Netz
Bei einem Lernvorgang oder auch Training eines neuronalen Netzes können Neuronen entfernt bzw. hinzugefügt oder die Aktivierungsfunktion verändert werden Meistens versteht man unter lernen allerdings das Verändern der Gewichtung der Kanten (Verbindungsstärke w) Man unterscheidet zwischen drei Arten des Lernens: Überwachtes Lernen (supervised learning) Unüberwachtes Lernen (unsupervised learning) Verstärkendes Lernen (reinforcement learning) Außerdem unterscheidet man zwischen verschiedenen Lernregeln
Dem Netz wird zu jedem Eingabemuster I ein Zielmuster t präsentiert Beim Lernen werden die Verbindungsgewichte so angepasst, dass die Ausgabe des Netzes eher dem Zielmuster t entspricht Nachdem man dem Netz wiederholt eine ausreichende Anzahl verschiedener Paare von Ein- und Ausgabewerten präsentiert hat, kann es selbständig auf unbekannte Fragen antworten (Generalisierung) In Netzen ohne verborgene Schicht kann man die Delta- Lernregel verwenden:
Beruht auf dem Vergleich zwischen gewünschter und tatsächlicher Ausgabe Es können drei Möglichkeiten auftreten: Die Ausgabe ist zu niedrig: Gewichte zu positiv sendenden Neuronen werden erhöht und Gewichte zu negativ sendenden Neuronen gesenkt Die Ausgabe ist zu hoch: Gewichte zu positiv sendenden Neuronen werden gesenkt und Gewichte zu negativ sendenden Neuronen erhöht Die Ausgabe stimmt mit der gewünschten Ausgabe überein: Es werden keine Veränderungen vorgenommen Dabei geschieht die Gewichtsveränderung proportional zur Größe des Fehlers
I ist das Eingabemuster o ist die Ausgabe des Neuronalen Netzes t ist das Zielmuster Da o nicht mit t übereinstimmt müssen die Gewichte entsprechend angepasst werden
Dem Netz wird lediglich eine Menge von Eingabemustern präsentiert Kann ein solches Netz etwas nützliches lernen? Ja, denn durch eine geeignete Lernregel findet es Zusammenhänge und Ähnlichkeiten in der Eingabemenge Das Lernverfahren nutzt also statistische Eigenschaften in den Daten zur Generierung von Ausgabemustern In Netzen ohne verborgene Schicht kann man die Hebb sche Lernregel verwenden:
Große biologische Plausibilität Das Gewicht zwischen zwei Neuronen wird dann verändert, wenn beide Neuronen gleichzeitig aktiv sind Die Größe der Gewichtsveränderung hängt dabei von drei Werten ab: Dem Aktivitätslevel (bzw. der Ausgabe) des sendenden Neurons Dem Aktivitätslevel (bzw. der Ausgabe) des empfangenden Neurons Einem vorher festgelegten Parameter (der Lernschrittweite ) Donald E. Hebb
0,1 0,1 0,4 0,2 0,7 0,4 0,2 0,7 0,9 0,9 Vorher Nachher Die hervorgehobenen Verbindungen stellen hier eine Verstärkung des Verbindungsgewichts dar
Bewertung (erwartet/unerwartet) Ordnet sich zwischen überwachtem und unüberwachtem Lernen ein Anstelle eines konkreten Zielmusters tritt hier eine Belohnung bzw. Bestrafung Das Modell lernt dann, wenn es einen Unterschied zwischen angestrebter und tatsächlich erreichter Belohnung gibt
Die Fehlerrückführung (oder auch Backpropagation) kann im Gegensatz zu den bisher vorgestellten Lernregeln auch für neuronale Netze mit verborgenen Schichten angewendet werden Gehört zur Gruppe der überwachten Lernverfahren Stellt eine Verallgemeinerung der Delta-Lernregel für mehrschichtige neuronale Netze dar Verläuft in drei Phasen: Eingabemuster wird angelegt und vorwärts durch das Netz geschickt Die Ausgabe wird mit der gewünschten Ausgabe verglichen, wobei die Differenz als Fehler des Netzes erachtet wird Der Fehler wird nun von der Aus- zur Eingabeschicht zurück propagiert und die Gewichte entsprechend angepasst
Welche Netztypen gibt es?
Der Pattern Associator ist ein Netztyp, der Muster erkennen kann, die er zuvor gelernt hat Besteht lediglich aus Input- und Output-Schicht In der Trainingsphase kann die Delta-Lernregel oder die Hebb sche Regel angewendet werden
Generalisierung Ähnliche Reize werden zur selben Reizgruppe kategorisiert (verschiedene Hunderassen gehören der Reizgruppe Hunde an) Problem: ähnliche Reize unterschiedlicher Kategorien werden in der selben Kategorie zusammengefasst ( Übergeneralisierung). Beispielsweise ist es falsch Forellen, Delphine, Barsche und Heringe der Kategorie Fisch zuzuordnen Toleranz gegenüber internen Schäden Trotz innerer Schäden (z.b. durch Verlust von Neuronen) kann das Netzwerk oftmals noch richtigen Output produzieren Toleranz gegenüber externen Schäden Trotz fehlerhaftem oder unvollständigem Input gelingt es dem neuronalen Netz, das Muster zu identifizieren (etwa wenn Teile eines Gesichts verdeckt sind)
Sind durch Rückkoppelungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorhergehenden Schicht gekennzeichnet Sinn dieser Rückkoppelungen ist es meist, zeitlich codierte Informationen in den Daten zu entdecken Rekurrente Netze lassen sich wiederum in vier Gruppen unterteilen: Neuronale Netze mit direkten Rückkoppelungen (direct feedback) Neuronale Netze mit indirekten Rückkoppelungen (indirect feedback) Neuronale Netze mit seitlichen Rückkoppelungen (lateral feedback) Neuronale Netze mit vollständigen Verbindungen
Hier existieren Verbindungen vom Ausgang eines Neurons zum Eingang des selben Neurons Somit wird die Aktivität des Neurons zum Eingang des selben Neurons
Hier existieren Verbindungen vom Ausgang eines Neurons zum Eingang eines Neurons der vorangegangenen Schicht Somit wird die Aktivität des Neurons zur vorhergehenden Schicht zurückgeschickt
Hier existieren Verbindungen vom Ausgang eines Neurons zum Eingang eines Neurons in der selben Schicht
Diese Netze besitzen Verbindungen zwischen sämtlichen Neuronen
Prognose über die Zukunft treffen Grundsätzlich können rekurrente Netze Vorhersagen über die Zukunft machen, z.b. die nächste Eingabe einer Sequenz prognostizieren Simulation von menschlichen Verhaltenssequenzen Rekurrente Netze können menschliche Verhaltensweisen simulieren, z.b. die Steuerung der Motorik, vor allem der Sprache
Neuronale Netze mit einer Input- und einer Output-Schicht (wie Pattern Associator) Kompetitive Netze sind unüberwacht Training kompetitiver Netze erfolgt in 3 Phasen Erregung Wettbewerb Veränderung der Gewichte Problem: Die Gewichte zu einem einzigen oder einigen wenigen Ausgangsneuronen kann so groß werden, dass sie unabhängig vom Eingangsmuster gewinnen. Daher kann es sinnvoll sein den Gesamtbetrag der Gewichte einer Schicht auf einen konstanten wert festzulegen
Filtern von Redundanzen Vorgeschaltetes Netz für andere Netztypen Man kann ein kompetitives Netz vor einen Pattern Associator schalten um seine Arbeitsweise zu verbessern Musterklassifikation Ähnlich wie beim Pattern Associator, jedoch mit unüberwachtem Lernen (etwa zur Buchstabenerkennung)
Kohonen geht auf den finnischen Ingenieur Teuvo Kohonen zurück Auch als Self-Organizing Maps (SOMs) bezeichnet Training durch unüberwachtes Lernen Kohonennetze können in selbstorganisierender Weise lernen, Karten von einem Inputraum zu erstellen Man kann auch sagen dass Kohonennetze den Inputraum clustern Teuvo Kohonen
2-dimensionale Output-Schicht Input-Schicht Kohonennetze bestehen üblicherweise aus zwei Schichten (einer Inputund einer Output-Schicht) Von jedem Input-Neuron führen Verbindungen zu sämtlichen Output- Neuronen Häufig ist die Output-Schicht 2-dimensional aufgebaut, wobei die Distanz zwischen den einzelnen Output-Neuronen eine wichtige Rolle spielt
Startwert festlegen Gewichte werden zufällig generiert Lernkonstante, Radius, Nachbarschaftsfunktion und maximale Anzahl der Durchläufe werden festgelegt Auswahl eines Eingabemusters Aktivitätsberechnung und Auswahl Aktivität der Output-Neuronen wird berechnet Neuron mit Maximalem Ausgang wird ausgewählt (das ist jenes Neuron, welches dem Eingabemuster am ähnlichsten ist) Gewichtsmodifikation Gewichte des ausgewählten Neurons werden so angepasst, dass es dem Eingabemuster ein wenig ähnlicher wird Das Selbe geschieht (in abgeschwächter Form) für seine Nachbarn Der Lernparameter wird reduziert Der Radius für die Nachbarschaft wird eingegrenzt Danach geht es wieder mit dem ersten Schritt weiter Abbruch Wenn maximale Anzahl der Durchläufe erreicht ist
Zähler Anzahl der Durchläufe Radius der Nachbarschaft Größe der bei Gewichtsanpassungen berücksichtigten Nachbarschaft Lernparameter Bestimmt, wie stark die Gewichte verändert werden Matrixgröße Anzahl der Output-Neuronen Form der Nachbarschaftsfunktion Bestimmt, in welcher Weise benachbarte Neuronen von den Gewichtsveränderungen betroffen sind (die Stärke der Gewichtsveränderung kann mit zunehmender Distanz z.b. linear oder exponentiell abnehmen) Art und Weise, wie Parameter im Lerndurchgang verändert werden Dimension des Kohonennetzes 2-, 3-,, n-dimensional
Inverse Kinematik Z.B. bei mechanischen Armen bei Robotern im 2-dimensionalen Raum Kohonennetze können kürzesten Weg zwischen 2 Punkten finden, auch wenn sich auf dem direkten Weg Hindernisse befinden (vorausgesetzt, die Hindernisse verändern ihre Position nicht) Transformation von n-dimensionalen Figuren in 2- oder 3- dimensionale Figuren ohne dabei kritische Informationen zu verlieren Spracherkennung, Unterschriftenerkennung, Gesichtserkennung Also verschiedene Formen der Mustererkennung Problem des Handlungsreisenden
Pattern Associator Rekurrente Netze Kompetitive Netze Kohonennetze Kernkonzept Assoziationen zwischen Reizpaaren bilden Rückkoppelung Erregung, Wettbewerb, Gewichtsmodifika tion Wie kompetitive Netze, nur mit mehrdimensionale r Output-Schicht Lernregel Hebb, Delta Fehlerrückführung Competitive Learning Rückkoppelung Nein Ja Nein Nein Verborgene Schicht Competitive Learning Nein Möglich Möglich In der Regel nicht Art der Lernregel Überwacht Überwacht Unüberwacht Unüberwacht Vorteile Einfachheit Entdecken zeitlich codierter Informationen Nachteile Kein verborgene Schicht Überlaufen der Aktivität Biologisch plausibel Einzelne Output- Neuronen werden zu stark Biologisch plausibel Viele Parameter
Welche besonderen Eigenschaften haben neuronale Netze?
Parallelverarbeitung Verteilte Speicherung Zum Teil biologische Plausibilität Toleranz gegenüber internen Schäden Toleranz gegenüber externen Fehlern Generalisation/Kategorienbildung Output der zentralen Tendenz bzw. des Prototypen der Kategorie Inhaltsabruf Hohe Lernfähigkeit Große Anzahl an Freiheitsgraden
Parallelverarbeitung Ein neuronales Netz kann die notwendigen Berechnungen nicht nacheinander, sondern gleichzeitig ausführen Beachte: Parallelverarbeitung ist bei der Simulation am PC eher theoretischer Natur Verteilte Speicherung Speicherung von Informationen in neuronalen Netzen verteilt Informationen (z.b. das Alter einer Person) sind über das gesamte Netz oder zumindest über einen Teil davon gelagert Genauer: das Wissen ist in den vielen verschiedenen Gewichten zusammen abgespeichert
Zum Teil biologische Plausibilität Aufgrund der Parallelverarbeitung und verteilten Speicherung bieten neuronale Netze eine gewisse Nähe zum menschlichen Gehirn Mit Hilfe neuronaler Netzsimulationen kann menschliches Verhalten oftmals sehr gut simuliert werden Toleranz gegenüber internen Schäden Trotz interner Schäden (z.b. durch das Fehlen einzelner Neuronen) liefert das neuronale Netz oftmals den richtigen Output Toleranz gegenüber externen Fehlern Auch bei unvollständigem oder fehlerhaftem Input liefert das Netz häufig den richtigen Output
Output der zentralen Tendenz bzw. des Prototypen der Kategorie Bezieht sich auf den erzeugten Output des Netzes Formt häufig bei mehreren gelernten Inputvektoren einen gemeinsamen Outputvektor aus, den man als Prototyp einer Kategorie auffassen kann Typisch menschliche Eigenschaft Inhaltsabruf Zum Abrufen einer Information muss man dem Netz lediglich Inhalte präsentieren, die mit dem gesuchten Inhalt in Verbindung stehen z.b. reicht es dem Netz Informationen über das Aussehen, den Wohnort, etc. zu präsentieren, um den Namen zu erfahren an den man sich gerade nicht mehr erinnert
Hohe Lernfähigkeit Neuronale Netze haben im Gegensatz zu herkömmlichen statistischen Methoden keine Probleme Zusammenhänge nonlinearer Art oder Interaktionseffekte zwischen mehreren Variablen zu erfassen In diesem Zusammenhang spricht man auch vom Erlernen beliebiger Abbildungen Große Anzahl an Freiheitsgraden Es existieren zahlreiche Parameter, die die Arbeitsweise von neuronelen Netzen beeinflussen können Bedingt durch die hohe Lernfähigkeit und erfassung nonlinearer Zusammenhänge Dies kann allerdings auch zu Probleme führen
Große Anzahl an Freiheitsgraden Viele frei variierbare Parameter ermöglichen die Simulation jeder menschlichen Verhaltensweise Allerdings kann dies dazu führen dass neuronale Netze, welche menschliches Verhalten erklären sollen, durch Variation verschiedener Parameter nicht wiederlegbar sind (man spricht hier auch von einer Immunisierungsstrategie) Trifft nur auf neuronale Netze zu, welche menschliches Verhalten erklären sollen Neuronale Netze, die konkrete Anwendungsprobleme lösen sollen, sind von diesem Kritikpunkt nicht betroffen
Fragwürdige biologische Plausibilität Bezieht sich ebenfalls nur auf Netze zur Erklärung der funktionsweise des menschlichen Gehirns Viele Netze wiedersprechen biologischen Grundannahmen und sind zur Erklärung nur bedingt geeignet Beispiel: Rückwärtsausbreitung bei der Backpropagation-Lernregel Großer Rechenaufwand Herkömmliche Methoden besitzen oftmals geringeren Rechenaufwand und erzeugen genaueren Output Trifft nur auf neuronale Netze zu die ein konkretes Anwendungsproblem lösen sollen
http://www.neuronalesnetz.de/nnbilder/large/cm_ei genschaften_large.gif
Konstruktion eines neuronalen Netzes
Bei der Konstruktion eines neuronalen Netzes geht man in folgenden Schritten vor: 1. Anzahl und Typ der benötigten Neuronen festlegen 2. Verbindungen zwischen Neuronen festlegen 3. Gewichte der Kanten initialisieren 4. Eine Menge an Beispielpaaren auswählen (Eingabe- und Zielmuster) 5. Reihenfolge festlegen, in welcher die Eingaben dem Netz dargeboten werden 6. Für jedes Beispiel Differenz zwischen tatsächlicher und gewünschter Ausgabe ausrechnen 7. Gewichte der Kanten anpassen (Lernalgorithmus)
Neuronale Netze neigen meist dazu, die Trainingsdaten auswendig zu lernen. Um dieses overfitting zu vermeiden wird folgende einfache Strategie verfolgt: Den Fehler Bestimmen Das Training beenden, wenn der Fehler nicht weiter fällt Ein vergleich von Netzen kann hier mittels eines Testdatensatzes erfolgen, welcher dem Netz unbekannt ist (Leave-k-out)
http://de.wikipedia.org/wiki/neuronales_netz http://cs.unimuenster.de/studieren/scripten/lippe/wwwnnscript/startseite.html http://www.neuronalesnetz.de/ http://www.grundstudium.info/neuro/neuronale_netze.php http://www-user.tu-chemnitz.de/~stj/lehre/ki09_10.pdf Lawrence, Jeanette: Neuronale Netze Mainzer, Klaus: KI Künstliche Intelligenz Patterson, Dan: Künstliche Neuronale Netze 2. Auflage Lämmel, Uwe; Cleve, Jürgen: Künstliche Intelligenz Luger, Georg F.: Künstliche Intelligenz