Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?

Transkript

1 Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher Damir Dudakovic Daniel Tahin This presentation is based on input by Neuronen (Nervenzellen) sind über Synapsen (Kontaktstellen) verbunden 1 2 Kreise = Neuronen (Knoten, Units) Arten von Units: Input Units (rot) Hidden Units (gelb) Output Units (grün) 1949 wurde die erste neuronale Lernregel von Donald O. Hebb beschrieben Unterschied klassische (symbolische) KI und künstliche neuronale Netze: KNN müssen vor dem Lernen nicht erst die Regeln entwickeln -> natürliche Intelligenz Implizites lernen der KNN durch lange Schulung (Trainieren) Das richtige Trainieren eines neuronalen Netzes ist Voraussetzung für den Lernerfolg 3 4

2 Anwendung menschliches Verhalten bzw. die Funktionsweise des menschlichen Gehirns besser verstehen (Neurophysiologie) konkrete Anwendungsprobleme aus Bereichen wie z. B. Statistik, Wirtschaftswissenschaften, Technik und vielen anderen Gebieten zu lösen (z.b. Neuroinformatik) Was sind neuronale Netze? Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Neuronen (Nervenzellen) sind über Synapsen (Kontaktstellen) verbunden 5 6 Anwendungen Gut geeignet für Anwendungen, wenn: Anzahl der Parameter sehr hoch Zusammenhänge sind unbekannt, müssen aber unterstellt werden Effektive Berechnung ist zu komplex Anwendungen bei denen kein oder nur geringes explizites (systematisches) Wissen über das zu lösende Problem vorliegt (zb Text-/Handschrifterkennung) Kreditmerkmale des Antragstellers (Alter, Einkommen, Beruf)werden in numerischer Form als Eingabemuster kodiert. Z.B. 0-0 =Alter von Jahre, 0-1 = Alter Jahre Ausgabe der Bonität: 0 schlechte Bonität, 1 gute Bonität 7 8

3 Die Eingabeschicht weist so viele Einheiten auf wie für Kodierung der Kreditmerkmale notwendig sind Für die Lernphase werden alte, abgeschlossene Kreditfälle benutzt Abbildung der Merkmalskombinationen für Antragssteller einer guten und schlechten Bonität 9 10 Übersicht Anwendungen Einsatz Nach dem Lernen unterstellt man dem System eine Vorhersagefähigkeit für zukünftige Anträge In Zukunft -> Unterstützung des Kreditgewährungsprozesses durch selbstständige Bonitätszuordnung Frühwarnsysteme Optimierung Zeitreihenanalyse (Wetter, Aktien etc.) Sprachgenerierung (Beispiel: NETtalk) Bildverarbeitung und Mustererkennung Schrifterkennung (OCR) Spracherkennung Data-Mining Informatik: Bei Robotik, virtuellen Agenten und KI-Modulen, in Spielen und Simulationen Medizinische Diagnostik, Epidemiologie und Biometrie Klangsynthese Strukturgleichungsmodell zum Modellieren von sozialen oder betriebswirtschaftlichen Zusammenhängen 11 12

4 Zitat If the brain were so simple that we could understand it then we d be so simple that we couldn t. Damir Dudakovic Lyall Watson Arten und Eignung Neuronaler Netze 13 Netz-Topologien Teilbild a): feedforward ebenenweise verbunden Teilbild b): feedforward mit shortcut connections Teilbild c): direkte Rückkopplung Teilbild d): indirekte Rückkopplung Teilbild e): laterale Rückkopplung (ohne direkte Rückkopplungen) Teilbild f): vollständig verbunden (ohne direkte Rückkopplungen) Feedforward-Netze (Netze ohne Ru ckkopplung) Eine Ausbreitung der Aktivierung u ber das Netzwerk setzt sich nur in eine Richtung fort. Kein Pfad, der von einem Neuron direkt oder u ber zwischengeschaltete Neuronen wieder zuru ck zu diesem Neuron fuḧrt. Unidirektionale Verbindungen bei der Daten nur in eine Richtung weitergegeben werden. Feedforward-Netze setzen sich aus verschiedenen vollvernetzten Schichten zusammensetzen, bei denen jedes Element einer Schicht mit jedem Element der Folgeschicht verbunden ist. Es gibt vollvernetzte, teilvernetzte, kombinierte, sowie lose gekoppelte Feedforward Topologien. 16

5 Rekurrente Netze Besitzen rückgerichtete (rekurrente) Kanten (engl. feedback loops) und enthalten somit eine Rückkopplung. Die Kanten werden häufig mit einer Zeitverzögerung versehen. So werden bei einer schrittweisen Verarbeitung die Neuronenausgaben der vergangenen Einheit wieder als Eingaben angelegt. Netze mit Rückkopplungen Netze mit direkten Rückkopplungen (direct feedback) Diese Netze erlauben es, dass ein Neuron seine eigene Aktivierung über eine Verbindung von seinem Ausgang zu seinem Eingang verstärkt oder abschwächt. Netze mit indirekten Rückkopplungen (indirect feedback) Die Rückkopplungen ermöglichen dem Netz ein dynamisches Verhalten und stattet es mit einem Gedächtnis aus. Bei diesen Netzen gibt es eine Rückkopplung von Neuronen höherer Ebenen zu Neuronen niederer Ebenen. Netze mit Rückkopplungen innerhalb einer Schicht (lateral feedback) Netze mit Rückkopplungen innerhalb derselben Schicht werden oft für Aufgaben eingesetzt, bei denen nur ein Neuron in einer Gruppe von Neuronen aktiv werden soll. Vollständig verbundene Netze Vollständig verbundene Netze haben Verbindungen zwischen allen Neuronen. Lernen Backpropagation Algorithmus Wissen = Verbindungsgewichte zwischen den Neuronen Beschreibt die funktionale Struktur zwischen Input- und Outputvariablen Lernen optimieren der Verbindungsgewichte Die Gewichte werden durch Lernalgorithmen bestimmt: Backpropagation Algorithmus, Hebb Regel, Delta Regel Beim Training stimmt die Soll/Istausgabe nicht überein Gesamtfehler ergibt sich durch eine Fehlerfunktion: Propagierung des Fehlers entgegengesetzt des vorwärtsgerichteten Informationsflusses im Netz Durch schrittweises Verändern der Verbindungsgewichte kann der Gesamtfehler E verringert werden Gradientenabstiegsverfahren Lernprozedur = Optimierungsproblem (Bestimmung von globalen Minimum einer nichtlinearen, n-dimensionalen Funktion) Seite 19 Seite 20