BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe Januar 2015, Wintersemester 2014/2015
INFOS WISSENSWERT - Griechische Herkunft - neũron = Sehne, Nerv - Ein neuronales Netz bestehet aus Neuronen und Verbindungen. - Neuronale Netzwerke NN - Künstliche Neuronale Netzwerke KNN
DER WUNSCH NACHBILDUNG VERSCHIEDENER HIRNAREALE IDEE Entwicklung von Computerprogrammen zur Nachbildung der Hirnareale Modellierung tatsächlicher neuronaler Vorgänge ZWECK Arbeitsweise natürlicher Neuronen nachahmen
EINSATZGEBIETE MUSTERERKENNUNG EINSATZGEBIETE MUSTERERKENNUNG
EINSATZGEBIETE MUSTERERKENNUNG SPRACHE SCHRIFT IDENTIFIKATION / BILDVERARBEITUNG Suche Identifikation Muster Identifikation Personensuche Befugnis
EINSATZGEBIETE MUSTERERKENNUNG Marktforschung / DAX Analyse Militär Unbemannte Drohnen / Fahrzeuge Fluglinien, intelligente Auswertung von Satellitenbildern Wetterforschung Medizin Diagnostik Epidemiologie
DAS NEURON BIOLOGISCHES NEURON VORBILD DAS BIOLOGISCHE NEURON
DAS VORBILD DAS BOLOGISCHE VORBILD VORBILD Biologische Neuronen-Geflechte - der Wirbeltiere Mensch & Tier DAS MENSCHLICHE GEHIRN - 100 Billionen vernetzte Neuronen im menschlichen Gehirn - 0,25mm großer Zellkörper - Zusammengeschaltet mit Axonen und Dendriten über Synapsen - Menschliche Neurone - 1000 und 10.000 Synapsen - Purkinje Zellen sogar bis zu 150.000 - Informationsübertragung in Form von Spikes (Aktionspotential) - Erzeugt durch Ladungsunterschied an der Zellmembran - Axone bzw. Dendriten binäre Informationen übertragen (0 oder 1)
DAS NEURON BIOLOGISCHES NEURON Dendriten Zellkern Soma (Zellkörper) Axon Synapsen Schwellwert Endknöpfchen - Vesikel - Neurotransmitter
NEURONALES NETZ VERKNÜPFUNG EINES NEURONS MIT EINER ANDEREN ZELLE Sender Empfänger
NEURONALES NETZ EIN NETZWERK AUS NEURONEN Sender Empfänger
AUFBAU & ABLAUF Künstliches Neuronales Backpropagation Feed Forward Netz
AUFBAU & ABLAUF Künstliches Neuronales Backpropagation Feed Forward Netz
AUFBAU & ABLAUF Natürliches Neuron Künstliches Neuron
AUFBAU & ABLAUF AUFBAU & ABLAUF
Komponentisierung WIE ARBEITET EIN KNN? DATENVERWALTUNG TRADITIONELL - CPU arbeitet hauptsächlich im RAM - Langzeitspeicher extern! - legt Daten auf Medien ab - Liest Daten wieder vom Medium aus KÜNSTLICHES NEURONALES NETZ - Verarbeitung und Speicherung gleichermaßen - Datenbestand bleibt im Netz - Das Netz ist die Information
TRAINIGSMODI ÜBERWACHTES LERNEN externer Lehrer Eingabemuster und Ausgabemuster müssen vorliegen Schnell aber biologisch nicht plausibel BESTÄRKENDES LERNEN Richtig oder falsch Korrekte Ausgabe muss System finden Biologisch plausibel aber langsam UNÜBERWACHTES LERNEN Selbstorganisation nicht für alle Fragestellungen geeignet Biologisch am plausibelsten
TRAINIGSMODI ÄNDERUNGEN WÄHREND DES LERNENS Entwicklung neuer Verbindungen Löschen vorhandener Verbindungen Modifikation der Stärke wij von Verbindungen Modifikation des Schwellenwertes von Neuronen Modifikation der Aktivierungs Propagierungs oder Ausgabefunktion, - Entwicklung neuer Zellen Löschen von Zellen
AUFBAU & ABLAUF Natürliches Neuron Künstliches Neuron
AUFBAU & ABLAUF
AUFBAU & ABLAUF Künstliches Neuronales Backpropagation Feed Forward Netz
AUFBAU & ABLAUF Künstliches Neuronales Backpropagation Feed Forward Netz
AUFBAU & ABLAUF Künstliches Neuronales Backpropagation Feed Forward Netz INPUT LAYER 0-N HIDDEN LAYER OUTPUT A ( ) B W X C Y D ( ) Z ( )
NEURONENSCHICHTEN SCHICHTEN NN - Komplexität der Gewichtung entscheidet über Intelligenz - parallele Informationsverarbeitung in den Neuronen - Propagierung von Informationen über Synapsen Input Layer Aktivität Sigmuide Funktion Hidden Layer Output Dendriten Aufnahme Logistische Funktion Netzinput ungefiltert Output Sender Empfänger
AUFBAU & ABLAUF Künstliches Neuronales Backpropagation Feed Forward Netz INPUT LAYER HIDDEN LAYER OUTPUT A W B X C Y D ( ) Z ( )
AUFBAU & ABLAUF Künstliches Neuronales Backpropagation Feed Forward Netz INPUT LAYER HIDDEN LAYER OUTPUT A W B X C Y D ( ) Z ( )
AUFBAU & ABLAUF Künstliches Neuronales Backpropagation Feed Forward Netz INPUT LAYER HIDDEN LAYER OUTPUT A W B X C Y D ( ) Z ( ) Fehler berechnen
AUFBAU & ABLAUF Künstliches Neuronales Backpropagation Feed Forward Netz INPUT LAYER HIDDEN LAYER OUTPUT A W B X C Y D ( ) Z ( ) Gewichte anpassen Rückpropagieren
AUFBAU & ABLAUF Künstliches Neuronales Backpropagation Feed Forward Netz INPUT LAYER HIDDEN LAYER OUTPUT A W B X C Y D ( ) Gewichtung Fehler berechnen Gewichte anpassen Z ( ) Rückpropagieren
DAS NEURON BIOLOGISCHES NEURON RANDINFORMATIONEN DAS BIOLOGISCHE NEURON
AUSBLICK IN DER AKTUELLEN FORSCHUNG WAS KOMMT? FRAU PROF. DR. KLÜVER - Agatha Christie AUTOMOBILHERSTELLER - Straßenschilder
KRITIK WAS BRINGEN UNS DIE NN? Beispiel: Path of Exile Ähnl. Diablo Skill tree 120 Punkte verfügbar 1325 Möglichkeiten LÖSBAR? Ja, Kohonen Netz bei Verzicht der Genauigkeit Das Netz wird ungenauer wie das menschliche Gehirn
Kritik WAS BRINGEN UNS DIE NN? ANGST Die Fähigkeit der Maschinen sich selbst zu reproduzieren BEGRÜNDET? Halteproblem : Keine Möglichkeit Problem effizient zu lösen, wenn Maschine Teil des Problems denn, ein Algorithmus der alle möglichen Algorithmen und Eingaben berechnet hat kein Ende und kann nicht zu Ende gedacht werden, da es diesen Algorithmus nicht gibt! Evtl. Video bei Youtube Haltingproblem
BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Vortrag Grafiken Technischer Datenschutz und Mediensicherheit Nils Tekampe Jasmin Sunitsch Jasmin Sunitsch, Logo (Hochschule Rhein-Waal) Abgabe Januar 2015, Wintersemester 2014/2015