Proseminar Neuronale Netze Frühjahr 2004

Größe: px
Ab Seite anzeigen:

Download "Proseminar Neuronale Netze Frühjahr 2004"

Transkript

1 Proseminar Neuronale Netze Frühjahr 2004 Titel: Perzeptron Autor: Julia Grebneva, Einleitung In vielen Gebieten der Wirtschaft und Forschung, stellen sich oftmals Probleme, die das Analysieren von größeren Datenmengen fordern. Dabei gilt es sowohl noch unbekannte Strukturen zu finden, als auch diese zu klassifizieren. In vielen Fällen fehlt hier ein wissenschaftlicher Ansatz der erlaubt diese Probleme effizient zu lösen. Hier liegt ein Hauptanwendungsgebiet der Neuronalen Netze. Der Begriff Neuronale Netze beinhaltet dabei eine Vielzahl von verschiedenen Architekturen: Perzeptron, Self-Organizing Map (auch Kohonen Netze), ART-Netze, Hopfield Netz und etc. Das einfachste Konzept neuronaler Netze ist das einstufige Perzeptron. Die Zeit der neuronalen Netze hat mit dem Entwurf des Neuronmodell von McCulloch- Pitts begonnen. Die grundlegende Idee für das Neuronenmodell war die Arbeitsweise von menschlichem Neuronen nachzubilden, und somit die Fähigkeiten des Menschen bei der Informationsverarbeitung nachzubilden. Das Problem dieses Modells ist, das ihm samtliche Lernfähigkeit fehlt. Dies haben Rosenblatt und Wigthman im Rahmen der Perzeptron Theorie versucht zu meistern. Im Folgenden betrachten wir ausschliesslich das Perzeptron und seinen Lernalgorithmus. Kapitel I präsentiert das McCulloch-Pitts Neuron, seine Eigenschaften und darstellbaren Funktionen. In Kapitel II werden zuerst die Definition und die Eigenschaften des Perzeptrons besprochen. Es folgt eine Betrachtung der Linearen Separierbarkeit und des Trainingsalgorithmus des Perzeptrons. Zuletzt wird Perzeptron-Konvergenz-Theorem vorgestellt. 1

2 I. McCulloch-Pitts Neuron Die Leistung des Gehirns entspricht einer Prozessorleistung von parallel arbeitenden Prozessoren mit einer Taktfrequenz von ca. 1 khz. In den Bereichen Objekte - und Sprach Erkennung; Lernen, Assoziieren und Generalisieren gibt es kein anderes System, das annähernd vergleichbar effizient ist. Der einfachste Baustein des Gehirns ist das Neuron. Um 1943 wurde von W.McCulloch und W.Pitts das erste Neuronmodell erfunden und erstellt. Als Vorbild haben sie die vereinfachten menschlichen Nervenzellen genommen. Die Idee war, die Arbeitsweise des Gehirns auf Maschinen zu übertragen. Aber was macht ein Neuron aus? Nerven Zellen (Neuronen) bestehen aus Dendriten (Eingänge), Soma (Zellkörper) und Axone (Ausgänge). Abbildung 1. Menschliche Neuron Menschliche Neuron funktioniert in folgender Weise: Durch Eingänge, Dendriten genannt, kommen Signale in den Zellkörper. Jeder Neuron kann beliebig viel Eingänge haben (in durchschnitt rund 1000), hat aber nur ein einziges Ausgang. Im Zellkörper werden alle angekommenen Signale aufsummiert. Das Ergebnissignal wird vom Zellkörper, zu der entsprechenden Nervenzelle, durch Axon weitergeleitet. Synapsen dienen als Verbindung zwischen Axon einer Zelle und Dendrit nachfolgende Neuron. Diese Verbindung wird aktiv nur bei ausreichender Aktionpotenzialgröße. Das Ergebnissignal nach einer Synapse kann zu mehrere Neuronen übergeben werden. Die überwiegende Mehrheit von Synapsen hat chemische Natur, aber es gibt auch elektrische Synapsen. Chemischen Synapsen haben Vorteil zu elektrische, dass sie Signal verstärken können. Das Neuron von McCulloch-Pitts ist ein binäres Schaltelement (siehe Abb.2), welches entweder eingeschaltet oder ausgeschaltet ist. Es hat einen festen Schwellwert und alle Gewichte sind auf eins gesetzt. Um eine bestimmtere Eingabe mehrmals in Funktion zu haben, muss man in diesen Neuron entsprechend oft diesen Eingang konstruieren. Bei Überschreitung des Schwellwertes wird das Neuron aktiv. 2

3 Abbildung 2. McCulloch-Pitts Neuron (links), Neuron für AND-Funktion (rechts) Das Neuron ist in der Lage beliebige arithmetische und einfachere logische Funktionen zu berechnen. Beispiel: die logische AND-Funktion gibt 1 aus, wenn beide Eingänge mit 1 belegt werden und o sonst. Um diese Funktion mit Neuron zu realisieren braucht man zwei Eingänge, die den binäres Wert annehmen, und Schwellenwert 2. XOR-Funktion ist nicht mit einem Neuron darstellbar, dass aber später erklärt wird. II. Perzeptron In den Jahren haben F.Rosenblatt und C.Wigthman den ersten Perzeptron vorgestellt. Genau gesehen war das, die ganze Familie von Modellen, die alle Perzeptron genannt wurden. Das Perzeptron das wir heutzutage kennen, bezieht sich genau auf diesen Modell von Rosenblatt-Wigthman. Das einstufige Perzeptron besteht aus zwei Schichten. Die erste Schicht ist die Eingabeschicht (Netzhaut), welche aus McCulloch-Pitts Neuronen besteht. Von der ersten Schicht gibt es gewichtete Verbindungen zum nächsten Neuron (Ausgabeneuron). Das ist der prinzipielle Unterschied zu einfacheren Neuron. Man hat die Möglichkeit die Eingaben, die n-mal vorkommen anhand der Gewichtung darstellen. Durch Änderung der Gewichte und Schwellenwerte kann das Perzeptron lernen. Die eingehenden Signale gehen erste durch die erste Schicht, wo sie vorgefiltert werden. Im Ausgabeneuron werden vorsortierte gewichtete Signale aufsummiert. Wenn die Summe den Schwellenwert überschreitet, feuert das Perzeptron. Abhängig von der Anzahl gewichteten Schichten werden Perzeptrone ein-, zwei-, dreistufig etc. genannt. Perzeptron Eigenschaften: Eingaben, Gewichte Schwellenwert Ausgabe Aktivierungs Funktion reelle Werte, reelle Zahl, 1, falls Schwellenwert überschritten wird und 0 ( bzw. -1 für bipolar) sonst, Treppenfunktion auf Eingaben. 3

4 Abbildung 3. Struktur des Perzeptrons Für aufsummierte n Eingaben gilt: Net = input i weight i; für i [1, n] Net - aufsummierte Eingabe, input - Ausgabe der Vorgängerzelle, weight - Gewicht bzw. Stärke der Verbindung. Treppenfunktion Für Ausgabe gilt: Output= 1, falls Net Schwellenwert, 0 sonst (bzw. 1). II a. Lineare Separierbarkeit Eine Eigenschaft von einem Perzeptron ist lineare Separierbarkeit. Das einstufige Perzeptron hat nur eine Schicht von Gewichten. Die Funktion des Perzeptron kann man wie folgt darstellen. Für w 1,w 2 Gewichte, x 2, x 1 Eingänge und t Schwellenwert gilt. w 1 x 1 +w 2 x 2 = t, x 1 =t/w 1 x 2 w 2 /w 1, für a=t/w 1 und b=w 2 /w 1 gilt, x 1 = a b x 2 ; Und das ist eine lineare Gleichung. Passende Belegung zu finden ist die Aufgabe für Perzeptron Lernalgorithmus. Die Voraussetzung: die untersuchten Mengen, sollten mit einer Gerade trennbar sein. Die Funktionen, die man mit Perzeptron darstellen kann, sind einfachere boolische Funktionen und arithmetische Funktionen. (z.b. siehe Abb.4) Abbildung 4. Grafische Darstellung AND- und OR-Funktion 4

5 Die lineare Separierbarkeit Bedingung ist in XOR-Funktion nicht erfüllt. Es ist unmöglich XOR- Lösungsmenge mit einer Gerade zu trennen (siehe Abb. 5). Abbildung 5. XOR-Funktion (links) und Lösung des XOR-Problem s (rechts) M.Minsky und S.Papert haben in 1969 mathematische bewiesen, dass XOR-Funktion nicht mit einstufigen Perzeptron präsentierbar ist. Mit der zweite Stufe von Gewichten wird es möglich XOR-Funktion zu realisieren, da mit nächster Stufe von Gewichten man noch eine Gerade bekommt. Allgemein gilt: Ein einstufiges Perzeptron kann nur die Probleme behandeln, die durch eine Hyperfläche trennbar sind. Diese Lineare Eigenschaft des Perzeptrons verringert die Bereiche der praktischen Anwendung, da laut der theoretischen Untersuchung von R.O.Widner (1960), die Anzahl der linearen separierbaren Funktionen, unter allen möglichen binären Funktionen, mit wachsenden Anzahl die Variablen sehr schnell abnimmt. Die Anwendung des einstufigen Perzeptron kann man somit auf Gerade trennbare Mengen begrenzen. Ein zweistufiges Perzeptron ist in der Lage konvexe Polygone zu berechnen. Noch komplexere Formen können nur noch mit multilayer Perzeptronen dargestellt werden. II b. Trainieren von Perzeptron Die rechen aufwendige Phase des Perzeptron ist die Lernzeit. Aber die muß nur einmal durchgeführt werden, und danach erfolgt die praktische Anwendung des Perzeptron. Zum Training neuronaler Netze werden folgende Ansätze angewendet: 1) Supervised Learning Das neuronale Netz bekommt Eingaben, bearbeitet diese und liefert ein Ergebnis. Der supervisor korrigiert und gibt zudem auch noch die Musterlösung. Anhand der Musterlösung ändert das neuronale Netz selbständig die entsprechenden Gewichte. Die Voraussetzung für diese Technik ist die Existenz von Eingabe und Musterausgabe Paare. Die Hebbsche Regel, Delta Regel und Backpropagation sind klassische Beispiele für Supervised Lerning. 2) Unsupervised Learning Wie der Name schon sagt, handelt es sich bei dieser Methode um unüberwachtes Lernen. Das neuronale Netz hat Eingaben die es ohne Einfluss von außen selbständig klassifiziert. Lernalgorithmus Die Basis für die Delta-Regel ist die Lernverfahren von Minsky und Papert, deswegen macht es Sinn als erste diese Regel kennen zu lernen. 5

6 Die Aufgabe: es wird ein Gewichtsvektor w gesucht, der zwei endliche Punktmengen P und N in einem n-dimensionalen Raum trennen kann, wobei P im offenen positiven und N im offenen negativen Halbraum liegen soll. Perzeptron-Lernalgorithmus : Start Testen Der Gewichtsvektor w 0 wird zufällig generiert. Setze t:=0. Ein Punkt x in P N wird zufällig gewählt. Falls x P und w t x>0 gehe zu Testen Falls x P und w t x 0 gehe zu Addieren Falls x N und w t x<0 gehe zu Testen Falls x N und w t x 0 gehe zu Subtrahieren Addieren Setze w t+1 = w t + x Setzte t:=t+1. Gehe zu Testen. Subtrahieren Setze w t+1 = w t x. Setze t:= t+1. Gehe zu Testen. Wie man aus dem Algorithmus ablesen kann, wird der Gewichtsvektor jedes Mal geändert, wenn testende Punkte zur falschen Menge zugeordnet wurden. Das Programm soll anhalten, wenn alle Punkte richtig eingeteilt (klassifiziert) wurden. Im worst case ist die Komplexität von diesem Programm exponentiell, und damit nicht für größere Eingaben geeignet. Delta-Regel Die Eingabevektoren werden normiert. Wenn eine Eingabe falsch klassifiziert wird, statt nur den Wert Eingabenvektor zu addieren (bzw. subtrahieren), addieret man das Produkt die Fehler mit eine kleine positive Zahl mal Eingabevektor zu neuen Gewichtsvektor. Von oberen Beispiel: falls x P und w t x 0, dann die Fehler ist = - w t x. Neuen Gewichtsvektor: w t+1 =w t +( + )x, für >0 (bzw. w t+1 =w t +( - )x für x N und w t x 0). Durch dieses Delta Wert wird Eingabe x zu Richtige Menge zugeteilt, weil w t+1 x=(w t +( + )x)x, =w t x+( + ) x 2, (wobei x 2 =1) =- + +, Somit ist w t+1 x= >0 Den Wert >0 garantiert, dass der neue Gewichtsvektor in positiven Bereich liegt. Die Verbesserung bei der Delta Regel ist die Weise, wie der Gewichtsvektor geändert wird. 6

7 II c. Perzeptron Konvergenz - Theorem Man kann der Perzeptron mit Hilfe zweier Begriffe charakterisieren: REPRÄSENTIERBARKEIT UND LERNFÄHIGKEIT. Die Möglichkeit eine vorgegebene Funktion anhand eines neuronales Netzes zu realisieren nennt man Repräsentierbarkeit. Sie ist von der Topologie des Netzes, die Aktivierungs- und die Ausgabefunktion abhängig. Lernfähigkeit ist die Fähigkeit einem neuronalen Netz eine repräsentierbare Funktion lernen zu lassen (d.h. passende Gewichte und Schwellenwerte zu finden). Diese ist direkt vom Lernalgorithmus abhängig. Auf diesen zwei Thermen basiert das Perzeptron-Konvergenz-Theorem, dies besagt folgendes: Der Lernalgorithmus des Perzeptron konvergiert in endlicher Zeit, d.h. das Perzeptron kann in endlicher Zeit alles lernen, was es repräsentieren kann.[rosenblatt] Dieses Satz garantiert, dass in früher präsentierten Lernalgoritnmen der Vektor w höchstens eine endliche Anzahl von Korrekturen erfährt, wenn die Mengen P und N linear trennbar sind. Das bedeutet wenn eine Funktion die notwendige Bedingung erfüllt um mit einem Perzeptron Repräsentierbar zu sein, dann existiert auch mindestens ein passender konvergenter Lernalgorithmus für das Perzeptron. III. Weitere Entwicklung Nach die Arbeit Perceptrons (1969) veröffentlicht wurde, ist im Gebiet neuronale Netze viele Forschungsprojekte geschlossen worden. Die Autoren M.Minsky und S.Papert haben eine mathematische Analyse des Perzeptrons durchgeführt und bewiesen, dass viele essentielle Probleme existieren, die nicht mit einem Perzeptron lösbar sind. Auf dieser Basis haben sie behauptet, dass das Perzeptron ein research dead-end ist. Dem zu Folge wurden die Fördermittel (Gelder) für die nächsten 15 Jahre eingestellt und somit die Forschung größten Teil beendet. Zusammenfassung Das einstufige Perzeptron besteht aus McCulloch-Pitts Neuronen, als Eingabeschicht und Ausgabeneuron. Es existiert eine gewichtete Verbindungsschicht zwischen beiden, die ist verantwortlich für Lernfähigkeiten des Perzeptron. Das einstufige Perzeptron ist in der Lage einfachere logische (nicht XOR) und beliebige arithmetische Funktionen zu lösen. Für XOR und anderen Funktionen braucht man mächtigere Perzeptronen mit zwei und mehr Verarbeitungsschichten. Die Eigenschaften vom Perzeptron sind Repräsentierbarkeit und Lernfähigkeit. Die erste ist von Topologie, Aktivirungs- und Ausgabefunktion abhängig. Die Lernfähigkeit hängt vom Lernverfahren ab. Die notwendige Bedingung für eine Repräsentierbarkeit ist die lineare Trennbarkeit. Nur die Menge, die linear separierbar ist, kann mit einem Perzeptron realisiert werden. Die wichtigsten Lernmethoden sind Überwachtes Lernen: Hebbsche Regel, Delta Regel; und Unüberwachtes Lernen. Perzeptron-Konvergenz-Theorem besagt, dass jede darstellbare Funktion, mit einem Perzeptron, in endliche Zeit gelernt werden kann. 7

8 Literatur [1] R. Callan. The essence of Neural Networks. Prentice Hall, Kap 2.2 Fundamental ideas, pp (ab25) [2] J.Faulkner. Einführung in Neuronale Netze, Proseminar TI im SS 2001an der Universität Tübingen, Im Fach Informatik ( Download: März ) [3] N.Fraser. Neural Network Follies, Sep ( Download: März ) [4] Interaktive Einführung in Neuronale Netze, ( Download: März ) [5] B.Marti. Künstliche Neuronale Netze, Informatikseminar an der Hochschule Rapperswil, ( e%5cknn_skript.pdf; Download: März ) [6] R.Rojas. Theorie der neuronalen Netze. Springer, Kap. 4.3 Perzeptron - Lernen, pp [7] U. Schöning. Boolesche Funktionen, Logik, Grammatiken und Automaten (Theoretische Informatik II) -Vorlesungsskript-, Teil 1.7 Perzeptrone, pp [8] A.Zell. Simulation Neuronaler Netze. Addison-Wesley Kap. 7 Perzeptron, pp

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt

Mehr

Praktische Optimierung

Praktische Optimierung Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Übersicht Neuronale Netze Motivation Perzeptron Grundlagen für praktische Übungen

Mehr

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung

Mehr

Gliederung. Biologische Motivation Künstliche neuronale Netzwerke. Anwendungsbeispiele Zusammenfassung. Das Perzeptron

Gliederung. Biologische Motivation Künstliche neuronale Netzwerke. Anwendungsbeispiele Zusammenfassung. Das Perzeptron Neuronale Netzwerke Gliederung Biologische Motivation Künstliche neuronale Netzwerke Das Perzeptron Aufbau Lernen und Verallgemeinern Anwendung Testergebnis Anwendungsbeispiele Zusammenfassung Biologische

Mehr

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale

Mehr

Was bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen

Was bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise

Mehr

Ein selbstmodellierendes System für die Wasserwirtschaft

Ein selbstmodellierendes System für die Wasserwirtschaft Ein selbstmodellierendes System für die Wasserwirtschaft Dipl.-Ing. Dr. ANDRADE-LEAL Wien, im Juli 2001 1 Einleitung, Motivation und Voraussetzungen Künstliche Intelligenz Neuronale Netze Experte Systeme

Mehr

Einführung in Neuronale Netze

Einführung in Neuronale Netze Einführung in Neuronale Netze Thomas Ruland Contents 1 Das menschliche Gehirn - Höchstleistungen im täglichen Leben 2 2 Die Hardware 2 2.1 Das Neuron 2 2.2 Nachahmung in der Computertechnik: Das künstliche

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen

Mehr

Hannah Wester Juan Jose Gonzalez

Hannah Wester Juan Jose Gonzalez Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer

Mehr

Einführung in neuronale Netze

Einführung in neuronale Netze Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze

Mehr

Kohonennetze Selbstorganisierende Karten

Kohonennetze Selbstorganisierende Karten Kohonennetze Selbstorganisierende Karten Julian Rith, Simon Regnet, Falk Kniffka Seminar: Umgebungsexploration und Wegeplanung mit Robotern Kohonennetze: Neuronale Netze In Dendriten werden die ankommenden

Mehr

Selbstorganisierende Karten

Selbstorganisierende Karten Selbstorganisierende Karten Yacin Bessas yb1@informatik.uni-ulm.de Proseminar Neuronale Netze 1 Einleitung 1.1 Kurzüberblick Die Selbstorganisierenden Karten, auch Self-Organizing (Feature) Maps, Kohonen-

Mehr

Aufbau und Beschreibung Neuronaler Netzwerke

Aufbau und Beschreibung Neuronaler Netzwerke Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser

Mehr

Was sind Neuronale Netze?

Was sind Neuronale Netze? Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk

Mehr

Einführung in Neuronale Netze

Einführung in Neuronale Netze Wintersemester 2005/2006 VO 181.138 Einführung in die Artificial Intelligence Einführung in Neuronale Netze Oliver Frölich Abteilung für Datenbanken und Artificial Intelligence Institut für Informationssysteme

Mehr

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale

Mehr

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform. (hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Sibylle Schwarz Westsächsische Hochschule Zwickau Dr. Friedrichs-Ring 2a, RII 263 http://wwwstud.fh-zwickau.de/~sibsc/ sibylle.schwarz@fh-zwickau.de SS 2011 1 Softcomputing Einsatz

Mehr

Computational Intelligence I Künstliche Neuronale Netze

Computational Intelligence I Künstliche Neuronale Netze Computational Intelligence I Künstliche Neuronale Nete Universität Dortmund, Informatik I Otto-Hahn-Str. 6, 44227 Dortmund lars.hildebrand@uni-dortmund.de Inhalt der Vorlesung 0. Organisatorisches & Vorbemerkungen.

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische

Mehr

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training des XOR-Problems mit einem Künstlichen Neuronalen Netz (KNN) in JavaNNS 11.04.2011 2_CI2_Deckblatt_XORbinaer_JNNS_2

Mehr

auch: Konnektionismus; subsymbolische Wissensverarbeitung

auch: Konnektionismus; subsymbolische Wissensverarbeitung 10. Künstliche Neuronale Netze auch: Konnektionismus; subsymbolische Wissensverarbeitung informationsverarbeitende Systeme, bestehen aus meist großer Zahl einfacher Einheiten (Neuronen, Zellen) einfache

Mehr

Computational Intelligence 1 / 31. Computational Intelligence Künstliche Neuronale Netze Geschichte 3 / 31

Computational Intelligence 1 / 31. Computational Intelligence Künstliche Neuronale Netze Geschichte 3 / 31 1 / 31 Gliederung 1 Künstliche Neuronale Netze Geschichte Natürliches Neuron Künstliches Neuron Typen von Neuronen Geschichte Künstliche Neuronale Netze Geschichte 3 / 31 1943 Warren McCulloch (Neurologe),

Mehr

Neuronale Netze mit mehreren Schichten

Neuronale Netze mit mehreren Schichten Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren

Mehr

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion

Mehr

Thema 3: Radiale Basisfunktionen und RBF- Netze

Thema 3: Radiale Basisfunktionen und RBF- Netze Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung

Mehr

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr.

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Neuronale Netze Maschinelles Lernen Michael Baumann Universität Paderborn Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Kleine Büning WS 2011/2012 Was ist ein neuronales Netz? eigentlich: künstliches

Mehr

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze. Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

1 Neuronale Netze Historisches

1 Neuronale Netze Historisches 1 Neuronale Netze Historisches Literatur, erste Modelle 1 begleitende Literatur T.Kohonen: Associative Memory: A system theoretic approach. New York, Springer 1977 D.E.Rumelhart, J.L.McLelland: Parallel

Mehr

Grundlagen Künstlicher Neuronaler Netze

Grundlagen Künstlicher Neuronaler Netze FernUniversität in Hagen Fachbereich Elektrotechnik und Informationstechnik Lehrgebiet Informationstechnik Seminar Computational Intelligence in der Prozessautomatisierung 7. Juli 2003 Grundlagen Künstlicher

Mehr

Lernverfahren von Künstlichen Neuronalen Netzwerken

Lernverfahren von Künstlichen Neuronalen Netzwerken Lernverfahren von Künstlichen Neuronalen Netzwerken Untersuchung und Vergleich der bekanntesten Lernverfahren und eine Übersicht über Anwendung und Forschung im Bereich der künstlichen neuronalen Netzen.

Mehr

Universität Klagenfurt

Universität Klagenfurt Universität Klagenfurt Neuronale Netze Carmen Hafner Elisabeth Stefan Raphael Wigoutschnigg Seminar in Intelligent Management Models in Transportation und Logistics 623.900, WS 05 Univ.-Prof. Dr.-Ing.

Mehr

Softcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003

Softcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung

Mehr

Implementationsaspekte

Implementationsaspekte Implementationsaspekte Überlegungen zur Programmierung Neuronaler Netzwerke Implementationsprinzipien Trennung der Aspekte: Datenhaltung numerische Eigenschaften der Objekte Funktionalität Methoden der

Mehr

Simulation neuronaler Netzwerke mit TIKAPP

Simulation neuronaler Netzwerke mit TIKAPP Überblick Michael Hanke Sebastian Krüger Institut für Psychologie Martin-Luther-Universität Halle-Wittenberg Forschungskolloquium, SS 2004 Überblick Fragen 1 Was sind neuronale Netze? 2 Was ist TIKAPP?

Mehr

Reinforcement Learning

Reinforcement Learning Reinforcement Learning 1. Allgemein Reinforcement Learning 2. Neuronales Netz als Bewertungsfunktion 3. Neuronales Netz als Reinforcement Learning Nils-Olaf Bösch 1 Allgemein Reinforcement Learning Unterschied

Mehr

Reranking. Parse Reranking. Helmut Schmid. Institut für maschinelle Sprachverarbeitung Universität Stuttgart

Reranking. Parse Reranking. Helmut Schmid. Institut für maschinelle Sprachverarbeitung Universität Stuttgart Institut für maschinelle Sprachverarbeitung Universität Stuttgart schmid@ims.uni-stuttgart.de Die Folien basieren teilweise auf Folien von Mark Johnson. Koordinationen Problem: PCFGs können nicht alle

Mehr

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) 29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein

Mehr

Theoretische Informatik 1

Theoretische Informatik 1 Theoretische Informatik 1 Boltzmann Maschine David Kappel Institut für Grundlagen der Informationsverarbeitung TU Graz SS 2014 Übersicht Boltzmann Maschine Neuronale Netzwerke Die Boltzmann Maschine Gibbs

Mehr

Neuronale Netze. Seminar aus Algorithmik Stefan Craß,

Neuronale Netze. Seminar aus Algorithmik Stefan Craß, Neuronale Netze Seminar aus Algorithmik Stefan Craß, 325656 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 2 Inhalt Theoretisches Modell Grundlagen Lernansätze

Mehr

Kapitel VI Neuronale Netze

Kapitel VI Neuronale Netze Agenda Kapitel VI Neuronale Netze (basierend auf Material von Andreas Hotho) 1. - Motivation & Definition - Vorbild Biologie - Historie der NN - Überblick über verschiedene Netzwerktypen 2. 3. 4. Beispiele

Mehr

2. Teilbarkeit. Euklidischer Algorithmus

2. Teilbarkeit. Euklidischer Algorithmus O. Forster: Einführung in die Zahlentheorie 2. Teilbarkeit. Euklidischer Algorithmus 2.1. Wir benutzen die folgenden Bezeichnungen: Z = {0, ±1, ±2, ±3,...} Menge aller ganzen Zahlen N 0 = {0, 1, 2, 3,...}

Mehr

Kapitel VI Neuronale Netze

Kapitel VI Neuronale Netze Kapitel VI Neuronale Netze (basierend auf Material von Andreas Hotho) 1 Agenda 1. Einführung & Grundbegriffe - Motivation & Definition - Vorbild Biologie - Historie der NN - Überblick über verschiedene

Mehr

C1/4 - Modellierung und Simulation von Neuronen

C1/4 - Modellierung und Simulation von Neuronen C 1 /4 - Modellierung und Simulation von Neuronen April 25, 2013 Motivation Worum geht es? Motivation Worum geht es? Um Neuronen. Motivation Worum geht es? Um Neuronen. Da ist u.a. euer Gehirn draus Motivation

Mehr

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016 Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online

Mehr

Simulation Neuronaler Netze. Eine praxisorientierte Einführung. Matthias Haun. Mit 44 Bildern, 23 Tabellen und 136 Literatursteilen.

Simulation Neuronaler Netze. Eine praxisorientierte Einführung. Matthias Haun. Mit 44 Bildern, 23 Tabellen und 136 Literatursteilen. Simulation Neuronaler Netze Eine praxisorientierte Einführung Matthias Haun Mit 44 Bildern, 23 Tabellen und 136 Literatursteilen expert Inhaltsverzeichnis 1 Einleitung 1.1 Über das Projekt 1 1.2 Über das

Mehr

Universität zu Köln Seminar: Künstliche Intelligenz II Dozent: Claes Neuefeind SS 2012. Neuronale Netze. Von Deasy Sukarya & Tania Bellini

Universität zu Köln Seminar: Künstliche Intelligenz II Dozent: Claes Neuefeind SS 2012. Neuronale Netze. Von Deasy Sukarya & Tania Bellini Universität zu Köln Seminar: Künstliche Intelligenz II Dozent: Claes Neuefeind SS 2012 Neuronale Netze Von Deasy Sukarya & Tania Bellini Einführung Symbolische vs. Sub-symbolische KI Symbolische KI: Fokussierung

Mehr

Neuronale Netze. Anna Wallner. 15. Mai 2007

Neuronale Netze. Anna Wallner. 15. Mai 2007 5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente

Mehr

2 - Konvergenz und Limes

2 - Konvergenz und Limes Kapitel 2 - Folgen Reihen Seite 1 2 - Konvergenz Limes Definition 2.1 (Folgenkonvergenz) Eine Folge komplexer Zahlen heißt konvergent gegen, wenn es zu jeder positiven Zahl ein gibt, so dass gilt: Die

Mehr

Grundlagen Neuronaler Netze

Grundlagen Neuronaler Netze Grundlagen Neuronaler Netze Neuronen, Aktivierung, Output, Netzstruktur, Lernziele, Training, Grundstruktur Der Begriff neuronales Netz(-werk) steht immer für künstliche neuronale Netzwerke, wenn nicht

Mehr

(künstliche) Neuronale Netze. (c) Till Hänisch 2003,2015, DHBW Heidenheim

(künstliche) Neuronale Netze. (c) Till Hänisch 2003,2015, DHBW Heidenheim (künstliche) Neuronale Netze (c) Till Hänisch 2003,2015, DHBW Heidenheim Literatur zusätzlich zum Lit. Verz. Michael Negnevitsky, Artificial Intelligence, Addison Wesley 2002 Aufbau des Gehirns Säugetiergehirn,

Mehr

Das Perzeptron. Künstliche neuronale Netze. Sebastian Otte. 1 Grundlegendes. 2 Perzeptron Modell

Das Perzeptron. Künstliche neuronale Netze. Sebastian Otte. 1 Grundlegendes. 2 Perzeptron Modell Fachbereich Design Informatik Medien Studiengang Master Informatik Künstliche neuronale Netze Das Perzeptron Sebastian Otte Dezember 2009 1 Grundlegendes Als Perzeptron bezeichnet man eine Form von künstlichen

Mehr

Digitale Systeme und Schaltungen

Digitale Systeme und Schaltungen Zusammenfassung meines Vortrages vom 26. Jänner 2017 Digitale Systeme und Schaltungen Andreas Grimmer Pro Scientia Linz Johannes Kepler Universität Linz, Austria andreas.grimmer@jku.at In dieser Zusammenfassung

Mehr

weitere Modelle und Methoden

weitere Modelle und Methoden weitere Modelle und Methoden LVQ-Netze, competetive learning, counterpropagation, motorische karten, adaptive resonance theory LVQ Struktur Lernende Vektor-Quantisierung Input-Raum mit Distanz-Funktion

Mehr

Einführung in. Neuronale Netze

Einführung in. Neuronale Netze Grundlagen Neuronale Netze Einführung in Neuronale Netze Grundlagen Neuronale Netze Zusammengestellt aus: Universität Münster: Multimediales Skript Internetpräsentation der MFH Iserlohn (000) U. Winkler:

Mehr

Wissensbasierte Systeme

Wissensbasierte Systeme Analytisch lösbare Optimierungsaufgaben Das Chaos-Spiel gründet auf der folgenden Vorschrift: Man startet von einem beliebigen Punkt aus geht auf einer Verbindung mit einem von drei zufällig gewählten

Mehr

Neuronale Netze (I) Biologisches Neuronales Netz

Neuronale Netze (I) Biologisches Neuronales Netz Neuronale Netze (I) Biologisches Neuronales Netz Im menschlichen Gehirn ist ein Neuron mit bis zu 20.000 anderen Neuronen verbunden. Milliarden von Neuronen beteiligen sich simultan an der Verarbeitung

Mehr

Einführung in die Informatik Turing Machines

Einführung in die Informatik Turing Machines Einführung in die Informatik Turing Machines Eine abstrakte Maschine zur Präzisierung des Algorithmenbegriffs Wolfram Burgard Cyrill Stachniss 1/14 Motivation und Einleitung Bisher haben wir verschiedene

Mehr

Neuronale Netze in der Farbmetrik zur Bestimmung des Farbabstandes in der Qualitätsprüfung

Neuronale Netze in der Farbmetrik zur Bestimmung des Farbabstandes in der Qualitätsprüfung Neuronale Netze in der Farbmetrik zur Bestimmung des Farbabstandes in der Qualitätsprüfung Günter Faes DyStar GmbH & Co. Deutschland KG Kaiser-Wilhelm-Allee Postfach 10 04 80 D-51304 Leverkusen Telefon:

Mehr

(künstliche) Neuronale Netze. (c) Till Hänisch 2003, BA Heidenheim

(künstliche) Neuronale Netze. (c) Till Hänisch 2003, BA Heidenheim (künstliche) Neuronale Netze (c) Till Hänisch 2003, BA Heidenheim Literatur zusätzlich zum Lit. Verz. Michael Negnevitsky, Artificial Intelligence, Addison Wesley 2002 Warum? Manche Probleme (z.b. Klassifikation)

Mehr

Innovative Information Retrieval Verfahren

Innovative Information Retrieval Verfahren Thomas Mandl Innovative Information Retrieval Verfahren Hauptseminar Wintersemester 2004/2005 Letzte Sitzung Grundlagen Heterogenität Ursachen Beispiele Lösungsansätze Visualisierung 2D-Karten heute Maschinelles

Mehr

Machine Learning - Maschinen besser als das menschliche Gehirn?

Machine Learning - Maschinen besser als das menschliche Gehirn? Machine Learning - Maschinen besser als das menschliche Gehirn? Seminar Big Data Science Tobias Stähle 23. Mai 2014 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der

Mehr

Neuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24.

Neuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24. Neuronale Netze in der Phonetik: Grundlagen Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 24. Mai 2006 Inhalt Einführung Maschinelles Lernen Lernparadigmen Maschinelles

Mehr

Multi-Layer Neural Networks and Learning Algorithms

Multi-Layer Neural Networks and Learning Algorithms Multi-Layer Neural Networks and Learning Algorithms Alexander Perzylo 22. Dezember 2003 Ausarbeitung für das Hauptseminar Machine Learning (2003) mit L A TEX gesetzt Diese Ausarbeitung ist eine Weiterführung

Mehr

Neuronale Netze Aufgaben 2

Neuronale Netze Aufgaben 2 Neuronale Netze Aufgaben 2 martin.loesch@kit.edu (0721) 608 45944 Aufgabe 3: Netz von Perzeptronen Die Verknüpfung mehrerer Perzeptronen zu einem Netz erlaubt die Lösung auch komplexerer Probleme als nur

Mehr

Selbstorganisierende Karten

Selbstorganisierende Karten Selbstorganisierende Karten Vorlesung Maschinelles Lernen II Dr. Theo Lettmann Oliver Kramer 22. Mai 2006 Überblick Grundlagen SOMs Anwendungen 2D-SOMs Neuronales Gas 2 Grundlagen der Neuronalen Informationsverarbeitung

Mehr

Kapitel LF: IV. IV. Neuronale Netze

Kapitel LF: IV. IV. Neuronale Netze Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas LF: IV-39 Machine Learning c

Mehr

Länge eines Vektors und Abstand von zwei Punkten 2. 4 = 6. Skalarprodukt und Winkel zwischen Vektoren

Länge eines Vektors und Abstand von zwei Punkten 2. 4 = 6. Skalarprodukt und Winkel zwischen Vektoren Länge eines Vektors und Abstand von zwei Punkten Aufgabe Bestimme die Länge des Vektors x. Die Länge beträgt: x ( ) =. Skalarprodukt und Winkel zwischen Vektoren Aufgabe Es sind die Eckpunkte A(; ), B(

Mehr

Neuronale Netze. 11.Januar.2002

Neuronale Netze. 11.Januar.2002 Neuronale Netze Stefan Otto Matrikelnummer: 301127 Studiengang: Informatik ProSeminar WS 2001/2002 Institut für Informatik Technische Universität Clausthal 11.Januar.2002 1 INHALTSVERZEICHNIS 2 Inhaltsverzeichnis

Mehr

2. Spezielle anwendungsrelevante Funktionen

2. Spezielle anwendungsrelevante Funktionen 2. Spezielle anwendungsrelevante Funktionen (1) Affin-lineare Funktionen Eine Funktion f : R R heißt konstant, wenn ein c R mit f (x) = c für alle x R existiert linear, wenn es ein a R mit f (x) = ax für

Mehr

Eine kleine Einführung in neuronale Netze

Eine kleine Einführung in neuronale Netze Eine kleine Einführung in neuronale Netze Tobias Knuth November 2013 1.2 Mensch und Maschine 1 Inhaltsverzeichnis 1 Grundlagen neuronaler Netze 1 1.1 Kopieren vom biologischen Vorbild...... 1 1.2 Mensch

Mehr

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze? Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher 0651993 Damir Dudakovic

Mehr

Prüfungsprotokoll Diplomprüfung Mathematische Aspekte neuronaler Netze

Prüfungsprotokoll Diplomprüfung Mathematische Aspekte neuronaler Netze Prüfungsprotokoll Diplomprüfung Mathematische Aspekte neuronaler Netze Prüfer: Prof.Dr.Johann Boos Datum: 29.08.2001 Dauer: 30min Note: 1.0 So Sie wollten uns was über zweischichtige neuronale Feed-Forward

Mehr

Technische Universität. Fakultät für Informatik

Technische Universität. Fakultät für Informatik Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Neuronale Netze - Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Betreuer: Dr. Florian

Mehr

Adaptive Systeme. Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Unüberwachtes Lernen: Adaptive Vektor Quantisierung und Kohonen Netze Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff Überwachtes Lernen Alle bis lang betrachteten Netzwerke

Mehr

Konvergenz einer Folge. 1-E1 Ma 1 Lubov Vassilevskaya

Konvergenz einer Folge. 1-E1 Ma 1 Lubov Vassilevskaya Konvergenz einer Folge 1-E1 Ma 1 Lubov Vassilevskaya Konvergenz einer Folge: Inhalt Drei Verhaltensmuster von Folgen. Beispiele 1 ) = 1 n, = n n +1, 2 ) = ( 1)n n +1 n und ihre graphischen Darstellungen.,

Mehr

Allgemeines Gleichungssystem mit zwei Gleichungen und zwei Variablen. Der erste Index bezeichnet die Nummer der Zeile, der zweite die der Spalte.

Allgemeines Gleichungssystem mit zwei Gleichungen und zwei Variablen. Der erste Index bezeichnet die Nummer der Zeile, der zweite die der Spalte. Lineare Gleichungssysteme. Einleitung Lineare Gleichungssysteme sind in der Theorie und in den Anwendungen ein wichtiges Thema. Theoretisch werden sie in der Linearen Algebra untersucht. Die Numerische

Mehr

Merkmalbasierte Zeichenerkennung mittels neuronaler Netze

Merkmalbasierte Zeichenerkennung mittels neuronaler Netze UNIVERSITÄT BAYREUTH MATHEMATISCHES INSTITUT Merkmalbasierte Zeichenerkennung mittels neuronaler Netze Diplomarbeit von Lisa Sammer Datum: 10. Mai 2005 Aufgabenstellung / Betreuung: Prof. Dr. Lars Grüne

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Sebastian Morr 4. Juni 2008 Worum geht es? Die Natur hat uns 3,7 Milliarden Jahre Forschungszeit voraus. Toby Simpson Vorbild: Strukturen des Gehirns Ziel: Lernfähige Künstliche

Mehr

Kapitel LF: IV. Multilayer-Perzeptrons und Backpropagation. Multilayer-Perzeptrons und Backpropagation. LF: IV Machine Learning c STEIN 2005-06

Kapitel LF: IV. Multilayer-Perzeptrons und Backpropagation. Multilayer-Perzeptrons und Backpropagation. LF: IV Machine Learning c STEIN 2005-06 Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas 39 Multilayer-Perzeptrons und

Mehr

Einführung in die Methoden der Künstlichen Intelligenz

Einführung in die Methoden der Künstlichen Intelligenz www.is.cs.uni-fra ankfurt.de Einführung in die Methoden der Künstlichen Intelligenz Vorlesung 7 Künstliche Neuronale Netze 2. Mai 2009 Andreas D. Lattner, Ingo J. Timm, René Schumann? Aldebaran Robotics

Mehr

Kapitel 4 Schaltungen mit Delays (Schaltwerke) Literatur: Oberschelp/Vossen, Kapitel 4. Kapitel 4: Schaltungen mit Delays Seite 1

Kapitel 4 Schaltungen mit Delays (Schaltwerke) Literatur: Oberschelp/Vossen, Kapitel 4. Kapitel 4: Schaltungen mit Delays Seite 1 Kapitel 4 Schaltungen mit Delays (Schaltwerke) Literatur: Oberschelp/Vossen, Kapitel 4 Kapitel 4: Schaltungen mit Delays Seite 1 Schaltungen mit Delays Inhaltsverzeichnis 4.1 Einführung 4.2 Addierwerke

Mehr

x 2 2x + = 3 + Es gibt genau ein x R mit ax + b = 0, denn es gilt

x 2 2x + = 3 + Es gibt genau ein x R mit ax + b = 0, denn es gilt - 17 - Die Frage ist hier also: Für welche x R gilt x = x + 1? Das ist eine quadratische Gleichung für x. Es gilt x = x + 1 x x 3 = 0, und man kann quadratische Ergänzung machen:... ( ) ( ) x x + = 3 +

Mehr

4 Affine Koordinatensysteme

4 Affine Koordinatensysteme 4 Affine Koordinatensysteme Sei X φ ein affiner Raum und seien p,, p r X Definition: Nach ( c ist der Durchschnitt aller affinen Unterräume Z X, welche die Menge {p,,p r } umfassen, selbst ein affiner

Mehr

Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie

Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie 1. Erzeugung von Stahl im Lichtbogenofen 2. Biologische neuronale Netze 3. Künstliche neuronale Netze 4. Anwendung neuronaler

Mehr

5. Lernregeln für neuronale Netze

5. Lernregeln für neuronale Netze 5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Grundlagen der Wissensverarbeitung Künstliche neuronale Netze Dipl.-Inform. I. Boersch Prof. Dr.-Ing. Jochen Heinsohn FB Informatik und Medien Mai 2014 Beispiel 1 Januar 2014: Google kauft DeepMind Technologies

Mehr

Lineare Algebra I (WS 12/13)

Lineare Algebra I (WS 12/13) Lineare Algebra I (WS 12/13) Alexander Lytchak Nach einer Vorlage von Bernhard Hanke, Universität Augsburg 15.10.2013 Alexander Lytchak 1 / 14 Organisation Alle wichtigen organisatorischen Information

Mehr

Exkurs Modelle und Algorithmen

Exkurs Modelle und Algorithmen Exkurs Modelle und Algorithmen Ansatz künstlich neuronaler Netze (KNN) Versuch, die Wirkungsweise menschlicher Gehirnzellen nachzubilden dabei wird auf formale mathematische Beschreibungen und Algorithmen

Mehr

Zusammenfassung: Stichworte: Stellen Sie Ihre optimale Schriftgröße ein: Größere Schriftzeichen. 2x + 3 = 7. (1)

Zusammenfassung: Stichworte: Stellen Sie Ihre optimale Schriftgröße ein: Größere Schriftzeichen. 2x + 3 = 7. (1) 1 von 5 21.05.2015 14:30 Zusammenfassung: Eine Ungleichung ist die "Behauptung", dass ein Term kleiner, größer, kleiner-gleich oder größer-gleich einem andereren Term ist. Beim Auffinden der Lösungsmenge

Mehr

Dank. Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I. Probleme über Sprachen. Teil II.

Dank. Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I. Probleme über Sprachen. Teil II. Dank Vorlesung Grundlagen der Theoretischen Informatik / Einführung in die Theoretische Informatik I Bernhard Beckert Diese Vorlesungsmaterialien basieren ganz wesentlich auf den Folien zu den Vorlesungen

Mehr

Modellbildung und Simulation

Modellbildung und Simulation Modellbildung und Simulation 6. Vorlesung Wintersemester 2007/2008 Klaus Kasper Value at Risk (VaR) Gaußdichte Gaußdichte der Normalverteilung: f ( x) = 1 2π σ x e 2 2 x ( x µ ) / 2σ x Gaußdichte der Standardnormalverteilung:

Mehr

Vorkurs Mathematik. Vorlesung 5. Cauchy-Folgen

Vorkurs Mathematik. Vorlesung 5. Cauchy-Folgen Prof. Dr. H. Brenner Osnabrück WS 2014/2015 Vorkurs Mathematik Vorlesung 5 Cauchy-Folgen Ein Problem des Konvergenzbegriffes ist, dass zur Formulierung der Grenzwert verwendet wird, den man unter Umständen

Mehr

x x y x y Informatik II Schaltkreise Schaltkreise Schaltkreise Rainer Schrader 3. November 2008

x x y x y Informatik II Schaltkreise Schaltkreise Schaltkreise Rainer Schrader 3. November 2008 Informatik II Rainer Schrader Zentrum für Angewandte Informatik Köln 3. November 008 1 / 47 / 47 jede Boolesche Funktion lässt mit,, realisieren wir wollen wir uns jetzt in Richtung Elektrotechnik und

Mehr