Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation"

Transkript

1 Neuronale Netze Einführung in die Wissensverarbeitung 2 VO UE SS 2012 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 Institut für Grundlagen der Informationsverarbeitung TU Graz Inffeldgasse 16b/1

2 Lehrveranstaltungsübersicht IGI Kapitel 1 Grundbegriffe des maschinellen Lernens Kapitel 2 Neuronale Netze Kapitel 3 Klassische Klassifikationsalgorithmen Kapitel 4 Modellselektion Kapitel 5 Logik 2

3 Plan für heute: Kapitel 2 Wie sind Neuronale Netze aufgebaut? Wie werden Neuronale Netze gelernt? Welche Funktionen können Neuronale Netze lernen? Welche praktischen Tipps für die Anwendung gibt es? Welche Stärken und Schwächen haben Neuronale Netzwerke? 3

4 Hintergrund Biologische neuronale Netzwerke Informationsverarbeitung im menschlichen Gehirn wird mittels 1011 Nervenzellen (Neuronen) und 1015 Synapsen durchgeführt. 4

5 Anwendungen Künstliche Neuronale Netze werden angewendet in den Gebieten: Funktionsapproximation, Regression, e.g. Zeitreihenvorhersage Klassifikation, Muster- und Sequenzerkennung Datenverarbeitung, Filterung, Clustering Beispiele: Systemerkennung, Regelungstechnik (Fahrzeugsteuerung), Spiele (Backgammon, Steuerung von Rennspielen), Mustererkennung (Gesichtserkennung, Handschrifterkennung), Medizinische Diagnosen, Finanzanwendungen (Börse), Data mining (Erkenntnisgewinnung aus Datenbeständen), Spam-Filter 5

6 Lineare Klassifikation möglich? Nichlineare Probleme können meist nicht von linearen Modellen (linearen Klassifikatoren) gelöst werden Lernbeispiel Bilderkennung: Lineare Klassifikatoren liefern für dieses XOR Problem einen zero-one Fehler von mindestens 0.25: y = sign w T x =sign w 0 w 1 x 1... w d x d 6

7 Kapitel 2 Wie sind Neuronale Netze aufgebaut? 7

8 Architektur Netzwerke mit allgemeiner feedforward Architektur: Allgemein: Ein Netzwerk kann als gerichteter Graph G = (V,E) beschrieben werden mit Knoten V (Neuronen, inputs, outputs) und Kanten E (Verbindungen) Für jede Kante i, j E von Knoten i zu Knoten j gibt es ein Gewicht w i, j Für jeden nicht input Knoten i gibt es eine Aktivierungsfunktion hi 8

9 Architektur Wir betrachten ausschließlich feedforward Netzwerke mit layered Architektur. (auch genannt multi layer perceptrons) x ℝD y ℝK w 1 ℝ M D w 2 ℝ K M Input layer Hidden layer Output layer 9

10 Architektur x ℝD y ℝK w 1 ℝ M D w 2 ℝ K M Durch das Netzwerk implementierte Funktion: 2 yk x, w = h = h 2 M 2 ki w h i=1 M 2 ki 1 1 w h i=1 D w x w w ij j i0 k0 j=1 D 1 w ij x j j =1 10

11 Aktivierungsfunktionen Die Wahl der Aktivierungsfunktion hängt vom Lernproblem ab: Lineares Gatter Sigmoides Gatter Schwellengatter h(a) h a =a h a = 1 a 1 e { h a = 0 a 0 1 a 0 a a a Lineare Regression Nichtlineare Funktionen (auch Klassifikation) Klassifikation 11

12 Aktivierungsfunktionen Die Wahl der Aktivierungsfunktion hängt vom Lernproblem ab: Lineares Gatter Sigmoides Gatter Schwellengatter h(a) h a =a h a =tanh a { h a = 1 a 0 1 a 0 a a a Lineare Regression Nichtlineare Funktionen (auch Klassifikation) Klassifikation 12

13 Eigenschaften Durch die Verknüpfung simpler Elemente entsteht komplexes Verhalten. Berechnung ist verteilt und parallel. Einigermaßen robust gegenüber Defekten (verteiltes Rechnen). Funktion wird programmiert anhand der Justierung der Gewichte. 13

14 Kapitel 2 Wie werden Neuronale Netze gelernt? 14

15 Wie können Neuronale Netze die XOR Funktion lösen? y z1 z2 x1 x2 15

16 Fehlerfunktion Die (empirische und wahre) Fehlerfunktion von mehrschichtigen Neuronalen Netzen sind im Allgemeinen komplexe Funktionen mit mehreren lokalen Minima. Allgemein: XOR: MSE MSE MSE w2 ' MSE w1 ' MSE MSE w1 w 21 w2 w0 ' w1 ' MSE w 11 w 22 w 12 16

17 Ansatz: Gradientenabstieg Wie findet man das optimale w welches MSE w minimiert? Der Gradient W E w zeigt immer in Richtung des steilsten Anstiegs von E w (Wir verwenden ab hier die kürzere Notation E anstatt MSE.) E w W E w 17

18 Arten von Minima E w w Globale global minima: Punkte w mit E w E w Lokale Minima : für alle w Minima für welche Punkte mit kleinerem E existieren Um eine gute Lösung zu finden benötigt man kein globales Minimum, aber man sollte mehrere lokale Minima überprüfen und das Beste nehmen. 18

19 Gradientenabstieg Da es keine Hoffnung gibt eine analytische Lösung für W E w = 0 zu finden, führen wir folgende iterative numerische Prozedure durch Wähle w 0 w 1 =w w mit = 0, 1, 2,... Es gibt viele Algorithmen, welche nach diesem Prinzip funktionieren, und viele verwenden Information über den Gradienten. 19

20 Batch learning Mache einen kleinen Schritt in Richtung des negativen Gradienten w 1 = w E w wo 0 eine kleine Lernrate ist. Für die exakte Berechnung des Gradienten benötigt man alle Trainingsbeispiele batch mode. 20

21 Online Learning Die Fehlerfunktion kann aufgeteilt werden in L E w = l=1 E l w In der online version erfolgt der update nach jedem einzelnen Trainingsbeispiel. w 1 = w E mod N 1 w E w Er konvergiert schneller und kann lokalen Minima entkommen. 21

22 Backpropagation Eingeführt 1973 von Paul Werbos in dessen Ph.D. Thesis (Harvard University). In den 80ern einige Male neu erfunden (Parker, LeCun). Bekannt geworden durch das Buch Parallel Distributed processing von Rummelhart und McClelland (1987). Lösung für das Credit Assignment Problem: Wer hat wieviel Schuld am Fehler? 22

23 Voraussetzungen für Backprop Allgemeine feed-forward Architektur Differenzierbare Aktivierungsfunktionen (e.g. sigmoide Gatter) Für die Klasse von Fehlerfunktionen gilt E w = l n=1 E n w h(x) 23

24 Backpropagation Der Gradient der Fehlerfunktion wird durch den lokalen Austausch von Nachrichten ermittelt (message passing): Vorwärts Übertragung... von Aktivierungen, d.h. x y, um den output aller Neuronen und des gesamten Netzwerkes zu bestimmen. Rückwärts Übertragung... der Fehlerzuweisung für jedes Gatters. 24

25 Algorithmus Fehlerberechnung: l E w = n=1 E n w E n w = k z j w kj Fehler * input Vorwärts Übertragung: Berechnung des outputs z j des Gatters j Rückwärts Übertragung: Berechnung der Fehlers k des Gatters k 2 a k y k l h k a k r w rk Hidden Gatter: k = r post k ak Output Gatter: k = 25

26 Pseudocode Begin initialize network architecture (# hidden neurons), Goal, und w, m 0 do m m 1 m x randomly chosen pattern input forward propagation, error back propagation 1 w 1 w ji ji j x i, 2 w 2 w kj kj k z j until E w return end 26

27 Kapitel 2 Welche Funktionen können Neuronale Netze lernen? 27

28 Neuronale Netze: Rechenkraft Theorem 1: D K Jede Boolesche Funktion f :{0,1} {0,1} kann durch einen Schwellenschaltkreis (also durch ein neuronales Netz bestehend aus Schwellengattern) der Tiefe 2 (ein hidden layer) berechnet werden. 28

29 Neuronale Netze: Rechenkraft Theorem 2: D K Zu jeder kontinuierlichen Funktion f :[0,1] [0,1] und jedem 0 gibt es ein neuronales Netz N der Tiefe 2 (ein hidden layer), bestehend aus sigmoiden Gattern auf dem hidden layer und linearen (oder sigmoiden) Gattern auf dem output layer, welches die Funktion f mit der Genauigkeit approximiert, d.h. für alle x 1,..., x D [0, 1] D gilt f x 1,..., x D N x 1,..., x D y Netzwerk mit 3 hidden Neuronen blau... rot y x Zielfunktion Approximation ouput der hidden Neuronen x 29

30 Neuronale Netze: Rechenkraft Klassifikation: Neuronale Netze können beliebig komplexe Entscheidungsregionen definieren (output = Schwellengatter) Netzwerk mit 2 hidden Neuronen grün... rot Zielfunktion Approximation ouput der hidden Neur. 30

31 Kapitel 2 Welche praktischen Tipps für die Anwendung gibt es? 31

32 Tipp 1: Setzen der Lernrate Die Lernrate darf nicht zu klein oder zu groß gewählt werden, um Konvergenz zum Minimum zu garantieren. MSE Für quadratische Fehlerfunktionen kann man die optimale Lernrate berechen, um in einem Schritt zum globalen Minimum zu gelangen. 32

33 Adaptive Lernrate In der Praxis verwendet man häufig eine adaptive Lernrate. Z.B: Intialize 0.1 if error T 1.04 error T 1 then 0.7 elseif error T error T end 33

34 Tipp 2: Impulsterm Idee: Man gibt dem Gewichtsvektor einen Impuls. Die Lernregel für stochastisches backpropagation wird verändert, sodass der Gewichtsupdate einen Anteil des letzten updates enthält. w 1 =w 1 w w 1 für 0 1. Ein typischer Wert von ist

35 Impulsterm gleicht stochastische Gewichtsänderungen aus Matlab: traingdm Gradient descent mit Impulsterm (momentum) traingda Gradient descent mit adaptiver Lernrate traingdx GD mit Impulsterm und adaptiver Lernrate 35

36 Klassifikation mit Neuronalen Netzen Binäre Klassifikation: Man rundet den output eines linearen oder sigmoiden output Neurons, um ihn als Klassifikation mit Werten {0,1} zu interpretieren. 36

37 Klassifikation mit Neuronalen Netzen Klassifikationsprobleme mit K > 2 Klassen: Man rundet den output eines linearen ouput Neurons, e.g. Problem: Impliziert Nähe zwischen den Klassen, d.h. Klassifikationsbias Man verwendet für jede Klasse c ein output Neuron. Für jedes Trainingsbeispiel aus Klasse ck wird der Zielwert yc von output Neuron c auf 1 gesetzt. Man verwendet mehrere (M > K) output Neuronen und kodiert die Klasse anhand binärer Vektoren mit möglichst großem (Hamming-) Abstand. c=1 1 0 y= c=2 c=k 0 1 y= y=

38 Kapitel 2 Welche Stärken und Schwächen haben Neuronale Netzwerke? 38

39 Auswahlkriterien für Lernalgorithmen Qualität des Lernalgorithmus (siehe Kapitel 1) Benötigte Rechenzeit beim Trainieren und Testen Speicherbedarf Intuitive Interpretierbarkeit 39

40 Auswahlkriterien für Neuronale Netze Qualität des Lernalgorithmus (siehe Kapitel 1) Gute performance (für Klassifikation meist schlechter als SVM). Benötigte Rechenzeit beim Trainieren und Testen Benötigt relativ viel Zeit um zu lernen. Testen dauert auch bei vielen Testbeispielen nicht lange. Speicherbedarf Gering. Intuitive Interpretierbarkeit Sehr schlecht. 40

Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation

Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2013 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für

Mehr

Konzepte der AI Neuronale Netze

Konzepte der AI Neuronale Netze Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale

Mehr

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14. Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen

Mehr

Neuronale Netze. Christian Böhm.

Neuronale Netze. Christian Böhm. Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch

Mehr

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform. (hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer

Mehr

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1 Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?

Mehr

Hannah Wester Juan Jose Gonzalez

Hannah Wester Juan Jose Gonzalez Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale

Mehr

Neuronale Netze (Konnektionismus)

Neuronale Netze (Konnektionismus) Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen

Mehr

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze? Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher 0651993 Damir Dudakovic

Mehr

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze. Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) 29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein

Mehr

Praktische Optimierung

Praktische Optimierung Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze

Mehr

Neuronale Netze. Anna Wallner. 15. Mai 2007

Neuronale Netze. Anna Wallner. 15. Mai 2007 5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische

Mehr

Neuronale Netze mit mehreren Schichten

Neuronale Netze mit mehreren Schichten Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren

Mehr

Neuronale Netze Aufgaben 3

Neuronale Netze Aufgaben 3 Neuronale Netze Aufgaben 3 martin.loesch@kit.edu (0721) 608 45944 MLNN IN FLOOD3 2 Multi Layer Neural Network (MLNN) Netzaufbau: mehrere versteckte (innere) Schichten Lernverfahren: Backpropagation-Algorithmus

Mehr

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Künstliche Neuronale Netze Hauptseminar Martin Knöfel Dresden, 16.11.2017 Gliederung

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial

Mehr

Einführung in neuronale Netze

Einführung in neuronale Netze Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze

Mehr

Kapitel LF: IV. IV. Neuronale Netze

Kapitel LF: IV. IV. Neuronale Netze Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas LF: IV-39 Machine Learning c

Mehr

Eine kleine Einführung in neuronale Netze

Eine kleine Einführung in neuronale Netze Eine kleine Einführung in neuronale Netze Tobias Knuth November 2013 1.2 Mensch und Maschine 1 Inhaltsverzeichnis 1 Grundlagen neuronaler Netze 1 1.1 Kopieren vom biologischen Vorbild...... 1 1.2 Mensch

Mehr

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134 Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches

Mehr

Theoretische Informatik 1

Theoretische Informatik 1 Theoretische Informatik 1 Boltzmann Maschine David Kappel Institut für Grundlagen der Informationsverarbeitung TU Graz SS 2014 Übersicht Boltzmann Maschine Neuronale Netzwerke Die Boltzmann Maschine Gibbs

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen

Mehr

Einführung in Künstliche Neuronale Netze (ANN)

Einführung in Künstliche Neuronale Netze (ANN) Vorlesung - Einführung in Künstliche (ANN) Übersicht 1. A Short History 2. Wie arbeitet unser Gehirn? - Neuronale Netzwerke (Idealisiertes Modell) 3. Perzeptron (Single-Layer-Netzwerke) 4. Multilayer-Netzwerke

Mehr

RL und Funktionsapproximation

RL und Funktionsapproximation RL und Funktionsapproximation Bisher sind haben wir die Funktionen V oder Q als Tabellen gespeichert. Im Allgemeinen sind die Zustandsräume und die Zahl der möglichen Aktionen sehr groß. Deshalb besteht

Mehr

Kapitel LF: IV. Multilayer-Perzeptrons und Backpropagation. Multilayer-Perzeptrons und Backpropagation. LF: IV Machine Learning c STEIN 2005-06

Kapitel LF: IV. Multilayer-Perzeptrons und Backpropagation. Multilayer-Perzeptrons und Backpropagation. LF: IV Machine Learning c STEIN 2005-06 Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas 39 Multilayer-Perzeptrons und

Mehr

Neuronale Netze (I) Biologisches Neuronales Netz

Neuronale Netze (I) Biologisches Neuronales Netz Neuronale Netze (I) Biologisches Neuronales Netz Im menschlichen Gehirn ist ein Neuron mit bis zu 20.000 anderen Neuronen verbunden. Milliarden von Neuronen beteiligen sich simultan an der Verarbeitung

Mehr

Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik Universität Rostock.

Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik Universität Rostock. Seite 1 Optimierung der Verbindungsstrukturen in Digitalen Neuronalen Netzwerken Workshop on Biologically Inspired Methods on Modelling and Design of Circuits and Systems 5.10.2001 in Ilmenau, Germany

Mehr

Wissensbasierte Systeme

Wissensbasierte Systeme Analytisch lösbare Optimierungsaufgaben Das Chaos-Spiel gründet auf der folgenden Vorschrift: Man startet von einem beliebigen Punkt aus geht auf einer Verbindung mit einem von drei zufällig gewählten

Mehr

Was sind Neuronale Netze?

Was sind Neuronale Netze? Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk

Mehr

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale

Mehr

Modellierung mit künstlicher Intelligenz

Modellierung mit künstlicher Intelligenz Samuel Kost kosts@mailbox.tu-freiberg.de Institut für Numerische Mathematik und Optimierung Modellierung mit künstlicher Intelligenz Ein Überblick über existierende Methoden des maschinellen Lernens 13.

Mehr

Skriptum zum ersten Teil der Einführung in die Wissensverarbeitung

Skriptum zum ersten Teil der Einführung in die Wissensverarbeitung Skriptum zum ersten Teil der Einführung in die Wissensverarbeitung Prof. Dr. Wolfgang Maass Institut für Grundlagen der Informationsverarbeitung Technische Universität Graz 5. März 2008 Achtung: Dies Skriptum

Mehr

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale

Mehr

Inhaltsverzeichnis. Einführung

Inhaltsverzeichnis. Einführung Inhaltsverzeichnis Einführung 1 Das biologische Paradigma 3 1.1 Neuronale Netze als Berechnungsmodell 3 1.1.1 Natürliche und künstliche neuronale Netze 3 1.1.2 Entstehung der Berechenbarkeitsmodelle 5

Mehr

Neuronale Netze. Seminar aus Algorithmik Stefan Craß,

Neuronale Netze. Seminar aus Algorithmik Stefan Craß, Neuronale Netze Seminar aus Algorithmik Stefan Craß, 325656 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 2 Inhalt Theoretisches Modell Grundlagen Lernansätze

Mehr

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr.

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Neuronale Netze Maschinelles Lernen Michael Baumann Universität Paderborn Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Kleine Büning WS 2011/2012 Was ist ein neuronales Netz? eigentlich: künstliches

Mehr

BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON

BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe

Mehr

Automatische Erkennung und Klassifikation von Körperhaltungen und Aktivitäten

Automatische Erkennung und Klassifikation von Körperhaltungen und Aktivitäten Automatische Erkennung und Klassifikation von Körperhaltungen und Aktivitäten Dipl.-Ing. Daniel Tantinger Fraunhofer Institut für Integrierte Schaltungen IIS, Erlangen, Deutschland Automatische Erkennung

Mehr

Künstliche Intelligenz. Neuronale Netze

Künstliche Intelligenz. Neuronale Netze Künstliche Intelligenz Neuronale Netze Richard Schorpp Version. -- 3.8.7 INHALTVERZEICHNIS Inhaltverzeichnis...2. Versionsverwaltung...2 2 Das Neuron... 3 2. Naturbeobachtung...3 2.2 Nachbildung der Natur...4

Mehr

Lineare Regression. Volker Tresp

Lineare Regression. Volker Tresp Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M

Mehr

Grundlagen neuronaler Netzwerke

Grundlagen neuronaler Netzwerke AUFBAU DES NEURONALEN NETZWERKS Enrico Biermann enrico@cs.tu-berlin.de) WS 00/03 Timo Glaser timog@cs.tu-berlin.de) 0.. 003 Marco Kunze makunze@cs.tu-berlin.de) Sebastian Nowozin nowozin@cs.tu-berlin.de)

Mehr

11. Neuronale Netze 1

11. Neuronale Netze 1 11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form

Mehr

Backpropagation. feedforward Netze

Backpropagation. feedforward Netze Backpropagation Netze ohne Rückkopplung, überwachtes Lernen, Gradientenabstieg, Delta-Regel Datenstrom (Propagation) Input Layer hidden Layer hidden Layer Output Layer Daten Input Fehler Berechnung Fehlerstrom

Mehr

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen 6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1

Mehr

Einführung in Neuronale Netze

Einführung in Neuronale Netze Wintersemester 2005/2006 VO 181.138 Einführung in die Artificial Intelligence Einführung in Neuronale Netze Oliver Frölich Abteilung für Datenbanken und Artificial Intelligence Institut für Informationssysteme

Mehr

Einführung in die Methoden der Künstlichen Intelligenz

Einführung in die Methoden der Künstlichen Intelligenz www.is.cs.uni-fra ankfurt.de Einführung in die Methoden der Künstlichen Intelligenz Vorlesung 7 Künstliche Neuronale Netze 2. Mai 2009 Andreas D. Lattner, Ingo J. Timm, René Schumann? Aldebaran Robotics

Mehr

Lineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren

Lineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren Lineare Regression Christian Herta Oktober, 2013 1 von 33 Christian Herta Lineare Regression Lernziele Lineare Regression Konzepte des Maschinellen Lernens: Lernen mittels Trainingsmenge Kostenfunktion

Mehr

Kapitel ML: I. I. Einführung. Beispiele für Lernaufgaben Spezifikation von Lernproblemen

Kapitel ML: I. I. Einführung. Beispiele für Lernaufgaben Spezifikation von Lernproblemen Kapitel ML: I I. Einführung Beispiele für Lernaufgaben Spezifikation von Lernproblemen ML: I-8 Introduction c STEIN/LETTMANN 2005-2010 Beispiele für Lernaufgaben Autoeinkaufsberater Welche Kriterien liegen

Mehr

5. Lernregeln für neuronale Netze

5. Lernregeln für neuronale Netze 5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1

Mehr

Virtuelles Labor für Neuronale Netze

Virtuelles Labor für Neuronale Netze Universität Zürich / Wintersemester 2001/2002 Semesterarbeit Virtuelles Labor für Neuronale Netze vorgelegt von Rolf Hintermann, Dielsdorf, ZH, Schweiz, Matrikelnummer: 98-706-575 Angefertigt am Institut

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze

Mehr

Thema 3: Radiale Basisfunktionen und RBF- Netze

Thema 3: Radiale Basisfunktionen und RBF- Netze Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung

Mehr

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine Verarbeitungseinheit für Zahlen mitneingängenx,...,x n und einem

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung

Mehr

Künstliche Neuronale Netze. 2. Optimierung des Trainings 3. Optimierung der Topologie 4. Anwendungen in der Medizin 5.

Künstliche Neuronale Netze. 2. Optimierung des Trainings 3. Optimierung der Topologie 4. Anwendungen in der Medizin 5. Künstliche Neuronale Netze Wolfram Schiffmann FernUniversität Hagen Rechnerarchitektur 1. Einführung 2. Optimierung des Trainings 3. Optimierung der Topologie 4. Anwendungen in der Medizin 5. Zusammenfassung

Mehr

x 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen

x 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen 5.1 Lernen mit Entscheidungsbäumen Falls zum Beispiel A = {gelb, rot, blau} R 2 und B = {0, 1}, so definiert der folgende Entscheidungsbaum eine Hypothese H : A B (wobei der Attributvektor aus A mit x

Mehr

Softcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003

Softcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Übersicht Neuronale Netze Motivation Perzeptron Grundlagen für praktische Übungen

Mehr

Neuronale Netze zur Prognose und Disposition im Handel

Neuronale Netze zur Prognose und Disposition im Handel Sven F. Crone Neuronale Netze zur Prognose und Disposition im Handel Mit einem Geleitwort von Prof. Dr. Dr. h. c. Dieter B. Preßmar GABLER RESEARCH Inhalt XI Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis

Mehr

Neuronale Netze I. Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München

Neuronale Netze I. Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München Neuronale Netze I Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München Email: florian.zipperle@tum.de Zusammenfassung Neuronale Netze werden im Bereich Data Mining

Mehr

Neuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer. 5. Aufgabenblatt: Neural Network Toolbox 1

Neuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer. 5. Aufgabenblatt: Neural Network Toolbox 1 Neuronale Netze, Fuzzy Control, Genetische Algorithmen Prof. Jürgen Sauer 5. Aufgabenblatt: Neural Network Toolbox 1 A. Mit Hilfe der GUI vom Neural Network erstelle die in den folgenden Aufgaben geforderten

Mehr

Die Datenmatrix für Überwachtes Lernen

Die Datenmatrix für Überwachtes Lernen Die Datenmatrix für Überwachtes Lernen X j j-te Eingangsvariable X = (X 0,..., X M 1 ) T Vektor von Eingangsvariablen M Anzahl der Eingangsvariablen N Anzahl der Datenpunkte Y Ausgangsvariable x i = (x

Mehr

Teil III: Wissensrepräsentation und Inferenz. Nachtrag zu Kap.5: Neuronale Netze. w i,neu = w i,alt + x i * (Output soll - Output ist ) Delta-Regel

Teil III: Wissensrepräsentation und Inferenz. Nachtrag zu Kap.5: Neuronale Netze. w i,neu = w i,alt + x i * (Output soll - Output ist ) Delta-Regel Einfaches Perzeptrn Delta-Regel Vrlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentatin und Inferenz Nachtrag zu Kap.5: Neurnale Netze Beim Training werden die Beispiele dem

Mehr

Innovative Information Retrieval Verfahren

Innovative Information Retrieval Verfahren Thomas Mandl Innovative Information Retrieval Verfahren Hauptseminar Wintersemester 2004/2005 Letzte Sitzung Grundlagen Heterogenität Ursachen Beispiele Lösungsansätze Visualisierung 2D-Karten heute Maschinelles

Mehr

Künstliche Neuronale Netze (KNN)

Künstliche Neuronale Netze (KNN) Künstliche Neuronale Netze (KNN) Die von Neuronalen Netzen ausgehende Faszination besteht darin, dass sie in der Lage sind, in einigen Fällen Probleme von hoher Kompleität mit einfachen Mitteln zu lösen.

Mehr

Theoretische Informatik 1

Theoretische Informatik 1 Theoretische Informatik 1 Teil 12 Bernhard Nessler Institut für Grundlagen der Informationsverabeitung TU Graz SS 2007 Übersicht 1 Maschinelles Lernen Definition Lernen 2 agnostic -learning Definition

Mehr

Universität Klagenfurt

Universität Klagenfurt Universität Klagenfurt Neuronale Netze Carmen Hafner Elisabeth Stefan Raphael Wigoutschnigg Seminar in Intelligent Management Models in Transportation und Logistics 623.900, WS 05 Univ.-Prof. Dr.-Ing.

Mehr

Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn

Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum

Mehr

Datenstrukturen und Algorithmen. Christian Sohler FG Algorithmen & Komplexität

Datenstrukturen und Algorithmen. Christian Sohler FG Algorithmen & Komplexität Datenstrukturen und Algorithmen Christian Sohler FG Algorithmen & Komplexität 1 Clustering: Partitioniere Objektmenge in Gruppen(Cluster), so dass sich Objekte in einer Gruppe ähnlich sind und Objekte

Mehr

Ausarbeitung zum Hauptseminar Machine Learning

Ausarbeitung zum Hauptseminar Machine Learning Ausarbeitung zum Hauptseminar Machine Learning Matthias Seidl 8. Januar 2004 Zusammenfassung single-layer networks, linear separability, least-squares techniques Inhaltsverzeichnis 1 Einführung 2 1.1 Anwendungen

Mehr

Multi-Layer Neural Networks and Learning Algorithms

Multi-Layer Neural Networks and Learning Algorithms Multi-Layer Neural Networks and Learning Algorithms Alexander Perzylo 22. Dezember 2003 Ausarbeitung für das Hauptseminar Machine Learning (2003) mit L A TEX gesetzt Diese Ausarbeitung ist eine Weiterführung

Mehr

12. Übung Künstliche Intelligenz Wintersemester 2006/2007

12. Übung Künstliche Intelligenz Wintersemester 2006/2007 12. Übung Künstliche Intelligenz Wintersemester 2006/2007 1. Contraints und Heuristiken Prof. Dr. Gerd Stumme, Miranda Grahl Fachgebiet Wissensverarbeitung 09.02.2006, mgr@cs.uni-kassel.de a) Beschreibe

Mehr

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion

Mehr

Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck:

Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck: Diplomprüfung Informatik Kurs 1830 Neuronale Netze Prüfer: Prof. Dr. Helbig Beisitzer: Prodekan Prof. Dr. Hackstein Datum: 01.10.08 Note: 2,7 Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt,

Mehr

Die Prognose regionaler Beschäftigung mit Neuronalen Netzen und Genetischen Algorithmen

Die Prognose regionaler Beschäftigung mit Neuronalen Netzen und Genetischen Algorithmen Die Prognose regionaler Beschäftigung mit Neuronalen Netzen und Genetischen Algorithmen Nijkamp P., Reggiani A., Patuelli R., Longhi S. Ziele: Darstellung eines Neuronalen Netzes (NN) zur Prognose regionaler

Mehr

INTELLIGENTE DATENANALYSE IN MATLAB

INTELLIGENTE DATENANALYSE IN MATLAB INTELLIGENTE DATENANALYSE IN MATLAB Einführungsveranstaltung Überblick Organisation Literatur Inhalt und Ziele der Vorlesung Beispiele aus der Praxis 2 Organisation Vorlesung/Übung + Projektarbeit. 4 Semesterwochenstunden.

Mehr

Kapitel LF: I. Beispiele für Lernaufgaben. Beispiele für Lernaufgaben. LF: I Introduction c STEIN

Kapitel LF: I. Beispiele für Lernaufgaben. Beispiele für Lernaufgaben. LF: I Introduction c STEIN Kapitel LF: I I. Einführung in das Maschinelle Lernen Bemerkungen: Dieses Kapitel orientiert sich an dem Buch Machine Learning von Tom Mitchell. http://www.cs.cmu.edu/ tom/mlbook.html 1 Autoeinkaufsberater?

Mehr

Computer Vision: AdaBoost. D. Schlesinger () Computer Vision: AdaBoost 1 / 10

Computer Vision: AdaBoost. D. Schlesinger () Computer Vision: AdaBoost 1 / 10 Computer Vision: AdaBoost D. Schlesinger () Computer Vision: AdaBoost 1 / 10 Idee Gegeben sei eine Menge schwacher (einfacher, schlechter) Klassifikatoren Man bilde einen guten durch eine geschickte Kombination

Mehr

Überwachtes Lernen II: Netze und Support-Vektor-Maschinen

Überwachtes Lernen II: Netze und Support-Vektor-Maschinen Überwachtes Lernen II: Klassifikation und Regression - Neuronale Netze und Support-Vektor-Maschinen Praktikum: Data Warehousing und Data Mining Praktikum Data Warehousing und Mining, Sommersemester 2009

Mehr

Klassifikation linear separierbarer Probleme

Klassifikation linear separierbarer Probleme Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear

Mehr

Das Perzeptron. Künstliche neuronale Netze. Sebastian Otte. 1 Grundlegendes. 2 Perzeptron Modell

Das Perzeptron. Künstliche neuronale Netze. Sebastian Otte. 1 Grundlegendes. 2 Perzeptron Modell Fachbereich Design Informatik Medien Studiengang Master Informatik Künstliche neuronale Netze Das Perzeptron Sebastian Otte Dezember 2009 1 Grundlegendes Als Perzeptron bezeichnet man eine Form von künstlichen

Mehr

Grundlagen Neuronaler Netze

Grundlagen Neuronaler Netze Grundlagen Neuronaler Netze Proseminar Data Mining Julian Schmitz Fakultät für Informatik Technische Universität München Email: ga97wuy@mytum.de Zusammenfassung Diese Ausarbeitung will sich als hilfreiches

Mehr

Reranking. Parse Reranking. Helmut Schmid. Institut für maschinelle Sprachverarbeitung Universität Stuttgart

Reranking. Parse Reranking. Helmut Schmid. Institut für maschinelle Sprachverarbeitung Universität Stuttgart Institut für maschinelle Sprachverarbeitung Universität Stuttgart schmid@ims.uni-stuttgart.de Die Folien basieren teilweise auf Folien von Mark Johnson. Koordinationen Problem: PCFGs können nicht alle

Mehr

Implementationsaspekte

Implementationsaspekte Implementationsaspekte Überlegungen zur Programmierung Neuronaler Netzwerke Implementationsprinzipien Trennung der Aspekte: Datenhaltung numerische Eigenschaften der Objekte Funktionalität Methoden der

Mehr

Simulation neuronaler Netzwerke mit TIKAPP

Simulation neuronaler Netzwerke mit TIKAPP Überblick Michael Hanke Sebastian Krüger Institut für Psychologie Martin-Luther-Universität Halle-Wittenberg Forschungskolloquium, SS 2004 Überblick Fragen 1 Was sind neuronale Netze? 2 Was ist TIKAPP?

Mehr

Aufbau und Beschreibung Neuronaler Netzwerke

Aufbau und Beschreibung Neuronaler Netzwerke Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser

Mehr

Reinforcement Learning

Reinforcement Learning Reinforcement Learning 1. Allgemein Reinforcement Learning 2. Neuronales Netz als Bewertungsfunktion 3. Neuronales Netz als Reinforcement Learning Nils-Olaf Bösch 1 Allgemein Reinforcement Learning Unterschied

Mehr

Entwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion

Entwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion Entwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion Vortrag Seminararbeit David Pogorzelski Aachen, 22.01.2015 Agenda 1 2 3 4 5 Ziel der

Mehr

Einführung in Support Vector Machines (SVMs)

Einführung in Support Vector Machines (SVMs) Einführung in (SVM) Januar 31, 2011 Einführung in (SVMs) Table of contents Motivation Einführung in (SVMs) Outline Motivation Vektorrepräsentation Klassifikation Motivation Einführung in (SVMs) Vektorrepräsentation

Mehr

Algorithmen und Datenstrukturen

Algorithmen und Datenstrukturen Universität Innsbruck Institut für Informatik Zweite Prüfung 16. Oktober 2008 Algorithmen und Datenstrukturen Name: Matrikelnr: Die Prüfung besteht aus 8 Aufgaben. Die verfügbaren Punkte für jede Aufgabe

Mehr

Lernverfahren von Künstlichen Neuronalen Netzwerken

Lernverfahren von Künstlichen Neuronalen Netzwerken Lernverfahren von Künstlichen Neuronalen Netzwerken Untersuchung und Vergleich der bekanntesten Lernverfahren und eine Übersicht über Anwendung und Forschung im Bereich der künstlichen neuronalen Netzen.

Mehr