Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)
|
|
- Elisabeth Morgenstern
- vor 7 Jahren
- Abrufe
Transkript
1 29 Neuronale Netze Gehirn: ca Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel
2 30 Was ist ein künstl. neuronales Netz? Ein (künstliches) neuronales Netz ist ein massiv paralleler, verteilter Prozessor, bestehend aus einfachen Prozessoreinheiten. Damit kann man Daten bzw. experimentelles Wissen sehr gut speichern, um sie in einer Anwendung zu benutzen. Ein neuronales Netz ähnelt dem Gehirn in zwei Aspekten: 1. Wissen wird vom Netz durch einen Lernprozess aufgenommen 2. Die Stärke der Verbindungen wird benutzt, um das Wissen zu speichern
3 31 Historischer Überblick (Quelle: Zell) Frühe Anfänge ( ): McCulloch/Pitts - Neuron, Hebb - Lernregel, Lashley - verteilte Repräsentation Erste Blüte ( ): Rosenblatt - Perzeptron (512 Potis), Steinbuch, Widrow/Hoff - Adaline (Neurocomputing-Firma!) Stille Jahre ( /85): Minsky/Papert - Perceptrons (1969), Kohohnen (1972) - SOMs, v.d. Malsburg, Barto/Sutton - AHC/ACE (1983), Hopfield (1982)
4 32 Historischer Überblick II Renaissance, Blüte : Rumelhart et. al. Backpropagation (1986), PDP; Barto, Sutton Reinforcement Learning, NDP (1989); Sejnowski - Nettalk (1986), viele Anwendungen seit 1995: Realismus bzgl. Verwendung als Methode: eines von vielen möglichen Modellen des Maschinellen Lernens
5 33 Grober Überblick 1. Lineare Modelle Perzeptrons 2. Nichtlineare Modelle MLPs, RBFs, Selbstorganisierende Karten (Kohonenkarten, SOMs) 4. Rekurrente Netze Es gibt sehr verschiedenartige Modelle mit sehr unterschiedlichen Zielsetzungen/ Anwendungsgebieten (z.b. Verständnis biologischer Informationsverarbeitung, Einsatz als maschinelles Lernverfahren,...) Schwerpunkt hier: Lernen aus Daten (NNs ein Modell unter vielen)
6 34 Lineares Neuronenmodell x 0 =1 x 1 w 1 w 0 y w n x n y( x) = ω 0 + n ω i x i (1) i=1 = w T x (2) Lernen: Suche möglichst guten Parametervektor, um die Daten zu beschreiben Methode der kleinsten Quadrate LMS
7 35 Lernen mit Least Square Trainingsmenge: D = {( x 1, y 1 soll), ( x 2, y 2 soll),..., ( x P, y P soll)} Gesamtfehler über alle Trainingsbeispiele: E = 1 2 P (y soll y( x p )) 2 p=1
8 36 Lernen mit Least Square II gesucht ω mit ω = arg min ω 1 E = arg min ω 2 P (y soll y( x p )) 2 p=1 Suche ω, welches den Abstand der Ausgabe zu den Zielwerten minimiert. Lernregel über Gradientenabstiegsverfahren: ω = ɛ δe δ ω
9 37 Das Perzeptron (Schwellwertneuron) x 0 =1 x 1 w 1 w 0 y w n x n Einfaches lineares Neuronenmodell, ergänzt um eine Schwellwertfunktion Nur linear trennbare Funktionen sind darstellbar Perzeptron Lernalgorithmus für Klassifikation Berühmtes Problem: XOR
10 38 Das Multi-Lagen-Perzeptron (MLP) Idee: Hintereinanderschaltung vieler Neuronen
11 39 Das Multi-Lagen-Perzeptron II Berechnungsrichtung (vorwärts) gerichtet, keine Rückkopplung Allgemeiner Funktionsapproximator Lernregel: Backpropagation (Rumelhart, McClelland, 1985)
12 40 Anwendungen von MLPs Dollar-DM-Wechselkursprognose Autofahren: ALVINN (CMU) Absatzprognose Bildzeitung Harmonet, Melonet ( musik/)
13 41 Künstliches Neuron s 1 w i 1 s 0 =1 w i 0 s i Neuron, Unit i s n w i n k ankommende Gewichte von Neuron j zu Neuron i : ω i1,..., ω ij,..., ω ik Netzeingabe, interne Aktivierung:net i = n j=0 ω ijs j Aktivierung bzw. Ausgabewert von Neuron i: s i = act(net i ) mit act: Aktivierungsfunktion
14 42 Die Aktivierungsfunktion Motivation: Die Schwellwertfunktion, wie sie im Perzeptron Verwendung findet, wird angenähert durch eine differenzierbare, monoton wachsende Funktion. Hier haben sich die sogenannten Sigmoidfunktionen durchgesetzt. act sig (z) = e az
15 43 Eigenschaften: Die Aktivierungsfunktion II differenzierbar, streng monoton wachsend, Wertebereich zwischen 0 und 1 (manchmal auch durch einfache Transformation zwischen -1 und 1) für kleines a einen fast linearen mittleren Bereich für großes a nähert sich act sig einer Schwellwertfunktion an In der Praxis wird der Parameter a nicht explizit verwendet; man kann zeigen, dass dieser sich durch entsprechende Wahl des Gewichtsvektors (Parametervektors) ω ausdrücken lässt
16 44 Approximation Annährung einer kontinuierlichen Relation zwischen x und y (Kurven, Fläche, Hyperfläche ) durch ein anderes Rechenmodell; gegeben sei eine begrenzte Zahl von Beispielen D = {x i, y i } l i=1.
17 45 Approximation vs. Interpolation Ein Sonderfall der Approximation ist die Interpolation: hierbei durchläuft das Modell exakt alle Daten. Wenn sehr viele Meßdaten vorliegen oder die Daten verrauscht sind, verwendet man Approximation.
18 Approximation ohne Overfitting 46
19 47 Interpolation mit Polynomen Einige Interpolationsverfahren mit Polynomen: Lagrange-Polynome, Newton-Polynome, Bernstein-Polynome, Basis-Splines.
20 48 Lagrangesche Interpolation Um durch l + 1 Punkte (x i, y i ) (i = 0, 1,..., l) ein Polynom vom Grade l hindurchzulegen, kann man nach LAGRANGE den folgenden Ansatz benutzen: p l (x) = l i=0 y i L i (x) Die LAGRANGEschen Grundpolynome werden wie folgt definiert: L i (x) = (x x 0)(x x 1 ) (x x i 1 )(x x i+1 ) (x x l ) (x i x 0 )(x i x 1 ) (x i x i 1 )(x i x i+1 ) (x i x l ) = { 1 wenn x = xi 0 wenn x x i
21 49 Newtonsche Interpolation Ein Newtonsches Polynom vom Grade l wird wie folgt konstruiert: p l (x) = a 0 +a 1 (x x 0 )+a 2 (x x 0 )(x x 1 )+ +a l (x x 0 ) (x x l 1 ) Dieser Ansatz ermöglicht die einfache Berechnung der Koeffizienten. Für n = 2 erhält man das folgende Gleichungssystem: p 2 (x 0 ) = a 0 = y 0 p 2 (x 1 ) = a 0 + a 1 (x 1 x 0 ) = y 1 p 2 (x 2 ) = a 0 + a 1 (x 2 x 0 ) + a 2 (x 2 x 0 )(x 2 x 1 ) = y 2
22 50 Interpolation mit Bernstein-Polynomen - I Interpolation von zwei Punkten mit Bernstein-Polynomen: y = x 0 B 0,1 (t) + x 1 B 1,1 (t) = x 0 (1 t) + x 1 t
23 51 Interpolation mit Bernstein-Polynomen - II Interpolation von drei Punkten mit Bernstein-Polynomen: y = x 0 B 0,2 (t)+x 1 B 1,2 (t)+x 2 B 2,2 (t) = x 0 (1 t) 2 +x 1 2t(1 t)+x 2 t 2
24 52 Interpolation mit Bernstein-Polynomen - III Interpolation von vier Punkten mit Bernstein-Polynomen: y = x 0 B 0,3 (t) + x 1 B 1,3 (t) + x 2 B 2,3 (t)x 3 B 3,3 (t) = x 0 (1 t) 3 + x 1 3t(1 t) 2 + x 2 3t 2 (1 t) + x 3 t 3
25 53 Interpolation mit Bernstein-Polynomen - IV Die Bernstein-Polynome der Ordnung k + 1 werden wie folgt definiert: B i,k (t) = ( ) k (1 t) k i t i, i = 0, 1,..., k i Interpolation mit Bernstein-Polynomen B i,k : y = x 0 B 0,k (t) + x 1 B 1,k (t) + + x k B k,k (t)
26 B-Splines Als normalisierte B-Splines N i,k der Ordnung k (vom Grad k 1) werden folgende Funktionen bezeichnet: Für k = 1, N i,k (t) = { 1 : für ti t < t i+1 0 : sonst sowie für k > 1, eine rekursive Darstellung: N i,k (t) = t t i N i,k 1 (t)+ t i+k 1 t i t i+k t N i+1,k 1 (t) t i+k t i+1 mit i = 0,..., m. 54
Konzepte der AI Neuronale Netze
Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale
MehrGliederung. Interpolation vs. Approximation. Gliederung (cont.)
- Trajektoriengenerierung Gliederung Jianwei Zhang zhang@informatik.uni-hamburg.de Fakultät für Mathematik, Informatik und Naturwissenschaften Technische Aspekte Multimodaler Systeme 5. Juni 2012 Allgemeine
MehrPraktische Optimierung
Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze
Mehr6.4 Neuronale Netze zur Verarbeitung von Zeitreihen
6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1
MehrThema 3: Radiale Basisfunktionen und RBF- Netze
Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung
MehrNeuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrNeuronale Netze (Konnektionismus)
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrDer Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1
Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?
Mehrauch: Konnektionismus; subsymbolische Wissensverarbeitung
10. Künstliche Neuronale Netze auch: Konnektionismus; subsymbolische Wissensverarbeitung informationsverarbeitende Systeme, bestehen aus meist großer Zahl einfacher Einheiten (Neuronen, Zellen) einfache
MehrKonnektionismus und Kognition
Markus Pospeschill Konnektionismus und Kognition Ein Einführung Verlag W. Kohlhammer Inhalt 3 Inhalt Prolog 7 1 Kognitive Prozesse 9 1.1 Modellansätze zur Erforschung kognitiver Prozesse 9 1.1.1 Kognitionspsychologie
Mehr(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.
(hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild
MehrRL und Funktionsapproximation
RL und Funktionsapproximation Bisher sind haben wir die Funktionen V oder Q als Tabellen gespeichert. Im Allgemeinen sind die Zustandsräume und die Zahl der möglichen Aktionen sehr groß. Deshalb besteht
MehrModellbildung und Simulation
Modellbildung und Simulation 6. Vorlesung Wintersemester 2007/2008 Klaus Kasper Value at Risk (VaR) Gaußdichte Gaußdichte der Normalverteilung: f ( x) = 1 2π σ x e 2 2 x ( x µ ) / 2σ x Gaußdichte der Standardnormalverteilung:
MehrVisuell geführtes Greifen mittels selbstbewertendem Lernen
Visuell geführtes Greifen mittels selbstbewertendem Lernen Griff ist optimal bzgl. lokaler Kriterien: Die Finger des Greifers können das Objekt am Greifpunkt umschließen Keine Reibung tritt zwischen Fingern
MehrWas sind Neuronale Netze?
Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk
MehrKünstliche Neuronale Netze
Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches
MehrNichtlineare Klassifikatoren
Nichtlineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 11 1 M. O. Franz 12.01.2008 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
MehrEinführung in Neuronale Netze
Einführung in Neuronale Netze Thomas Ruland Contents 1 Das menschliche Gehirn - Höchstleistungen im täglichen Leben 2 2 Die Hardware 2 2.1 Das Neuron 2 2.2 Nachahmung in der Computertechnik: Das künstliche
MehrNeuronale Netze. Anna Wallner. 15. Mai 2007
5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente
MehrProseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger
Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale
MehrHannah Wester Juan Jose Gonzalez
Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron
MehrComputational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20
Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt
MehrWir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer
Mehr11. Neuronale Netze 1
11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form
Mehr1 2 x x x x x x2 + 83
Polynominterpolation Aufgabe 1 Gegeben sei die Wertetabelle i 0 1 2 3 x i 0 1 2 4 f i 3 1 2 7 a) Bestimmen Sie das Interpolationspolynom von Lagrange durch die obigen Wertepaare. b) Interpolieren Sie die
MehrEinige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel
Einige überwachte Lernverfahren Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel Funktionsweise eines künstlichen Neurons x w k Neuron k x 2 w 2k net k f y k x n- w n-,k x n w n,k
MehrKlassifikationsverfahren und Neuronale Netze
Klassifikationsverfahren und Neuronale Netze Hauptseminar - Methoden der experimentellen Teilchenphysik Thomas Keck 9.12.2011 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen
Mehr9. Parametrische Kurven und Flächen
9. Parametrische Kurven und Flächen Polylinien bzw. Polygone sind stückweise lineare Approximationen für Kurven bzw. Flächen Nachteile: hohe Zahl von Eckpunkten für genaue Repräsentation erforderlich interaktive
MehrWas bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und
Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion
MehrEin selbstmodellierendes System für die Wasserwirtschaft
Ein selbstmodellierendes System für die Wasserwirtschaft Dipl.-Ing. Dr. ANDRADE-LEAL Wien, im Juli 2001 1 Einleitung, Motivation und Voraussetzungen Künstliche Intelligenz Neuronale Netze Experte Systeme
MehrRadiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120
Radiale-Basisfunktionen-Netze Rudolf Kruse Neuronale Netze 2 Radiale-Basisfunktionen-Netze Eigenschaften von Radiale-Basisfunktionen-Netzen (RBF-Netzen) RBF-Netze sind streng geschichtete, vorwärtsbetriebene
MehrNeuronale Neize. Eine Einfuhrung in die Neuroinfomnatik selbstorganisierender Netzwerke ADDISON-WESLEY PUBLISHING COMPANY
Helge Ritter/Thomas Marrineiz/Klaus Schulten Neuronale Neize Eine Einfuhrung in die Neuroinfomnatik selbstorganisierender Netzwerke Technische Hochschule Darmstadt FACHBEREICH INFORMATIK B! B k±ojjtlus
MehrLineare Regression. Volker Tresp
Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M
MehrTechnische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt
Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / 2015 8. Aufgabenblatt
MehrAndreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg
Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale
Mehr5. Lernregeln für neuronale Netze
5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1
MehrH.J. Oberle Analysis II SoSe Interpolation
HJ Oberle Analysis II SoSe 2012 7 Interpolation 71 Allgemeine Problemstellung Interpolation ist die Kunst, zwischen den Zeilen einer Tabelle zu lesen (Rutishauser) Von f : R R seien Funktionswerte (x j,
MehrInhaltsverzeichnis. Einführung
Inhaltsverzeichnis Einführung 1 Das biologische Paradigma 3 1.1 Neuronale Netze als Berechnungsmodell 3 1.1.1 Natürliche und künstliche neuronale Netze 3 1.1.2 Entstehung der Berechenbarkeitsmodelle 5
MehrPraktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider
Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training eines Künstlich Neuronalen Netzes (KNN) zur Approximation einer Kennlinie in JavaNNS 28.01.2008
MehrNeuronale Netze Aufgaben 3
Neuronale Netze Aufgaben 3 martin.loesch@kit.edu (0721) 608 45944 MLNN IN FLOOD3 2 Multi Layer Neural Network (MLNN) Netzaufbau: mehrere versteckte (innere) Schichten Lernverfahren: Backpropagation-Algorithmus
MehrNeuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr.
Neuronale Netze Maschinelles Lernen Michael Baumann Universität Paderborn Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Kleine Büning WS 2011/2012 Was ist ein neuronales Netz? eigentlich: künstliches
MehrMustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12
Mustererkennung: Neuronale Netze D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Feed-Forward Netze y 1 y 2 y m...... x 1 x 2 x n Output Schicht i max... Zwischenschicht i... Zwischenschicht 1
MehrObjekt Attributwerte Klassifizierung X Y
AUFGABE : Entscheidungsbäume Betrachten Sie das folgende Klassifizierungsproblem: bjekt Attributwerte Klassifizierung X Y A 3 B 2 3 + C 2 D 3 3 + E 2 2 + F 3 G H 4 3 + I 3 2 J 4 K 2 L 4 2 ) Bestimmen Sie
MehrKleines Handbuch Neuronale Netze
Norbert Hoffmann Kleines Handbuch Neuronale Netze Anwendungsorientiertes Wissen zum Lernen und Nachschlagen - vieweg INHALTSVERZEICHNIS 1 Einleitung, 1.1 Begriff des neuronalen Netzes 1 11.1 Neurophysiologie
MehrRekurrente Neuronale Netze. Rudolf Kruse Neuronale Netze 227
Rekurrente Neuronale Netze Rudolf Kruse Neuronale Netze 227 Rekurrente Netze: Abkühlungsgesetz Ein Körper der Temperaturϑ wird in eine Umgebung der Temperaturϑ A eingebracht. Die Abkühlung/Aufheizung des
MehrNeuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24.
Neuronale Netze in der Phonetik: Grundlagen Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 24. Mai 2006 Inhalt Einführung Maschinelles Lernen Lernparadigmen Maschinelles
MehrPolynominterpolation
Polynominterpolation In der numerischen Mathematik versteht man unter Polynominterpolation die Suche nach einem Polynom, welches exakt durch vorgegebene Punkte (z. B. aus einer Messreihe) verläuft. Dieses
MehrNeuronale Netze. Christian Böhm.
Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch
MehrKlassische Polynom Interpolation.
Klassische Polynom Interpolation. Bestimme ein Polynom (höchstens) n ten Grades p n (x) = a 0 + a 1 x + a 2 x 2 +... + a n x n, das die gegebenen Daten interpoliert, d.h. p n (x i ) = f i, 0 i n. Erster
MehrComputational Intelligence I Künstliche Neuronale Netze
Computational Intelligence I Künstliche Neuronale Nete Universität Dortmund, Informatik I Otto-Hahn-Str. 6, 44227 Dortmund lars.hildebrand@uni-dortmund.de Inhalt der Vorlesung 0. Organisatorisches & Vorbemerkungen.
MehrDatenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?
Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher 0651993 Damir Dudakovic
MehrPolynominterpolation. Allgemeines Problem: Beispiel 1 (Teil 1):
. Großübung Polynominterpolation Allgemeines Problem: Aufgrund gegebener Messwerte (Paare aus Werten i und Funktionswerten f( i )) soll ein Funktionsverlauf rekonstruiert bzw. zumeist angenähert werden.
MehrFunktionsapproximation
VL Algorithmisches Lernen, Teil 3b Jianwei Zhang, Dept. of Informatics Vogt-Kölln-Str. 30, D-22527 Hamburg zhang@informatik.uni-hamburg.de 01/07/2009 Zhang 1 Terminübersicht: Part 3 17/06/2009 Dimensionsproblem,
MehrTraining von RBF-Netzen. Rudolf Kruse Neuronale Netze 134
Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches
Mehr6. Polynom-Interpolation
6. Polynom-Interpolation 1 6.1. Klassische Polynom-Interpolation 2 6.2. Lösung mit Hilfe Lagrange scher Basisfunktionen 3 6.3. Lösung mit Hilfe Newton scher Basisfunktionen 4 6.4. Fehlerabschätzung für
MehrNeuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation
Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2012 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für
MehrEinführung in neuronale Netze
Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze
MehrAdaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Neuronale Netze: Neuronen, Perzeptron und Adaline Prof. Dr. rer. nat. Nikolaus Wulff Neuronale Netze Das (menschliche) Gehirn ist ein Musterbeispiel für ein adaptives System, dass sich
MehrPerzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004
Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron
MehrKapitel 2 Kurvenanpassung
Kapitel 2 Kurvenanpassung 2 2 2 Kurvenanpassung 2.1 Approximation... 26 2.1.1 Approximation mit orthonormalen Funktionensystemen.. 26 2.1.1.1 Approximation mit der Fourier-Reihe... 29 2.1.1.2 Approximation
MehrMULTILAYER-PERZEPTRON
Einleitung MULTILAYER-PERZEPTRON Die Ausarbeitung befasst sich mit den Grundlagen von Multilayer-Perzeptronen, gibt ein Beispiel für deren Anwendung und zeigt eine Möglichkeit auf, sie zu trainieren. Dabei
MehrEinführung in Neuronale Netze
Wintersemester 2005/2006 VO 181.138 Einführung in die Artificial Intelligence Einführung in Neuronale Netze Oliver Frölich Abteilung für Datenbanken und Artificial Intelligence Institut für Informationssysteme
Mehr(c) Gegeben sei der zweidimensionale Raum L mit den Basisfunktionen. [ φ i, φ j ] 3 i,j=1 =
1. (a) i. Wann besitzt A R n n eine eindeutige LR-Zerlegung mit R invertierbar? ii. Definieren Sie die Konditionszahl κ(a) einer Matrix A bzgl. einer Norm.! iii. Welche Eigenschaften benötigt eine Matrix
MehrAdaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Mehrere Neuronen, Assoziative Speicher und Mustererkennung Prof. Dr. rer. nat. Nikolaus Wulff Modell eines Neuron x x 2 x 3. y y= k = n w k x k x n Die n binären Eingangssignale x k {,}
MehrNeuroinformatik Biologischer Hintergrund
Neuroinformatik Biologischer Hintergrund Was will Neuroinformatik? Entwicklung von Maschinenintelligenz durch Nachbildung biologischer Informationsverarbeitungsund Lernprozesse auf neuronalem Niveau Lernfähigkeit
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Sebastian Morr 4. Juni 2008 Worum geht es? Die Natur hat uns 3,7 Milliarden Jahre Forschungszeit voraus. Toby Simpson Vorbild: Strukturen des Gehirns Ziel: Lernfähige Künstliche
Mehr10. Neuronale Netze 1
10. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form
MehrWas bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen
Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise
MehrDie Datenmatrix für Überwachtes Lernen
Die Datenmatrix für Überwachtes Lernen X j j-te Eingangsvariable X = (X 0,..., X M 1 ) T Vektor von Eingangsvariablen M Anzahl der Eingangsvariablen N Anzahl der Datenpunkte Y Ausgangsvariable x i = (x
MehrNeuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation
Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2013 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für
MehrLinear nichtseparable Probleme
Linear nichtseparable Probleme Mustererkennung und Klassifikation, Vorlesung No. 10 1 M. O. Franz 20.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen
MehrComputational Intelligence 1 / 31. Computational Intelligence Künstliche Neuronale Netze Geschichte 3 / 31
1 / 31 Gliederung 1 Künstliche Neuronale Netze Geschichte Natürliches Neuron Künstliches Neuron Typen von Neuronen Geschichte Künstliche Neuronale Netze Geschichte 3 / 31 1943 Warren McCulloch (Neurologe),
Mehr(x x j ) R m [x] (3) x x j x k x j. R m [x]. (4)
33 Interpolation 147 33 Interpolation In vielen praktischen Anwendungen der Mathematik treten Funktionen f auf, deren Werte nur näherungsweise berechnet werden können oder sogar nur auf gewissen endlichen
MehrTechnische Universität. Fakultät für Informatik
Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Neuronale Netze - Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Betreuer: Dr. Florian
MehrDas Perzeptron. Künstliche neuronale Netze. Sebastian Otte. 1 Grundlegendes. 2 Perzeptron Modell
Fachbereich Design Informatik Medien Studiengang Master Informatik Künstliche neuronale Netze Das Perzeptron Sebastian Otte Dezember 2009 1 Grundlegendes Als Perzeptron bezeichnet man eine Form von künstlichen
MehrInstitut für Geometrie und Praktische Mathematik
RWTH Aachen Verständnisfragen-Teil Institut für Geometrie und Praktische Mathematik (24 Punkte) Es gibt zu jeder der 12 Aufgaben vier Teilaufgaben. Diese sind mit wahr bzw. falsch zu kennzeichnen (hinschreiben).
MehrKAPITEL 8. Interpolation
KAPITEL 8. Interpolation 8.2 Lagrange-Interpolationsaufgabe für Polynome Wir beschränken uns auf die Lagrange-Interpolation mit Polynomen. Der Raum der Polynome vom Grad n: Stützstellen: Π n = { n j=0
MehrInhalt Kapitel IV: Interpolation
Inhalt Kapitel IV: Interpolation IV Interpolation IV. Polynom-Interpolation IV. Spline-Interpolation Kapitel IV (InhaltIV) Die Interpolationsformel von Lagrange Zentrale Aussage: Zu beliebigen n + Stützpunkten
MehrInstitut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik Universität Rostock.
Seite 1 Implementierung Neuronaler Netze mittels Digit-Online Algorithmen Vortrag im Rahmen des 10. Symposium Maritime Elektronik 2001 M.Haase, A.Wassatsch, D.Timmermann Seite 2 Gliederung Was sind Neuronale
MehrNeuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.
Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen
MehrInterpolation und Approximation von Funktionen
Kapitel 6 Interpolation und Approximation von Funktionen Bei ökonomischen Anwendungen tritt oft das Problem auf, dass eine analytisch nicht verwendbare (oder auch unbekannte) Funktion f durch eine numerisch
MehrTechnische Universität. Fakultät für Informatik
Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Neuronale Netze - Supervised Learning Probleme des Backpropagation-Algorithmus und Alternativen Seminar
MehrQUASI-SPLINE-INTERPOLATION BEZÜGLICH GLEICHMÄSSIGER UNTERTEILUNGEN
QUASI-SPLINE-INTERPOLATION BEZÜGLICH GLEICHMÄSSIGER UNTERTEILUNGEN IRYNA FEUERSTEIN Es wir ein Verfahren zur Konstruktion einer quasiinterpolierenden Funktion auf gleichmäßig verteilten Konten vorgestellt.
Mehr0.1 Modellierung von Kurven und Flächen mittels B-Splines
Vorlesung vom 28.04.06 Skript erstellt von Antonia Wittmers und Maria Gensel 0.1 Modellierung von Kurven und Flächen mittels B-Splines Das Wort Spline, übersetzt mit längliches, dünnes Stück Holz oder
MehrProseminar Neuronale Netze Frühjahr 2004
Proseminar Neuronale Netze Frühjahr 2004 Titel: Perzeptron Autor: Julia Grebneva, jg7@informatik.uni-ulm.de Einleitung In vielen Gebieten der Wirtschaft und Forschung, stellen sich oftmals Probleme, die
MehrFakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016
Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online
MehrDie Interpolationsformel von Lagrange
Die Interpolationsformel von Lagrange Zentrale Aussage: Zu beliebigen n + Stützpunkten (x i,f i ), i =,...,n mit paarweise verschiedenen Stützstellen x i x j, für i j, gibt es genau ein Polynom π n P n
MehrNeuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien
in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???
MehrKlausur,,Algorithmische Mathematik II
Institut für angewandte Mathematik Sommersemester 017 Andreas Eberle, Matthias Erbar / Behrend Heeren Klausur,,Algorithmische Mathematik II Musterlösung 1 (Unabhängige Zufallsvariablen) a) Wir bezeichnen
MehrGrundlagen Künstlicher Neuronaler Netze
FernUniversität in Hagen Fachbereich Elektrotechnik und Informationstechnik Lehrgebiet Informationstechnik Seminar Computational Intelligence in der Prozessautomatisierung 7. Juli 2003 Grundlagen Künstlicher
MehrSoftcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003
Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung
MehrLernverfahren von Künstlichen Neuronalen Netzwerken
Lernverfahren von Künstlichen Neuronalen Netzwerken Untersuchung und Vergleich der bekanntesten Lernverfahren und eine Übersicht über Anwendung und Forschung im Bereich der künstlichen neuronalen Netzen.
MehrAuch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck:
Diplomprüfung Informatik Kurs 1830 Neuronale Netze Prüfer: Prof. Dr. Helbig Beisitzer: Prodekan Prof. Dr. Hackstein Datum: 01.10.08 Note: 2,7 Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt,
MehrUniversität zu Köln Seminar: Künstliche Intelligenz II Dozent: Claes Neuefeind SS 2012. Neuronale Netze. Von Deasy Sukarya & Tania Bellini
Universität zu Köln Seminar: Künstliche Intelligenz II Dozent: Claes Neuefeind SS 2012 Neuronale Netze Von Deasy Sukarya & Tania Bellini Einführung Symbolische vs. Sub-symbolische KI Symbolische KI: Fokussierung
MehrDie Rolle von Merging-Units und. Verteilungssystemen
Die Rolle von Merging-Units und der asynchronen Abtastung in Verteilungssystemen Symposium Energieinnovation EnInnov 2010 Verfasser: DI Emanuel Fuchs Projektleiter: Univ.-Prof. DI Dr. Lothar Fickert Technische
Mehr