5. Lernregeln für neuronale Netze

Größe: px
Ab Seite anzeigen:

Download "5. Lernregeln für neuronale Netze"

Transkript

1 5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1 58

2 Einleitung Unter Lernen versteht man den Erwerb neuen Wissens, unter Gedächtnis die Fähigkeit, dieses Wissen so zu lernen, dass es wiederfindbar ist. Mechanismen neuronalen Lernens sind deutlich weniger erforscht als die neurophysiolgischen Vorgänge bei der neuronalen Dynamik (Ruhepotential, Aktionspotential, Ionen-Kanäle, etc). Mögliche Formen des neuronalen Lernens: Änderung der Neuronenzahl Änderung der Verbindungsstruktur/Verbindungsstärken Schwenker NI1 59

3 Lernen durch Änderung der Synapsenstärken Die Änderung der Synapsenstärken lässt sich durch Differntialgleichungen bzw. Differenzengleichungen (Iterationsgleichungen) beschreiben. Analog zur Beschreibung der neuronalen Dynamik (kontinuierliche und diskrete Zeit). Änderung der synaptischen Kopplungen vollzieht sich langsamer, als die Änderung der neuronalen Zustände. Dies ist beispielsweise durch verschiedene Zeitkonstanten in den Differntialgleichungen modellierbar. Schwenker NI1 60

4 Aufwand in einem Netz mit n Neuronen: Für die neuronale Dynamik: Je Neuron wird das dendritsche Potential x j (t), in Abhängigkeit der axonalen Potentiale y i (t ij ) aller n Neuronen, berechnet. Schließlich wird das axonale Potential y j (t) = f(x j (t)) bestimmt. Wenn man für die Funktionsauswertung konstanten Aufwand (Funktion als Tabelle gespeichert) annimmt, so sind n 2 Multiplikationen auszuführen. Für die synaptische Dynamik: Setzt man pro Synapse eine DGl an, so sind insgesamt schon O(n 2 ) Operationen durchzuführen, selbst wenn der Aufwand pro Synapse konstant ist. Schwenker NI1 61

5 Allgemeine Lokale Lernregel Änderung einer synaptischen Kopplung c ij soll durch lokal vorhandene Größen bestimmt werden. Globale Netzwerkzustände sollen dabei nicht berücksichtigt werden (biologisch nicht plausibel und großer Aufwand) i j c ij modifizierbare Synapse Verbindung von Neuron i zum Neuron j f f Schwenker NI1 62

6 Allgemeine lokale Lernregel als Differenzengleichung: c ij (t) = c ij (t) c ij (t 1) = v(t)c ij (t) + l(t) ( y i (t) ac ij (t) b )( δ j (t) c ) Hierbei sind: c ij (t) := c ij (t) c ij (t t); (meist t = 1) v(t) 0 eine Vergessensrate. In Anwendungen typischerweise v(t) = 0. l(t) 0 eine Lernrate. Gebräuchlich ist l(t) > 0 und l(t) monoton gegen 0 fallend. a, b, c 0 Konstanten. Häufig a = b = c = 0. δ j (t) wird durch das Lernverfahren bestimmt. Wir unterscheiden unüberwachtes und überwachtes Lernen (unsupervised and supervised learning). Schwenker NI1 63

7 Unüberwachtes Lernen Im unüberwachten Lernen ist δ j (t) = u j (t) (dendritisches Potential) oder δ j (t) = y j (t) (axonales Potential) also beispielsweise c ij (t) = l(t)y i (t)y j (t) Dieses ist eine sehr bekannte Lernregel. Sie wird zu Ehren von Donald Hebb auch Hebb sche Lernregel genannt. Postulat von Hebb (1949): Wenn das Axon der Zelle A nahe genug ist, um eine Zelle B zu erregen, geschieht ein Wachstumsprozess in einer oder in beiden Zellen, so dass die Effizenz von A, als eine auf B feuernde Zelle wächst. Schwenker NI1 64

8 Überwachtes Lernen j c i j Ausgabe y j des j-ten Neurons. Eingabe y i Lehrersignal T j des j-ten Neurons. Die Ausgabe y i beeinflusst auch die Neuronenausgabe y j (durch c ij ). T j Lehrersignal Idee: Ausgabe y j soll durch Änderung der synaptischen Kopplungs- Ausgabe y j stärke c ij auf das Lehrersignal T j geregelt werden. Schwenker NI1 65

9 Delta Lernregel Im überwachten Lernen ist δ j (t) = T j y j (t) also erhalten wir etwa c ij (t) = l(t)y i (t) ( T j (t) y j (t) ) hierbei ist T j (t) ein externes Lehrersignal bzw. Sollwert für das Neuron j zur Zeit t. Lernregeln dieser Art, die einen Vergleich zwischen einem Lehrersignal und der Neuronenausgabe, berechnen werden Delta-Regeln genannt. Viele gebräuchliche Lernregeln sind von diesem Typ! Die bekannteste ist die Perzeptron-Lernregel. Sehr viele Lernregeln sind lokal. Wir werden allerdings auch später nichtlokale Lernregeln kennenlernen, beispielsweise unüberwachte Lernregeln zur Berechnung der Hauptkomponenten. Später mehr dazu! Schwenker NI1 66

10 Beispiel: Nichtlineares kontinuierliches Neuron mit der Ausgabe n y j = f( c ij y i ), u j = i=1 n c ij y i i=1 f differenzierbare monoton wachsend, z.b. Fermifunktion f(x) = 1 1+e x. Die Änderung der Ausgabe von y j bei der Delta-Lernregel: y neu j y j = f( n i=1 c neu ij y i ) f( n c ij y i ) i=1 = f (z) (u neu j u j ) z (u neu j, u j ) = f (z) (c neu ij c ij )y i = l f (z) (T j y j ) y 2 i Also: y neu j = y j + ly 2 i f (z)(t j y j ), wobei ly 2 i f (z) > 0. Schwenker NI1 67

11 Fallunterscheidungen bei der Delta-Regel: T j = y j, dann bleiben c ij und y j unverändert. y j > T j, also T j y j < 0, dann ist c ij < 0, also yj neu y j < 0, dh. yj neu y j < T j, also T j y j > 0, dann ist c ij > 0, also yj neu y j > 0, dh. yj neu < y j > y j Falls die Lernrate l > 0 klein ist, so ist nach einem Lernschritt mit der Delta- Lernregel der Fehler T y kleiner geworden. Die Delta-Regel zeigt das geforderte Verhalten, nämlich den Fehler zwischen Lehrersignal und Netzausgabe zu minimieren. Wie können nun Lernregeln systematisch hergeleitet werden? Schwenker NI1 68

12 Konstruktion von Lernregeln Wir gehen nun davon aus, dass uns eine Menge von Eingabesignalen(vektoren) vorliegt, zu denen ebenfalls Sollausgaben/Lehrersignale definiert sind. Wir betrachten überwachte Lernverfahren, hier ist das Ziel dadurch definert, dass die Netzausgabe jeweils dem Lehrersignal möglichst nahe kommen soll! Sei also eine Trainingsmenge gegeben durch Ein-Ausgabepaare: T = {(x µ, T µ ) x µ R d, T µ R n ; µ = 1,..., M} Gesucht ist nun ein neuronales Netz, repräsentiert durch seine Kopplungsmatrix C, so dass für alle Netzausgaben y µ := y(x µ ) gilt: T µ y µ. Die spezielle Architektur, Anzahl der Neuronen, Anzahl der Schichten, etc braucht an dieser Stelle noch nicht festgelegt zu werden. Schwenker NI1 69

13 Zielfunktionen T µ y µ muss präzisiert werden. Unterschied von T µ und y µ messen wir durch Normen/Abstandsfunktionen: T µ y µ p := ( n T µ i y µ i p) 1 p i=1 hierbei ist p 1. Für p = 2 erhalten wir die Euklidischen Abstand. Bekannte Abstandsfunktionen sind mit p = 1 die Manhattan Norm/Abstand und für p = die Maximum-Norm/Abstand gegeben durch : T µ y µ := max{ T µ i y µ i i = 1,..., n} Andere Abstandsfunktionen sind auch möglich! Schwenker NI1 70

14 Wir werden den quadrierten Euklidischen Abstand verwenden, definiert durch T µ y µ 2 2 := n (T µ i y µ i )2 i=1 Die Netzausgabe y(x), x ein beliebiger Eingabevektor, ist eine Funktion der Kopplungsmatrix C, also y(x) = y C (x). Um die Netzausgaben den Sollausgaben anzupassen, soll nun die Kopplungsmatrix C adaptiert werden. Gesucht ist die Kopplungsmatrix C, welche den Unterschied zwischen den Netzausgaben und den Lehrersignalen minimiert. Unterschied wird durch eine Zielfunktion oder Fehlerfunktion E : R r R gemessen. r ist die Zahl der Parameter in der Kopplungsmatrix C. Schwenker NI1 71

15 Optimierung von Zielfunktionen Sei nun eine reellwertige Zielfunktion E(C), E : R r R gegeben. Gesucht ist nun die Kopplungsmatrix C R r welche E minimiert, d.h. E(C ) E(C) für alle C R r C heißt das globale Minimum der Funktion E. In den meisten Fällen kann C nicht analytisch berechnet werden, man muss sich mit einem suboptimalen lokalen Minimum zufrieden geben. Zur Bestimmung lokaler Minima gibt es nicht immer analytische Verfahren. Gesucht sind numerische Näherungsverfahren zur Berechnung lokaler Minima. Das einfachst numerische Verfahren zur Berechnung lokaler Optima ist das Gradientenverfahren. Voraussetzung: E ist differenzierbar. Schwenker NI1 72

16 Zunächst sei r = 1. Dann führt die folgende Strategie in ein lokales Minimum der Funktion E : R R: 1. Setze t=0 und wähle einen Startwert C(0). 2. Falls E (C(t)) > 0, dann C(t + 1) < C(t) 3. Falls E (C(t)) < 0, dann C(t + 1) > C(t) Algorithmisch präziser: 1. Setze t = 0. Wähle Schrittweite l > 0, Startwert C(0) und ɛ > 0: 2. Iterierte die Vorschrift für t = 0, 1,... bis C < ɛ: C(t + 1) = C(t) l E (C(t)) Schwenker NI1 73

17 Für mehrdimensionale Funktionen E : R r R wird der Gradient grade(c) statt der Ableitung E (C) benutzt also 1. Setze t = 0. Wähle Schrittweite l > 0, Startwert C(0) und ɛ > 0: 2. Iterierte die Vorschrift für t = 0, 1,... bis C < ɛ: C(t + 1) = C(t) l grade(c(t)) Zur Erinnerung für f : R r R wird der Gradient gradf(x) definiert durch gradf(x) = ( x 1 f(x),..., x r f(x)) R r Probleme bei Gradienten-Verfahren: Konvergenz gegen lokales Minimum ist langsam; selbst Konvergenz nicht gesichert. l > 0 ist ein Parameter, der die Größe der Korrektur/Anpassung (von C) bestimmt. Schwenker NI1 74

18 Lernregel für einschichtiges Netz Sei also eine Trainingsmenge gegeben durch T = {(x µ, T µ ) x µ R d, T µ R n ; µ = 1,..., M} Das neuronale Netz bestehe aus einer einzelnen Schicht (Eingabeschicht nicht mitgezählt) bestehend aus n nichtlinearen Neuronen. Berechnungen der Neuronen j = 1,..., n bei Eingabe von x µ R d : 1. u µ j = d i=1 xµ i c ij 2. Netzausgaben: y µ j = f(uµ j ) = f ( d i=1 xµ i c ij Definition der Zielfunktion E(C): ) E(C) = M n (T µ j yµ j )2 min µ=1 j=1 Schwenker NI1 75

19 Lernregel als Gradienten-Verfahren: 1. grad E(C) ausrechnen (Kettenregel zweimal anwenden) (hier für ein einzelnes Gewicht c ij ) : c ij E(C) = M 2 (T µ j yµ j ) ( f (u µ j )) xµ i. µ=1 2. Ableitung in die allgemeine Formel einsetzen (hier für ein einzelnes Gewicht c ij ): c ij (t + 1) := c ij (t + 1) + 2l(t) M (T µ j yµ j )f (u µ j )xµ i µ=1 Schwenker NI1 76

20 Dies ist eine Batch-Modus-Lernregel, da der gesamte Trainingsdatensatz T benutzt wird um einen Änderung der Matrix C durchzuführen. Die zugehörige inkrementelle Lernregel hat die Form c ij (t + 1) := c ij (t + 1) + 2l(t)(T µ j yµ j )f (u µ j )xµ i Hier werden die Gewichtsanpassungen der c ij durch Einzelmuster herbeigeführt. In beiden Fällen muss der gesamte Trainingsdatensatz mehrfach benutzt werden, bis die berechnete Gewichtsanpassung unter einer a priori definierten Schranke ɛ bleibt. Inkrementelle Lernregeln erfordern nur die Hälfte des Speicherplatzes als die zugehörigen Batch-Modus-Lernregeln (die Einzeländerungen müssen bei Batch-Modus-Lernregeln zunächst aufsummiert werden bevor der eigentliche Anpassungsschritt durchgeführt wird). Schwenker NI1 77

1. Computer und neuronale Netze

1. Computer und neuronale Netze 1. Computer und neuronale Netze 1. Was ist die Neuroinformatik? 2. Aufgaben für neuronale Systeme 3. Computer vs. neuronale Netze NI1 1 Neuroinformatik ist die Wissenschaft, die sich mit der Informationsverarbeitung

Mehr

RL und Funktionsapproximation

RL und Funktionsapproximation RL und Funktionsapproximation Bisher sind haben wir die Funktionen V oder Q als Tabellen gespeichert. Im Allgemeinen sind die Zustandsräume und die Zahl der möglichen Aktionen sehr groß. Deshalb besteht

Mehr

Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn

Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum

Mehr

Hannah Wester Juan Jose Gonzalez

Hannah Wester Juan Jose Gonzalez Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron

Mehr

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen 6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1

Mehr

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / 2015 8. Aufgabenblatt

Mehr

Das Gradientenverfahren

Das Gradientenverfahren Das Gradientenverfahren - Proseminar: Algorithmen der Nichtlinearen Optimierung - David Beisel December 10, 2012 David Beisel Das Gradientenverfahren December 10, 2012 1 / 28 Gliederung 0 Einführung 1

Mehr

Konzepte der AI Neuronale Netze

Konzepte der AI Neuronale Netze Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale

Mehr

Einführung in die Neuroinformatik (vormals Neuroinformatik I) WiSe 10/11

Einführung in die Neuroinformatik (vormals Neuroinformatik I) WiSe 10/11 Einführung in die Neuroinformatik (vormals Neuroinformatik I) WiSe 10/11 Günther Palm und Friedhelm Schwenker Institut für Neuroinformatik Universität Ulm Organisation im WS 10/11 Vorlesung: Mi 12-14 Uhr

Mehr

Praktische Optimierung

Praktische Optimierung Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze

Mehr

Adaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Mehrere Neuronen, Assoziative Speicher und Mustererkennung Prof. Dr. rer. nat. Nikolaus Wulff Modell eines Neuron x x 2 x 3. y y= k = n w k x k x n Die n binären Eingangssignale x k {,}

Mehr

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale

Mehr

Thema 3: Radiale Basisfunktionen und RBF- Netze

Thema 3: Radiale Basisfunktionen und RBF- Netze Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung

Mehr

8 Extremwerte reellwertiger Funktionen

8 Extremwerte reellwertiger Funktionen 8 Extremwerte reellwertiger Funktionen 34 8 Extremwerte reellwertiger Funktionen Wir wollen nun auch Extremwerte reellwertiger Funktionen untersuchen. Definition Es sei U R n eine offene Menge, f : U R

Mehr

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze. Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Neuronale Netze (Konnektionismus)

Neuronale Netze (Konnektionismus) Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Mustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12

Mustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Mustererkennung: Neuronale Netze D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Feed-Forward Netze y 1 y 2 y m...... x 1 x 2 x n Output Schicht i max... Zwischenschicht i... Zwischenschicht 1

Mehr

Nichtlineare Gleichungssysteme

Nichtlineare Gleichungssysteme Kapitel 5 Nichtlineare Gleichungssysteme 51 Einführung Wir betrachten in diesem Kapitel Verfahren zur Lösung von nichtlinearen Gleichungssystemen Nichtlineares Gleichungssystem: Gesucht ist eine Lösung

Mehr

Mathematische Werkzeuge R. Neubecker, WS 2016 / 2017

Mathematische Werkzeuge R. Neubecker, WS 2016 / 2017 Mustererkennung Mathematische Werkzeuge R. Neubecker, WS 2016 / 2017 Optimierung: Lagrange-Funktionen, Karush-Kuhn-Tucker-Bedingungen Optimierungsprobleme Optimierung Suche nach dem Maximum oder Minimum

Mehr

Musterlösung zu Blatt 1

Musterlösung zu Blatt 1 Musterlösung zu Blatt Analysis III für Lehramt Gymnasium Wintersemester 0/4 Überprüfe zunächst die notwendige Bedingung Dfx y z = 0 für die Existenz lokaler Extrema Mit x fx y z = 8x und y fx y z = + z

Mehr

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) 29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein

Mehr

Lineare Regression. Volker Tresp

Lineare Regression. Volker Tresp Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M

Mehr

1 Einleitung. 2 Clustering

1 Einleitung. 2 Clustering Lernende Vektorquantisierung (LVQ) und K-Means-Clustering David Bouchain Proseminar Neuronale Netze Kurs-Nr.: CS4400 ISI WS 2004/05 david@bouchain.de 1 Einleitung Im Folgenden soll zum einen ein Überblick

Mehr

Numerische Ableitung

Numerische Ableitung Numerische Ableitung Die Ableitung kann angenähert werden durch den Differentenquotient: f (x) f(x + h) f(x) h oder f(x + h) f(x h) 2h für h > 0, aber h 0. Beim numerischen Rechnen ist folgendes zu beachten:

Mehr

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1 Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?

Mehr

Newton- und und Quasi-Newton-Methoden in der Optimierung. János Mayer

Newton- und und Quasi-Newton-Methoden in der Optimierung. János Mayer Newton- und und Quasi-Newton-Methoden in der Optimierung János Mayer 1 GLIEDERUNG Newton-Methode für nichtlineare Gleichungen nichtlineare Gleichungssysteme freie Minimierung. Quasi-Newton-Methoden für

Mehr

Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie

Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie 1. Erzeugung von Stahl im Lichtbogenofen 2. Biologische neuronale Netze 3. Künstliche neuronale Netze 4. Anwendung neuronaler

Mehr

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14. Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen

Mehr

Lernregeln. Künstliche neuronale Netze. Professur Psychologie digitaler Lernmedien. Institut für Medienforschung Philosophische Fakultät

Lernregeln. Künstliche neuronale Netze. Professur Psychologie digitaler Lernmedien. Institut für Medienforschung Philosophische Fakultät Professur Psychologie digitaler Lernmedien Institut für Medienforschung Philosophische Fakultät Künstliche neuronale Netze Lernregeln Überblick Definition Lernregeln Hebb-Regel Delta-Regel Gradientenabstiegsverfahren

Mehr

Neuronale Netze mit mehreren Schichten

Neuronale Netze mit mehreren Schichten Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren

Mehr

Optimierung. Optimierung. Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 2013 Thomas Brox, Fabian Kuhn

Optimierung. Optimierung. Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 2013 Thomas Brox, Fabian Kuhn Optimierung Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 1 Newton Verfahren Taylor Approximation 1. Ordnung von Newton Verfahren! 0 Setze 0und berechne Löse lineares Gleichungssystem für : 2

Mehr

auch: Konnektionismus; subsymbolische Wissensverarbeitung

auch: Konnektionismus; subsymbolische Wissensverarbeitung 10. Künstliche Neuronale Netze auch: Konnektionismus; subsymbolische Wissensverarbeitung informationsverarbeitende Systeme, bestehen aus meist großer Zahl einfacher Einheiten (Neuronen, Zellen) einfache

Mehr

Softcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003

Softcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches

Mehr

Nachklausur zur Analysis 2, SoSe 2017

Nachklausur zur Analysis 2, SoSe 2017 BERGISCHE UNIVERSITÄT WUPPERTAL 18.9.17 Fakultät 4 - Mathematik und Naturwissenschaften Prof. N. V. Shcherbina Dr. T. P. Pawlaschyk www.kana.uni-wuppertal.de Nachklausur zur Analysis 2, SoSe 217 Aufgabe

Mehr

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134 Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches

Mehr

Kapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017

Kapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017 10.1 Sommersemester 2017 Problemstellung Welche Gerade? Gegeben sind folgende Messungen: Masse (kg) 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 Kraft (N) 1.6 2.2 3.2 3.0 4.9 5.7 7.1 7.3 8.1 Annahme: Es gibt eine Funktion

Mehr

1 Umkehrfunktionen und implizite Funktionen

1 Umkehrfunktionen und implizite Funktionen Mathematik für Physiker III WS 2012/2013 Freitag 211 $Id: implizittexv 18 2012/11/01 20:18:36 hk Exp $ $Id: lagrangetexv 13 2012/11/01 1:24:3 hk Exp hk $ 1 Umkehrfunktionen und implizite Funktionen 13

Mehr

Diplom VP Numerik 27. August 2007

Diplom VP Numerik 27. August 2007 Diplom VP Numerik 27. August 2007 Multiple-Choice-Test 30 Punkte Bei jeder MC-Aufgabe ist mindestens eine Aussage korrekt. Wird dennoch bei einer MC-Aufgabe keine einzige Aussage angekreuzt, gilt diese

Mehr

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???

Mehr

Ein selbstmodellierendes System für die Wasserwirtschaft

Ein selbstmodellierendes System für die Wasserwirtschaft Ein selbstmodellierendes System für die Wasserwirtschaft Dipl.-Ing. Dr. ANDRADE-LEAL Wien, im Juli 2001 1 Einleitung, Motivation und Voraussetzungen Künstliche Intelligenz Neuronale Netze Experte Systeme

Mehr

Adaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Neuronale Netze: Neuronen, Perzeptron und Adaline Prof. Dr. rer. nat. Nikolaus Wulff Neuronale Netze Das (menschliche) Gehirn ist ein Musterbeispiel für ein adaptives System, dass sich

Mehr

Radiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120

Radiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120 Radiale-Basisfunktionen-Netze Rudolf Kruse Neuronale Netze 2 Radiale-Basisfunktionen-Netze Eigenschaften von Radiale-Basisfunktionen-Netzen (RBF-Netzen) RBF-Netze sind streng geschichtete, vorwärtsbetriebene

Mehr

Extremwertrechnung in mehreren Veränderlichen

Extremwertrechnung in mehreren Veränderlichen KARLSRUHER INSTITUT FÜR TECHNOLOGIE INSTITUT FÜR ANALYSIS Dr. Christoph Schmoeger Heiko Hoffmann SS 2014 14.05.2014 Höhere Mathematik II für die Fachrichtung Informatik 3. Saalübung (14.05.2014) Extremwertrechnung

Mehr

9 Optimierung mehrdimensionaler reeller Funktionen f : R n R

9 Optimierung mehrdimensionaler reeller Funktionen f : R n R 9 Optimierung mehrdimensionaler reeller Funktionen f : R n R 91 Optimierung ohne Nebenbedingungen Ein Optimum zu suchen heißt, den größten oder den kleinsten Wert zu suchen Wir suchen also ein x R n, sodass

Mehr

3 Optimierung mehrdimensionaler Funktionen f : R n R

3 Optimierung mehrdimensionaler Funktionen f : R n R 3 Optimierung mehrdimensionaler Funktionen f : R n R 31 Optimierung ohne Nebenbedingungen Optimierung heißt eigentlich: Wir suchen ein x R n so, dass f(x ) f(x) für alle x R n (dann heißt x globales Minimum)

Mehr

VF-2: 2. Es seien x = 1 3 und y = π Bei der Berechnung von sin(x) sin(y) in M(10, 12, 99, 99) tritt. Auslöschung auf.

VF-2: 2. Es seien x = 1 3 und y = π Bei der Berechnung von sin(x) sin(y) in M(10, 12, 99, 99) tritt. Auslöschung auf. IGPM RWTH Aachen Verständnisfragen-Teil NumaMB H11 (24 Punkte) Es gibt zu jeder der 12 Aufgaben vier Teilaufgaben. Diese sind mit wahr bzw. falsch zu kennzeichnen (hinschreiben). Es müssen mindestens zwei

Mehr

11. Neuronale Netze 1

11. Neuronale Netze 1 11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form

Mehr

2.4.4 Die Fraktale Dimension

2.4.4 Die Fraktale Dimension 2.4.4 Die Fraktale Dimension Ausgehend vom euklidischen Dimensionsbegriff (Punkt = 0, Linie = 1, Fläche = 2...) lässt sich einem fraktalen Gebilde eine fraktale Dimension d f zuordnen. Wir verwenden die

Mehr

Statistical Learning

Statistical Learning Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in

Mehr

Lösungen zu den Hausaufgaben zur Analysis II

Lösungen zu den Hausaufgaben zur Analysis II Christian Fenske Lösungen zu den Hausaufgaben zur Analysis II Blatt 6 1. Seien 0 < b < a und (a) M = {(x, y, z) R 3 x 2 + y 4 + z 4 = 1}. (b) M = {(x, y, z) R 3 x 3 + y 3 + z 3 = 3}. (c) M = {((a+b sin

Mehr

Ausgleichsproblem. Definition (1.0.3)

Ausgleichsproblem. Definition (1.0.3) Ausgleichsproblem Definition (1.0.3) Gegeben sind n Wertepaare (x i, y i ), i = 1,..., n mit x i x j für i j. Gesucht ist eine stetige Funktion f, die die Wertepaare bestmöglich annähert, d.h. dass möglichst

Mehr

D-MAVT/D-MATL Analysis I HS 2017 Dr. Andreas Steiger. Lösung - Serie 6. (n+1)!. Daraus folgt, dass e 1/x < (n+

D-MAVT/D-MATL Analysis I HS 2017 Dr. Andreas Steiger. Lösung - Serie 6. (n+1)!. Daraus folgt, dass e 1/x < (n+ D-MAVT/D-MATL Analysis I HS 2017 Dr. Andreas Steiger Lösung - Serie 6 1. MC-Aufgaben (Online-Abgabe) 1. Für alle ganzen Zahlen n 1 gilt... (a) e 1/x = o(x n ) für x 0 + (b) e 1/x = o(x n ) für x 0 + (c)

Mehr

Mathematik. für das Ingenieurstudium. 10 Funktionen mit mehreren Variablen. Jürgen Koch Martin Stämpfle.

Mathematik. für das Ingenieurstudium. 10 Funktionen mit mehreren Variablen. Jürgen Koch Martin Stämpfle. 10 Funktionen mit mehreren Variablen www.mathematik-fuer-ingenieure.de 2010 und, Esslingen Dieses Werk ist urheberrechtlich geschützt. Alle Rechte, auch die der Übersetzung, des Nachdruckes und der Vervielfältigung

Mehr

Berechnung von Extrema

Berechnung von Extrema KAPITEL 2 Berechnung von Extrema 1. Partielle Ableitungen Definition 2.1 (partielle Ableitung). Sei U R n offen und e j der j-te Einheitsvektor. Eine Funktion f : U R ist in x u partiell differenzierbar

Mehr

1 Polynome III: Analysis

1 Polynome III: Analysis 1 Polynome III: Analysis Definition: Eine Eigenschaft A(x) gilt nahe bei a R, falls es ein δ > 0 gibt mit A(x) gilt für alle x (a δ, a + δ)\{a} =: U δ (a) Beispiele: x 2 5 nahe bei 0 (richtig). Allgemeiner:

Mehr

NEXTLEVEL im WiSe 2011/12

NEXTLEVEL im WiSe 2011/12 Fachbereich Mathematik der Universität Hamburg Dr. H. P. Kiani NEXTLEVEL im WiSe 2011/12 Vorlesung 5, Teil 2 Linearisierung, einige Eigenschaften differenzierbarer Funktionen Die ins Netz gestellten Kopien

Mehr

18.4 Das Newton-Verfahren

18.4 Das Newton-Verfahren 18.4 Das Newton-Verfahren Ziel: Wir suchen die Nullstellen einer Funktion f : D R n, D R n : f(x) = 0 Wir kennen bereits die Fixpunktiteration x k+1 := Φ(x k ) mit Startwert x 0 und Iterationsvorschrift

Mehr

6 Die Bedeutung der Ableitung

6 Die Bedeutung der Ableitung 6 Die Bedeutung der Ableitung 24 6 Die Bedeutung der Ableitung Wir wollen in diesem Kapitel diskutieren, inwieweit man aus der Kenntnis der Ableitung Rückschlüsse über die Funktion f ziehen kann Zunächst

Mehr

9 Differentialrechnung für Funktionen in n Variablen

9 Differentialrechnung für Funktionen in n Variablen $Id: diff.tex,v.7 29/7/2 3:4:3 hk Exp $ $Id: ntaylor.tex,v.2 29/7/2 3:26:42 hk Exp $ 9 Differentialrechnung für Funktionen in n Variablen 9.6 Lagrange Multiplikatoren Die Berechnung von Maxima und Minima

Mehr

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze? Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher 0651993 Damir Dudakovic

Mehr

Mathematischer Vorkurs NAT-ING II

Mathematischer Vorkurs NAT-ING II Mathematischer Vorkurs NAT-ING II (02.09.2013 20.09.2013) Dr. Jörg Horst WS 2013-2014 Mathematischer Vorkurs TU Dortmund Seite 1 / 252 Kapitel 7 Differenzierbarkeit Mathematischer Vorkurs TU Dortmund Seite

Mehr

Einführung in neuronale Netze

Einführung in neuronale Netze Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze

Mehr

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale

Mehr

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion

Mehr

Mathematik II für Studierende der Informatik. Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016

Mathematik II für Studierende der Informatik. Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016 und Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016 5. Juni 2016 Definition 5.21 Ist a R, a > 0 und a 1, so bezeichnet man die Umkehrfunktion der Exponentialfunktion x a x als

Mehr

Einführung in die Neuroinformatik Lösungen zum 5. Aufgabenblatt

Einführung in die Neuroinformatik Lösungen zum 5. Aufgabenblatt Einführung in die Neuroinformatik Lösungen zum 5. Aufgabenblatt 7. Aufgabe : Summe {} Man sieht leicht ein, dass ein einzelnes Perzeptron mit Gewichten c, c 2, c 3 und Schwelle θ das Problem nicht lösen

Mehr

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt

Mehr

Probeklausur zur Analysis 2, SoSe 2017

Probeklausur zur Analysis 2, SoSe 2017 BERGISCHE UNIVERSITÄT WUPPERTAL 21717 Fakultät 4 - Mathematik und Naturwissenschaften Prof N V Shcherbina Dr T P Pawlaschyk wwwkanauni-wuppertalde Probeklausur zur Analysis 2, SoSe 217 Hinweis Die Lösungen

Mehr

Mathematik I für Studierende der Geophysik/Ozeanographie, Meteorologie und Physik Vorlesungsskript

Mathematik I für Studierende der Geophysik/Ozeanographie, Meteorologie und Physik Vorlesungsskript Mathematik I für Studierende der Geophysik/Ozeanographie, Meteorologie und Physik Vorlesungsskript Janko Latschev Fachbereich Mathematik Universität Hamburg www.math.uni-hamburg.de/home/latschev Hamburg,

Mehr

12 Extremwerte und Monotonie

12 Extremwerte und Monotonie 5 II. Differentialrechnung 1 Extremwerte und Monotonie Lernziele: Resultate: Existenz von Maxima und Minima stetiger Funktionen auf kompakten Intervallen, Monotoniesatz Kompetenzen: Bestimmung lokaler

Mehr

Mathematische Grundlagen

Mathematische Grundlagen G-CSC Goethe-Center for Scientific Computing der Universität Frankfurt 2 Übung zur Vorlesung Modellierung und Simulation 3 (WS 2013/14) Prof Dr G Queisser Markus Breit, Martin Stepniewski Abgabe: Dienstag,

Mehr

Kohonennetze Selbstorganisierende Karten

Kohonennetze Selbstorganisierende Karten Kohonennetze Selbstorganisierende Karten Julian Rith, Simon Regnet, Falk Kniffka Seminar: Umgebungsexploration und Wegeplanung mit Robotern Kohonennetze: Neuronale Netze In Dendriten werden die ankommenden

Mehr

Der metrische Raum (X, d) ist gegeben. Zeigen Sie, dass auch

Der metrische Raum (X, d) ist gegeben. Zeigen Sie, dass auch TECHNISCHE UNIVERSITÄT BERLIN SS 07 Institut für Mathematik Stand: 3. Juli 007 Ferus / Garcke Lösungsskizzen zur Klausur vom 6.07.07 Analysis II. Aufgabe (5 Punkte Der metrische Raum (X, d ist gegeben.

Mehr

Adaptive Resonance Theory

Adaptive Resonance Theory Adaptive Resonance Theory Jonas Jacobi, Felix J. Oppermann C.v.O. Universität Oldenburg Adaptive Resonance Theory p.1/27 Gliederung 1. Neuronale Netze 2. Stabilität - Plastizität 3. ART-1 4. ART-2 5. ARTMAP

Mehr

3. Neuronenmodelle. 1. Einleitung zur Modellierung. 2. Hodgkin-Huxley-Modell. 3. Grundmodell in kontinuierlicher und diskreter Zeit

3. Neuronenmodelle. 1. Einleitung zur Modellierung. 2. Hodgkin-Huxley-Modell. 3. Grundmodell in kontinuierlicher und diskreter Zeit 3. Neuronenmodelle 1. Einleitung zur Modellierung 2. Hodgkin-Huxley-Modell 3. Grundmodell in kontinuierlicher und diskreter Zeit 4. Transferfunktionen (Kennlinien) für Neuronen 5. Neuronenmodelle in Anwendungen

Mehr

18 Höhere Ableitungen und Taylorformel

18 Höhere Ableitungen und Taylorformel 8 HÖHERE ABLEITUNGEN UND TAYLORFORMEL 98 8 Höhere Ableitungen und Taylorformel Definition. Sei f : D R eine Funktion, a D. Falls f in einer Umgebung von a (geschnitten mit D) differenzierbar und f in a

Mehr

AM3: Differenzial- und Integralrechnung im R n. 1 Begriffe. 2 Norm, Konvergenz und Stetigkeit. x 1. x 2. f : x n. aus Platzgründen schreibt man:

AM3: Differenzial- und Integralrechnung im R n. 1 Begriffe. 2 Norm, Konvergenz und Stetigkeit. x 1. x 2. f : x n. aus Platzgründen schreibt man: AM3: Differenzial- und Integralrechnung im R n 1 Begriffe f : x 1 f 1 x 1, x 2,..., x n ) x 2... f 2 x 1, x 2,..., x n )... x n f m x 1, x 2,..., x n ) }{{}}{{} R n R m aus Platzgründen schreibt man: f

Mehr

Einige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel

Einige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel Einige überwachte Lernverfahren Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel Funktionsweise eines künstlichen Neurons x w k Neuron k x 2 w 2k net k f y k x n- w n-,k x n w n,k

Mehr

Anwendungen der Differentialrechnung

Anwendungen der Differentialrechnung KAPITEL 3 Anwendungen der Differentialrechnung 3.1 Lokale Maxima und Minima Definition 16: Sei f : D R eine Funktion von n Veränderlichen. Ein Punkt x heißt lokale oder relative Maximalstelle bzw. Minimalstelle

Mehr

Das Subgradientenverfahren

Das Subgradientenverfahren Das Subgradientenverfahren Seminar Optimierung WS 05/06 Betreuer: Prof. F. Jarre von Jalo Liljo Das Subgradientenverfahren Das Ziel dieses Vortrags ist die Berechnung einer Lösung des unrestringierten

Mehr

1 Partielle Differentiation

1 Partielle Differentiation Technische Universität München Christian Neumann Ferienkurs Analysis 2 Vorlesung Dienstag SS 20 Thema des heutigen Tages sind Differentiation und Potenzreihenentwicklung Partielle Differentiation Beim

Mehr

KLAUSUR. Analysis (E-Technik/Mechatronik/W-Ing) Prof. Dr. Werner Seiler Dr. Matthias Fetzer, Dominik Wulf

KLAUSUR. Analysis (E-Technik/Mechatronik/W-Ing) Prof. Dr. Werner Seiler Dr. Matthias Fetzer, Dominik Wulf KLAUSUR Analysis (E-Technik/Mechatronik/W-Ing).9.7 Prof. Dr. Werner Seiler Dr. Matthias Fetzer, Dominik Wulf Name: Vorname: Matr. Nr./Studiengang: Versuch Nr.: Unterschrift: In der Klausur können Sie insgesamt

Mehr

Prüfungsprotokoll Diplomprüfung Mathematische Aspekte neuronaler Netze

Prüfungsprotokoll Diplomprüfung Mathematische Aspekte neuronaler Netze Prüfungsprotokoll Diplomprüfung Mathematische Aspekte neuronaler Netze Prüfer: Prof.Dr.Johann Boos Datum: 29.08.2001 Dauer: 30min Note: 1.0 So Sie wollten uns was über zweischichtige neuronale Feed-Forward

Mehr

Was bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen

Was bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise

Mehr

Mathematik für Anwender II

Mathematik für Anwender II Prof. Dr. H. Brenner Osnabrück SS 2012 Mathematik für Anwender II Vorlesung 49 Zu einer reellwertigen Funktion Extrema auf einer offenen Menge G R n interessieren wir uns, wie schon bei einem eindimensionalen

Mehr

Neuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24.

Neuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24. Neuronale Netze in der Phonetik: Grundlagen Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 24. Mai 2006 Inhalt Einführung Maschinelles Lernen Lernparadigmen Maschinelles

Mehr

Überblick. Überblick. Bayessche Entscheidungsregel. A-posteriori-Wahrscheinlichkeit (Beispiel) Wiederholung: Bayes-Klassifikator

Überblick. Überblick. Bayessche Entscheidungsregel. A-posteriori-Wahrscheinlichkeit (Beispiel) Wiederholung: Bayes-Klassifikator Überblick Grundlagen Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes-Klassifikator

Mehr

Neuronale Netzwerke: Feed-forward versus recurrent (d.h. feed-back )

Neuronale Netzwerke: Feed-forward versus recurrent (d.h. feed-back ) Neuronale Netzwerke: Feed-forward versus recurrent (d.h. feed-back ) A: Schrittweise vorwärts-gerichtete Abbildung: Eingangssignal (Input) r in Ausgansgsignal (Output) r out Überwachtes Lernen (wie z.b.

Mehr

f f(x ɛξ) f(x) 0, d.h. f (x)ξ = 0 für alle ξ B 1 (0). Also f (x) = 0. In Koordinaten bedeutet dies gerade, dass in Extremstellen gilt: f(x) = 0.

f f(x ɛξ) f(x) 0, d.h. f (x)ξ = 0 für alle ξ B 1 (0). Also f (x) = 0. In Koordinaten bedeutet dies gerade, dass in Extremstellen gilt: f(x) = 0. Mehrdimensionale Dierenzialrechnung 9 Optimierung 9 Optimierung Definition Seien U R n oen, f : U R, x U x heiÿt lokales Maximum, falls eine Umgebung V U von x existiert mit y V : fx fy x heiÿt lokales

Mehr

Rückblick auf die letzte Vorlesung. Bemerkung

Rückblick auf die letzte Vorlesung. Bemerkung Bemerkung 1) Die Bedingung grad f (x 0 ) = 0 T definiert gewöhnlich ein nichtlineares Gleichungssystem zur Berechnung von x = x 0, wobei n Gleichungen für n Unbekannte gegeben sind. 2) Die Punkte x 0 D

Mehr

Mathematik n 1

Mathematik n 1 Prof. Dr. Matthias Gerdts Dr. Sven-Joachim Kimmerle Wintertrimester 0 Mathematik + Übung 6 Besprechung der Aufgaben ) - ) des Übungsblatts am jeweils ersten Übungstermin zwischen Montag, 7..0 und Donnerstag,

Mehr

Adaptive Resonanztheorie

Adaptive Resonanztheorie Adaptive Resonanztheorie Proseminar (ISI) 2005 Abt. Neuroinformatik Moritz Gerlach mg23@informatik.uni-ulm.de 19. April 2005 1 Einleitung 1.1 Problemstellung Neuronale Netze bestehen aus zu Schichten zusammengefassten

Mehr

Mathematik 1 für Wirtschaftsinformatik

Mathematik 1 für Wirtschaftsinformatik Mathematik 1 für Wirtschaftsinformatik Wintersemester 2012/13 Hochschule Augsburg elementarer Funktionen Gegeben: f : D R, mit D R und a > 0, b R. Dann gilt: f(x) f (x) 1 ln x x 1 log a x x ln a e x e

Mehr

Praktische Optimierung

Praktische Optimierung Grundlagen klassischer Optimiertechniken Praktische Optimierung Wintersemester 2008/09 Prof Dr Günter Rudolph Lehrstuhl für Algorithm Engineering Fakultät für Informatik TU Dortmund Themen der heutigen

Mehr

TECHNISCHE UNIVERSITÄT MÜNCHEN

TECHNISCHE UNIVERSITÄT MÜNCHEN Prof. Dr. M. Keyl M. Kech TECHNISCHE UNIVERSITÄT MÜNCHEN Zentrum Mathematik Mathematik für Physiker 3 (Analysis ) MA903 http://www-m5.ma.tum.de/allgemeines/ma903 06S Sommersem. 06 Lösungsblatt 8 (3.6.06)

Mehr

8. Vorlesung Neuronale Netze

8. Vorlesung Neuronale Netze Soft Control (AT 3, RMA) 8. Vorlesung Neuronale Netze Lernverfahren 8. Vorlesung im Aufbau der Vorlesung 1. inführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation

Mehr

6. Numerische Lösung des. Nullstellenproblems

6. Numerische Lösung des. Nullstellenproblems 6. Numerische Lösung des Nullstellenproblems 1 Problemstellung Zwischenwertsatz: Sei f : [a,b] R stetig und c R mit f(a) c f(b) oder f(b) c f(a). Dann gibt es ein x [a,b] mit f(x) = c. Frage: Wie lässt

Mehr