8. Vorlesung Neuronale Netze

Größe: px
Ab Seite anzeigen:

Download "8. Vorlesung Neuronale Netze"

Transkript

1 Soft Control (AT 3, RMA) 8. Vorlesung Neuronale Netze Lernverfahren

2 8. Vorlesung im Aufbau der Vorlesung 1. inführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation und Wissensverarbeitung (Symbolische KI) Anwendung: xpertensysteme 3. Fuzzy-Systeme: Umgang mit unscharfem Wissen Anwendung: Fuzzy-Control 4. Konnektionistische Systeme: Neuronale Netze Anwendung: Identifikation und neuronale Regler 1. Grundlagen 2. Lernverfahren 5. Stochastische Optimierung (Genetische Algorithmen, Simulated Annealing, Differential volution) Anwendung: Optimierung 6. Zusammenfassung & Literaturhinweise 198

3 Inhalt der 7. Vorlesung Lernen in Neuronalen Netzen Überwachtes Lernen Feste Lernaufgabe: Geg.: ingabe, Ausgabe A Unüberwachtes Lernen Freie Lernaufgabe: Geg.: ingabe Beispiel: Backpropagation Beispiel: Competitive Learning 199

4 Unüberwachtes Lernen (Unsupervised Learning) Lernen in Neuronalen Netzen Überwachtes Lernen Feste Lernaufgabe: Geg.: ingabe, Ausgabe A Unüberwachtes Lernen Freie Lernaufgabe: Geg.: ingabe Beispiel: Backpropagation Beispiel: Competitive Learning Quelle: Carola Huthmacher 200

5 Prinzip von Competitive Learning am Problem der Clusterbildung Ziele der Clusterbildung: Unterschiede zwischen Obekten eines Clusters sind minimal Unterschiede zwischen Obekten verschiedener Cluster sind maximal Lernen durch Konkurrenz Konkurrenzprinzip (Competition) Ziel: pro ingabegruppe wird ein Ausgabeneuron aktiviert (binär) 201

6 Architektur eines Competitive Learning Netzwerks Ausgabe ( 1 0 ) = y B m... Competitive Layer n Input Layer ingabe ( ) = x R n 202

7 Prozesse im Competitive Layer Maß für den Abstand zwischen ingabe und Gewichtungsvektor S = i w i x i = w x cos S ist groß für kleine Abstände Gewinner: Neuron mit S > S k für alle k w 1 w 2 w n Ausgabe: y Gewinner = 1 y Verlierer = 0 ( winner takes all ) ( x 1 x 2 x n ) = x R n 203

8 Unüberwachter Lernalgorithmus Initialisierung: Zufällige Anfangsgewichtung (normierte Gewichtsvektoren) Vektoren aus Trainingseingaben (normiert) als Anfangsgewichtungen Konkurrenzprozess Lernen: ingabe eines Vektors x Neuberechnung der Gewichtungen des Gewinnerneurons: w (t+1) = w (t) + (t) [x - w (t)] (t) ist die Lernrate (0,01-0,3) wird im Laufe des Lernens schrittweise reduziert Normierung Termination: nde bei rfüllung eines Terminationskriteriums (t) [ x w (t) ] 1 w (t) x w (t) w (t+1) x

9 Vorteile und Nachteile Nachteile: schwierig, gute Initialisierung zu finden Instabilität Problem: # Neuronen in Competitive Layer Vorteile: gute Clusterbildung einfacher und schneller Algorithmus Baustein für komplexere Netzwerke 205

10 Überwachtes Lernen (Supervised Learning) Lernen in Neuronalen Netzen Überwachtes Lernen Feste Lernaufgabe: Geg.: ingabe, Ausgabe A Unüberwachtes Lernen Freie Lernaufgabe: Geg.: ingabe Beispiel: Backpropagation Beispiel: Competitive Learning Quelle: Dr. Van Bang Le 206

11 Der Backpropagation-Lernalgorithmus Historie Werbos (1974) Rumelharts, Hintons, Williams (1986) Sehr wichtiges und bekanntes überwachtes Lernverfahren für vorwärtsgerichtete Netze Idee: Minimierung der Fehlerfunktion durch Gradientenabstieg Folgerungen Backpropagation ist ein Gradientenbasiertes Verfahren Lernen ist hier Mathematik, keine biologische Motivation! 207

12 Aufgabe und Ziel beim Backpropagation-Lernalgorithmus Lernaufgabe: Menge von in/ausgabebeispielen (Trainingsmenge): L = {(x 1, t 1 ),..., (x k, t k )}, wobei: x i = ingabebeispiel (input pattern) t i = Lösung (gewünschte Ausgabe, target) bei ingabe x i Lernziel: Jede Teilaufgabe (x, t) aus L soll vom Netz mit möglichst kleinem Fehler berechnet werden. 208

13 Generelles Vorgehen beim BP-Lernen Unterteilung der vorhandenen Daten in Trainingsdaten Validierungsdaten Fehler Training bis gewünschte Fehlerrate erreicht Validierung Validierung Problem: Optimaler Punkt für Trainingsende Underfitting Overfitting Training Trainings-Iterationen 209

14 Der Backpropagation-Lernalgorithmus Fehlermaß: Sei (x, t) L und y die tatsächliche Ausgabe des Netzes bei ingabe x. Fehler bzgl. des Paars (x, t) : x,t = ( = ½ t y 2 ) 2 (t y 2 1 Gesamtfehler: i i i ) ( x, t) L (t y 2, i i ) 2 1 x t ( x, t) L i Hinweis: Der Faktor ½ ist nicht relevant ( t y 2 ist minimal genau dann, wenn ½ t y 2 minimal ist), führt später aber zur Vereinfachung der Formeln. 210

15 Das Gradientenverfahren 1. Betrachte den Fehler als Funktion der Gewichte Fehler 2. Zum Gewichtsvektor w = (w 11, w 12,...) gehört der Punkt (w, (w)) auf der Fehlerfläche (w) w w Gewichte 3. Ist differenzierbar, so wird im Punkt w der Gradient der Fehlerfläche bestimmt und auf dem Gradienten um einen Bruchteil abgestiegen Neuer Gewichtsvektor w 4. Wiederhole das Verfahren um den Punkt w

16 Gradienten Sei f : R n R eine reellwertige Funktion. Partielle Ableitung von f nach x i : x f i Gradient von f : f ( f, f,..., x f) 1 x 2 x n f(x 1,..., x n ) zeigt,,in die Richtung der größten Zuwachsrate von f an Stelle (x 1,..., x n ). Richtung zum Abstieg: f Richtung zum Abstieg in x i -Richtung: x i f Beispiel: f(x 1, x 2 ) = ½ x 1 2 x 2, f(x 1, x 2 ) = (x 1, 1) 212

17 BP in mehrschichtigen Netzen: Notation Betrachtung mehrschichtiger Netze ohne Abkürzung (reine Feedforwardnetze mit Verbindungen zwischen aufeinander folgenden Schichten). Bezeichnungen: Das Netz habe mit der ingabe x komplett durchgerechnet! w i i Ausgabe von Neuron i: o i ingabe für Neuron : net := i:i o i w i A:= {i : i ist Ausgabeneuron} die Menge der Ausgabeneuronen Für (x, t) L ist also y =(o i ) i A die Ausgabe des Netzes bei ingabe x 213

18 BP in mehrschichtigen Netzen: Notation: Fehlerfunktion Fehlerfunktion: = ( x, t)l x, t x,t = 2 1 A (t o 2 ) o = f(net ), wobei f die Aktivierungsfunktion der Neuronen ist. net = i:i o i w i Ist f differenzierbar, so sind auch x,t und differenzierbar, und das Gradientenabstiegsverfahren kann angewendet werden! Offline-Version: Gewichtsänderung nach Berechnung von Gesamtfehler (Batch-Learning) Online-Version: Gewichtsänderung nach Berechnung des aktuellen Fehlers x,t 214

19 Sigmoide als Aktivierungsfunktion Bis etzt war die Aktivierungsfunktion f die Treppenfunktion, also nicht überall differenzierbar: Überall differenzierbare Funktion: s c (x) = 1 1e cx 1 1 s 2 s 1 Als Aktivierungsfunktion für alle Neuronen wird etzt die sigmoide Funktion s(x) = s 1 (x) verwendet s gilt: s (x) = s(x)(1 s(x)) 215

20 Der Backpropagation-Lernalgorithmus: Online-Version (1) Initialisiere die Gewichte w i mit zufälligen Werten (2) Wähle ein Paar (x, t) L (3) Berechne die Ausgabe y bei ingabe x (4) Betrachte den Fehler x,t als Funktion der Gewichte: x,t = ½ t y 2 = x,t (w 11, w 12,...) (5) Ändere w i um einen Bruchteil (Lernrate ) in der steilsten Abstiegsrichtung des Fehlers: x, t w i := w i + ( ) w (6) Falls kein Abbruchkriterium erfüllt wird, fahre mit (2) fort i 216

21 Der Backpropagation-Lernalgorithmus: Online-Version (2) Berechnung von w x, t i i w i Für ein festes Paar i, wird x,t als Funktion von w i betrachtet (alle anderen Gewichte sind in dieser Berechnung Konstante) x,t hängt von Netzausgabe y ab (also von o, A) o, A, hängt von der ingabe für Neuron, net, ab net hängt von w k und o k ab, für alle Verbindungen k... w x, t i Backpropagation wird also rückwärts durch das Netz bestimmt! 217

22 Der Backpropagation-Lernalgorithmus: Online-Version (3) Berechnung von w x, t i i w i Abhängigkeit: x,t (w i ) hängt von net ab, net hängt von w i ab. Anwendung der Kettenregel: w x, t i x, t net net w i net w = o i := i x, t net,,fehlersignal 218

23 Der Backpropagation-Lernalgorithmus: Online-Version (4) Abhängigkeit: x,t (net ) hängt von o ab, o hängt von net ab. Anwendung der Kettenregel: o x, t net f (net o x, t o net ) = f (net ) =... net net Für f = sigmoide Aktivierungsfunktion s gilt weiter:... = s (net ) = s(net ) (1 s(net )) = o (1 o ) 219

24 Der Backpropagation-Lernalgorithmus: Online-Version (5) Berechnung von o x, t i w i Fall 1: ist ein Ausgabeneuron. o x, t o ( 1 2 k A ( t k o k ) 2 ) = 2 ½ (t o ) ( 1) = (t o ) 220

25 Der Backpropagation-Lernalgorithmus: Online-Version (6) Berechnung von o x, t i w i Fall 2: ist kein Ausgabeneuron. Abhängigkeit: o wird an allen Nachfolge-Neuronen k von weitergeleitet und x,t hängt davon ab! Anwendung der Kettenregel: o x, t k: k x, t net k net o k k: k k w k 221

26 Der Backpropagation-Lernalgorithmus: Online-Version (7) Zusammenfassung: Fehlersignal: o o (1 o (1 o ) (t ) k: k o k ), w k A,sonst um zu berechnen, müssen alle k für alle Verbindungen k bekannt sein backpropagation Abstiegsrichtung für w i : w x, t = o i i Korrektur für w i : w i = w i + o i 222

27 Der Backpropagation-Lernalgorithmus: Online-Version (8) Initialisiere die Gewichte mit zufälligen Werten Festlegung des Abbruchkriteriums für den Gesamtfehler Festlegung der maximalen pochenzahl e max := 0; e:= 1 repeat for all (x, t) L do 1 berechne 2 x,t = 2 (t o ) := + A x,t berechne rückwärts, schichtenweise beginnend bei der Ausgabeschicht die Fehlersignale w i = w i + o i endfor e:= e + 1 until ( erfüllt ) or (e > e max ) 223

28 Der Backpropagation-Lernalgorithmus: Offline-Version Offline bedeutet, dass der Fehler für alle ingabedaten zugleich minimiert werden soll In diesem Modus werden die Gewichte erst nach Präsentation aller Teilaufgaben (x, t) L modifiziert: w i w w i i w i ( ( w ( x, t) L o ( x, t) L ) i ( w ( x ) ( x) i x, t i )) 224

29 Online vs. Offline Beim Offline-Lernen (Batch-Lernen) wird in einem Korrekturschritt die Gesamtfehlerfunktion (für alle Daten) optimiert. s erfolgt ein Abstieg in die echte Gradientenrichtung der Gesamtfehlerfunktion Beim Online-Lernen werden die Gewichte nach der Präsentation edes einzelnen Datums sofort angepasst. Die Richtung der Anpassung stimmt im Allgemeinen nicht mit der Gradientenrichtung überein. Werden die ingaben aber in zufälliger Reihenfolge ausgewählt, so wird im Mittel dem Gradienten gefolgt. Die Online-Version ist notwendig, wenn nicht alle Paare (x, t) zu Beginn des Lernens bekannt sind (Anpassung an neue Daten, adaptive Systeme), oder die Offline-Version zu aufwendig wäre. 225

30 Probleme von Backpropagation: Symmetry Breaking Bei vollständig schichtenweise verbundenen vorwärtsgerichteten Netzen dürfen die Gewichte nicht mit gleichem Wert initialisiert werden. Andernfalls erhalten die Gewichte zwischen zwei Schichten durch Backpropagation stets die gleichen Werte Ini: w i = a für alle i, Nach der Forward-Phase: o 4 = o 5 = o 6 4 = 5 = 6 w 14 = w 15 = w 16, w 24 = w 25 = w 26, w 34 = w 35 = w 36, w 47 = w 57 = w 67, w 48 = w 58 = w 68 Diese Situation gilt nach eder Forward-Phase. Durch solche Initialisierung entsteht also gewisse Symmetrie, die nicht mehr gebrochen werden! Lösung: Kleine, zufällige Werte für Anfangsgewichte. Netzeingabe net i für alle Neurone i ungefähr Null s (net i ) groß, und das Netz passt sich schnell an. 226

31 Probleme von Backpropagation: Lokale Minima Wie bei allen Gradientenverfahren kann Backpropagation in einem lokalen Minimum der Fehlerfläche hängen bleiben: s gibt keine Garantie dafür, dass ein globales Minimum (optimale Gewichte) gefunden wird. w 0 w 1 w 2 w 3 w Mit wachsender Anzahl der Verbindungen ( die Dimension des Gewichtsraums ist groß) wird die Fehlerfläche stärker zerklüftet. In einem lokalen Minimum zu landen wird wahrscheinlicher! Ausweg: Lernrate nicht zu klein wählen Mehrere verschiedene Initialisierungen der Gewichte probieren rfahrungsgemäß stellt das gefundene Minimum eine für die konkrete Anwendung akzeptable Lösung dar 227

32 Probleme von Backpropagation: Verlassen guter Minima Verlassen guter Minima: Die Größe der Gewichtsänderung hängt vom Betrag des Gradienten ab. Liegt ein gutes Minimum in einem steilen Tal, kann der Betrag des Gradienten so groß sein, dass das gute Minimum übersprungen und in der Umgebung eines schlechteren Minimums gelandet wird: w Ausweg: Lernrate nicht zu groß wählen Mehrere verschiedene Initialisierungen der Gewichte probieren rfahrungsgemäß stellt das gefundene Minimum eine für die konkrete Anwendung akzeptable Lösung dar 228

33 Probleme von Backpropagation: Flache Plateaus Flache Plateaus: Auf sehr flachen Fehlerfläche ist der Betrag des Gradienten klein und die Gewichte ändern sich entsprechend nur unwesentlich. Besonders viele Iterationsschritte (hoher Zeitaufwand fürs Training) In xtremfall findet überhaupt keine Korrektur der Gewichte statt! w 229

34 Probleme von Backpropagation: Oszillation Oszillation In steilen Schluchten kann das Verfahren oszillieren. An den Rändern einer steilen Schlucht kann die Gewichtsänderung dazu führen, dass von einer Seite zu anderen gesprungen wird, da der Gradient den gleichen Betrag aber das umgekehrte Vorzeichen besitzt: w 230

35 Modifikationen von Backpropagation s gibt viele Modifikationen zur Behebung der angesprochen Probleme. Alle beruhen auf Heuristiken: Sie bewirken in vielen Fällen eine schnelle Beschleunigung der Konvergenz. s gibt aber Fälle, wo die Annahme der Heuristiken nicht gegeben ist und eine Verschlechterung gegenüber dem klassischen Backpropagation-Verfahren eintritt. inige verbreitete Modifikationen: Momentum-Term (auch konugierter Gradientenabstieg): Zur Vermeindung von Problemen auf flachen Plateaus und in steilen Schluchten. Idee: rhöhung der Lernrate auf flachen Niveaus und Reduzierung in Tälern. Weight Decay Große Gewichte sind neurobiologisch unplausibel und verursachen steile und zerklüftete Fehlerfläche. Fehlerfunktion und Änderungsregel, die gleichzeitig die Gewichte minimieren (weight decay). Quickprop Heuristik: in Tal der Fehlerfläche (etwa ein lokales Minimum) kann durch eine nach oben offene Parabel annäherungsweise beschrieben werden. Idee: In einem Schritt zum Scheitelpunkt der Parabel (erwartetes Minimum der Fehlerfunktion) springen. 231

36 Zusammenfassung und Lernkontrolle zur 8. Vorlesung Grundformen des Lernens in neuronalen Netzen kennen Überwacht unüberwacht Idee des Lernens ohne Lehrer anhand des Concurrent Learning erläutern können Idee des Lernens durch Fehlerminimierung (mit Lehrer ) erläutern können Beispiel Backpropagation Backpropagation kennen Vorgehen Mögliche Probleme 232

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze. Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14. Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen

Mehr

Neuronale Netze (Konnektionismus)

Neuronale Netze (Konnektionismus) Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Konzepte der AI Neuronale Netze

Konzepte der AI Neuronale Netze Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale

Mehr

7. Vorlesung Neuronale Netze

7. Vorlesung Neuronale Netze Soft Control (AT 3, RMA) 7. Vorlesung Neuronale Netze Grundlagen 7. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation

Mehr

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer

Mehr

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1 Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches

Mehr

Hannah Wester Juan Jose Gonzalez

Hannah Wester Juan Jose Gonzalez Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron

Mehr

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen 6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1

Mehr

Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation

Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2013 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für

Mehr

Thema 3: Radiale Basisfunktionen und RBF- Netze

Thema 3: Radiale Basisfunktionen und RBF- Netze Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung

Mehr

Neuronale Netze mit mehreren Schichten

Neuronale Netze mit mehreren Schichten Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren

Mehr

3. Vorlesung Fuzzy Systeme

3. Vorlesung Fuzzy Systeme Soft Control (AT 3, RMA) 3. Vorlesung Fuzzy Systeme Fuzzy Mengen 3. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen

Mehr

Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation

Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2012 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für

Mehr

Lernregeln. Künstliche neuronale Netze. Professur Psychologie digitaler Lernmedien. Institut für Medienforschung Philosophische Fakultät

Lernregeln. Künstliche neuronale Netze. Professur Psychologie digitaler Lernmedien. Institut für Medienforschung Philosophische Fakultät Professur Psychologie digitaler Lernmedien Institut für Medienforschung Philosophische Fakultät Künstliche neuronale Netze Lernregeln Überblick Definition Lernregeln Hebb-Regel Delta-Regel Gradientenabstiegsverfahren

Mehr

12. Vorlesung Stochastische Optimierung

12. Vorlesung Stochastische Optimierung Soft Control (AT 3, RMA) 12. Vorlesung Stochastische Optimierung Differential Evolution 12. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter"

Mehr

Praktische Optimierung

Praktische Optimierung Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze

Mehr

5. Lernregeln für neuronale Netze

5. Lernregeln für neuronale Netze 5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1

Mehr

Neural Networks: Architectures and Applications for NLP

Neural Networks: Architectures and Applications for NLP Neural Networks: Architectures and Applications for NLP Session 02 Julia Kreutzer 8. November 2016 Institut für Computerlinguistik, Heidelberg 1 Overview 1. Recap 2. Backpropagation 3. Ausblick 2 Recap

Mehr

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform. (hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild

Mehr

12. Übung Künstliche Intelligenz Wintersemester 2006/2007

12. Übung Künstliche Intelligenz Wintersemester 2006/2007 12. Übung Künstliche Intelligenz Wintersemester 2006/2007 1. Contraints und Heuristiken Prof. Dr. Gerd Stumme, Miranda Grahl Fachgebiet Wissensverarbeitung 09.02.2006, mgr@cs.uni-kassel.de a) Beschreibe

Mehr

10. Vorlesung Stochastische Optimierung

10. Vorlesung Stochastische Optimierung Soft Control (AT 3, RMA) 10. Vorlesung Stochastische Optimierung Genetische Algorithmen 10. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter"

Mehr

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134 Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches

Mehr

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) 6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese

Mehr

Einige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel

Einige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel Einige überwachte Lernverfahren Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel Funktionsweise eines künstlichen Neurons x w k Neuron k x 2 w 2k net k f y k x n- w n-,k x n w n,k

Mehr

Grundlagen neuronaler Netzwerke

Grundlagen neuronaler Netzwerke AUFBAU DES NEURONALEN NETZWERKS Enrico Biermann enrico@cs.tu-berlin.de) WS 00/03 Timo Glaser timog@cs.tu-berlin.de) 0.. 003 Marco Kunze makunze@cs.tu-berlin.de) Sebastian Nowozin nowozin@cs.tu-berlin.de)

Mehr

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / 2015 8. Aufgabenblatt

Mehr

Kapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017

Kapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017 10.1 Sommersemester 2017 Problemstellung Welche Gerade? Gegeben sind folgende Messungen: Masse (kg) 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 Kraft (N) 1.6 2.2 3.2 3.0 4.9 5.7 7.1 7.3 8.1 Annahme: Es gibt eine Funktion

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze. Was sind künstliche Neuronale Netze?

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze. Was sind künstliche Neuronale Netze? Was sind künstliche Neuronale Netze? Vorlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Künstliche Neuronale Netze sind massiv parallel

Mehr

Backpropagation. feedforward Netze

Backpropagation. feedforward Netze Backpropagation Netze ohne Rückkopplung, überwachtes Lernen, Gradientenabstieg, Delta-Regel Datenstrom (Propagation) Input Layer hidden Layer hidden Layer Output Layer Daten Input Fehler Berechnung Fehlerstrom

Mehr

Optimierung. Optimierung. Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 2013 Thomas Brox, Fabian Kuhn

Optimierung. Optimierung. Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 2013 Thomas Brox, Fabian Kuhn Optimierung Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 1 Newton Verfahren Taylor Approximation 1. Ordnung von Newton Verfahren! 0 Setze 0und berechne Löse lineares Gleichungssystem für : 2

Mehr

Lineare Regression. Volker Tresp

Lineare Regression. Volker Tresp Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M

Mehr

Finanzmarktprognose mit neuronalen Netzen

Finanzmarktprognose mit neuronalen Netzen Reihe: Quantitative Ökonomie Band 131 Herausgegeben von Prof. Dr. Eckart Bomsdorf, Köln, Prof. Dr. Wim Kösters, Bochum, und Prof. Dr. Winfried Matthes, Wuppertal Dr. Christoph A. Hövel Finanzmarktprognose

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze Vorlesung Künstliche Intelligenz Wintersemester 2008/09 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale

Mehr

Linear nichtseparable Probleme

Linear nichtseparable Probleme Linear nichtseparable Probleme Mustererkennung und Klassifikation, Vorlesung No. 10 1 M. O. Franz 20.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht

Mehr

Grundlagen zu neuronalen Netzen. Kristina Tesch

Grundlagen zu neuronalen Netzen. Kristina Tesch Grundlagen zu neuronalen Netzen Kristina Tesch 03.05.2018 Gliederung 1. Funktionsprinzip von neuronalen Netzen 2. Das XOR-Beispiel 3. Training des neuronalen Netzes 4. Weitere Aspekte Kristina Tesch Grundlagen

Mehr

Neuronale Netze. Anna Wallner. 15. Mai 2007

Neuronale Netze. Anna Wallner. 15. Mai 2007 5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente

Mehr

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale

Mehr

Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck:

Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck: Diplomprüfung Informatik Kurs 1830 Neuronale Netze Prüfer: Prof. Dr. Helbig Beisitzer: Prodekan Prof. Dr. Hackstein Datum: 01.10.08 Note: 2,7 Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt,

Mehr

Hochschule Regensburg. Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer

Hochschule Regensburg. Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer Hochschule Regensburg Übung 44_ Multilayer-Perzeptron: Entwurf, Implementierung Bacpropagation Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer Name: Vorname: Multilayer-Perzeptrons (MLPs) sind

Mehr

MULTILAYER-PERZEPTRON

MULTILAYER-PERZEPTRON Einleitung MULTILAYER-PERZEPTRON Die Ausarbeitung befasst sich mit den Grundlagen von Multilayer-Perzeptronen, gibt ein Beispiel für deren Anwendung und zeigt eine Möglichkeit auf, sie zu trainieren. Dabei

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze Vorlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der

Mehr

Klassifikationsverfahren und Neuronale Netze

Klassifikationsverfahren und Neuronale Netze Klassifikationsverfahren und Neuronale Netze Hauptseminar - Methoden der experimentellen Teilchenphysik Thomas Keck 9.12.2011 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung

Mehr

6. Vorlesung Fuzzy Systeme

6. Vorlesung Fuzzy Systeme Soft Control (AT 3, RMA) 6. Vorlesung Fuzzy Systeme Entwurfsbeispiele 6. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation

Mehr

1 Einleitung. 2 Clustering

1 Einleitung. 2 Clustering Lernende Vektorquantisierung (LVQ) und K-Means-Clustering David Bouchain Proseminar Neuronale Netze Kurs-Nr.: CS4400 ISI WS 2004/05 david@bouchain.de 1 Einleitung Im Folgenden soll zum einen ein Überblick

Mehr

Technische Universität. Fakultät für Informatik

Technische Universität. Fakultät für Informatik Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Neuronale Netze - Supervised Learning Probleme des Backpropagation-Algorithmus und Alternativen Seminar

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial

Mehr

Multi-Layer Neural Networks and Learning Algorithms

Multi-Layer Neural Networks and Learning Algorithms Multi-Layer Neural Networks and Learning Algorithms Alexander Perzylo 22. Dezember 2003 Ausarbeitung für das Hauptseminar Machine Learning (2003) mit L A TEX gesetzt Diese Ausarbeitung ist eine Weiterführung

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?

Mehr

Weitere Untersuchungen hinsichtlich der Anwendung von KNN für Solvency 2. Tom Schelthoff

Weitere Untersuchungen hinsichtlich der Anwendung von KNN für Solvency 2. Tom Schelthoff Weitere Untersuchungen hinsichtlich der Anwendung von KNN für Solvency 2 Tom Schelthoff 30.11.2018 Inhaltsverzeichnis Deep Learning Seed-Stabilität Regularisierung Early Stopping Dropout Batch Normalization

Mehr

ISI-Proseminar NEURONALE NETZE. Thema: MULTILAYER PERZEPTRON. Ausarbeitung von. Roland Ritter Betreuer

ISI-Proseminar NEURONALE NETZE. Thema: MULTILAYER PERZEPTRON. Ausarbeitung von. Roland Ritter Betreuer ISI-Proseminar NEURONALE NETZE Thema: MULTILAYER PERZEPTRON Ausarbeitung von Roland Ritter rr@informatiuni-ulmde Betreuer Prof Heio Neumann Guillem Pagès Gassull Faultät für Informati, Abt Neuroinformati

Mehr

Einführung in neuronale Netze

Einführung in neuronale Netze Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?

Mehr

Lineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren

Lineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren Lineare Regression Christian Herta Oktober, 2013 1 von 33 Christian Herta Lineare Regression Lernziele Lineare Regression Konzepte des Maschinellen Lernens: Lernen mittels Trainingsmenge Kostenfunktion

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen

Mehr

Inhaltsverzeichnis. Einführung

Inhaltsverzeichnis. Einführung Inhaltsverzeichnis Einführung 1 Das biologische Paradigma 3 1.1 Neuronale Netze als Berechnungsmodell 3 1.1.1 Natürliche und künstliche neuronale Netze 3 1.1.2 Entstehung der Berechenbarkeitsmodelle 5

Mehr

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion

Mehr

Neuronale Netze. Christian Böhm.

Neuronale Netze. Christian Böhm. Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch

Mehr

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr.

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Neuronale Netze Maschinelles Lernen Michael Baumann Universität Paderborn Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Kleine Büning WS 2011/2012 Was ist ein neuronales Netz? eigentlich: künstliches

Mehr

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron

Mehr

Neuronale Netze I. Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München

Neuronale Netze I. Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München Neuronale Netze I Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München Email: florian.zipperle@tum.de Zusammenfassung Neuronale Netze werden im Bereich Data Mining

Mehr

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???

Mehr

Lernende Vektorquantisierung

Lernende Vektorquantisierung Lernende Vektorquantisierung (engl. Learning Vector Quantization) Rudolf Kruse Neuronale Netze 5 Motivation Bisher: festes Lernen, jetzt freies Lernen, d.h. es existieren keine festgelegten Klassenlabels

Mehr

11. Vorlesung Stochastische Optimierung

11. Vorlesung Stochastische Optimierung Soft Control (AT 3, RMA) 11. Vorlesung Stochastische Optimierung Simmulated Annealing 11. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter"

Mehr

Lernverfahren von Künstlichen Neuronalen Netzwerken

Lernverfahren von Künstlichen Neuronalen Netzwerken Lernverfahren von Künstlichen Neuronalen Netzwerken Untersuchung und Vergleich der bekanntesten Lernverfahren und eine Übersicht über Anwendung und Forschung im Bereich der künstlichen neuronalen Netzen.

Mehr

11. Neuronale Netze 1

11. Neuronale Netze 1 11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form

Mehr

Objekt Attributwerte Klassifizierung X Y

Objekt Attributwerte Klassifizierung X Y AUFGABE : Entscheidungsbäume Betrachten Sie das folgende Klassifizierungsproblem: bjekt Attributwerte Klassifizierung X Y A 3 B 2 3 + C 2 D 3 3 + E 2 2 + F 3 G H 4 3 + I 3 2 J 4 K 2 L 4 2 ) Bestimmen Sie

Mehr

Adaptive Resonance Theory

Adaptive Resonance Theory Adaptive Resonance Theory Jonas Jacobi, Felix J. Oppermann C.v.O. Universität Oldenburg Adaptive Resonance Theory p.1/27 Gliederung 1. Neuronale Netze 2. Stabilität - Plastizität 3. ART-1 4. ART-2 5. ARTMAP

Mehr

Von schwachen zu starken Lernern

Von schwachen zu starken Lernern Von schwachen zu starken Lernern Wir nehmen an, dass ein schwacher Lernalgorithmus L mit vielen Beispielen, aber großem Fehler ε = 1 2 θ gegeben ist. - Wie lässt sich der Verallgemeinerungsfehler ε von

Mehr

Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn

Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum

Mehr

Wissensbasierte Systeme

Wissensbasierte Systeme Analytisch lösbare Optimierungsaufgaben Das Chaos-Spiel gründet auf der folgenden Vorschrift: Man startet von einem beliebigen Punkt aus geht auf einer Verbindung mit einem von drei zufällig gewählten

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Künstliche Neuronale Netze Hauptseminar Martin Knöfel Dresden, 16.11.2017 Gliederung

Mehr

Mustererkennung. Übersicht. Unüberwachtes Lernen. (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren Gaussian-Mixture Modelle

Mustererkennung. Übersicht. Unüberwachtes Lernen. (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren Gaussian-Mixture Modelle Mustererkennung Unüberwachtes Lernen R. Neubecker, WS 01 / 01 Übersicht (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren 1 Lernen Überwachtes Lernen Zum Training des Klassifikators

Mehr

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt

Mehr

Grundlagen Neuronaler Netze

Grundlagen Neuronaler Netze Grundlagen Neuronaler Netze Neuronen, Aktivierung, Output, Netzstruktur, Lernziele, Training, Grundstruktur Der Begriff neuronales Netz(-werk) steht immer für künstliche neuronale Netzwerke, wenn nicht

Mehr

1 Umkehrfunktionen und implizite Funktionen

1 Umkehrfunktionen und implizite Funktionen Mathematik für Physiker III WS 2012/2013 Freitag 211 $Id: implizittexv 18 2012/11/01 20:18:36 hk Exp $ $Id: lagrangetexv 13 2012/11/01 1:24:3 hk Exp hk $ 1 Umkehrfunktionen und implizite Funktionen 13

Mehr

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine Verarbeitungseinheit für Zahlen mitneingängenx,...,x n und einem

Mehr

Intelligente Systeme. Einführung. Christian Moewes

Intelligente Systeme. Einführung. Christian Moewes Intelligente Systeme Einführung Prof. Dr. Rudolf Kruse Christian Moewes Georg Ruß {kruse,russ,cmoewes}@iws.cs.uni-magdeburg.de Arbeitsgruppe Computational Intelligence Institut für Wissens- und Sprachverarbeitung

Mehr

Genetische Algorithmen. Uwe Reichel IPS, LMU München 8. Juli 2008

Genetische Algorithmen. Uwe Reichel IPS, LMU München 8. Juli 2008 Genetische Algorithmen Uwe Reichel IPS, LMU München reichelu@phonetik.uni-muenchen.de 8. Juli 2008 Inhalt Einführung Algorithmus Erweiterungen alternative Evolutions- und Lernmodelle Inhalt 1 Einführung

Mehr

Die Datenmatrix für Überwachtes Lernen

Die Datenmatrix für Überwachtes Lernen Die Datenmatrix für Überwachtes Lernen X j j-te Eingangsvariable X = (X 0,..., X M 1 ) T Vektor von Eingangsvariablen M Anzahl der Eingangsvariablen N Anzahl der Datenpunkte Y Ausgangsvariable x i = (x

Mehr

Statistical Learning

Statistical Learning Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in

Mehr

Einfaches Framework für Neuronale Netze

Einfaches Framework für Neuronale Netze Einfaches Framework für Neuronale Netze Christian Silberbauer, IW7, 2007-01-23 Inhaltsverzeichnis 1. Einführung...1 2. Funktionsumfang...1 3. Implementierung...2 4. Erweiterbarkeit des Frameworks...2 5.

Mehr

Das Gradientenverfahren

Das Gradientenverfahren Das Gradientenverfahren - Proseminar: Algorithmen der Nichtlinearen Optimierung - David Beisel December 10, 2012 David Beisel Das Gradientenverfahren December 10, 2012 1 / 28 Gliederung 0 Einführung 1

Mehr

Extrema multivariater Funktionen

Extrema multivariater Funktionen Extrema multivariater Funktionen Ist f (x ) ein Minimum (Maximum) einer stetig differenzierbaren skalaren Funktion f auf einer Umgebung U von x, so gilt grad f (x ) = (0,..., 0) t. Extrema multivariater

Mehr

Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik Universität Rostock.

Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik Universität Rostock. Seite 1 Implementierung Neuronaler Netze mittels Digit-Online Algorithmen Vortrag im Rahmen des 10. Symposium Maritime Elektronik 2001 M.Haase, A.Wassatsch, D.Timmermann Seite 2 Gliederung Was sind Neuronale

Mehr

Neuronale Netze. Seminar aus Algorithmik Stefan Craß,

Neuronale Netze. Seminar aus Algorithmik Stefan Craß, Neuronale Netze Seminar aus Algorithmik Stefan Craß, 325656 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 2 Inhalt Theoretisches Modell Grundlagen Lernansätze

Mehr

6.2 Feed-Forward Netze

6.2 Feed-Forward Netze 6.2 Feed-Forward Netze Wir haben gesehen, dass wir mit neuronalen Netzen bestehend aus einer oder mehreren Schichten von Perzeptren beispielsweise logische Funktionen darstellen können Nun betrachten wir

Mehr

Kapitel VI Neuronale Netze

Kapitel VI Neuronale Netze Agenda Kapitel VI Neuronale Netze (basierend auf Material von Andreas Hotho) 1. - Motivation & Definition - Vorbild Biologie - Historie der NN - Überblick über verschiedene Netzwerktypen 2. 3. 4. Beispiele

Mehr

RL und Funktionsapproximation

RL und Funktionsapproximation RL und Funktionsapproximation Bisher sind haben wir die Funktionen V oder Q als Tabellen gespeichert. Im Allgemeinen sind die Zustandsräume und die Zahl der möglichen Aktionen sehr groß. Deshalb besteht

Mehr

Technische Universität. Fakultät für Informatik

Technische Universität. Fakultät für Informatik Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Unsupervised Learning Seminar Kognitive Robotik (SS12) Sebastian Fröhlich Betreuer: Florian Röhrbein Leitung:

Mehr