Neural Networks: Architectures and Applications for NLP
|
|
- Hanna Müller
- vor 6 Jahren
- Abrufe
Transkript
1 Neural Networks: Architectures and Applications for NLP Session 02 Julia Kreutzer 8. November 2016 Institut für Computerlinguistik, Heidelberg 1
2 Overview 1. Recap 2. Backpropagation 3. Ausblick 2
3 Recap
4 Multi-Layer-Perceptron: Regression NN(x) = σ(w 2 σ(w 1 x+b 1 )+b 2 ) Regression: NN(x) R Beispiel: W 1 R 4x3, b 1 R 3, W 2 R 3x1, b 2 R 1 3
5 Multi-Layer-Perceptron: Binäre Klassifikation NN(x) = σ(w 2 σ(w 1 x+b 1 )+b 2 ) Binäre Klassifikation: NN(x) R 2 Beispiel: W 1 R 4x3, b 1 R 3, W 2 R 3x2, b 2 R 2 4
6 Multi-Layer-Perceptron: Multinomiale Klassifikation NN(x) = σ(w 2 σ(w 1 x+b 1 )+b 2 ) Multinomiale Klassifikation: NN(x) R k k Ausgabeneuronen liefern Scores für k Klassen 5
7 Aktivierungsfunktionen f (z) f (z) f (z) sigmoid 1 1+exp(z) σ(z)(1 σ(z)) (0, 1) tanh hardtanh exp(2z) 1 exp(2z)+1 1 tanh 2 (z) ( 1, +1) 1 z < 1 1 z > 1 z otherwise { x 1 z 1 0 otherwise ( 1, +1) ReLU 1 max(0, z) { 1 z > 0 0 otherwise (0, ) 1 Rectified Linear Units, auch: hinge 6
8 Aktivierungsfunktionen tanh hardtanh sigmoid ReLU
9 softmax-funktion softmax erlaubt die Interpretation der Ausgabe als Wahrscheinlichkeitsverteilung über die k Klassen: softmax(o i ) = exp(o i) k j exp(o j ) P(ŷ = i x) = softmax(o i ) k i P(ŷ = i x) = 1 8
10 Klassifikation: Von der Netzausgabe zum Fehler Fehlerfunktionen vergleichen Verteilungen (P(y = i x) vs. P(ŷ = i x)) oder Scores für Klassen (z.b. multinomial 1 vs. o i ). Evaluationsmaße vergleichen meist die Klassenzuordnung (y vs. ŷ). Beispiel: Klassifikation mit 4 Klassen Gegeben: korrekte Klasse y = 1 Als One-Hot-Vektor: y = [0, 1, 0, 0] Netzausgabe: ŷ = [0.08, 0.25, 0.42, 0.25] Vorhergesagte Klasse: arg max i ŷ i = 2 9
11 Gradient Der Gradient einer Funktion gibt die Richtung des steilsten Anstiegs an. f (x) = f x 1 f x 2. f x n Die Einträge f x i sind partielle Ableitungen von f in x i -Richtung. 10
12 Batch Gradient Descent Algorithm 1 Batch Gradient Descent Input: Trainingset (x i, y i ) D Output: θ = arg min R D (θ) 1: for 1 N do N epochs 2: θ γ 1 D 3: end for D i L(f θ (x i ), y i ) θ Average gradients of training loss 11
13 Stochastic Gradient Descent (SGD) i Algorithm 2 Stochastic Gradient Descent Input: Trainingset (x i, y i ) D Output: θ = arg min R D (θ) 1: while stopping criterion not met do 2: Sample (x i, y i ) from D 3: θ γ L(f θ(x i ), y i ) θ 4: end while Gradients of one training sample Stopping criteria: convergence, fixed number of iterations,... 12
14 Stochastic Gradient Descent (SGD) ii In practice: Algorithm 3 Stochastic Gradient Descent (shuffle) Input: Trainingset (x i, y i ) D Output: θ = arg min R D (θ) 1: for 1 N do N epochs 2: Shuffle D Stochasticity 3: for i = 1... D do D iterations 4: θ γ L(f θ(x i ), y i ) θ 5: end for 6: end for Gradients of one training sample 13
15 Minibatch Gradient Descent i Algorithm 4 Minibatch Gradient Descent Input: Trainingset (x i, y i ) D Output: θ = arg min R D (θ) 1: while stopping criterion not met do 2: Sample minibatch of size s from D 3: θ γ 1 s 4: end while s i L(f θ (x i ), y i ) θ Average gradients of minibatch 14
16 Minibatch Gradient Descent ii In practice: Algorithm 5 Minibatch Gradient Descent (shuffle) Input: Trainingset (x i, y i ) D Output: θ = arg min R D (θ) 1: for 1 N do N epochs 2: Shuffle D 3: Split D into minibatches of size s 4: for i = 1... D do D iterations s s 5: θ γ 1 s 6: end for 7: end for s i L(f θ (x i ), y i ) θ Average gradients of minibatch 15
17 Gradient Descent Varianten [Bottou, 2004] 1. Batch Garantierte Konvergenz zu einem Minimum (konvex: global, non-konvex: lokal) Redundanz bei großen Trainingsets Aufwendige Berechnung der Gradienten 16
18 Gradient Descent Varianten [Bottou, 2004] 1. Batch Garantierte Konvergenz zu einem Minimum (konvex: global, non-konvex: lokal) Redundanz bei großen Trainingsets Aufwendige Berechnung der Gradienten 2. Stochastic schnellere Berechnung Online-Adaption höhere Varianz der Gradienten garantierte Konvergenz mit kleiner werdendem η 16
19 Gradient Descent Varianten [Bottou, 2004] 1. Batch Garantierte Konvergenz zu einem Minimum (konvex: global, non-konvex: lokal) Redundanz bei großen Trainingsets Aufwendige Berechnung der Gradienten 2. Stochastic schnellere Berechnung Online-Adaption höhere Varianz der Gradienten garantierte Konvergenz mit kleiner werdendem η 3. Minibatch Varianzreduktion im Vergleich zu SGD effiziente Berechnung mit NN-Libraries zusätzlicher Hyperparameter: Größe der Minibatches 16
20 Ableitungsregeln f (x) f (x) Konstante c 0 Vielfaches c f (x) c f (x) Summe g(x) + h(x) g (x) + h (x) Produkt g(x) h(x) g (x) h(x) + g(x) h (x) Kettenregel g(h(x)) g (h(x)) h (x) Potenz x n n x n 1 Exponentialfunktion exp(x) exp(x) 1 Logarithmusfunktionen ln(x) x a 1 log x x ln a 17
21 Backpropagation
22 Backpropagation: Idee Lernprozess: Klassifizierungsfehler Update der Gewichte Welche Gewichte eines tiefen Netzwerks müssen wie geändert werden? Backpropagation: Kettenregel zur Berechnung der Gradienten Wiederverwenden von Zwischenergebnissen 18
23 Backpropagation: Beispiel 1. Berechne NN(x) =σ(w 2 h)) =σ(w 2 σ(w 1 x)) =σ( j w j h j ) =σ( j w j σ( i w ij x i )) L(NN(x), y) = 1 2 (y NN(x))2 19
24 Backpropagation: Beispiel 2. Berechne a) Für jedes Gewicht in der letzten Schicht: L(NN(x), y) L(NN(x), y) NN(x) = w j NN(x) w j =(y NN(x)) σ( j w j h j ) w j =(y NN(x)) σ( j w j h j ) j w j h j =(y NN(x)) σ ( j w j h j ) h j j w j h j w j 20
25 Backpropagation: Beispiel 2. Berechne b) Für jedes Gewicht in der ersten Schicht: L(NN(x), y) L(NN(x), y) NN(x) = w ij NN(x) w ij =(y NN(x)) σ( j w j σ( i w ij x i )) w ij =(y NN(x)) σ( j w j σ( i w ij x i )) j w j σ( j w j σ( i w ij x i ) i w ij x i ) w ij =(y NN(x)) σ ( j w j h j ) j w j σ( i w ij x i ) w ij =(y NN(x)) σ ( j w σ( j h j ) w i w ij x i ) j i w ij x i =(y NN(x)) σ ( j w j h j ) w j σ ( i w ij x i ) x i i w ij x i w ij 21
26 Backpropagation: Beispiel 2. Berechne a) Für jedes Gewicht in der letzten Schicht: L(NN(x), y) L(NN(x), y) NN(x) = w j NN(x) w j =(y NN(x)) σ( j w j h j ) w j =(y NN(x)) σ( j w j h j ) j w j h j =(y NN(x)) σ ( j w j h j ) h j j w j h j w j 22
27 Backpropagation: Beispiel 2. Berechne b) Für jedes Gewicht in der ersten Schicht: L(NN(x), y) L(NN(x), y) NN(x) = w ij NN(x) w ij =(y NN(x)) σ( j w j σ( i w ij x i )) w ij =(y NN(x)) σ( j w j σ( i w ij x i )) j w j σ( j w j σ( i w ij x i ) i w ij x i ) w ij =(y NN(x)) σ ( j w j h j ) j w j σ( i w ij x i ) w ij =(y NN(x)) σ ( j w σ( i j h j ) w w ij x i ) j i w ij x i =(y NN(x)) σ ( j w j h j ) w j σ ( i w ij x i ) x i i w ij x i w ij 23
28 Backpropagation: Deltas Gradienten der Gewichte eines Neurons setzen sich aus dem skalierten Fehler aus den oberen Schicht und dem Output der unteren Schicht zusammen: Update-Regel: L(NN(x), y) w ij = L(NN(x), y) i w ij x i i w ij x i w ij =δ j out i w ij = η δ j out i 24
29 Backpropagation: Algorithmus i 1. Forward Pass vom Input- zum Output-Layer: Berechne die Ausgabe out für jedes Neuron Berechne die Netzausgabe NN(x) Berechne den Fehler L(NN(x), y) 25
30 Backpropagation: Algorithmus ii 2. Backward Pass vom Output- zum Input-Layer: Berechne den Fehler-Term δ für jedes Neuron Berechne das Gewichtsupdate w ij = η δ j out i 26
31 Computation Graph Backprop Repräsentation des NN als DAG: Knoten entsprechen Tensor-Operationen oder Variablen ( tensor ) Kanten geben die Weitergabe der Werte an ( flow ) Topologische Sortierung für Backpropagation Mehr: Chris Olah s Blogpost über Backprop mit Computation Graphs 27
32 Computation Graph MLP Abbildung 1: Graph ohne konkretes Input [Goldberg, 2015] 28
33 Computation Graph MLP Abbildung 2: Graph mit konkretem Input [Goldberg, 2015] 29
34 Computation Graph MLP Abbildung 3: Graph mit Input und Fehlerberechnung [Goldberg, 2015] 30
35 Ausblick
36 Nächstes Mal How to train your NN Probleme NLP-Anwendungen 31
37 Wer nicht lesen will muss hören Machine Learning Podcasts: This Week in Machine Learning and AI Talking Machines Learning Machines
38 References i Bottou, L. (2004). Stochastic learning. In Advanced lectures on machine learning, pages Springer. Goldberg, Y. (2015). A primer on neural network models for natural language processing. arxiv preprint arxiv:
Neuronale Netze mit mehreren Schichten
Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren
MehrKünstliche Neuronale Netze und Data Mining
Künstliche Neuronale Netze und Data Mining Catherine Janson, icasus GmbH Heidelberg Abstract Der Begriff "künstliche Neuronale Netze" fasst Methoden der Informationstechnik zusammen, deren Entwicklung
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische
MehrKapitel LF: IV. IV. Neuronale Netze
Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas LF: IV-39 Machine Learning c
MehrFakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016
Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online
MehrInhalt. 2. Caffe meets Java
Caffe-Einführung Inhalt 1. Caffe a. Installation b. Dateien eines Netzwerks c. Aufbau eines Netzwerks d. Verwendung eines Netzwerks e. Eigenes Beispiel für ein Netzwerk f. MNIST 2. Caffe meets Java Installation
MehrWas bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und
Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion
MehrMultivariate Analysis
Kapitel Multivariate Analysis Josef Leydold c 6 Mathematische Methoden I Multivariate Analysis / 38 Lernziele Funktionen in mehreren Variablen Graph und Niveaulinien einer Funktion in zwei Variablen Partielle
MehrSoftcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003
Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung
MehrNeuronale Netze (I) Biologisches Neuronales Netz
Neuronale Netze (I) Biologisches Neuronales Netz Im menschlichen Gehirn ist ein Neuron mit bis zu 20.000 anderen Neuronen verbunden. Milliarden von Neuronen beteiligen sich simultan an der Verarbeitung
MehrHandschrifterkennung mittels Multilayer Perceptron und Bagging auf dem Android Betriebssystem
Handschrifterkennung mittels Multilayer Perceptron und Bagging auf dem Android Betriebssystem Kai Groetenhardt Studiengang: Master Informatik 14. Juli 2012 Abstract Inhalt dieser Arbeit ist die Erläuterung
MehrMachine Learning - Maschinen besser als das menschliche Gehirn?
Machine Learning - Maschinen besser als das menschliche Gehirn? Seminar Big Data Science Tobias Stähle 23. Mai 2014 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der
MehrEinführung in neuronale Netze
Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze
MehrKapitel LF: IV. Multilayer-Perzeptrons und Backpropagation. Multilayer-Perzeptrons und Backpropagation. LF: IV Machine Learning c STEIN 2005-06
Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas 39 Multilayer-Perzeptrons und
MehrWirtschaftsmathematik für International Management (BA) und Betriebswirtschaft (BA)
Wirtschaftsmathematik für International Management (BA) und Betriebswirtschaft (BA) Wintersemester 2013/14 Hochschule Augsburg : Gliederung 1 Aussagenlogik 2 Lineare Algebra 3 Lineare Programme 4 Folgen
MehrNeuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer. 5. Aufgabenblatt: Neural Network Toolbox 1
Neuronale Netze, Fuzzy Control, Genetische Algorithmen Prof. Jürgen Sauer 5. Aufgabenblatt: Neural Network Toolbox 1 A. Mit Hilfe der GUI vom Neural Network erstelle die in den folgenden Aufgaben geforderten
MehrAlgorithmentheorie Randomisierung. Robert Elsässer
Algorithmentheorie 03 - Randomisierung Robert Elsässer Randomisierung Klassen von randomisierten Algorithmen Randomisierter Quicksort Randomisierter Primzahltest Kryptographie 2 1. Klassen von randomisierten
MehrSimulation neuronaler Netzwerke mit TIKAPP
Überblick Michael Hanke Sebastian Krüger Institut für Psychologie Martin-Luther-Universität Halle-Wittenberg Forschungskolloquium, SS 2004 Überblick Fragen 1 Was sind neuronale Netze? 2 Was ist TIKAPP?
MehrHochschule Regensburg. Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer
Hochschule Regensburg Übung 44_ Multilayer-Perzeptron: Entwurf, Implementierung Bacpropagation Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer Name: Vorname: Multilayer-Perzeptrons (MLPs) sind
MehrJan Parthey, Christin Seifert. 22. Mai 2003
Simulation Rekursiver Auto-Assoziativer Speicher (RAAM) durch Erweiterung eines klassischen Backpropagation-Simulators Jan Parthey, Christin Seifert jpar@hrz.tu-chemnitz.de, sech@hrz.tu-chemnitz.de 22.
MehrEin Vergleich von Methoden für Multi-klassen Support Vector Maschinen
Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen Einführung Auf binären Klassifikatoren beruhende Methoden One-Against-All One-Against-One DAGSVM Methoden die alle Daten zugleich betrachten
MehrStructurally Evolved Neural Networks for Forecasting
Structurally Evolved Neural Networks for Forecasting - Strukturierte neuronale Netze für Vorhersagen Institut für Informatik - Ausgewählte Kapitel aus dem Bereich Softcomputing Agenda Grundlagen Neuronale
MehrComputer Vision: AdaBoost. D. Schlesinger () Computer Vision: AdaBoost 1 / 10
Computer Vision: AdaBoost D. Schlesinger () Computer Vision: AdaBoost 1 / 10 Idee Gegeben sei eine Menge schwacher (einfacher, schlechter) Klassifikatoren Man bilde einen guten durch eine geschickte Kombination
MehrCustomization (Zuschneiden)
Customization (Zuschneiden) Anpassen der (Graph)Datenstruktur an die Anwendung. I Ziel: schnell, kompakt. I benutze Entwurfsprinzip: make the common case fast I Listen vermeiden Mögliches Problem: Software-Engineering-Alptraum
MehrNeuronale Netze. Prof. Dr. Rudolf Kruse Christoph Doell, M.Sc.
Neuronale Netze Prof. Dr. Rudolf Kruse Christoph Doell, M.Sc. Computational Intelligence Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik kruse@iws.cs.uni-magdeburg.de Christoph Doell,
MehrProseminar - Data Mining
Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2012, SS 2012 1 Data Mining Pipeline Planung Aufbereitung Modellbildung Auswertung Wir wollen nützliches Wissen
MehrRechnerische Komplexität
Proseminar Effiziente Algorithmen SS 2002 Rechnerische Komplexität Ulrike Krönert (34180) 0. Inhalt 1. Einführung 2. Algorithmen und Komplexität 2.1. Algorithmen 2.2. Laufzeitabschätzung 2.3. Polynomialzeit
MehrIBM SPSS Neural Networks
IBM SPSS Neural Networks Neue Tools für die Erstellung von Vorhersagemodellen Highlights Untersuchen subtiler oder verdeckter Muster in den Daten Erstellen leistungsfähigerer Modelle Keine Programmierung
MehrTechnische Universität. Fakultät für Informatik
Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Neuronale Netze - Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Betreuer: Dr. Florian
MehrKapitel 4: Dynamische Datenstrukturen. Algorithmen und Datenstrukturen WS 2012/13. Prof. Dr. Sándor Fekete
Kapitel 4: Dynamische Datenstrukturen Algorithmen und Datenstrukturen WS 2012/13 Prof. Dr. Sándor Fekete 4.4 Binäre Suche Aufgabenstellung: Rate eine Zahl zwischen 100 und 114! Algorithmus 4.1 INPUT: OUTPUT:
MehrInhaltsverzeichnis. 1 Lineare Algebra 12
Inhaltsverzeichnis 1 Lineare Algebra 12 1.1 Vektorrechnung 12 1.1.1 Grundlagen 12 1.1.2 Lineare Abhängigkeit 18 1.1.3 Vektorräume 22 1.1.4 Dimension und Basis 24 1.2 Matrizen 26 1.2.1 Definition einer
MehrVorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke
Vorlesungsplan 17.10. Einleitung 24.10. Ein- und Ausgabe 31.10. Reformationstag, Einfache Regeln 7.11. Naïve Bayes, Entscheidungsbäume 14.11. Entscheidungsregeln, Assoziationsregeln 21.11. Lineare Modelle,
Mehr18 Höhere Ableitungen und Taylorformel
8 HÖHERE ABLEITUNGEN UND TAYLORFORMEL 98 8 Höhere Ableitungen und Taylorformel Definition. Sei f : D R eine Funktion, a D. Falls f in einer Umgebung von a (geschnitten mit D) differenzierbar und f in a
MehrKünstliche Neuronale Netze als Neues Paradigma der Informationsverarbeitung
Künstliche Neuronale Netze als Neues Paradigma der Informationsverarbeitung Raúl Rojas FB Mathematik und Informatik Freie Universität Berlin. Die biologische Motivation Neuronale Netze bilden ein alternatives
MehrEinführung in Neuronale Netze
Wintersemester 2005/2006 VO 181.138 Einführung in die Artificial Intelligence Einführung in Neuronale Netze Oliver Frölich Abteilung für Datenbanken und Artificial Intelligence Institut für Informationssysteme
MehrAm Dienstag, den 16. Dezember, ist Eulenfest. 1/48
Am Dienstag, den 16. Dezember, ist Eulenfest. 1/48 Grundbegriffe der Informatik Einheit 12: Erste Algorithmen in Graphen Thomas Worsch Universität Karlsruhe, Fakultät für Informatik Wintersemester 2008/2009
MehrAlgorithmen und Datenstrukturen 2
Algorithmen und Datenstrukturen 2 Sommersemester 2007 4. Vorlesung Peter F. Stadler Universität Leipzig Institut für Informatik studla@bioinf.uni-leipzig.de Traversierung Durchlaufen eines Graphen, bei
MehrProseminar - Data Mining
Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2014, SS 2014 1 Data Mining: Beispiele (1) Hausnummererkennung (Klassifikation) Source: http://arxiv.org/abs/1312.6082,
Mehr3.4 Asymptotische Evaluierung von Sch atzer Konsistenz Konsistenz Definition 3.4.1: konsistente Folge von Sch atzer
3.4 Asymptotische Evaluierung von Schätzer 3.4.1 Konsistenz Bis jetzt haben wir Kriterien basierend auf endlichen Stichproben betrachtet. Konsistenz ist ein asymptotisches Kriterium (n ) und bezieht sich
MehrWirtschaftsmathematik Plus für International Management (BA) und Betriebswirtschaft (BA)
Wirtschaftsmathematik Plus für International Management (BA) und Betriebswirtschaft (BA) Wintersemester 2012/13 Hochschule Augsburg Aufgabe 98 12.12.2012 Untersuchen Sie die Funktion f W R! R mit f.x/
MehrPraktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider
Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training des XOR-Problems mit einem Künstlichen Neuronalen Netz (KNN) in JavaNNS 11.04.2011 2_CI2_Deckblatt_XORbinaer_JNNS_2
MehrOptimierungsprobleme. B. Langfeld, M. Ritter, B. Wilhelm Diskrete Optimierung: Fallstudien aus der Praxis
Optimierungsprobleme Instanz eines Optimierungsproblems zulässiger Bereich (meist implizit definiert) Zielfunktion Optimierungsrichtung opt {max, min} Optimierungsproblem Menge von Instanzen meist implizit
MehrLernstrategien für Neuronale Netze - Der Backpropagation-Algorithmus
Lernstrategien für Neuronale Netze - Der Backpropagation-Algorithmus Im Unterschied zu den bisher behandelten NNs mit Schwellwertfunktionen sind die NNs mit stetig differenzierbaren nichtlinearen Aktivierungsfunktionen
MehrAlgorithmen II Vorlesung am 15.11.2012
Algorithmen II Vorlesung am 15.11.2012 Kreisbasen, Matroide & Algorithmen INSTITUT FÜR THEORETISCHE INFORMATIK PROF. DR. DOROTHEA WAGNER KIT Universität des Landes Baden-Württemberg und Algorithmen nationales
MehrEntwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion
Entwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion Vortrag Seminararbeit David Pogorzelski Aachen, 22.01.2015 Agenda 1 2 3 4 5 Ziel der
MehrSkriptum zum ersten Teil der Einführung in die Wissensverarbeitung
Skriptum zum ersten Teil der Einführung in die Wissensverarbeitung Prof. Dr. Wolfgang Maass Institut für Grundlagen der Informationsverarbeitung Technische Universität Graz 5. März 2008 Achtung: Dies Skriptum
MehrOptimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum
MehrElementare Bildverarbeitungsoperationen
1 Elementare Bildverarbeitungsoperationen - Kantenerkennung - 1 Einführung 2 Gradientenverfahren 3 Laplace-Verfahren 4 Canny-Verfahren 5 Literatur 1 Einführung 2 1 Einführung Kantenerkennung basiert auf
MehrLEHRPLAN MATHEMATIK SPORT- UND MUSIKKLASSE
LEHRPLAN MATHEMATIK SPORT- UND MUSIKKLASSE STUNDENDOTATION GF EF 3. KLASSE 1. SEM. 4 2. SEM. 4 4. KLASSE 1. SEM. 3 2. SEM. 3 5. KLASSE 1. SEM. 3 2. SEM. 3 6. KLASSE 1. SEM. 3 2 2. SEM. 3 2 7. KLASSE 1.
MehrDas Perzeptron. Künstliche neuronale Netze. Sebastian Otte. 1 Grundlegendes. 2 Perzeptron Modell
Fachbereich Design Informatik Medien Studiengang Master Informatik Künstliche neuronale Netze Das Perzeptron Sebastian Otte Dezember 2009 1 Grundlegendes Als Perzeptron bezeichnet man eine Form von künstlichen
MehrNewton-Verfahren zur gleichungsbeschränkten Optimierung. 1 Gleichungsbeschränkte Optimierungsprobleme
Newton-Verfahren zur gleichungsbeschränkten Optimierung Armin Farmani Anosheh (afarmani@mail.uni-mannheim.de) 3.Mai 2016 1 Gleichungsbeschränkte Optimierungsprobleme Einleitung In diesem Vortrag geht es
MehrZeit- und Ressourcenplanung leicht gemacht - Unterstützung durch Simulation
- für Zeit- und Ressourcenplanung leicht gemacht - Unterstützung durch Simulation Zeit- und Ressourcenplanung leicht gemacht - Unterstützung durch Simulation Thomas Hanne *, Patrick Lang, Stefan Nickel,
MehrFachcurriculum Mathematik Klasse 9/10
Stromberg-Gymnasium Vaihingen an der Enz Fachcurriculum Mathematik Klasse 9/10 Klasse 9 Vernetzung In allen Lerneinheiten sollten die folgenden Kompetenzen an geeigneten Beispielen weiterentwickelt werden:
MehrOptimierung. Florian Jarre Josef Stoer. Springer
2008 AGI-Information Management Consultants May be used for personal purporses only or by libraries associated to dandelon.com network. Florian Jarre Josef Stoer Optimierung Springer Inhaltsverzeichnis
MehrAlgorithms for Regression and Classification
Fakultät für Informatik Effiziente Algorithmen und Komplexitätstheorie Algorithms for Regression and Classification Robust Regression and Genetic Association Studies Robin Nunkesser Fakultät für Informatik
MehrFunktionen mehrerer Variabler
Funktionen mehrerer Variabler Fakultät Grundlagen Juli 2015 Fakultät Grundlagen Funktionen mehrerer Variabler Übersicht Funktionsbegriff 1 Funktionsbegriff Beispiele Darstellung Schnitte 2 Partielle Ableitungen
MehrProgrammieren in natürlicher Sprache: Alice-Kontrollstrukturen
Programmieren in natürlicher Sprache: Alice-Kontrollstrukturen Bachelorarbeit betreut von Mathias Landhäußer Ronny Hug 20. August 2014 IPD TICHY KIT Universität des Landes Baden-Württemberg und nationales
Mehrx 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen
5.1 Lernen mit Entscheidungsbäumen Falls zum Beispiel A = {gelb, rot, blau} R 2 und B = {0, 1}, so definiert der folgende Entscheidungsbaum eine Hypothese H : A B (wobei der Attributvektor aus A mit x
MehrKernel, Perceptron, Regression. Erich Schubert, Arthur Zimek. 2014-07-20 KDD Übung
Kernel, Perceptron, Regression Erich Schubert, Arthur Zimek Ludwig-Maximilians-Universität München 2014-07-20 KDD Übung Kernel-Fukctionen Kernel kann mehrdeutig sein! Unterscheidet zwischen: Kernel function
MehrComputational Intelligence I Künstliche Neuronale Netze
Computational Intelligence I Künstliche Neuronale Nete Universität Dortmund, Informatik I Otto-Hahn-Str. 6, 44227 Dortmund lars.hildebrand@uni-dortmund.de Inhalt der Vorlesung 0. Organisatorisches & Vorbemerkungen.
MehrThema 4 Limiten und Stetigkeit von Funktionen
Thema 4 Limiten und Stetigkeit von Funktionen Wir betrachten jetzt Funktionen zwischen geeigneten Punktmengen. Dazu wiederholen wir einige grundlegende Begriffe und Schreibweisen aus der Mengentheorie.
MehrData Mining mit der SEMMA Methodik. Reinhard Strüby, SAS Institute Stephanie Freese, Herlitz PBS AG
Data Mining mit der SEMMA Methodik Reinhard Strüby, SAS Institute Stephanie Freese, Herlitz PBS AG Data Mining Data Mining: Prozeß der Selektion, Exploration und Modellierung großer Datenmengen, um Information
MehrKern- und Schulcurriculum Mathematik Klasse 9/10. Stand Schuljahr 2009/10
Kern- und Schulcurriculum Mathematik /10 Stand Schuljahr 2009/10 Fett und kursiv dargestellte Einheiten gehören zum Schulcurriculum In allen Übungseinheiten kommt die Leitidee Vernetzung zum Tragen - Hilfsmittel
MehrBioinformatik I (Einführung)
Kay Diederichs, Sommersemester 2015 Bioinformatik I (Einführung) Algorithmen Sequenzen Strukturen PDFs unter http://strucbio.biologie.unikonstanz.de/~dikay/bioinformatik/ Klausur: Fr 17.7. 10:00-11:00
MehrVorlesung 3 MINIMALE SPANNBÄUME
Vorlesung 3 MINIMALE SPANNBÄUME 72 Aufgabe! Szenario: Sie arbeiten für eine Firma, die ein Neubaugebiet ans Netz (Wasser, Strom oder Kabel oder...) anschließt! Ziel: Alle Haushalte ans Netz bringen, dabei
MehrDatenbankanwendung. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2014/15. smichel@cs.uni-kl.de
Datenbankanwendung Wintersemester 2014/15 Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern smichel@cs.uni-kl.de Wiederholung: Anfragegraph Anfragen dieses Typs können als Graph dargestellt werden: Der
MehrEntscheidungsbäume. Definition Entscheidungsbaum. Frage: Gibt es einen Sortieralgorithmus mit o(n log n) Vergleichen?
Entscheidungsbäume Frage: Gibt es einen Sortieralgorithmus mit o(n log n) Vergleichen? Definition Entscheidungsbaum Sei T ein Binärbaum und A = {a 1,..., a n } eine zu sortierenden Menge. T ist ein Entscheidungsbaum
Mehrweitere Modelle und Methoden
weitere Modelle und Methoden LVQ-Netze, competetive learning, counterpropagation, motorische karten, adaptive resonance theory LVQ Struktur Lernende Vektor-Quantisierung Input-Raum mit Distanz-Funktion
MehrNichtlineare Gleichungssysteme
Kapitel 2 Nichtlineare Gleichungssysteme Problem: Für vorgegebene Abbildung f : D R n R n finde R n mit oder ausführlicher f() = 0 (21) f 1 ( 1,, n ) = 0, f n ( 1,, n ) = 0 Einerseits führt die mathematische
Mehr2. Repräsentationen von Graphen in Computern
2. Repräsentationen von Graphen in Computern Kapitelinhalt 2. Repräsentationen von Graphen in Computern Matrizen- und Listendarstellung von Graphen Berechnung der Anzahl der verschiedenen Kantenzüge zwischen
MehrÜbersicht. Rot-schwarz Bäume. Rot-schwarz Bäume. Beispiel. Eigenschaften. Datenstrukturen & Algorithmen. Rot-schwarz Bäume Eigenschaften Einfügen
Datenstrukturen & Algorithmen Übersicht Rot-schwarz Bäume Eigenschaften Einfügen Matthias Zwicker Universität Bern Frühling 2009 2 Rot-schwarz Bäume Binäre Suchbäume sind nur effizient wenn Höhe des Baumes
MehrKünstliche Neuronale Netze (KNN)
Künstliche Neuronale Netze (KNN) Die von Neuronalen Netzen ausgehende Faszination besteht darin, dass sie in der Lage sind, in einigen Fällen Probleme von hoher Kompleität mit einfachen Mitteln zu lösen.
MehrScheduling und Lineare ProgrammierungNach J. K. Lenstra, D. B. Shmoys und É.
Scheduling und Lineare ProgrammierungNach J. K. Lenstra, D. B. Shmoys und É. Tardos Janick Martinez Esturo jmartine@techfak.uni-bielefeld.de xx.08.2007 Sommerakademie Görlitz Arbeitsgruppe 5 Gliederung
MehrPrincipal Component Analysis (PCA)
Principal Component Analysis (PCA) Motivation: Klassifikation mit der PCA Berechnung der Hauptkomponenten Theoretische Hintergründe Anwendungsbeispiel: Klassifikation von Gesichtern Weiterführende Bemerkungen
MehrMachine Learning - Maschinen besser als das menschliche Gehirn?
Machine Learning - Maschinen besser als das menschliche Gehirn? Tobias Stähle 23.05.2014 1 Einführung 1.1 Was ist Machine Learning? Während am Anfang Computer noch auf das reine Ausrechnen beschränkt waren
MehrMaschinelles Lernen Entscheidungsbäume
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Entscheidungsbäume Paul Prasse Entscheidungsbäume Eine von vielen Anwendungen: Kreditrisiken Kredit - Sicherheiten
MehrEffiziente Algorithmen und Datenstrukturen I. Kapitel 9: Minimale Spannbäume
Effiziente Algorithmen und Datenstrukturen I Kapitel 9: Minimale Spannbäume Christian Scheideler WS 008 19.0.009 Kapitel 9 1 Minimaler Spannbaum Zentrale Frage: Welche Kanten muss ich nehmen, um mit minimalen
MehrProposal zur Masterarbeit. Kombination der neuroevolutionären Methoden EANT mit Q-Learning und CMA-ES
Proposal zur Masterarbeit Kombination der neuroevolutionären Methoden EANT mit Q-Learning und CMA-ES Tchando Kongue Einleitung Neuroevolutionäre Algorithmen sind Methoden, die durch die Benutzung von genetischen
MehrInnovative Information Retrieval Verfahren
Thomas Mandl Innovative Information Retrieval Verfahren Hauptseminar Wintersemester 2004/2005 Letzte Sitzung Grundlagen Heterogenität Ursachen Beispiele Lösungsansätze Visualisierung 2D-Karten heute Maschinelles
MehrSoftware Maintenance. Program Slicing im Software Maintenance. Fehlerlokalisierung UNIV.-PROF. DIPL.-ING. DR. FRANZ WOTAWA
Software Maintenance UNIV.-PROF. DIPL.-ING. DR. FRANZ WOTAWA Technische Universität Graz, Institut für Softwaretechnologie wotawa@ist.tugraz.at Program Slicing im Software Maintenance Program Slicing kann
MehrPersonalisierung. Der Personalisierungsprozess Nutzerdaten erheben aufbereiten auswerten Personalisierung. Data Mining.
Personalisierung Personalisierung Thomas Mandl Der Personalisierungsprozess Nutzerdaten erheben aufbereiten auswerten Personalisierung Klassifikation Die Nutzer werden in vorab bestimmte Klassen/Nutzerprofilen
MehrLineare Programmierung
Lineare Programmierung WS 2003/04 Rolle der Linearen Programmierung für das TSP 1954: Dantzig, Fulkerson & Johnson lösen das TSP für 49 US-Städte (ca. 6.2 10 60 mögliche Touren) 1998: 13.509 Städte in
MehrExponential- & Logarithmusfunktionen
Exponential- & Logarithmusfunktionen Referenten: Paul Schmelz & Wadim Krapp Fachlehrer: Herr Wettlaufer Fach: Mathematik Thema: Exponential- & Logarithmusfunktionen Inhaltsverzeichnis file:///d /Refs/_To%20Do/zips/ExponentialLogarithmusfunktionen.html
MehrPredictive Modeling for Sports and Gaming Eine Präsentation von Manuel Wolf
Predictive Modeling for Sports and Gaming Eine Präsentation von Manuel Wolf 28.05.14 Inhalt Die Glückssträhne Statistische Simulationen Baseball, Basketball & andere Sportarten Maschinelles Lernen Windhund-und
MehrBayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V.
MehrFACHCURRICULUM KL. 9. Raum und Form Figuren zentrisch strecken Üben und Festigen. Strahlensätze. Rechtwinklige Dreiecke.
MATHEMATIK Schönbuch-Gymnasium Holzgerlingen Seite 1/5 Ähnliche Figuren - Strahlensätze Figuren zentrisch strecken Eigenschaften der zentrischen Streckung kennen und Zentrische Streckung anwenden Strahlensätze
MehrOptimierung für Nichtmathematiker
Optimierung für Nichtmathematiker Typische Prüfungsfragen Die folgenden Fragen dienen lediglich der Orientierung und müssen nicht den tatsächlichen Prüfungsfragen entsprechen. Auch Erkenntnisse aus den
MehrIBM SPSS Neural Networks 22
IBM SPSS Neural Networks 22 Hinweis Vor Verwendung dieser Informationen und des darin beschriebenen Produkts sollten die Informationen unter Bemerkungen auf Seite 21 gelesen werden. Produktinformation
MehrKünstliche Neuronale Netze
Künstliche Neuronale Netze Modul Informatik Seminar Simon Krenger, Frühlingssemester 2015 Studiengang: Informatik Autor: Simon Krenger Betreuer: Prof. Dr. Jürgen Eckerle Datum: 25.05.2015 Berner Fachhochschule
MehrZusammenfassung - Mathematik
Mathematik Seite 1 Zusammenfassung - Mathematik 09 October 2014 08:29 Version: 1.0.0 Studium: 1. Semester, Bachelor in Wirtschaftsinformatik Schule: Hochschule Luzern - Wirtschaft Author: Janik von Rotz
MehrChapter 1 : þÿ b e t a t h o m e k o s t e n l o s e r G e l d c h a p t e r
Chapter 1 : þÿ b e t a t h o m e k o s t e n l o s e r G e l d c h a p t e r þÿ ) A n m e l d u n g u n d R e g i s t r i e r u n g f u n k t i o n i e r e n, s o w i e ü b e r a l l s o n s t & n b s
MehrChapter 1 : þÿ w a s i s t B a n k i e r W e t t e a u f b e t a t h o m e c h a p t e r
Chapter 1 : þÿ w a s i s t B a n k i e r W e t t e a u f b e t a t h o m e c h a p t e r þÿ T E N N I S - A T P, b e t - a t - h o m e C u p 2 0 1 4. T i r o l s c h e i n t e i n g u t e r B o d e n f
MehrVorlesung Algorithmische Geometrie. Streckenschnitte. Martin Nöllenburg 19.04.2011
Vorlesung Algorithmische Geometrie LEHRSTUHL FÜR ALGORITHMIK I INSTITUT FÜR THEORETISCHE INFORMATIK FAKULTÄT FÜR INFORMATIK Martin Nöllenburg 19.04.2011 Überlagern von Kartenebenen Beispiel: Gegeben zwei
MehrAufabe 7: Baum-Welch Algorithmus
Effiziente Algorithmen VU Ausarbeitung Aufabe 7: Baum-Welch Algorithmus Florian Fest, Matr. Nr.0125496 baskit@generationfun.at Claudia Hermann, Matr. Nr.0125532 e0125532@stud4.tuwien.ac.at Matteo Savio,
Mehrx A, x / A x ist (nicht) Element von A. A B, A B A ist (nicht) Teilmenge von B. A B, A B A ist (nicht) echte Teilmenge von B.
SBP Mathe Grundkurs 1 # 0 by Clifford Wolf # 0 Antwort Diese Lernkarten sind sorgfältig erstellt worden, erheben aber weder Anspruch auf Richtigkeit noch auf Vollständigkeit. Das Lernen mit Lernkarten
MehrKapitel IR:I. I. Einführung. Retrieval-Szenarien Begriffsbildung Einordnung Information Retrieval
Kapitel IR:I I. Einführung Retrieval-Szenarien Begriffsbildung Einordnung Information Retrieval IR:I-1 Introduction STEIN 2005-2010 Retrieval-Szenarien Liefere Dokumente, die die Terme «Information» und
MehrAufbau und Beschreibung Neuronaler Netzwerke
Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser
MehrAnwendungen der Wirtschaftsmathematik und deren Einsatz im Schulunterricht
Anwendungen der Wirtschaftsmathematik und deren Einsatz im Schulunterricht Beispiele wirtschaftsmathematischer Modellierung Lehrerfortbildung, Speyer, Juni 2004-1- Beispiele wirtschaftsmathematischer Modellierung
MehrGliederung. Biologische Motivation Künstliche neuronale Netzwerke. Anwendungsbeispiele Zusammenfassung. Das Perzeptron
Neuronale Netzwerke Gliederung Biologische Motivation Künstliche neuronale Netzwerke Das Perzeptron Aufbau Lernen und Verallgemeinern Anwendung Testergebnis Anwendungsbeispiele Zusammenfassung Biologische
Mehr