Martin Stetter WS 03/04, 2 SWS. VL: Dienstags 8:30-10 Uhr
|
|
- Anneliese Bayer
- vor 5 Jahren
- Abrufe
Transkript
1 Statistische und neuronale Lernverfahren Martin Stetter WS 03/04, 2 SWS VL: Dienstags 8:30-0 Uhr PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren
2 Behandelte Themen 0. Motivation : Lernen in Statistik und Biologie. Wahrscheinlichkeitstheorie: Grundlagen und Definitionen 2. Überblick über statistische Datenmodellierungs-Verfahren 3. Lernen von Datenmodellen Bayes sches Schließen (Inferenz) Maximum-Likelihood Parameterschätzung ML und Fehlerminimierung Generalisierung und Regularisierung Optimierungsverfahren 4. Neuronale Lernverfahren für Klassifikation Perceptron, Soft-Margin Classifiers, Support Vector Machine, Kernel-Klassifikation 5. Neuronale Lernverfahren für Regression Lineare Modelle, Multilagen-Perceptron, Radiale Basisfunktionen, Kernel-Regression 4. Bayes-Belief-Netze PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren 2
3 Behandelte Themen 0. Motivation : Lernen in Statistik und Biologie 2. Überblick über statistische Datenmodellierungs-Verfahren 3. Lineare Modelle (Regression) 4. Selbstorganisierende Karten, Bayes-Belief-Netze (Dichteschätzung) 5. Perceptron und Multilagen-Perceptron (Funktionsapproximation) 6. Lernen von Datenmodellen Bayes sches Schließen (Inferenz) Maximum-Likelihood Parameterschätzung ML und Fehlerminimierung Generalisierung und Regularisierung Optimierungsverfahren 7. Kernel-Trick und Support Vector Machine Perceptron, Soft-Margin Classifiers, Support Vector Machine, Kernel-Klassifikation PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren 3
4 Literatur Statistische Lernverfahren: B. Schölkopf, A. Smola: Learning with Kernels. MIT Press, Cambridge, MA (2002) Statistische und neuronale Verfahren: C. M. Bishop, Neural Networks for Pattern Recognition, Clarendon Press Oxford (995) Neuronale Netze: J. Hertz, A. Krogh, R. G. Palmer, Introduction to the Theory of Neural Computation, Addison Wesley, Redwood City CA (99) Gehirn und Nervenzellen, Computational Neuroscience: M. Stetter, Exploration of Cortical Function, Kluwer Academic Publishers, Boston Dordrecht (2002) Bioinformatik und System-Biologie P. Baldi, G. W. Hatfield, DNA Microarrays and Gene Expression, Cambridge University Press Cambridge, MA (2002) PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren 4
5 Einführung: Lernen in Statistik und Biologie Biologisches Lernen Maschinelles Lernen Erkennen von Zusammenhängen im Lebensraum Synaptische Plastizität im Gehirn Erkennen von statistischer Struktur in Datensätzen Einstellung der Modellparameter Erlernen von Fähigkeiten aus Beispielen (prozedurales Lernen) Finden einfacher Lösungen Schlußfolgern Optimierung eines Modells Regularisiertes Lernen Bayes sches Schließen (Inferenz) 5
6 Statistisches Lernen: Beispiel Statistisches / Maschinelles Lernen: Entdeckung von Struktur in Daten Beispiel: 2D-Klassifikation: M Fiktive Daten eines Geldinstituts: x 2 y ( i) = 0 Datenpunkt x = Abgehobener Geldbetrag x 2 = Häufigkeit Abhebevorgänge x = ( x, x 2) = Muster (i) x y ( j) = y = Scheckkartenbetrug (=ja, 0=nein) y = Klassenlabel, Soll, Output ( x, y ) K ( x ( ) () ( M ) ( M ), y ) Ziel: Lerne Klassifikationsregel, um künftige Betrüger frühzeitig an ihrem Verhalten zu erkennen. w x 6
7 Lernen eines Klassifikators: Linearer Klassifikator: y ˆ = Θ( w x + b) ( w, b) = Parametersatz, Modell, Θ( x) =, x 0 Hypothese Lernen : Finde besten Parametersatz Θ( x) = 0, x < 0 w x : = w x + w x 2 x 2 2 (m) x Separierende Hyperebene w x + b =0 ( m) y = 0 Datenpunkt w c yˆ = 0 c + yˆ = + x Offline-Lernen: c + / = M + / + { m y ( m) ŵ = c c b ˆ = w ( c c + + x ( m) =± } ) / 2 Klassenzentren Online-Lernen (Beispiel für b=0): Für jeden Datenpunkt ändere w gemäß Δw = η( y ( m) yˆ ( m) ) x ( m) (Perceptron-Lernregel, siehe später) 7
8 Warum statistisches Lernen? x 2 Daten sind unsicher: -- Datenpunkte x könnten versetzt sein -- Gemessene Klassen können falsch sein Klassifikationsgesetz ist unsicher -- Mitglieder unterschiedlicher Klassen könnten dasselbe Muster x aufweisen w x Lösung: Probabilistischer Klassifikator ( soft classifier ) Spezifiziere Wahrscheinlichkeit für Klassenmitgliedschaft Pr( y ( x) = ) = g( w x + b) Beispiel: Logistische Transferfunktion f : g(x) g( x) = + exp( x) x 8
9 Neuronales Lernen: Gehirn und Nervenzelle Das menschliche Gehirn Besteht aus Nervenzellen (Neuronen) und Hilfszellen Hochstrukturiert (Kerne, Areale der Grosshirnrinde) Gigantisches Netz aus Neuronen: Nervenzellen -- Jede Zelle erhält synaptischen Input von ca anderen Nervenzellen (Konvergenz) -- Jede Zelle sendet ca outputs (Divergenz) -- Gesamte Leitungslänge: km!!! Nervenzelle Besteht aus Dendrit, Dendrit Soma Axon Soma (Zellkörper) Axon 9
10 Neuronales Lernen: Reizleitung in Neuronen Funktionsweise des Neurons Signal: Aktionspotential, Spike Signalfluss: Dendrit --> Soma --> Axon--> Synapse--> Dendrit... (a) Spike kommt an; Synapse injiziert Strom I Membranspannung steigt (PSP) (b) Viele PSPs summieren sich Bei Schwellenspannung: Spike (c) Spike läuft Axon entlang verzweigt sich mit dem Axon (d) Spike kommt an... Biologisches Lernen (Hypothese): Synaptischer Strom I ändert sich in Abhängigkeit von der Zeit und der Hirnaktivität ( LTP, LTD...) 0
11 Ratenmodell des Neurons Neuron erhält Signale von d Synapsen An Synapse i kommen Spikes mit der Rate x i an Synapse i induziert Spannung U i = w i x i w i heißt synaptisches Gewicht Das Soma summiert die Spannungsänderungen: U d = w i x i i= = w x Die Spikerate y am Axon ist eine sigmoide Funktion der Summenspannung y( x) = g( w x θ ) x x 2 x 3 x d... w w 2 w 3 w d Lernen im Modellneuron: Modellneuron (Perceptron) f y(x) Synaptische Gewichte w ändern sich abhängig von der Aktivität Biologisch motivierte Lernregeln... (zb. Hebb-Regel )
12 Statistische und Neuronale Lernverfahren: Beispiele Künstliche Neuronale Netze Modellneuronen können zu künstlichen neuronalen Netzen zusammengeschaltet werden, zb. Statistische Datenmodellierung Modellneuronen können auch als statistische Datenmodelle interpretiert werden, z.b. Perceptron Multilagen-Perceptron Radiale Basisfunktionen-Netzwerk Hopfield-Netzwerk Adaptive Resonance Theory Netzwerk Selbstorganisierende Merkmalskarten Probabilistischer Klassifikator Support-Vector Machine Bayes-Belief-Netzwerk Helmholtz-Machine Vektor-Quantisierer ICA 2
13 Zusammenfassung Ein biologisch motiviertes Modellneuron läßt sich mit einem linearen probabilistischen Klassifikator identifizieren Viele künstliche Neuronale Netze lassen sich mit statistischen Lernverfahren identifizieren Viele Verfahren, viele Aufgaben Road Map Bayes sche Inferenz als genereller Rahmen für statistische Lernverfahren Statistische Datenmodellierung durch Optimierung und Regularisierung Spezielle maschinelle Lernverfahren und Neuronale Netzwerk-Typen 3
Martin Stetter WS 04/05, 2 SWS. VL: Dienstags 8:30-10 Uhr
Statistische und neuronale Lernverfahren Martin Stetter WS 04/05, 2 SWS VL: Dienstags 8:30-0 Uhr PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren Behandelte Themen 0. Motivation
MehrBehandelte Themen. 0. Motivation : Lernen in Statistik und Biologie. 1. Überblick über statistische Datenmodellierungs-Verfahren
Behandelte Theen 0. otivation : Lernen in Statistik und Biologie. Überblick über statistische Datenodellierungs-Verfahren. Das lineare odell Regression 3. Perceptron und ultilagen-perceptron Funktionsapproiation
MehrWir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
MehrAndreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg
Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale
MehrWahrscheinlichkeiten und Dichten. Interpretation von Wahrscheinlichkeiten. Einige Definitionen und Gesetze
Wahrscheinlichkeitstheorie: Grunlagen un Definitionen Wahrscheinlichkeiten un Dichten Interretation von Wahrscheinlichkeiten Einige Definitionen un Gesetze PD Dr. Martin Stetter Siemens AG Wahrscheinlichkeitstheorie:
MehrBehandelte Themen. 0. Motivation : Lernen in Statistik und Biologie. 1. Überblick über statistische Datenmodellierungs-Verfahren
Behandelte Themen 0. Motivation : Lernen in Statistik und Biologie 1. Überblick über statistische Datenmodellierungs-Verfahren 2. Das lineare Modell (Regression) 3. Perceptron und Multilagen-Perceptron
MehrMustererkennung und Klassifikation
Mustererkennung und Klassifikation WS 2007/2008 Fakultät Informatik Technische Informatik Prof. Dr. Matthias Franz mfranz@htwg-konstanz.de www-home.htwg-konstanz.de/~mfranz/heim.html Grundlagen Überblick
MehrDer Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1
Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?
MehrGliederung. Biologische Motivation Künstliche neuronale Netzwerke. Anwendungsbeispiele Zusammenfassung. Das Perzeptron
Neuronale Netzwerke Gliederung Biologische Motivation Künstliche neuronale Netzwerke Das Perzeptron Aufbau Lernen und Verallgemeinern Anwendung Testergebnis Anwendungsbeispiele Zusammenfassung Biologische
MehrVorlesung Maschinelles Lernen
Vorlesung Maschinelles Lernen Stützvektormethode Katharina Morik LS 8 Informatik Technische Universität Dortmund 12.11.2013 1 von 39 Gliederung 1 Hinführungen zur SVM 2 Maximum Margin Methode Lagrange-Optimierung
MehrNeuronale Netzwerke. Niels Pieper, Daniel Janßen-Müller, Daniel Ritterskamp. Betreuer: Michael Wilczek. 7. Februar 2011
Neuronale Netzwerke Niels Pieper, Daniel Janßen-Müller, Daniel Ritterskamp Betreuer: Michael Wilczek 7. Februar 2011 1 Wiederholung 2 Modell 3 spikeabhängige Plastizität 4 Anwendung 5 Literatur Biologischer
MehrLineare Klassifikatoren. Volker Tresp
Lineare Klassifikatoren Volker Tresp 1 Einführung Lineare Klassifikatoren trennen Klassen durch eine lineare Hyperebene (genauer: affine Menge) In hochdimensionalen Problemen trennt schon eine lineare
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer
MehrTextmining Klassifikation von Texten Teil 2: Im Vektorraummodell
Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten Teil
MehrOptimal-trennende Hyperebenen und die Support Vector Machine. Volker Tresp
Optimal-trennende Hyperebenen und die Support Vector Machine Volker Tresp 1 (Vapnik s) Optimal-trennende Hyperebenen (Optimal Separating Hyperplanes) Wir betrachten wieder einen linearen Klassifikator
MehrVorlesung Maschinelles Lernen
Vorlesung Maschinelles Lernen Stützvektormethode Katharina Morik LS 8 Informatik 8.11.2011 1 von 38 Gliederung 1 2 Lagrange-Optimierung 2 von 38 Übersicht über die Stützvektormethode (SVM) Eigenschaften
MehrKünstliche Neuronale Netze
Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Übersicht Neuronale Netze Motivation Perzeptron Grundlagen für praktische Übungen
MehrAdaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Neuronale Netze: Neuronen, Perzeptron und Adaline Prof. Dr. rer. nat. Nikolaus Wulff Neuronale Netze Das (menschliche) Gehirn ist ein Musterbeispiel für ein adaptives System, dass sich
MehrEinführung in Support Vector Machines (SVMs)
Einführung in (SVM) Januar 31, 2011 Einführung in (SVMs) Table of contents Motivation Einführung in (SVMs) Outline Motivation Vektorrepräsentation Klassifikation Motivation Einführung in (SVMs) Vektorrepräsentation
MehrAufbau und Beschreibung Neuronaler Netzwerke
Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser
MehrPraktische Optimierung
Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze
MehrC1/4 - Modellierung und Simulation von Neuronen
C 1 /4 - Modellierung und Simulation von Neuronen April 25, 2013 Motivation Worum geht es? Motivation Worum geht es? Um Neuronen. Motivation Worum geht es? Um Neuronen. Da ist u.a. euer Gehirn draus Motivation
MehrBACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON
BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe
MehrOne-class Support Vector Machines
One-class Support Vector Machines Seminar Wissensbasierte Systeme Dietrich Derksen 3. Januar 204 Motivation One-class Support Vector Machines: Detektion von Ausreißern (Systemfehlererkennung) Klassifikation
MehrMustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12
Mustererkennung: Neuronale Netze D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Feed-Forward Netze y 1 y 2 y m...... x 1 x 2 x n Output Schicht i max... Zwischenschicht i... Zwischenschicht 1
MehrEinführung in die Bioinformatik: Lernen mit Kernen
Einführung in die Bioinformatik: Lernen mit Kernen Dr. Karsten Borgwardt Forschungsgruppe für Maschinelles Lernen und Bioinformatik Max-Planck-Institut für Intelligente Systeme & Max-Planck-Institut für
MehrKünstliche Neuronale Netze
Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen
MehrSelbstorganisierende Karten
Selbstorganisierende Karten Proseminar Ausgewählte Themen über Agentensysteme 11.07.2017 Institut für Informatik Selbstorganisierende Karten 1 Übersicht Motivation Selbstorganisierende Karten Aufbau &
MehrKonzepte der AI Neuronale Netze
Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale
MehrAdaptive Resonance Theory
Adaptive Resonance Theory Jonas Jacobi, Felix J. Oppermann C.v.O. Universität Oldenburg Adaptive Resonance Theory p.1/27 Gliederung 1. Neuronale Netze 2. Stabilität - Plastizität 3. ART-1 4. ART-2 5. ARTMAP
MehrMustererkennung. Support Vector Machines. R. Neubecker, WS 2018 / Support Vector Machines
Mustererkennung R. Neubecker, WS 018 / 019 (SVM) kommen aus der statistischen Lerntheorie gehören zu den optimalen Klassifikatoren = SVMs minimieren nicht nur den Trainingsfehler, sondern auch den (voraussichtlichen)
MehrNeuronale Netze. Christian Böhm.
Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch
MehrNeuroinformatik I. Günther Palm Friedhelm Schwenker Abteilung Neuroinformatik
Neuroinformatik I Günther Palm Friedhelm Schwenker Abteilung Neuroinformatik Vorlesung: Do 10-12 Uhr Raum H21 / Übung: Fr 12-14 Raum 121 und 122 Übungsaufgaben sind schriftlich zu bearbeiten (Schein bei
MehrMann-Whitney-U-Test: Tiefenstufen
Mann-Whitney-U-Test: Tiefenstufen Variable Al Ca Cl DOC Fe K Mg Mn Na NO3 ph Si SO4 El. Leitfähigkeit Mann-Whitney U-Test (Piezometer.sta) Nach Var.: Tiefe Markierte Tests signifikant ab p
MehrÜberwachtes Lernen II: Netze und Support-Vektor-Maschinen
Überwachtes Lernen II: Klassifikation und Regression - Neuronale Netze und Support-Vektor-Maschinen Praktikum: Data Warehousing und Data Mining Praktikum Data Warehousing und Mining, Sommersemester 2009
MehrVorlesung Wissensentdeckung
Vorlesung Wissensentdeckung Stützvektormethode Katharina Morik, Uwe Ligges 10.6.2010 1 von 40 Gliederung 1 Hinführungen zur SVM 2 Maximum Margin Methode Lagrange-Optimierung 3 Weich trennende SVM 2 von
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial
Mehr7. Vorlesung Neuronale Netze
Soft Control (AT 3, RMA) 7. Vorlesung Neuronale Netze Grundlagen 7. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
MehrVorlesung Wissensentdeckung
Gliederung Vorlesung Wissensentdeckung Stützvektormethode 1 Hinführungen zur SVM Katharina Morik, Claus Weihs 26.5.2009 2 Maximum Margin Methode Lagrange-Optimierung 3 Weich trennende SVM 1 von 40 2 von
MehrDas Perzeptron. Volker Tresp
Das Perzeptron Volker Tresp 1 Einführung Das Perzeptron war eines der ersten ernstzunehmenden Lernmaschinen Die wichtigsten Elemente Sammlung und Vorverarbeitung der Trainingsdaten Wahl einer Klasse von
MehrSo lösen Sie das multivariate lineare Regressionsproblem von Christian Herta
Multivariate Lineare Regression Christian Herta Oktober, 2013 1 von 34 Christian Herta Multivariate Lineare Regression Lernziele Multivariate Lineare Regression Konzepte des Maschinellen Lernens: Kostenfunktion
MehrMachine Learning. ML Kapitel 7: Support Vector Machines. Prof. Dr. Johannes Maucher. Version November HdM CSM
Machine Learning Kapitel 7: Support Vector Machines HdM CSM Version 1.5 16. November 2017 Document History Version Date Changes Nr. 1.0 18.06.2009 1.1 14.06.2010 Eigene Beispiele hinzugefügt 1.2 16.05.2011
MehrNeuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24.
Neuronale Netze in der Phonetik: Grundlagen Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 24. Mai 2006 Inhalt Einführung Maschinelles Lernen Lernparadigmen Maschinelles
MehrVorlesung Wissensentdeckung
Vorlesung Wissensentdeckung Stützvektormethode Katharina Morik, Uwe Ligges 23.5.2013 1 von 48 Gliederung 1 Geometrie linearer Modelle: Hyperebenen Einführung von Schölkopf/Smola 2 Lagrange-Optimierung
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Support Vector Machine Nico Piatkowski und Uwe Ligges 30.05.2017 1 von 14 Überblick Was bisher geschah... Modellklassen Verlustfunktionen Numerische Optimierung Regularisierung
MehrEinführung in die Computerlinguistik
Einführung in die Computerlinguistik Neuronale Netze WS 2014/2015 Vera Demberg Neuronale Netze Was ist das? Einer der größten Fortschritte in der Sprachverarbeitung und Bildverarbeitung der letzten Jahre:
MehrWas sind Neuronale Netze?
Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk
Mehr6.4 Neuronale Netze zur Verarbeitung von Zeitreihen
6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1
MehrComputational Intelligence 1 / 31. Computational Intelligence Künstliche Neuronale Netze Geschichte 3 / 31
1 / 31 Gliederung 1 Künstliche Neuronale Netze Geschichte Natürliches Neuron Künstliches Neuron Typen von Neuronen Geschichte Künstliche Neuronale Netze Geschichte 3 / 31 1943 Warren McCulloch (Neurologe),
MehrAdaptive Systeme. Einführung. Grundlagen. Modellierung. Prof. Rüdiger Brause WS Organisation. Einführung in adaptive Systeme B-AS-1, M-AS-1
Adaptive Systeme Prof. Rüdiger Brause WS 2013 Organisation Einführung in adaptive Systeme B-AS-1, M-AS-1 Vorlesung Dienstags 10-12 Uhr, SR11 Übungen Donnerstags 12-13 Uhr, SR 9 Adaptive Systeme M-AS-2
MehrZellen des Nervensystems, Zellbiologie von Neuronen I
Zellen des Nervensystems, Zellbiologie von Neuronen I 1. Prinzipieller Aufbau eines Nervensystems 2. Zelltypen des Nervensystems 2.1 Gliazellen 2.2 Nervenzellen 3. Zellbiologie von Neuronen 3.1 Morphologische
MehrProseminar Neuronale Netze Frühjahr 2004
Proseminar Neuronale Netze Frühjahr 2004 Titel: Perzeptron Autor: Julia Grebneva, jg7@informatik.uni-ulm.de Einleitung In vielen Gebieten der Wirtschaft und Forschung, stellen sich oftmals Probleme, die
MehrStatistische Methoden der Datenanalyse
Statistische Methoden der Datenanalyse Vorlesung im Sommersemester 2008 H. Kolanoski Humboldt-Universität zu Berlin Inhaltsverzeichnis Literaturverzeichnis iii 1 Grundlagen der Statistik 3 1.1 Wahrscheinlichkeit............................
MehrLogistische Regression
Logistische Regression Christian Herta August, 2013 1 von 45 Christian Herta Logistische Regression Lernziele Logistische Regression Konzepte des maschinellen Lernens (insb. der Klassikation) Entscheidungsgrenze,
MehrLineare Klassifikatoren
Universität Potsdam Institut für Informatik Lehrstuhl Lineare Klassifikatoren Christoph Sawade, Blaine Nelson, Tobias Scheffer Inhalt Klassifikationsproblem Bayes sche Klassenentscheidung Lineare Klassifikator,
MehrTeil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze
Vorlesung Künstliche Intelligenz Wintersemester 2008/09 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der
MehrRidge Regression und Kernalized Support Vector Machines : Einführung und Vergleich an einem Anwendungsbeispiel
Ridge Regression und Kernalized Support Vector Machines : Einführung und Vergleich an einem Anwendungsbeispiel Dr. Dominik Grimm Probelehrveranstaltung Fakultät für Informatik und Mathematik Hochschule
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung
MehrDie Datenmatrix für Überwachtes Lernen
Die Datenmatrix für Überwachtes Lernen X j j-te Eingangsvariable X = (X 0,..., X M 1 ) T Vektor von Eingangsvariablen M Anzahl der Eingangsvariablen N Anzahl der Datenpunkte Y Ausgangsvariable x i = (x
Mehr(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.
(hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild
Mehr1/19. Kern-Methoden zur Extraktion von Informationen. Sebastian Marius Kirsch Back Close
1/19 Kern-Methoden zur Extraktion von Informationen Sebastian Marius Kirsch skirsch@moebius.inka.de 2/19 Gliederung 1. Verfahren zur Extraktion von Informationen 2. Extraktion von Beziehungen 3. Maschinelles
MehrApproximate Maximum Margin Algorithms with Rules Controlled by the Number of Mistakes
Approximate Maximum Margin Algorithms with Rules Controlled by the Number of Mistakes Seminar Maschinelles Lernen VORTRAGENDER: SEBASTIAN STEINMETZ BETREUT VON: ENELDO LOZA MENCÍA Inhalt Vorbedingungen
MehrKönnen neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie
Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie 1. Erzeugung von Stahl im Lichtbogenofen 2. Biologische neuronale Netze 3. Künstliche neuronale Netze 4. Anwendung neuronaler
MehrNeuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien
in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???
MehrArtificial Intelligence. Was ist das? Was kann das?
Artificial Intelligence Was ist das? Was kann das? Olaf Erichsen Tech-Day Hamburg 13. Juni 2017 Sehen wir hier bereits Künstliche Intelligenz (AI)? Quelle: www.irobot.com 2017 Hierarchie der Buzzwords
MehrGrundlagen zu neuronalen Netzen. Kristina Tesch
Grundlagen zu neuronalen Netzen Kristina Tesch 03.05.2018 Gliederung 1. Funktionsprinzip von neuronalen Netzen 2. Das XOR-Beispiel 3. Training des neuronalen Netzes 4. Weitere Aspekte Kristina Tesch Grundlagen
MehrRL und Funktionsapproximation
RL und Funktionsapproximation Bisher sind haben wir die Funktionen V oder Q als Tabellen gespeichert. Im Allgemeinen sind die Zustandsräume und die Zahl der möglichen Aktionen sehr groß. Deshalb besteht
MehrEntdeckungen unter der Schädeldecke. Jean-Marc Fritschy Institut für Pharmakologie und Toxikologie
Entdeckungen unter der Schädeldecke Jean-Marc Fritschy Institut für Pharmakologie und Toxikologie Inhalt 1. GFP, das Wunderprotein 2. Die Nervenzellen bei der Arbeit beobachten 3. Nervenzellen mit Licht
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Maschinelles Lernen
Universität Potsdam Institut für Informatik Lehrstuhl Niels Landwehr, Silvia Makowski, Christoph Sawade, Tobias Scheffer Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. Übung: Di 10:00-11:30
Mehr1 Neuronale Netze Historisches
1 Neuronale Netze Historisches Literatur, erste Modelle 1 begleitende Literatur T.Kohonen: Associative Memory: A system theoretic approach. New York, Springer 1977 D.E.Rumelhart, J.L.McLelland: Parallel
MehrSupport Vector Machines (SVM)
Universität Ulm 12. Juni 2007 Inhalt 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor-
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale
MehrDer Sprung in die Zukunft! Einführung in neuronale Netzwerke
Der Sprung in die Zukunft! Einführung in neuronale Netzwerke Inhalt 1. Warum auf einmal doch? 2. Welche Einsatzgebiete gibt es? 3. Was sind neuronale Netze und wie funktionieren sie? 4. Wie lernen neuronale
MehrMotivation. Klassifikationsverfahren sagen ein abhängiges nominales Merkmal anhand einem oder mehrerer unabhängiger metrischer Merkmale voraus
3. Klassifikation Motivation Klassifikationsverfahren sagen ein abhängiges nominales Merkmal anhand einem oder mehrerer unabhängiger metrischer Merkmale voraus Beispiel: Bestimme die Herkunft eines Autos
MehrInhalt. 4.1 Motivation. 4.2 Evaluation. 4.3 Logistische Regression. 4.4 k-nächste Nachbarn. 4.5 Naïve Bayes. 4.6 Entscheidungsbäume
4. Klassifikation Inhalt 4.1 Motivation 4.2 Evaluation 4.3 Logistische Regression 4.4 k-nächste Nachbarn 4.5 Naïve Bayes 4.6 Entscheidungsbäume 4.7 Support Vector Machines 4.8 Neuronale Netze 4.9 Ensemble-Methoden
MehrObjekt Attributwerte Klassifizierung X Y
AUFGABE : Entscheidungsbäume Betrachten Sie das folgende Klassifizierungsproblem: bjekt Attributwerte Klassifizierung X Y A 3 B 2 3 + C 2 D 3 3 + E 2 2 + F 3 G H 4 3 + I 3 2 J 4 K 2 L 4 2 ) Bestimmen Sie
MehrNeuronale Netze (Konnektionismus)
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrWir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
MehrFacharbeit. Ratsgymnasium Bielefeld Schuljahr 2004/2005. aus dem Fach Biologie. Thema: Künstliche neuronale Netze
Ratsgymnasium Bielefeld Schuljahr 2004/2005 Facharbeit aus dem Fach Biologie Thema: Künstliche neuronale Netze Verfasser: Joa Ebert Leistungskurs: Biologie Kursleiter: Herr Bökamp Abgabetermin: 25.02.2005
MehrPerzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004
Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron
MehrNeuronale Netze. Prof. Dr. Rudolf Kruse
Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse, Alexander Dockhorn Neuronale
MehrMaschinelles Lernen und Neural Computation
und Neural Computation 840042, VO, 1 Std WS 2015/16 Georg Dorffner Inst f Artificial Intelligence Zentrum für Med Statistik, Informatik und Intelligente Systeme Medizinische Universität Wien meduniienacat/user/georgdorffner/lv/mlnchtml
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Christoph Sawade/Niels Landwehr/Tobias Scheffer
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Christoph Sawade/Niels Landwehr/Tobias Scheffer Überblick Problemstellung/Motivation Deterministischer i ti Ansatz:
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Tobias Scheffer Christoph Sawade
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Christoph Sawade Heute: Niels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz:
Mehr11. Neuronale Netze 1
11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form
Mehr5. Lernregeln für neuronale Netze
5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1
MehrModellierung mit künstlicher Intelligenz
Samuel Kost kosts@mailbox.tu-freiberg.de Institut für Numerische Mathematik und Optimierung Modellierung mit künstlicher Intelligenz Ein Überblick über existierende Methoden des maschinellen Lernens 13.
MehrVorlesung Digitale Bildverarbeitung Sommersemester 2013
Vorlesung Digitale Bildverarbeitung Sommersemester 2013 Sebastian Houben (Marc Schlipsing) Institut für Neuroinformatik Inhalt Crash-Course in Machine Learning Klassifikationsverfahren Grundsätzliches
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Bayes sches Lernen. Niels Landwehr
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Bayes sches Lernen Niels Landwehr Überblick Grundkonzepte des Bayes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe
MehrM 3. Informationsübermittlung im Körper. D i e N e r v e n z e l l e a l s B a s i s e i n h e i t. im Überblick
M 3 Informationsübermittlung im Körper D i e N e r v e n z e l l e a l s B a s i s e i n h e i t im Überblick Beabeablog 2010 N e r v e n z e l l e n ( = Neurone ) sind auf die Weiterleitung von Informationen
MehrÜberblick. Grundkonzepte des Bayes schen Lernens. Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression
Überblick Grundkonzepte des Baes schen Lernens Wahrscheinlichstes Modell gegeben Daten Münzwürfe Lineare Regression Logistische Regression Baes sche Vorhersage Münzwürfe Lineare Regression 57 Erinnerung:
MehrNeuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr.
Neuronale Netze Maschinelles Lernen Michael Baumann Universität Paderborn Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Kleine Büning WS 2011/2012 Was ist ein neuronales Netz? eigentlich: künstliches
MehrNeuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
Mehr