Neuronale Netze. Christian Böhm.
|
|
- Hans Hofmeister
- vor 6 Jahren
- Abrufe
Transkript
1 Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm 1
2 Lehrbuch zur Vorlesung Lehrbuch zur Vorlesung: Goodfellow, Bengio, Courville: Deep Learning Adaptive Computation and Machine Learning MIT Press, 2016, 46,99 (780 Seiten, gebunden) 2
3 Motivation Bei vielen komplexen Aufgaben ist das menschliche Gehirn klassischen Algorithmen (zunächst) überlegen: Erkennung gesprochener Sprache oder Handschrift, Bild- und Gesichtserkennung, Spiele mit komplexen Entscheidungen, Fahrzeugsteuerung. Neuronale Netze: Algorithmen bilden das natürliche Lernen nach. Historie: Erste Ansätze schon 1943 (McCullon/Pitch-Neuron), Verwendung einfacher neuronaler Netze, Seit ca. 2009: Deep Learning : Wesentlich komplexere Netzwerke, Hohe Rechenleistung zum Training erforderlich, Deutlich verbesserte Erkennungsleistung. 3
4 Feature-Vektoren Viele Anwendungen arbeiten mit komplexen Objekten. Es ist die Aufgabe des Anwendungs-Experten, geeignete Merkmale ( Features ) der Objekte zu definieren. Beispiel: CAD-Zeichnungen kleiner Bauteile: ax 2 +bx+c Mögliche Merkmale: Höhe h Breite w Form-Parameter (a,b,c) 4
5 Feature-Vektoren Object-Space w h ax 2 +bx+c (h, w, a, b, c) Feature-Space h c b a (5-D) w Die ausgewählten Features bilden einen Feature-Vector Der Feature-Space ist oft hochdimensional (im Beispiel 5-D) 5
6 Feature-Vektoren Nägel Feature-Space h (5-D) Schrauben c a b w Ähnliche Objekte haben ähnliche Eigenschaften. Die Distanz der Feature-Vektoren ist deshalb ein Maß für die Ähnlichkeit. Oft gehören ähnliche Objekte der gleichen Klasse an. 6
7 Feature-Vektoren Feature-Space Definition Klassifikation: Lerne von vorklassifizierten Trainings-Daten (, ) die Regeln, um die Klasse neuer Objekte ( ) nur auf Basis der Features vorhersagen zu können. Beispiel: Support-Vector-Machine (lineare Trenn-Ebene ) 7
8 Frequency Feature-Vektoren Bilddatenbanken: Farb-Histogramme. Gen-Datenbanken: Expressionslevel. Color Dokument-Datenbanken: Term-Häufigkeiten. Data 25 Mining 15 Feature 12 Object 7... Der Feature-basierte Ansatz ermöglicht es, eine Vielzahl von Anwendungen einheitlich zu behandeln. 8
9 Feature-Vektoren Objekt-Space A B C D E F G H Feature Space Bei Anwendungen von tiefen neuronalen Netzen verwendet man häufig sehr einfache Features. Im Beispiel wird jedes Pixel (z.b. nach Reduktion oder Standardisierung der Auflösung) als Feature (64-D) verwendet. Komplexe Zusammenhänge soll das Lernverfahren selbst erkennen. 9
10 Feature-Vektoren Objekt-Space Feature Space A B C D E F G H (A1 H8) A2 A3 (64-D) H8 A1 A4 Bei Anwendungen von tiefen neuronalen Netzen verwendet man häufig sehr einfache Features. Im Beispiel wird jedes Pixel (z.b. nach Reduktion oder Standardisierung der Auflösung) als Feature (64-D) verwendet. Komplexe Zusammenhänge soll das Lernverfahren selbst erkennen. 10
11 Artificial Neural Network (ANN) Input Layer Zero, one, or more Hidden Layers Output Layer Ein Artificial Neural Network (ANN, künstliches neuronales Netz) ist ein Netwerk (gerichteter Graph) von informationsverarbeitenden Einheiten (künstliche Neuronen), das meist für Aufgaben des maschinellen Lernens wie z.b. zur Klassifikation eingesetzt wird. 11
12 Das Künstliche Neuron x 1 x 2 x 3 x 1 x 2 x 3 y = f (x 1, x 2, x 3 ) Das künstliche Neuron Realisiert eine mathematische Funktion f ( ). Eingaben (x 1, x 2, x 3 ) werden über eingehende Kanten übergeben. Das Ergebnis (y) wird über ausgehende Kanten an andere künstliche Neuronen übermittelt. y y = f (x 1, x 2, x 3 ) y 12
13 Das Künstliche Neuron x 1 x 2 w 2j w 3j w 1j y y = f (x 1, x 2, x 3 ) x 3 Die Funktion f ( ) ist oft zusammengesetzt aus einer linearen Übertragungsfunktion der Eingaben x i (z.b. einer gewichteten Summe S i w ij x i ) und danach einer nichtlinearen Aktivierungsfunktion, z.b. Sigmoid ReLU Softplus 13
14 Layers eines ANN Input Layer Kein, ein oder mehrere Hidden Layers Output Layer In natürlichen neuronalen Netzen sind die Neuronen miteinander in beliebiger Ordnung verbunden. ANNs ordnen die Neuronen Lagen-weise (Layer) an: genau ein Output-Layer beliebig viele Hidden Layers Die Neuronen einer Ebene verwenden alle die gleiche Funktion, aber unterschiedliche Parameter (z.b. die Gewichte w ij ) 14
15 Feedforward vs. Rekurrente ANNs Input Layer Kein, ein oder mehrere Hidden Layers Output Layer ANNs, die nur Vorwärts-Verbindungen haben (zwischen dem aktuellen Layer und dem jeweiligen Nachfolge-Layer, bei möglichem Überspringen von Layers) nennt man Feedforward-NN. ANNs mit rückwärtsgerichteten Kanten auf den gleichen oder vorige Layers werden Rekurrente NNs genannt. Sie ermöglichen eine Art Gedächtnis (häufig mit Zeitverzögerung) 15
16 Vollständig verbundene Layers selektiv vollständig vollständig verbunden Layers können vollständig oder selektiv verbunden sein: Bei vollständiger Verbindung ist jedes Neuron eines Layers mit jedem Neuron des Nachfolgelayers verbunden. Das erlernte Gewicht kann aber 0 sein (wie keine Verbindung ). Welche Verbindungsart man wählt, hängt von der Aufgabe ab, die der Layer zu erledigen hat: z.b. Konvolutionale NNs aus der Bildverarbeitung: Mustererkennung auf lokaler Ebene (benachbarte Pixel) 16
17 Netz-Topologie Alle Fragen der Netz-Topologie, wie z.b. Wie viele Hidden Layers? Wie viele Neuronen auf jedem Layer? Feedforward oder Rekurrent? Vollständig verbunden? Welche Übertragungs-/Aktivierungsfunktionen? usw. usw. werden nicht automatisch gelernt, sondern vom Designer einer ANN- Anwendung festgelegt (Best Practices, Trial-and-Error). High-Level Interfaces wie z.b. Keras unterstützen das Design. Automatisch gelernt werden bei ANNs die Funktions-Parameter (w ij ). Bei natürlichen neuronalen Netzen ist dies ebenfalls Ergebnis von Lernprozessen (Evolution und Selbstorganisation). 17
18 Klassifikation mit einem ANN Wir nehmen an, das ANN wäre bereits trainiert (siehe nächste Folie) Wie bestimmt man das Klassenlabel eines neuen Objekts? A1 A2 H8 y:=g(x) z:=f(y) Wir nehmen unser zu klassifizierendes Objekt. Wir wenden darauf die Feature-Transformation an. Wir wenden Layer für Layer die Funktionen der künstlichen Neuronen an (Vorwärtspropagierung). 18
19 Klassifikation mit einem ANN Wir nehmen an, das ANN wäre bereits trainiert (siehe nächste Folie) Wie bestimmt man das Klassenlabel eines neuen Objekts? A1 A2 H8 Schraube 83% Nagel 17% Wir nehmen unser zu klassifizierendes Objekt. Wir wenden darauf die Feature-Transformation an. Wir wenden Layer für Layer die Funktionen der künstlichen Neuronen an (Vorwärtspropagierung). Das Endergebnis ist das gesuchte Klassenlabel. 19
20 ANN-Training durch Backpropagation Ziel ist die optimale Bestimmung der Funtionsparameter (z.b. w ij ) für die Trainingsmenge. Wir starten z.b. mit einer Zufalls-Initialisierung der w ij. Schritt 1: Vorwärtspropagierung eines Objekts. 20
21 ANN-Training durch Backpropagation Ziel ist die optimale Bestimmung der Funtionsparameter (z.b. w ij ) für die Trainingsmenge. Wir starten z.b. mit einer Zufalls-Initialisierung der w ij. Schritt 1: Vorwärtspropagierung eines Objekts. Schraube 10% Nagel 90% g(x) f(y) 21
22 ANN-Training durch Backpropagation Ziel ist die optimale Bestimmung der Funtionsparameter (z.b. w ij ) für die Trainingsmenge. Wir starten z.b. mit einer Zufalls-Initialisierung der w ij. Schritt 1: Vorwärtspropagierung eines Objekts. Schraube 10% Nagel 90% Schritt 2: Bestimmung des Fehlers ist tats. Schraube! (große Abweichung zur Vorhersage des ANN) 22
23 ANN-Training durch Backpropagation Ziel ist die optimale Bestimmung der Funtionsparameter (z.b. w ij ) für die Trainingsmenge. Wir starten z.b. mit einer Zufalls-Initialisierung der w ij. Schritt 1: Vorwärtspropagierung eines Objekts. Schraube 10% Nagel 90% f(g(w ij )) f (w ij ) Schritt 2: Bestimmung des Fehlers Schritt 3: Entgegen der Richtung der Vorwärtspropagierung: Anpassen der w ij, so dass Fehler kleiner wird. 23
24 ANN-Training durch Backpropagation Ziel ist die optimale Bestimmung der Funtionsparameter (z.b. w ij ) für die Trainingsmenge. Die Schritte 1-3 werden so lange für alle Objekte wiederholt, bis sich der Fehler nicht mehr verbessert (Konvergenz). 24
25 Anwendung der Kettenregel Bei der Rückpropagierung des Fehlers treten vielfach verschachtelte mathematische Funktionen auf. Zur Ableitung Kettenregel: f(g(w ij )) = f (g(w ij )) g (w ij ), wobei g (w ij ) := g(w ij ) In Wirklichkeit wesentlich mehr verschachtelte Funktionen: Jeder Layer definiert eine eigene Funktion f, g usw. Jede zusammengesetzt aus Übertragungs- und Aktivierungsfunkt. Am Ende (d.h. ganz außen) steht immer die Fehlerfunktion. w ij ist ein Vektor Gradient statt eindimensionale Ableitung. Stochastic Gradient Descent: Gehe immer ein kleines Stück in Richtung der Fehler-Verringerung: w ij w ij := h - error(f(g(w ij ))); (h: Lernrate). w ij 25
26 Fazit Tiefe Neuronale Netze (mit vielen Layers) haben zahlreiche Wettbewerbe gewonnen, z.b. zur Handschrifterkennung, Bilderkennung usw. Es gibt auch Nachteile: Große Anzahl von Trainingsdaten ist nötig. ANNs neigen zur Überanpassung (auswendig lernen der Traingsdaten). Aktuelles Projekt: DermaScreen Studentische Existenzgründung (Dominik Seliger, Christian Ludwigs, Simon Schäfer). Hautveränderungen (Muttermale, Leberflecke) mit Handy fotografiert. Neuronales Netz (Server) klassifiziert auf malignes Melanom u.a. ANNs haben in einer Studie Erkennungsraten vergleichbar mit Dermatologen (Nature Vol 542, Februar 2017). EXIST-Stipendium für die Existenzgründung beantragt. 26
Wissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen
MehrKünstliche Neuronale Netze
Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Künstliche Neuronale Netze Hauptseminar Martin Knöfel Dresden, 16.11.2017 Gliederung
MehrNeuronale Netze. Anna Wallner. 15. Mai 2007
5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial
MehrNeuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.
Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale
MehrNeuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation
Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2012 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer
MehrKonzepte der AI Neuronale Netze
Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale
MehrHannah Wester Juan Jose Gonzalez
Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron
MehrNeuronale Netze mit mehreren Schichten
Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren
MehrEinführung in die Computerlinguistik
Einführung in die Computerlinguistik Neuronale Netze WS 2014/2015 Vera Demberg Neuronale Netze Was ist das? Einer der größten Fortschritte in der Sprachverarbeitung und Bildverarbeitung der letzten Jahre:
MehrNeuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation
Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2013 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für
MehrKapitel 4: Data Mining
LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS Skript zur Vorlesung: Einführung in die Informatik: Systeme und Anwendungen Sommersemester 2017 Kapitel 4: Data Mining Vorlesung:
MehrKünstliche Neuronale Netze
Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische
Mehr(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.
(hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild
MehrWas sind Neuronale Netze?
Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk
MehrIntelligente Algorithmen Einführung in die Technologie
Intelligente Algorithmen Einführung in die Technologie Dr. KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Natürlich sprachliche
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung
MehrKünstliche Neuronale Netze
Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze
MehrDatenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?
Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher 0651993 Damir Dudakovic
MehrPraktische Optimierung
Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze
MehrNeuronale Netze Aufgaben 3
Neuronale Netze Aufgaben 3 martin.loesch@kit.edu (0721) 608 45944 MLNN IN FLOOD3 2 Multi Layer Neural Network (MLNN) Netzaufbau: mehrere versteckte (innere) Schichten Lernverfahren: Backpropagation-Algorithmus
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen
MehrAutomatische Erkennung und Klassifikation von Körperhaltungen und Aktivitäten
Automatische Erkennung und Klassifikation von Körperhaltungen und Aktivitäten Dipl.-Ing. Daniel Tantinger Fraunhofer Institut für Integrierte Schaltungen IIS, Erlangen, Deutschland Automatische Erkennung
MehrNeuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)
29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein
MehrDer Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1
Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?
MehrDatenstrukturen und Algorithmen. Christian Sohler FG Algorithmen & Komplexität
Datenstrukturen und Algorithmen Christian Sohler FG Algorithmen & Komplexität 1 Clustering: Partitioniere Objektmenge in Gruppen(Cluster), so dass sich Objekte in einer Gruppe ähnlich sind und Objekte
MehrEinführung in neuronale Netze
Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze
MehrINTELLIGENTE DATENANALYSE IN MATLAB
INTELLIGENTE DATENANALYSE IN MATLAB Einführungsveranstaltung Überblick Organisation Literatur Inhalt und Ziele der Vorlesung Beispiele aus der Praxis 2 Organisation Vorlesung/Übung + Projektarbeit. 4 Semesterwochenstunden.
MehrTextmining Klassifikation von Texten Teil 2: Im Vektorraummodell
Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten Teil
MehrModellierung mit künstlicher Intelligenz
Samuel Kost kosts@mailbox.tu-freiberg.de Institut für Numerische Mathematik und Optimierung Modellierung mit künstlicher Intelligenz Ein Überblick über existierende Methoden des maschinellen Lernens 13.
MehrEinführung in Neuronale Netze
Wintersemester 2005/2006 VO 181.138 Einführung in die Artificial Intelligence Einführung in Neuronale Netze Oliver Frölich Abteilung für Datenbanken und Artificial Intelligence Institut für Informationssysteme
MehrKamera-basierte Objekterkennung
Kamera-basierte Objekterkennung Deep Machine Learning. Version 2.0 Einführung Motivation & Megatrends Motivation In der Logistik verursacht die Identifizierung (das Scannen) der Produkte, Pakete, Paletten,
MehrGrundlagen Neuronaler Netze
Grundlagen Neuronaler Netze Proseminar Data Mining Julian Schmitz Fakultät für Informatik Technische Universität München Email: ga97wuy@mytum.de Zusammenfassung Diese Ausarbeitung will sich als hilfreiches
MehrTraining von RBF-Netzen. Rudolf Kruse Neuronale Netze 134
Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches
MehrJan Parthey, Christin Seifert. 22. Mai 2003
Simulation Rekursiver Auto-Assoziativer Speicher (RAAM) durch Erweiterung eines klassischen Backpropagation-Simulators Jan Parthey, Christin Seifert jpar@hrz.tu-chemnitz.de, sech@hrz.tu-chemnitz.de 22.
MehrWas bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und
Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion
MehrLineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren
Lineare Regression Christian Herta Oktober, 2013 1 von 33 Christian Herta Lineare Regression Lernziele Lineare Regression Konzepte des Maschinellen Lernens: Lernen mittels Trainingsmenge Kostenfunktion
MehrNeuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer. 5. Aufgabenblatt: Neural Network Toolbox 1
Neuronale Netze, Fuzzy Control, Genetische Algorithmen Prof. Jürgen Sauer 5. Aufgabenblatt: Neural Network Toolbox 1 A. Mit Hilfe der GUI vom Neural Network erstelle die in den folgenden Aufgaben geforderten
MehrAndreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg
Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale
MehrKapitel LF: IV. IV. Neuronale Netze
Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas LF: IV-39 Machine Learning c
MehrNeuronale Netze (Konnektionismus)
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
Mehr6.4 Neuronale Netze zur Verarbeitung von Zeitreihen
6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1
MehrVorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke
Vorlesungsplan 17.10. Einleitung 24.10. Ein- und Ausgabe 31.10. Reformationstag, Einfache Regeln 7.11. Naïve Bayes, Entscheidungsbäume 14.11. Entscheidungsregeln, Assoziationsregeln 21.11. Lineare Modelle,
MehrThema 3: Radiale Basisfunktionen und RBF- Netze
Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung
MehrSimulation Neuronaler Netze. Eine praxisorientierte Einführung. Matthias Haun. Mit 44 Bildern, 23 Tabellen und 136 Literatursteilen.
Simulation Neuronaler Netze Eine praxisorientierte Einführung Matthias Haun Mit 44 Bildern, 23 Tabellen und 136 Literatursteilen expert Inhaltsverzeichnis 1 Einleitung 1.1 Über das Projekt 1 1.2 Über das
MehrKünstliche Neuronale Netze und Data Mining
Künstliche Neuronale Netze und Data Mining Catherine Janson, icasus GmbH Heidelberg Abstract Der Begriff "künstliche Neuronale Netze" fasst Methoden der Informationstechnik zusammen, deren Entwicklung
MehrArtificial Intelligence. Deep Learning Neuronale Netze
Artificial Intelligence Deep Learning Neuronale Netze REVOLUTION Lernende Maschinen Mit lernenden Maschinen/Deep Learning erleben wir aktuell eine Revolution in der Informationsverarbeitung. Neue Methoden
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Übersicht Neuronale Netze Motivation Perzeptron Grundlagen für praktische Übungen
MehrPersonalisierung. Der Personalisierungsprozess Nutzerdaten erheben aufbereiten auswerten Personalisierung. Data Mining.
Personalisierung Personalisierung Thomas Mandl Der Personalisierungsprozess Nutzerdaten erheben aufbereiten auswerten Personalisierung Klassifikation Die Nutzer werden in vorab bestimmte Klassen/Nutzerprofilen
Mehr11. Neuronale Netze 1
11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form
MehrNutzung maschinellen Lernens zur Extraktion von Paragraphen aus PDF-Dokumenten
Nutzung maschinellen Lernens zur Extraktion von Paragraphen aus PDF-Dokumenten Albert-Ludwigs-Universität zu Freiburg 13.09.2016 Maximilian Dippel max.dippel@tf.uni-freiburg.de Überblick I Einführung Problemstellung
MehrEine kleine Einführung in neuronale Netze
Eine kleine Einführung in neuronale Netze Tobias Knuth November 2013 1.2 Mensch und Maschine 1 Inhaltsverzeichnis 1 Grundlagen neuronaler Netze 1 1.1 Kopieren vom biologischen Vorbild...... 1 1.2 Mensch
MehrNeuronale Netze (I) Biologisches Neuronales Netz
Neuronale Netze (I) Biologisches Neuronales Netz Im menschlichen Gehirn ist ein Neuron mit bis zu 20.000 anderen Neuronen verbunden. Milliarden von Neuronen beteiligen sich simultan an der Verarbeitung
MehrDie Datenmatrix für Überwachtes Lernen
Die Datenmatrix für Überwachtes Lernen X j j-te Eingangsvariable X = (X 0,..., X M 1 ) T Vektor von Eingangsvariablen M Anzahl der Eingangsvariablen N Anzahl der Datenpunkte Y Ausgangsvariable x i = (x
MehrTD-Gammon. Michael Zilske
TD-Gammon Michael Zilske zilske@inf.fu-berlin.de TD-Gammon Ein Backgammon-Spieler von Gerald Tesauro (Erste Version: 1991) TD-Gammon Ein Neuronales Netz, das immer wieder gegen sich selbst spielt und dadurch
MehrNeuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrINTELLIGENTE DATENANALYSE IN MATLAB
INTELLIGENTE DATENANALYSE IN MATLAB Bildanalyse Literatur David A. Forsyth: Computer Vision i A Modern Approach. Mark S. Nixon und Alberto S. Aguado: Feature Extraction and Image Processing. Ulrich Schwanecke:
MehrMustererkennung und Klassifikation
Mustererkennung und Klassifikation WS 2007/2008 Fakultät Informatik Technische Informatik Prof. Dr. Matthias Franz mfranz@htwg-konstanz.de www-home.htwg-konstanz.de/~mfranz/heim.html Grundlagen Überblick
MehrKönnen neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie
Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie 1. Erzeugung von Stahl im Lichtbogenofen 2. Biologische neuronale Netze 3. Künstliche neuronale Netze 4. Anwendung neuronaler
MehrEntwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion
Entwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion Vortrag Seminararbeit David Pogorzelski Aachen, 22.01.2015 Agenda 1 2 3 4 5 Ziel der
MehrKNN-Methode zur Einschätzung von Veränderungen des Salzgehaltes in Ästuaren
KNN-Methode zur Einschätzung von Veränderungen des Salzgehaltes in Ästuaren Holger Rahlf; Reiner Schubert www.baw.de Künstlich Neuronales Netz Gliederung Einleitung Grundlagen Möglichkeit und Grenzen Anwendung
MehrStructurally Evolved Neural Networks for Forecasting
Structurally Evolved Neural Networks for Forecasting - Strukturierte neuronale Netze für Vorhersagen Institut für Informatik - Ausgewählte Kapitel aus dem Bereich Softcomputing Agenda Grundlagen Neuronale
MehrNeural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 01 Julia Kreutzer 25. Oktober 2016 Institut für Computerlinguistik, Heidelberg 1 Übersicht 1. Deep Learning 2. Neuronale Netze 3. Vom Perceptron
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Niels Landwehr, Jules Rasetaharison, Christoph Sawade, Tobias Scheffer
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Niels Landwehr, Jules Rasetaharison, Christoph Sawade, Tobias Scheffer Organisation Vorlesung/Übung, praktische
MehrKapitel LF: IV. Multilayer-Perzeptrons und Backpropagation. Multilayer-Perzeptrons und Backpropagation. LF: IV Machine Learning c STEIN 2005-06
Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas 39 Multilayer-Perzeptrons und
MehrExploration und Klassifikation von BigData
Exploration und Klassifikation von BigData Inhalt Einführung Daten Data Mining: Vorbereitungen Clustering Konvexe Hülle Fragen Google: Riesige Datenmengen (2009: Prozessieren von 24 Petabytes pro Tag)
MehrPerzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg
Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)
MehrSelbstorganisierende Karten
Selbstorganisierende Karten (engl. Self-Organizing Maps (SOMs)) Rudolf Kruse Neuronale Netze 169 Selbstorganisierende Karten Eine selbstorganisierende Karte oder Kohonen-Merkmalskarte ist ein neuronales
MehrValidation Model Selection Kreuz-Validierung Handlungsanweisungen. Validation. Oktober, von 20 Validation
Validation Oktober, 2013 1 von 20 Validation Lernziele Konzepte des maschinellen Lernens Validierungsdaten Model Selection Kreuz-Validierung (Cross Validation) 2 von 20 Validation Outline 1 Validation
MehrIdeen und Konzepte der Informatik. Maschinelles Lernen. Kurt Mehlhorn
Ideen und Konzepte der Informatik Maschinelles Lernen Kurt Mehlhorn Übersicht Lernen: Begriff Beispiele für den Stand der Kunst Spamerkennung Handschriftenerkennung mit und ohne Trainingsdaten Gesichts-
MehrTheoretische Informatik 1
Theoretische Informatik 1 Boltzmann Maschine David Kappel Institut für Grundlagen der Informationsverarbeitung TU Graz SS 2014 Übersicht Boltzmann Maschine Neuronale Netzwerke Die Boltzmann Maschine Gibbs
MehrNeuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24.
Neuronale Netze in der Phonetik: Grundlagen Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 24. Mai 2006 Inhalt Einführung Maschinelles Lernen Lernparadigmen Maschinelles
MehrSimulation neuronaler Netzwerke mit TIKAPP
Überblick Michael Hanke Sebastian Krüger Institut für Psychologie Martin-Luther-Universität Halle-Wittenberg Forschungskolloquium, SS 2004 Überblick Fragen 1 Was sind neuronale Netze? 2 Was ist TIKAPP?
MehrINTELLIGENTE DATENANALYSE IN MATLAB. Objekterkennung
INTELLIGENTE DATENANALYSE IN MATLAB Objekterkennung Objekterkennung Problemstellung Gegeben: Ein Bild. Fragestellungen: Klassifikationsproblem Ist ein bestimmtes Objekt (z.b. Flugzeug) auf dem Bild? Welches
MehrBeschleunigung von Bild-Segmentierungs- Algorithmen mit FPGAs
Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Algorithmen mit FPGAs Vortrag von Jan Frenzel Dresden, Gliederung Was ist Bildsegmentierung?
MehrNeuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer. 12. Aufgabenblatt: Projektvorschläge für WS 2010/2011
Neuronale Netze, Fuzzy Control, Genetische Algorithmen Prof. Jürgen Sauer 12. Aufgabenblatt: Projektvorschläge für WS 2010/2011 Hinweis: Alle Projekte sind angemessen zu dokumentieren. Die Dokumentation
MehrMultivariate Pattern Analysis. Jan Mehnert, Christoph Korn
Multivariate Pattern Analysis Jan Mehnert, Christoph Korn Übersicht 1. Motivation 2. Features 3. Klassifizierung 4. Statistik 5. Annahmen & Design 6. Similarity 7. Beispiel Grenzen & Probleme der klassischen
MehrV. Metriken. Gliederung. I. Motivation. Lesen mathematischer Symbole. Wissenschaftliche Argumentation. Matrizenrechnung. Seite 67
Gliederung I. Motivation II. III. Lesen mathematischer Symbole Wissenschaftliche Argumentation IV. Matrizenrechnung V. Metriken Seite 67 Problemstellung: Gegeben seien 2 Punkte im Raum. Wie groß ist die
MehrSoftcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003
Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung
MehrVorlesung. Data und Web Mining. Kurzinformation zur. Univ.-Prof. Dr. Ralph Bergmann. Lehrstuhl für Wirtschaftsinformatik II
Kurzinformation zur Vorlesung Data und Web Mining Univ.-Prof. Dr. Ralph Bergmann www.wi2.uni-trier.de - I - 1 - Die Ausgangssituation (1) Unternehmen und Organisationen haben enorme Datenmengen angesammelt
Mehr5 Suchmaschinen Page Rank. Page Rank. Information Retrieval und Text Mining FH Bonn-Rhein-Sieg, SS Suchmaschinen Page Rank
Page Rank Google versucht die Bedeutung von Seiten durch den sogenannten Page Rank zu ermitteln. A C Page Rank basiert auf der Verweisstruktur des Webs. Das Web wird als großer gerichteter Graph betrachtet.
MehrMaschinelle Sprachverarbeitung: Part-of-Speech-Tagging
HUMBOLDT-UNIVERSITÄT ZU BERLIN Institut für Informatik Lehrstuhl Wissensmanagement Maschinelle Sprachverarbeitung: Part-of-Speech-Tagging Tobias Scheffer Ulf Brefeld POS-Tagging Zuordnung der Wortart von
MehrImplementationsaspekte
Implementationsaspekte Überlegungen zur Programmierung Neuronaler Netzwerke Implementationsprinzipien Trennung der Aspekte: Datenhaltung numerische Eigenschaften der Objekte Funktionalität Methoden der
MehrSeminar Kognitive Robotik. Interne Modelle I Vorwärtsmodelle Vortragender: Rüdiger Timpe
Seminar Kognitive Robotik Interne Modelle I Vortragender: Rüdiger Timpe Quellen Miall/Wolpert: Forward Models for Physiological Motor Control (1996) Blakemore/Wolpert/Frith: Why can't you tickle yourself?
MehrKünstliche Intelligenz
1. Juni, 2017 Künstliche Intelligenz Stand der Forschung, Aktuelle Probleme & Herausforderungen Prof. Dr. Roland Kwitt Fachbereich Computerwissenschaften Universität Salzburg Übersicht Begrifflichkeiten
MehrBACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON
BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe
MehrAufbau und Beschreibung Neuronaler Netzwerke
Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser
Mehr3D-Rekonstruktion aus Bildern
Allgemeine Nachrichtentechnik Prof. Dr.-Ing. Udo Zölzer 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe 41. Treffen der ITG-Fachgruppe Algorithmen für die Signalverarbeitung HSU Hamburg 24. Februar
MehrComputational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20
Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt
MehrMulti-Layer Neural Networks and Learning Algorithms
Multi-Layer Neural Networks and Learning Algorithms Alexander Perzylo 22. Dezember 2003 Ausarbeitung für das Hauptseminar Machine Learning (2003) mit L A TEX gesetzt Diese Ausarbeitung ist eine Weiterführung
MehrKNN für XOR-Funktion. 6. April 2009
KNN für XOR-Funktion G.Döben-Henisch Fachbereich Informatik und Ingenieurswissenschaften FH Frankfurt am Main University of Applied Sciences D-60318 Frankfurt am Main Germany Email: doeben at fb2.fh-frankfurt.de
MehrKlassifikation linear separierbarer Probleme
Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear
MehrTheoretical Analysis of Protein-Protein Interactions. Proseminar SS 2004
Theoretical Analysis of Protein-Protein Interactions Proseminar Virtual Screening: Predicting Pairs from Sequence Übersicht Einleitung 1.Modell: Vorhersage von Protein-Interfaces aus Sequenzprofilen und
MehrGliederung. Biologische Motivation Künstliche neuronale Netzwerke. Anwendungsbeispiele Zusammenfassung. Das Perzeptron
Neuronale Netzwerke Gliederung Biologische Motivation Künstliche neuronale Netzwerke Das Perzeptron Aufbau Lernen und Verallgemeinern Anwendung Testergebnis Anwendungsbeispiele Zusammenfassung Biologische
MehrNeuronale Netze. Literatur: J. Zupan, J. Gasteiger: Neural Networks in Chemistry and Drug Design, VCH, Weinheim, 2nd Ed. 1999, ISBN 978-3-527-29779-5
Neuronale Netze Eine Reihe von ganz verschiedenen Methoden werden als Neuronale Netze (NN) bezeichnet. Die wichtigsten sind: - Feed forward, back propagation -NN (am meisten verwendet) - Kohonen-Netze:
Mehr