Selbstorganisierende Karten
|
|
- Fanny Gerstle
- vor 7 Jahren
- Abrufe
Transkript
1 Selbstorganisierende Karten Vorlesung Maschinelles Lernen II Dr. Theo Lettmann Oliver Kramer 22. Mai 2006
2 Überblick Grundlagen SOMs Anwendungen 2D-SOMs Neuronales Gas 2
3 Grundlagen der Neuronalen Informationsverarbeitung Künstliches Neuron Soll echtes biologisches Neuron nachbilden Durch Synapsen mit anderen Neuronen verbunden Eingabeverbindungen sind gewichtet Neuron reagiert auf Eingabe durch eine bestimmte Ausgabe (meist [0,1]) Typen von künstlichen Neuronalen Netzen Perzeptron Backpropagation-Netz (Multi-Layer-Perzeptron) Hopfield-Netz Selbstorganisierende Karten Neuronales Gas 3
4 (Un-)Überwachtes Lernen Überwachtes Lernen: Es gibt eine Menge an Testeingaben, für die die richtigen Ausgaben bekannt sind. Ein NN wird mit den Testeingaben konfrontiert und solange berichtigt/verändert, bis es die richtigen Ausgaben liefert. Hoffnung: Das Netz hat abstrahiert und kann dann auch auf unbekannte Eingaben richtig reagieren. Unüberwachtes Lernen: Dem Netz werden willkürlich Eingaben präsentiert. Das Netz lernt selbstständig wie die Daten beschaffen sind und passt sich an diese an. Nach dem Lernvorgang kann man analysieren, wie das Netz auf bestimmte Eingaben reagiert. 4
5 Neurologische Grundlagen Karten im Gehirn z.b. Sensorischer Kortex Benachbarte Bereiche entsprechen benachbarten Sinnen Sensorische Reize erzeugen Reaktionen auf den entsprechenden Bereichen Bereiche, die häufiger angesprochen werden sind größer und daher genauer. Die Zuordnung passt sich an! 5
6 Mögliche Nutzung Karten im Gehirn bilden komplexe Sensorinformationen auf eine 2D-Struktur ab, wobei ähnliche Informationen nebeneinander liegen. Dimensionsreduktion Datenanalyse Clustering Ähnlichkeitsgraphen Bestimmte Bereiche antworten auf bestimmte Reize Klassifikation Abstrahierung der Informationen Lernen Wichtige/Häufige Informationen werden durch größere Bereiche abgebildet Optimierung der Ressourcen zur Abbildung der Daten Erkennen wichtiger Informationen 6
7 Teuvo Kohonen "Erfinder" der selbstorganisierenden Karten oder SOM (auch Kohonen Karten) SOM veröffentlicht 1982 Geb. 11. Juli 1934 in Finnland Forschung auf den Gebieten: Selbstorganisation Vektorquantifizierung (LVQ) Neuronale Netze SOM 7
8 Überblick Grundlagen SOMs Anwendungen 2D-SOMs Neuronales Gas 8
9 Modellbildung Natürliches Vorbild wird vereinfacht Einfache Struktur der Neuronenschicht (z.b. Gitter) Eingabe: Vektor aus v = (v 1,,v n ) n Jedes Neuron hat Gewichtsvektor w = (w 1,,w n ) n Je näher die Gewichte w mit v übereinstimmt, desto erregter ist das Neuron Idee: Benachbarte Neuronen sollten auf ähnliche Signale ansprechen Erregungszentrum Ritter et al. Neuronale Netze, Addison Wesley 9
10 Genauere Definition Neuronen liegen im 2 Jedes Neuron kann über eine eindeutige Position r =(x r, y r ) 2 identifiziert werden. A bezeichnet die Menge aller Neuronen. Die Neuronen befinden sich auf einer genau definierten Struktur (Quadratisches Gitter, Hexagonales Gitter, ) Bemerkung: Die Neuronen verändern niemals ihre Position. (0,1) (0,2) (0,4) (0,0) (0,1) (0,2) (1,0) (1,3) (1,0) (1,1) (1,2) (3,0) (2,1) (2,2) (3,3) (2,4) (2,0) (2,1) (2,2) (4,1) (4,2) (4,4) 10
11 Genauere Definition (II) Sei n + eine positive natürliche Zahl. Für eine Eingabemenge V gilt: V ist ein Vektorraum (meist V n ) Jedes Neuron r A besitzt einen eigenen Gewichtsvektor w r = (w r1,,w rn ) n Für einen Eingabevektor v V ist genau das Neuron r' A das Erregungszentrum für das gilt. "Das Neuron mit mit dem ähnlichsten Gewichtsvektor gewinnt" 11
12 Genauere Definition (III) Für die Bestimmung des Erregungszentrums r' wird die Funktion φ:v A definiert als Damit gilt 12
13 Neuronenerregung Die Erregung eines Neurons r A bei einem Erregungszentrum r' A wird durch die Funktion h r' (r) berechnet. Es gibt verschieden Möglichlichkeiten für h r' (r), z.b. Gaußglocke mit Radius σ Mexican Hat mit Radius σ 13
14 Neuronenerregung (II) 14
15 Der Lernalgorithmus 1. Initialisierung: Starte mit einem geeigneten Netz und geeignet gewählten Gewichten für die Neuronen (meist zufällig) 2. Stimuluswahl: Wähle anhand der Wahrscheinlichkeitsdichte P(v) einen zufälligen Vektor v V 3. Antwort: Bestimme das Erregungszentrum r' =φ(v), also gemäß 4. Adaption: Passe die Gewichte aller Neuronen an gemäß 15
16 Der Adaptionsschritt 16
17 Der Adaptionsschritt (II) Verschiebung der Gewichte in Richtung des Eingabevektors Verschiebung stärker bei hoher Erregung des Neurons hoher Schrittweite γ v (v) Alle Neuronengewichte werden entsprechend der Erregung verschoben. w r' w r' V A 17
18 Schrittweite γ Normalerweise γ [0,1] Hohe Schrittweite Schnelle Adaption Verstärkte Auswirkung auch auf entfernternte Neuronen "Schnelleres aber chaotischeres Lernen" Niedrige Schrittweite Langsame Adaption "Langsames aber ausgeglichenes Lernen Häufige Einstellung Anfangs hohe Schrittweite Schrittweite wird im Laufe des Lernprozesses kleiner 18
19 Voronoi-Regionen Nach dem Lernvorgang kodiert jedes Neuron einen bestimmten Teilraum von V. Diese Regionen heißen Voronoi-Regionen. Alle Werte in einer Voronoi- Region werden dem entsprechenden Neuron zugeordnet. V Für das Neuron r V ist diese Region V r definiert als 19
20 Beispiel V = 3 (0,0,0) (1,0,1) r 1 = (0,0) r 2 = (0,1) v = (0,0.3,0) Distanzen: (0,1,0) (1,1,1) r 3 = (1,0) r 4 = (1,1) Annahme: γ = 1 und 20
21 Überblick Grundlagen SOMs Anwendungen 2D-SOMs Neuronales Gas 21
22 Anwendungsbeispiel: Farben Ziel: Dimensionsreduktion 3D 2D V = [0,1] 3 (rot, grün, blau) 50x50 Neuronen, zufällig initialisiert Benachbarte Neuronen haben ähnliche Farbe Tom Germano, 22
23 WEBSOM von Kohonen et al. Analyse von sehr großen Textdatenbanken Wörter werden kodiert als Elemente aus 90 Zu jedem Wortvorkommen werden die beiden Nachbarworte betrachtet. Diese Wort-Triplets werden an ein SOM übergeben V
24 WEBSOM (II) Label eines Neurons: Erneute Propagation der Textstellen Hauptwörter, auf die dieses am stärksten reagiert werden dem Neuron zugeordnet SOM wurde mit den Beiträgen der Newsgroup comp.ai.neuralnets ( Dokumente) gefüttert: Artikel "a", "the" rausgefiltert Sehr seltene Worte rausgefiltert Ergebnisse: Wörter die in ähnlichen Kontexten stehen sind nah beieinander Synonyme meist auf demselben Knoten Wörter die eine Kategorie bilden meist auf demselben Knoten 24
25 WEBSOM (III) T. Kohonen et al.: Exploration of Very Large Databases by Self-Organizeng Maps, ICNN'97 25
26 Dokumentenklassifizierung mit dem WEBSOM Für ein Dokument kann ein "Fingerabdruck" wie folgt erstellt werden: Präsentiere alle Worttripel dem SOM Bilde ein Histogramm aus den relativen Häufigkeiten Diese Fingerabdrücke können durch ein zweites SOM gelernt werden. Neuronen stehen hier für Dokumente der gleichen Klasse Durch das Hintereinanderschalten der SOMs kann man zu bestimmten Begriffen passende Dokumente finden. T. Kohonen et al.: Exploration of Very Large Databases by Self-Organizeng Maps, ICNN'97 Bei Präsentation eines Neuen Dokumentes, werden die Neuronen erregt, die ähnliche Dokumente beinhalten 26
27 Überblick Grundlagen SOMs Anwendungen 2D-SOMs Neuronales Gas 27
28 2-dimensionale Eingaberäume Spezialfall: V 2 Vereinfachte Visualisierung: Die Gewichte der Neuronen bestimmen die Position im 2 VORSICHT: Die eigentlich Position der Neuronen bleibt unverändert. Besonders geeignet zur Betrachtung des SOM-Lernprozesses und der Auswirkungen der Parameter darauf 3 (1,3) r 1 = (0,0) (2,3) r 4 = (1,1) (1,3) r 1 = (0,0) (1,1) r 2 = (0,1) 2 (2,2) r 3 = (1,0) (2,2) r 3 = (1,0) (2,3) r 4 = (1,1) 1 (1,1) r 2 = (0,1)
29 Lernprozess Adaptionsschritt: Bei Veränderung der Gewichte wird die Position geändert Nachbarneuronen werden wie an "Gummiseilen" mitgezogen (Einfluss von h r' (r)) Sehr anschaulich 29
30 Ausfüllen einer Fläche Häufige Testlernaufgabe Gegeben: Fläche in 2 Zufällig inititalisiertes SOM Dem Netz werden gleichverteilte Punkte aus der Fläche präsentiert Ziel: Möglichst gute Abdeckung der Fläche durch das SOM Benachbarte Neuronen in ähnlichen Regionen 30
31 Typischer Verlauf Ritter et al. Neuronale Netze, Addison Wesley 31
32 Unterschiedliche Ausprägungen Fehlerhafte Entfaltung Unterschiedliche Dichten Ritter et al. Neuronale Netze, Addison Wesley 32
33 Erweiterte Adaptionsfunktion Zur Verbesserung des Lernverhaltens werden zeitabhängige Werte benutzt für: Schrittweite γ Radius der Erregungsfunktion σ Beispiel: 33
34 Beispielprogramm 34
35 Das Traveling Salesman Problem Kürzeste Rundtour durch n Städte Lösung durch 1-dimensionales SOM Neuronen sind an einer Kette oder Ring angeordnet Neuronen haben feste Reihenfolge Folge von Neuronen entspricht Folge von Stationen in V SOM-Lernalgorithmus = Finde einen Weg in V P : V [0,1] regelt, welche Regionen in V für das SOM wichtig sind. Städte, die nah beieinander liegen sind aus Sicht des SOMs ähnlich. Benachbarte Neuronen liegen auf nah zueinander liegenden Städten 35
36 SOM-Lösungsansatz V = 2 k Städte v 1,,v k V Als Eingaben werden dem SOM die Städte präsentiert. 36
37 Überblick Grundlagen SOMs Anwendungen 2D-SOMs Neuronales Gas 37
38 Grundlagen Martinetz & Schulten, 1991 Erweiterung des SOM um wechselnde Verbindungen Nachbarneuronen bestimmen sich aus dem Abstand der Gewichte. Verbindungen gehen nach einer bestimmten Zeit verloren v Neue Verbindungen entstehen zwischen Gewinnerneuron und dem zur Eingabe zweinahesten Neuron. Vorteil: Freiere Struktur Bessere Adaption Nachteil: Keine 2D-Abbildung V 38
39 Genaue Definition Eingaberaum V n Es gibt k Neuronen r 1,,r k mit Gewichten w 1,,w k V Die Matrix C = (c i,j ) 1 i,j k 0 k k bestimmt die Verbindungen mit Es wird normalerweise nur die obere Dreiecksmatrix benutzt. Die Lebenszeit neuer Verbindungen wird jeweils um c max erhöht. 39
40 Lernalgorithmus 1. Initialisiere w 1,,w k mit geeigneten Werten und setze C = 0 2. Wähle anhand der Wahrscheinlichkeitsdichte P(v) einen zufälligen Vektor v V. 3. Bestimme den Abstand aller Neuronen zu v. 4. Bestimme für alle Neuronen r 1,,r k den Wert 5. (Adaption) Passe dir Gewichte aller Neuronen an gemäß: 6. Erhöhe die Lebenszeit der Verbindung des Gewinnerneurons zum zweiten Neuron um c max. 40
41 Der Adaptionsschritt Neuer Gewichtsvektor Anzahl an Neuronen die näher an v sind als r i Verschiebung in Richtung v Alter Gewichtsvektor 1 "Radius" der Erregung Lernrate / Schrittweite 1/e λ 41
42 Beispiel V = 3, v = (0,0.3,0) Annahme: γ = 1, λ = 2 42
43 Die Verbindungsmatrix C Wozu wird die Verbindungsmatrix C gebraucht? Durch Anpassung von C werden die Neuronen in Relation gebracht Für den durch C gegebenen Graphen am Ende des Lernvorgangs gilt Nachbarn besitzen ähnliche Eigenschaften Nicht verbundene Knoten sind unterschiedlich Ersatz für die Gitterstruktur des SOMs Nachteil: Fehlende Übersichtlichkeit 43
44 Erweiterte Adaptionsfunktion Zur Verbesserung des Lernverhaltens werden zeitabhängige Werte benutzt für: Schrittweite γ Radius der Erregungsfunktion λ Beispiel: 44
45 Beispielprogramm 45
46 Anwendungsbeispiel: Länderarmut Statistiken der Weltbank von Ländern der Erde n=39 Kategorien (Gesundheitsweisen, Bildungsstand, Ernährung, ) Nach dem Lernvorgang: Länder wurden dem Neuron mit dem ähnlichsten Gewichten zugeordnet Farbunterschied zwischen den Neuronen entspricht Gewichtsunterschied 46
Selbstorganisierende Karten
Selbstorganisierende Karten Proseminar Ausgewählte Themen über Agentensysteme 11.07.2017 Institut für Informatik Selbstorganisierende Karten 1 Übersicht Motivation Selbstorganisierende Karten Aufbau &
MehrKapitel ML:XII. XII. Other Unsupervised Learning. Nearest Neighbor Strategies. Self Organizing Maps Neural Gas. Association Analysis Rule Mining
Kapitel ML:XII XII. Other Unsupervised Learning Nearest Neighbor Strategies Self Organizing Maps Neural Gas Association Analysis Rule Mining Reinforcement Learning ML:XII-1 Unsupervised Others LETTMANN
MehrSelbstorganisierende Karten
Selbstorganisierende Karten (engl. Self-Organizing Maps (SOMs)) Rudolf Kruse Neuronale Netze 169 Selbstorganisierende Karten Eine selbstorganisierende Karte oder Kohonen-Merkmalskarte ist ein neuronales
MehrSeminar über Neuronale Netze und Maschinelles Lernen WS 06/07
Universität Regensburg Naturwissenschaftliche Informatik Seminar über Neuronale Netze und Maschinelles Lernen WS 06/07 Cluster-Algorithmen II: Neural Gas Vortragender: Matthias Klein Gliederung Motivation:
MehrKonzepte der AI Neuronale Netze
Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale
MehrNeuronale Netze. Prof. Dr. Rudolf Kruse Christoph Doell, M.Sc.
Neuronale Netze Prof. Dr. Rudolf Kruse Christoph Doell, M.Sc. Computational Intelligence Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik kruse@iws.cs.uni-magdeburg.de Rudolf Kruse
Mehr1 Einleitung. 2 Clustering
Lernende Vektorquantisierung (LVQ) und K-Means-Clustering David Bouchain Proseminar Neuronale Netze Kurs-Nr.: CS4400 ISI WS 2004/05 david@bouchain.de 1 Einleitung Im Folgenden soll zum einen ein Überblick
MehrSelbstorganisierende Karten
Selbstorganisierende Karten Jochen Weiß Inhaltsverzeichnis 1 Das menschliche Gehirn als Vorbild 2 2 Architektur einer SOM 3 2.1 Aufbau der Neuronenschichten 3 2.2 Gewichts- und Eingabevektor 3 3 Das Training
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung
MehrNeuronale Netze. Prof. Dr. Rudolf Kruse
Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse Neuronale Netze 1 Lernende Vektorquantisierung
MehrSelbstorganisierende Karten
Selbstorganisierende Karten Yacin Bessas yb1@informatik.uni-ulm.de Proseminar Neuronale Netze 1 Einleitung 1.1 Kurzüberblick Die Selbstorganisierenden Karten, auch Self-Organizing (Feature) Maps, Kohonen-
MehrComputational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20
Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt
MehrKünstliche Neuronale Netze
Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer
MehrNeuronale Neize. Eine Einfuhrung in die Neuroinfomnatik selbstorganisierender Netzwerke ADDISON-WESLEY PUBLISHING COMPANY
Helge Ritter/Thomas Marrineiz/Klaus Schulten Neuronale Neize Eine Einfuhrung in die Neuroinfomnatik selbstorganisierender Netzwerke Technische Hochschule Darmstadt FACHBEREICH INFORMATIK B! B k±ojjtlus
MehrPROCMON. Performance und Condition Monitoring komplexer verfahrenstechnischer Prozesse. Christian W. Frey.
PROCMON Performance und Condition Monitoring komplexer verfahrenstechnischer Prozesse Christian W. Frey 2011 PROCMON Performance und Condition Monitoring komplexer verfahrenstechnischer Prozesse 1. Motivation
Mehr(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.
(hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild
MehrKohonennetze Selbstorganisierende Karten
Kohonennetze Selbstorganisierende Karten Julian Rith, Simon Regnet, Falk Kniffka Seminar: Umgebungsexploration und Wegeplanung mit Robotern Kohonennetze: Neuronale Netze In Dendriten werden die ankommenden
MehrTechnische Universität. Fakultät für Informatik
Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Selbstorganisierende Karten Seminar Kognitive Robotik (SS12) Thomas Hoffmann Betreuer: Dr. Florian Röhrbein
MehrKlassifikation linear separierbarer Probleme
Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear
MehrLernende Vektorquantisierung
Lernende Vektorquantisierung (engl. Learning Vector Quantization) Rudolf Kruse Neuronale Netze 5 Motivation Bisher: festes Lernen, jetzt freies Lernen, d.h. es existieren keine festgelegten Klassenlabels
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale
MehrPraktikum Simulationstechnik Rene Schneider, Benjamin Zaiser
Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser 11.11.2008 CSM Master: Praktikum Simulationstechnik, rs034, bz003 2 Befehlsübersicht Begriffsdefinition / Neuronale Netze: / / 11.11.2008 CSM
MehrSelbstorganisierende Karten
Selbstorganisierende Karten Marten Jäger 6. August 2007 Zusammenfassung Selbstorganisierte Karten (SOM ) sind ein unüberwachtes Lernverfahren mit dem Ziel eine topologische Darstellung des Eingaberaums
MehrTraining von RBF-Netzen. Rudolf Kruse Neuronale Netze 134
Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches
MehrAdaptive Resonance Theory
Adaptive Resonance Theory Jonas Jacobi, Felix J. Oppermann C.v.O. Universität Oldenburg Adaptive Resonance Theory p.1/27 Gliederung 1. Neuronale Netze 2. Stabilität - Plastizität 3. ART-1 4. ART-2 5. ARTMAP
MehrModellbildung und Simulation
Modellbildung und Simulation 6. Vorlesung Wintersemester 2007/2008 Klaus Kasper Value at Risk (VaR) Gaußdichte Gaußdichte der Normalverteilung: f ( x) = 1 2π σ x e 2 2 x ( x µ ) / 2σ x Gaußdichte der Standardnormalverteilung:
Mehr7. Unüberwachte Lernverfahren
7. Unüberwachte Lernverfahren 1. Neuronale Merkmalskarten 2. Explorative Datenanalyse 3. Methoden zur Datenreduktion der Datenpunkte 4. Methoden zur Merkmalsreduktion der Merkmale Schwenker NI1 141 7.1
MehrNeuronale Netze. Christian Böhm.
Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch
MehrPerzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004
Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron
MehrNeuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)
29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein
MehrAufbau der Eigenimplementierung
Table of contents 1 2 Aufbau... 2 1.1 Feed Forward Netze...3 1.2 Self Organizing Maps... 5 Training... 6 2.1 Feed Forward Netze...7 2.2 Self Organizing Maps... 8 Nachdem wir uns entschlossen hatten, keine
MehrThema 3: Radiale Basisfunktionen und RBF- Netze
Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung
MehrAdaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Mehrere Neuronen, Assoziative Speicher und Mustererkennung Prof. Dr. rer. nat. Nikolaus Wulff Modell eines Neuron x x 2 x 3. y y= k = n w k x k x n Die n binären Eingangssignale x k {,}
MehrStatistische Methoden der Datenanalyse
Statistische Methoden der Datenanalyse Vorlesung im Sommersemester 2008 H. Kolanoski Humboldt-Universität zu Berlin Inhaltsverzeichnis Literaturverzeichnis iii 1 Grundlagen der Statistik 3 1.1 Wahrscheinlichkeit............................
MehrNeuronale Netze. Seminar aus Algorithmik Stefan Craß,
Neuronale Netze Seminar aus Algorithmik Stefan Craß, 325656 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 2 Inhalt Theoretisches Modell Grundlagen Lernansätze
MehrAdaptive Systeme. Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Evolutionäre Algorithmen: Überlebenskampf und Evolutionäre Strategien Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff Überblick Einleitung Adaptive Filter Künstliche
MehrBACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON
BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe
MehrDer Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1
Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?
MehrAndreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg
Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale
MehrWir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
MehrPraktische Optimierung
Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze
MehrKlassifizieren und Visualisieren von Daten mit Selbstorganisierenden Karten
Fachhochschule Brandenburg Fachbereich Informatik und Medien Klassifizieren und Visualisieren von Daten mit Selbstorganisierenden Karten Diplomkolloquium Sven Schröder Aufgabenstellung und Motivation Biologisches
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen
MehrDipl. Inform. I. Boersch FB Informatik und Medien. I. Boersch, FH Brandenburg, Wissensbasierte Systeme in der Medizin SOM 1
Selbstorganisierende Karten Dipl. Inform. I. Boersch FB Informatik und Medien I. Boersch, FH Brandenburg, 18.12.2015 Wissensbasierte Systeme in der Medizin SOM 1 Selbstorganisierende Karten sind Einfach
MehrStatistical Learning
Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in
MehrKünstliche Neuronale Netze
Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?
MehrAdaptive Resonanztheorie
Adaptive Resonanztheorie Proseminar (ISI) 2005 Abt. Neuroinformatik Moritz Gerlach mg23@informatik.uni-ulm.de 19. April 2005 1 Einleitung 1.1 Problemstellung Neuronale Netze bestehen aus zu Schichten zusammengefassten
MehrWas sind Neuronale Netze?
Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk
MehrClustering. Clustering:
Clustering Clustering: Gruppierung und Einteilung einer Datenmenge nach ähnlichen Merkmalen Unüberwachte Klassifizierung (Neuronale Netze- Terminologie) Distanzkriterium: Ein Datenvektor ist zu anderen
MehrNichtlineare Klassifikatoren
Nichtlineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 11 1 M. O. Franz 12.01.2008 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
MehrDas Modell: Nichtlineare Merkmalsextraktion (Preprozessing) + Lineare Klassifikation
Das Modell: Nichtlineare Merkmalsextraktion (Preprozessing) + Lineare Klassifikation Hochdimensionaler Eingaberaum {0,1} Z S quadratisch aufgemalt (zwecks besserer Visualisierung) als Retina bestehend
MehrSelbstorganisierende Karten
Selbstorganisierende Karten FH Brandenburg Dipl. Inform. I. Boersch FB Informatik und Medien Dez 13 I. Boersch 1 SOM sind Einfach Leistungsfähig Physiologisch motiviert Anschaulich Dez 13 I. Boersch 2
MehrTechnische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt
Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / 2015 8. Aufgabenblatt
MehrKönnen neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie
Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie 1. Erzeugung von Stahl im Lichtbogenofen 2. Biologische neuronale Netze 3. Künstliche neuronale Netze 4. Anwendung neuronaler
MehrKlassifikationsverfahren und Neuronale Netze
Klassifikationsverfahren und Neuronale Netze Hauptseminar - Methoden der experimentellen Teilchenphysik Thomas Keck 9.12.2011 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrAdaptive Systeme. Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Unüberwachtes Lernen: Adaptive Vektor Quantisierung und Kohonen Netze Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff Überwachtes Lernen Alle bis lang betrachteten Netzwerke
MehrNeuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.
Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen
MehrLineare Algebra und analytische Geometrie I
Prof. Dr. H. Brenner Osnabrück WS 215/216 Lineare Algebra und analytische Geometrie I Vorlesung 27 In der letzten Vorlesung haben wir die Haupträume zu einem Eigenwert λ zu einem Endomorphismus ϕ als Kern
MehrAllgemeine (Künstliche) Neuronale Netze. Rudolf Kruse Neuronale Netze 40
Allgemeine (Künstliche) Neuronale Netze Rudolf Kruse Neuronale Netze 40 Allgemeine Neuronale Netze Graphentheoretische Grundlagen Ein (gerichteter) Graph ist ein Tupel G = (V, E), bestehend aus einer (endlichen)
MehrKünstliche Intelligenz Maschinelles Lernen
Künstliche Intelligenz Maschinelles Lernen Stephan Schwiebert WS 2009/2010 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln Bayessche Regel Die Bayessche Regel: Herleitung
MehrWas bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und
Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion
Mehr7. Vorlesung Neuronale Netze
Soft Control (AT 3, RMA) 7. Vorlesung Neuronale Netze Grundlagen 7. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
Mehr3.6 Eigenwerte und Eigenvektoren
3.6 Eigenwerte und Eigenvektoren 3.6. Einleitung Eine quadratische n n Matrix A definiert eine Abbildung eines n dimensionalen Vektors auf einen n dimensionalen Vektor. c A x c A x Von besonderem Interesse
MehrAdaptive Resonance Theory [ART] - Ein neuer Ansatz lernender Computer -
Pro Seminar im Grundstudium - Neuroinformatik: Adaptive esonance Theory [AT] - Ein neuer Ansatz lernender Computer - Author: Alexander-Marc Merten Fachsemester: 3 Holzsteige 15 89160 Dornstadt Email: am18@informatik.uni-ulm.de
MehrMaschinelles Lernen I Einführung. Uwe Reichel IPS, LMU München 22. April 2008
Maschinelles Lernen I Einführung Uwe Reichel IPS, LMU München reichelu@phonetik.uni-muenchen.de 22. April 2008 Inhalt Einführung Lernen Maschinelle Lernverfahren im Überblick Phonetische Anwendungsbeispiele
Mehr35 Matrixschreibweise für lineare Abbildungen
35 Matrixschreibweise für lineare Abbildungen 35 Motivation Wir haben gesehen, dass lineare Abbildungen sich durch ihre Wirkung auf die Basisvektoren ausdrücken lassen Mithilfe von Matrizen können wir
MehrNeuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien
in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???
MehrMustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12
Mustererkennung: Neuronale Netze D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Feed-Forward Netze y 1 y 2 y m...... x 1 x 2 x n Output Schicht i max... Zwischenschicht i... Zwischenschicht 1
MehrProseminar Neuronale Netze Frühjahr 2004
Proseminar Neuronale Netze Frühjahr 2004 Titel: Perzeptron Autor: Julia Grebneva, jg7@informatik.uni-ulm.de Einleitung In vielen Gebieten der Wirtschaft und Forschung, stellen sich oftmals Probleme, die
MehrInhalt. Mathematik für Chemiker II Lineare Algebra. Vorlesung im Sommersemester Kurt Frischmuth. Rostock, April Juli 2015
Inhalt Mathematik für Chemiker II Lineare Algebra Vorlesung im Sommersemester 5 Rostock, April Juli 5 Vektoren und Matrizen Abbildungen 3 Gleichungssysteme 4 Eigenwerte 5 Funktionen mehrerer Variabler
MehrWissensbasierte Systeme
Analytisch lösbare Optimierungsaufgaben Das Chaos-Spiel gründet auf der folgenden Vorschrift: Man startet von einem beliebigen Punkt aus geht auf einer Verbindung mit einem von drei zufällig gewählten
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial
MehrNeuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24.
Neuronale Netze in der Phonetik: Grundlagen Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 24. Mai 2006 Inhalt Einführung Maschinelles Lernen Lernparadigmen Maschinelles
Mehr6.4 Neuronale Netze zur Verarbeitung von Zeitreihen
6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1
MehrLösbarkeit linearer Gleichungssysteme
Lösbarkeit linearer Gleichungssysteme Lineares Gleichungssystem: Ax b, A R m n, x R n, b R m L R m R n Lx Ax Bemerkung b 0 R m Das Gleichungssystem heißt homogen a A0 0 Das LGS ist stets lösbar b Wenn
MehrJonas Behr. &5.DWHJRULHQH.1.1 [Systems and Information Theory], D.2.2 [Design Tools and Techniques]
6LPXODWLRQYRQQHXURQDOHU9HUDUEHLWXQJGXUFKVHOEVWRUJDQLVLHUHQGH.DUWHQ Jonas Behr $EVWUDFW Biologische Systeme sind in der Lage, hochkomplexe und stark variierende Situationen in Hinblick auf ein geeignetes
MehrSoftcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003
Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung
MehrInhaltsverzeichnis. Einführung
Inhaltsverzeichnis Einführung 1 Das biologische Paradigma 3 1.1 Neuronale Netze als Berechnungsmodell 3 1.1.1 Natürliche und künstliche neuronale Netze 3 1.1.2 Entstehung der Berechenbarkeitsmodelle 5
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?
MehrÜberblick. Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung
Grundlagen Überblick Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes-Klassifikator
MehrRadiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120
Radiale-Basisfunktionen-Netze Rudolf Kruse Neuronale Netze 2 Radiale-Basisfunktionen-Netze Eigenschaften von Radiale-Basisfunktionen-Netzen (RBF-Netzen) RBF-Netze sind streng geschichtete, vorwärtsbetriebene
MehrTechnische Universität. Fakultät für Informatik
Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Unsupervised Learning Seminar Kognitive Robotik (SS12) Sebastian Fröhlich Betreuer: Florian Röhrbein Leitung:
MehrHauptseminar KDD SS 2002
Hauptseminar KDD SS 2002 Prof. Dr. Hans-Peter Kriegel Eshref Januzaj Karin Kailing Peer Kröger Matthias Schubert Session: Clustering HS KDD, Ludwig-Maximilians-Universität München, SS 2002 1 Inhalt Einleitung
Mehr3 Determinanten, Eigenwerte, Normalformen
Determinanten, Eigenwerte, Normalformen.1 Determinanten Beispiel. Betrachte folgendes Parallelogramm in der Ebene R 2 : y (a + c, b + d) (c, d) (a, b) x Man rechnet leicht nach, dass die Fläche F dieses
MehrVorlesung Mathematik für Ingenieure 3 (Wintersemester 2009/10)
1 Vorlesung Mathematik für Ingenieure 3 (Wintersemester 2009/10) Kapitel 14: Vektorräume und lineare Abbildungen Volker Kaibel Otto-von-Guericke Universität Magdeburg (Version vom 6. Oktober 2009) Vektorräume
MehrWas bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen
Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise
MehrGrowing neural Gas Strukturen lernen. Torsten Siedel 23.05.2012
Growing neural Gas Strukturen lernen Torsten Siedel 23.05.2012 Inhalt 1. Prozess der Selbstorganisation 2. Lernen - momentan oder statistisch? 3. Vektorbasierte Neuronale Netze 4. Klassifizierung der Lernverfahren
MehrEinführung in die Computerlinguistik
Einführung in die Computerlinguistik Neuronale Netze WS 2014/2015 Vera Demberg Neuronale Netze Was ist das? Einer der größten Fortschritte in der Sprachverarbeitung und Bildverarbeitung der letzten Jahre:
MehrTopologische Objektrepräsentationen und zeitliche Korrelation
Topologische Objektrepräsentationen und zeitliche Korrelation Frank Michler Fachbereich Physik, AG NeuroPhysik Outline 1 2 Stimuli -Neuron und Architektur Lernregel 3 Selektivitäts-Karten Invariante Repräsentation
MehrAnalysis of Crash Simulation Data using Spectral Embedding with Histogram Distances
Analysis of Crash Simulation Data using Spectral Embedding with Histogram Distances Luisa Schwartz Universität Bonn Institut für Numerische Simulation Fraunhofer SCAI 25. September 2014 Luisa Schwartz
MehrVortrag 20: Kurze Vektoren in Gittern
Seminar: Wie genau ist ungefähr Vortrag 20: Kurze Vektoren in Gittern Kerstin Bauer Sommerakademie Görlitz, 2007 Definition und Problembeschreibung Definition: Gitter Seien b 1,,b k Q n. Dann heißt die
Mehr1 Darstellungsmatrizen
Matthias Tischler Karolina Stoiber Ferienkurs Lineare Algebra für Physiker WS 14/15 A 1 Darstellungsmatrizen Vereinbarungen für dieses Kapitel: K Körper V und W endlich-dimensionale K-Vektorräume B = {v
Mehr5. Vorlesung. Rechnen mit Vektoren.
5. Vorlesung. Rechnen mit Vektoren. Vektoren per se gibt es nicht. Vektoren sind immer Teil eines Vektorraumes. In dieser Vorlesung führen wir Vektorräume und Vektoren ein und beweisen ein paar klassische
MehrNeuro-Info Notizen. Markus Klemm.net WS 2016/2017. Inhaltsverzeichnis. 1 Hebbsche Lernregel. 1 Hebbsche Lernregel Fälle Lernrate...
Neuro-Info Notizen Marus Klemm.net WS 6/7 Inhaltsverzeichnis Hebbsche Lernregel. Fälle........................................ Lernrate..................................... Neural Gas. Algorithmus.....................................
Mehr