Aufbau der Eigenimplementierung
|
|
- Kurt Becke
- vor 7 Jahren
- Abrufe
Transkript
1 Table of contents 1 2 Aufbau Feed Forward Netze Self Organizing Maps... 5 Training Feed Forward Netze Self Organizing Maps... 8
2 Nachdem wir uns entschlossen hatten, keine fertige Bibliothek für Neuronale Netze zu nutzen, sondern eine Eigenimplementierung durchzuführen, galt es, einige wichtige Entscheidungen zu treffen. Um den Implementierungsaufwand möglichst im Rahmen zu halten, entschieden wir uns, nur Feed Forward Netze und Self Organizing Maps umzusetzen. Diese beiden Netztypen bilden eine gute Grundlage für die Arbeit mit Neuronale Netzen und sind für unseren Beleg ausreichend. Auch sind zu beiden Netztypen in der Literatur umfangreiche Abhandlungen zu finden, was die Implementierung erleichtert. Das einzige implementierte Trainingsverfahren für Feed Forward Netze ist Backpropagation Learning, Quickpropagation wurde aus Zeitgründen nicht umgesetzt. Trotz dieses eingeschränkten Funktionsumfangs ist unsere "Bibliothek" für Neuronale Netze voll funktionsfähig, es liegen auch einige Beispiele zur Demonstration vor. Es wurde versucht, die Implementierung zwar auf hohe Geschwindigkeit auszurichten, aber trotzdem modular zu arbeiten. Dadurch sind die vorhandenen Klassen leicht um weitere Funktionalitäten (z.b. weitere Lernverfahren) erweiterbar. Die folgenden Abschnitte geben einen Überblick über die Struktur unserer Implementierung, weitere Informationen lassen sich aus der Entwicklerdokumentation (../ressourcen/javadoc/index.html) entnehmen. 1. Aufbau Alle Klassen zum Aufbau Neuronaler Netze befinden sich im Paket de.htwdd.rosenkoenig.neuro.net. Die Basisklasse für alle Implementierungen Neuronaler Netze ist die abstrakte Klasse NeuralNet. NeuralNet bietet Funktionen zum Speichern/Laden eines Netzes als XML-Datei sowie mehrere abstrakte Methoden, die ableitende Klassen implementieren müssen. Diese Basisklasse ermöglicht es, verschiedene Typen von Netzen mit einer einheitlichen Schnittstelle zu versehen. Die konkreten Netztypen (z.b. SOM oder Feed Forward Netz) werden somit austauschbar. Neben den momentan vorliegenden Netztypen wären weitere Netzarten wie z.b. Hopfield Netze denkbar. Das folgende Klassendiagramm gibt einen Überblick über den Aufbau des Paketes. Seite 2
3 Klassendiagramm de.htwdd.rosenkoenig.neuro.net 1.1. Feed Forward Netze Eine typische Modellierung eines künstlichen Neuronalen Netzes ist das Feed Forward Netz, dessen Struktur die folgende Grafik zeigt. Seite 3
4 Neuronales Netz Derartige Netze sind typischerweise in Schichten mit jeweils einer bestimmten Anzahl Neuronen organisiert: Eingabeschicht (input layer): Die Neuronen dieser Schicht verarbeiten die Eingaben des Netzes. verdeckte Schichten (hidden layer): Die Neuronen dieser Schichten sind meist jeweils mit allen Neuronen der vorhergehenden bzw. nachfolgenden Schicht verbunden. Ausgabeschicht (output layer): Die Neuronen der Ausgabeschicht fassen die Ergebnisse der vorherigen Schicht zusammen und bilden daraus die Ausgabe des Netzes. Die einzelnen Neuronen sind durch Synapsen verbunden, die jeweils mit einem Gewicht versehen sind. Nach Anlegen der Eingabe an eine Schicht werden mittels Aktivierungsund Ausgabefunktion die Ausgaben der Schicht berechnet, die dann wiederum die Eingaben der nächsten Schicht bilden. Auf nähere theoretische Details wird hier verzichtet. Eine gute Einführung ( findet sich z.b. auf den Seiten der Uni Münster. Seite 4
5 Um die Implementierung einfacher und vor allem performanter zu gestalten, haben wir folgende Einschränkungen festgelegt: Es lassen sich keine einzelnen Neuronen erstellen, sondern nur Schichten von Neuronen mit einer festgelegten Neuronenanzahl. Diese Schichten werden durch die Klasse Layer und ihre Unterklassen modelliert. Eine Schicht kann wahlweise ein Bias-Neuron enthalten. Eine Besonderheit stellt die Klasse KohonenLayer dar: Diese Klasse ermöglicht es, eine Self Organizing Map als Eingabeschicht eines Feed Forward Net zu nutzen. Es wird davon ausgegangen, dass zwei Schichten immer voll verbunden (jedes Neuron der einen Schicht mit jedem Neuron der andern Schicht) sind. Die Klasse Synapse bildet die Verbindung zwischen zwei Schichten mit individuellen Gewichten für jede "reale" Synapse. Durch diese Einschränkung ist kein echtes Pruning der Verbindungen möglich. Es handelt sich um Feed Forward Netze: Rückkopplungen oder Short Cuts sind nicht vorgesehen. Die Aktivierungsfunktion (ActivationFunction und ableitende Klassen) wird jeweils pro Schicht festgelegt. Ein- und Ausgaben des Netzes sowie sämtliche Zwischenwerte werden als double Werte bearbeitet. Die Klasse FeedForwardNet modelliert ein derartiges Netz: Es besteht aus einer Einund einer Ausgabeschicht, deren Größe beim Erzeugen des Netzes festgelegt wird. Die Aktivierungsfunktion dieser Schichten ist die Identitätsfunktion. Mittels der Methode addhiddenlayer können beliebig viele verdeckte Schichten mit beliebigen Aktivierungsfunktionen hinzugefügt werden. Die Gewichte werden bei Erzeugung des Netzes zufällig initialisiert. Die Ein- und Ausgaben des Netzes werden jeweils durch Arrays von double Werten repräsentiert Self Organizing Maps Self Organizing Maps (SOM) sind eine Spielart der sogenannten Kohonen Netze, die im Gegensatz zu Feed Forward Netzen durch unüberwachtes Lernen trainiert werden. Auch zu diesem Netztyp findet sich auf den Seiten der Uni Münster eine interessante Einführung ( Netze dieses Typs bestehen nur aus einer einzelnen Schicht Neuronen. Jedes dieser Neuronen hat einen Gewichtsvektor der Größe des Eingaberaums, man kann sich die einzelnen Neuronen also als Koordinaten auf einer (evtl. vieldimensionalen) Karte vorstellen. Die Neuronen werden z.b. rechteckig oder in einem hexagonalen Gitter angeordnet, so dass jedes Neuron eine Anzahl von Nachbarneuronen hat. Sobald ein Eingabevektor angelegt wird, bestimmt das Netz das Neuron, dessen Gewichtsvektor die Seite 5
6 größte Ähnlichkeit zum Eingabevektor aufweist. Dieses sogenannte "Gewinner-Neuron" bekommt eine Aktivierung von 1.0, durch eine Nachbarschaftsfunktion werden weitere Neuronen in seiner Umgebung angeregt, die ebenfalls eine (geringere) Aktivierung bekommen. Die Ausgabe des Netzes ist die "Karte" mit den "eingezeichneten" Aktivierungen der Neuronen. Unsere Implementierung der SOM ist die Klasse KohonenNet. Beim Erzeugen einer Instanz dieser Klasse werden die Größe des Inputvektors sowie Höhe und Breite der Karte angegeben. Um den Rechenaufwand gering zu halten, haben wir uns auf eine rechteckige Karte beschränkt. Abstände und Ähnlichkeiten werden über den euklidischen Abstand ermittelt. Bei der Instanziierung der SOM werden die Gewichtsvektoren zufällig initialisiert. Um das Verhalten der SOM flexibel zu gestalten, lässt sich die Nachbarschaftsfunktion austauschen: Die Klasse NeighbourhoodFunction stellt ein Attribut radius zur Verfügung, das den Nachbarschaftsradius repräsentiert. Alle ableitenden Klassen müssen die Methode computeactivation implementieren, die die Aktivierung für einen vorgegebenen Abstand zum Gewinner-Neuron berechnet. Mehrere Implementierungen sind bereits vorhanden. Sobald ein Eingabevektor angelegt wird, bestimmt die SOM das Gewinner-Neuron und ermittelt für alle Neuronen die Aktivierung. Diese "Karte" wird dann zurückgegeben. Über die Attribute winnerx und winnery lassen sich die Koordinaten des Gewinner-Neurons abfragen. 2. Training Das Paket de.htwdd.rosenkoenig.neuro.net.training enthält Klassen, die zum Training von Neuronalen Netzen genutzt werden. Seite 6
7 Klassendiagramm de.htwdd.rosenkoenig.neuro.net.training 2.1. Feed Forward Netze Für das Training von Feed Forward Netzen existieren verschiedene (überwachte) Trainingsverfahren (z.b. Backpropagation, Quickpropagation,...), von denen es teilweise noch unterschiedliche Varianten gibt. Um dieser Vielfalt gerecht zu werden, wurde ein modulares Trainingssystem entworfen, dass auf einfache Weise den Austausch des Trainingsverfahrens ermöglicht. Bei überwachten Lernverfahren werden dem zu trainierenden Netz jeweils Paare von Einund Ausgabedaten präsentiert. Ein solcher Datensatz wird durch die Klasse Pattern repräsentiert. Die zentrale Klasse des Trainingsvorgangs ist die Klasse Trainer. Diese Klasse enthält verschiedene Attribute, die den Trainingsprozess beeinflussen, z.b. die Lernrate (learningrate), das Momentum (momentum) oder den Fehler, bei dessen Erreichen das Training beendet werden soll (maxerror). Weiterhin kann vorgegeben werden, ob nach dem Training Pruning durchgeführt werden soll. Es handelt sich hier allerdings nicht um "echtes" Pruning, stattdessen werden alle Gewichte, die unterhalb einer bestimmten Schwelle liegen, auf 0 gesetzt. Die Angabe des Seite 7
8 Validierungskoeffizienten (validationcoeff) bestimmt das Verhältnis von Validierungs und Trainingsmenge. Ein Validierungskoeffizient von 0.1 würde bei einer Patternanzahl von 200 bedeuten, dass 180 Pattern für das Training und 20 Pattern für die Validierung genutzt werden. Für den eigentlichen Trainingsvorgang nutzt der Trainer ein konkretes Lernverfahren, repräsentiert durch die abstrakte Klasse TeachingAlgorithm. Die Methode teachpatterns dieser Klasse wird zyklisch aufgerufen, sie bekommt die Trainingsmenge als Parameter. teachpatterns führt also einen Lernzyklus über der gesamten Trainingsmenge durch. Von TeachingAlgorithm ableitende Klassen können über das Attribut trainer auf die Trainingsparameter (Lernrate,...) zugreifen. Aus Zeitgründen wurde nur das Verfahren Backpropagation ( implementiert, weitere Verfahren lassen sich durch Ableiten der Klasse TeachingAlgorithm leicht hinzufügen. Die Klasse Backpropagation kann sowohl für Online- als auch für Offline-Training verwendet werden (Trainingsparameter batchsize) und implementiert außerdem die Varianten Momentum und Flatspot. Die Nutzung von Backpropagation lässt sich in den Beispielklassen BankExample und XORExample nachvollziehen, die beide im Package de.htwdd.rosenkoenig.neuro.net.examples enthalten sind Self Organizing Maps Der Lernalgorithmus für Kohonen Netze ( wurde in der Klasse KohonenTrainer implementiert. Da es sich hierbei um unüberwachte Lernverfahren handelt, bestehen die Pattern im Gegensatz zum überwachten Lernen nur aus einem Eingabevektor. Der KohonenTrainer propagiert diesen Vektor und erhält so das Gewinner-Neuron. Die Gewichte dieses Neurons und seiner Nachbarn werden dann (abhängig von der Lernrate) an den Eingabevektor angeglichen. Welche benachbarten Neuronen wie stark angeglichen werden, hängt von der Nachbarschaftsfunktion und vom Nachbarschaftsradius ab. Um zu Beginn des Lernprozesses ein schnelles "Entfalten" der Kohonen-Karte zu verstärken, wird der Nachbarschaftsradius beim Start des Lernprozesses erhöht und nimmt mit der Zeit ab. So werden bei späteren Durchläufen nur noch "Feinjustierungen" vorgenommen. Die Nutzung des KohonenTrainer ist in der Beispielklasse AnimalExample im Package de.htwdd.rosenkoenig.neuro.net.examples verdeutlicht. Seite 8
Selbstorganisierende Karten
Selbstorganisierende Karten (engl. Self-Organizing Maps (SOMs)) Rudolf Kruse Neuronale Netze 169 Selbstorganisierende Karten Eine selbstorganisierende Karte oder Kohonen-Merkmalskarte ist ein neuronales
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung
MehrKonzepte der AI Neuronale Netze
Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale
MehrEinführung in Neuronale Netze
Wintersemester 2005/2006 VO 181.138 Einführung in die Artificial Intelligence Einführung in Neuronale Netze Oliver Frölich Abteilung für Datenbanken und Artificial Intelligence Institut für Informationssysteme
MehrBÜNDELN VON MUSTERN. Grundlagen der linearen Algebra im Anhang A. Kapitel 1.
Neuronale Netze im Klartext ISBN 3-8273-7071-X 3 BÜNDELN VON MUSTERN Lernziele Einführung in das überwachte Lernen. Sie sollten in der Lage sein: Unüberwachtes Lernen und das Prinzip der Bündelung von
MehrPraktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider
Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Approximation einer Kennlinie mit einem Künstlich Neuronalen Netz (KNN) in MATLAB 28.01.2008 5_CI2_Deckblatt_Kennlinie_Matlab_Schn2.doc
MehrNeuronale Netze. Prof. Dr. Rudolf Kruse Christoph Doell, M.Sc.
Neuronale Netze Prof. Dr. Rudolf Kruse Christoph Doell, M.Sc. Computational Intelligence Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik kruse@iws.cs.uni-magdeburg.de Rudolf Kruse
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Sebastian Morr 4. Juni 2008 Worum geht es? Die Natur hat uns 3,7 Milliarden Jahre Forschungszeit voraus. Toby Simpson Vorbild: Strukturen des Gehirns Ziel: Lernfähige Künstliche
MehrEinfaches Framework für Neuronale Netze
Einfaches Framework für Neuronale Netze Christian Silberbauer, IW7, 2007-01-23 Inhaltsverzeichnis 1. Einführung...1 2. Funktionsumfang...1 3. Implementierung...2 4. Erweiterbarkeit des Frameworks...2 5.
MehrSelbstorganisierende Karten
Selbstorganisierende Karten Vorlesung Maschinelles Lernen II Dr. Theo Lettmann Oliver Kramer 22. Mai 2006 Überblick Grundlagen SOMs Anwendungen 2D-SOMs Neuronales Gas 2 Grundlagen der Neuronalen Informationsverarbeitung
MehrKohonennetze Selbstorganisierende Karten
Kohonennetze Selbstorganisierende Karten Julian Rith, Simon Regnet, Falk Kniffka Seminar: Umgebungsexploration und Wegeplanung mit Robotern Kohonennetze: Neuronale Netze In Dendriten werden die ankommenden
Mehr6.2 Feed-Forward Netze
6.2 Feed-Forward Netze Wir haben gesehen, dass wir mit neuronalen Netzen bestehend aus einer oder mehreren Schichten von Perzeptren beispielsweise logische Funktionen darstellen können Nun betrachten wir
MehrSelbstorganisierende Karten
Selbstorganisierende Karten Yacin Bessas yb1@informatik.uni-ulm.de Proseminar Neuronale Netze 1 Einleitung 1.1 Kurzüberblick Die Selbstorganisierenden Karten, auch Self-Organizing (Feature) Maps, Kohonen-
MehrWas bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und
Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion
MehrSeminar über Neuronale Netze und Maschinelles Lernen WS 06/07
Universität Regensburg Naturwissenschaftliche Informatik Seminar über Neuronale Netze und Maschinelles Lernen WS 06/07 Cluster-Algorithmen II: Neural Gas Vortragender: Matthias Klein Gliederung Motivation:
MehrThema 3: Radiale Basisfunktionen und RBF- Netze
Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung
MehrSimulation neuronaler Netzwerke mit TIKAPP
Überblick Michael Hanke Sebastian Krüger Institut für Psychologie Martin-Luther-Universität Halle-Wittenberg Forschungskolloquium, SS 2004 Überblick Fragen 1 Was sind neuronale Netze? 2 Was ist TIKAPP?
MehrRadiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120
Radiale-Basisfunktionen-Netze Rudolf Kruse Neuronale Netze 2 Radiale-Basisfunktionen-Netze Eigenschaften von Radiale-Basisfunktionen-Netzen (RBF-Netzen) RBF-Netze sind streng geschichtete, vorwärtsbetriebene
MehrSeminararbeit Thema: Die Anwendung der Kohonen-Karte am Beispiel einer Zuflussregelung an Autobahnen
Seminararbeit Thema: Die Anwendung der Kohonen-Karte am Beispiel einer Zuflussregelung an Autobahnen Referenten: Louisa Navratiel (Matrikelnr.: 1276396) Maik Buczek (Matrikelnr.: 1360613) Abgabedatum:09.03.2004
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer
MehrNeuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien
in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???
MehrHannah Wester Juan Jose Gonzalez
Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron
MehrAufbau und Beschreibung Neuronaler Netzwerke
Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser
MehrDer Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1
Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?
MehrNeuronale Netze. Prof. Dr. Rudolf Kruse
Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse Neuronale Netze 1 Lernende Vektorquantisierung
MehrVirtuelles Labor für Neuronale Netze
Universität Zürich / Wintersemester 2001/2002 Semesterarbeit Virtuelles Labor für Neuronale Netze vorgelegt von Rolf Hintermann, Dielsdorf, ZH, Schweiz, Matrikelnummer: 98-706-575 Angefertigt am Institut
MehrKünstliche Neuronale Netze
Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches
MehrSelbstorganisierende Karten
Selbstorganisierende Karten Jochen Weiß Inhaltsverzeichnis 1 Das menschliche Gehirn als Vorbild 2 2 Architektur einer SOM 3 2.1 Aufbau der Neuronenschichten 3 2.2 Gewichts- und Eingabevektor 3 3 Das Training
MehrKlassifikationsverfahren und Neuronale Netze
Klassifikationsverfahren und Neuronale Netze Hauptseminar - Methoden der experimentellen Teilchenphysik Thomas Keck 9.12.2011 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
MehrSelbstorganisierende Karten
Selbstorganisierende Karten Proseminar Ausgewählte Themen über Agentensysteme 11.07.2017 Institut für Informatik Selbstorganisierende Karten 1 Übersicht Motivation Selbstorganisierende Karten Aufbau &
MehrImplementationsaspekte
Implementationsaspekte Überlegungen zur Programmierung Neuronaler Netzwerke Implementationsprinzipien Trennung der Aspekte: Datenhaltung numerische Eigenschaften der Objekte Funktionalität Methoden der
MehrNeuronale Netze. Seminar aus Algorithmik Stefan Craß,
Neuronale Netze Seminar aus Algorithmik Stefan Craß, 325656 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 2 Inhalt Theoretisches Modell Grundlagen Lernansätze
MehrPraktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider
Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training eines Künstlich Neuronalen Netzes (KNN) zur Approximation einer Kennlinie in JavaNNS 28.01.2008
MehrNeuronale Netze. Anna Wallner. 15. Mai 2007
5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente
MehrSeminar zum Thema Künstliche Intelligenz: Clusteranalyse
Seminar zum Thema Künstliche Intelligenz: Clusteranalyse Wolfgang Ginolas 11.5.2005 1 Inhaltsverzeichnis 1 Einleitung 4 1.1 Ein einführendes Beispiel........................ 4 1.2 Definition der Clusteranalyse......................
MehrKlassifikation linear separierbarer Probleme
Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear
MehrKapitel ML:XII. XII. Other Unsupervised Learning. Nearest Neighbor Strategies. Self Organizing Maps Neural Gas. Association Analysis Rule Mining
Kapitel ML:XII XII. Other Unsupervised Learning Nearest Neighbor Strategies Self Organizing Maps Neural Gas Association Analysis Rule Mining Reinforcement Learning ML:XII-1 Unsupervised Others LETTMANN
MehrNeuronale Netze Aufgaben 3
Neuronale Netze Aufgaben 3 martin.loesch@kit.edu (0721) 608 45944 MLNN IN FLOOD3 2 Multi Layer Neural Network (MLNN) Netzaufbau: mehrere versteckte (innere) Schichten Lernverfahren: Backpropagation-Algorithmus
MehrEinführung in die Neuroinformatik Lösungen zum 5. Aufgabenblatt
Einführung in die Neuroinformatik Lösungen zum 5. Aufgabenblatt 7. Aufgabe : Summe {} Man sieht leicht ein, dass ein einzelnes Perzeptron mit Gewichten c, c 2, c 3 und Schwelle θ das Problem nicht lösen
MehrLernende Vektorquantisierung
Lernende Vektorquantisierung (engl. Learning Vector Quantization) Rudolf Kruse Neuronale Netze 5 Motivation Bisher: festes Lernen, jetzt freies Lernen, d.h. es existieren keine festgelegten Klassenlabels
MehrWas sind Neuronale Netze?
Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk
MehrNeuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.
Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen
MehrNeuronale Netze (Konnektionismus)
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrNeuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrSeminar zum Thema Künstliche Intelligenz:
Wolfgang Ginolas Seminar zum Thema Künstliche Intelligenz: Clusteranalyse Wolfgang Ginolas 11.5.2005 Wolfgang Ginolas 1 Beispiel Was ist eine Clusteranalyse Ein einfacher Algorithmus 2 bei verschieden
MehrGrundlagen neuronaler Netzwerke
AUFBAU DES NEURONALEN NETZWERKS Enrico Biermann enrico@cs.tu-berlin.de) WS 00/03 Timo Glaser timog@cs.tu-berlin.de) 0.. 003 Marco Kunze makunze@cs.tu-berlin.de) Sebastian Nowozin nowozin@cs.tu-berlin.de)
MehrProseminar Neuronale Netze Frühjahr 2004
Proseminar Neuronale Netze Frühjahr 2004 Titel: Perzeptron Autor: Julia Grebneva, jg7@informatik.uni-ulm.de Einleitung In vielen Gebieten der Wirtschaft und Forschung, stellen sich oftmals Probleme, die
MehrStatistical Learning
Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in
MehrKlassifizieren und Visualisieren von Daten mit Selbstorganisierenden Karten
Fachhochschule Brandenburg Fachbereich Informatik und Medien Klassifizieren und Visualisieren von Daten mit Selbstorganisierenden Karten Diplomkolloquium Sven Schröder Aufgabenstellung und Motivation Biologisches
MehrBACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON
BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe
MehrMulti-Layer Neural Networks and Learning Algorithms
Multi-Layer Neural Networks and Learning Algorithms Alexander Perzylo 22. Dezember 2003 Ausarbeitung für das Hauptseminar Machine Learning (2003) mit L A TEX gesetzt Diese Ausarbeitung ist eine Weiterführung
MehrSelbstorganisierende Karten
Selbstorganisierende Karten Marten Jäger 6. August 2007 Zusammenfassung Selbstorganisierte Karten (SOM ) sind ein unüberwachtes Lernverfahren mit dem Ziel eine topologische Darstellung des Eingaberaums
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen
Mehr8. Vorlesung Neuronale Netze
Soft Control (AT 3, RMA) 8. Vorlesung Neuronale Netze Lernverfahren 8. Vorlesung im Aufbau der Vorlesung 1. inführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
MehrSeminar K nowledge Engineering und L ernen in Spielen
K nowledge Engineering und Lernen in Spielen Neural Networks Seminar K nowledge Engineering und L ernen in Spielen Stefan Heinje 1 Inhalt Neuronale Netze im Gehirn Umsetzung Lernen durch Backpropagation
MehrWir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
Mehrweitere Modelle und Methoden
weitere Modelle und Methoden LVQ-Netze, competetive learning, counterpropagation, motorische karten, adaptive resonance theory LVQ Struktur Lernende Vektor-Quantisierung Input-Raum mit Distanz-Funktion
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial
MehrFH D. Objektorientierte Programmierung in Java FH D FH D. Prof. Dr. Ing. André Stuhlsatz. Wiederholung: Gerüstbeispiel. Vererbungshierarchie: Typ 0
9 Objektorientierte Programmierung in Java Prof. Dr. Ing. André Stuhlsatz Wiederholung: Gerüstbeispiel Ein Duo, Quarto oder Sexto ist ein Gerüst. Die Klassen Duo, Quarto und Sexto sollen durch Vererbung
Mehr(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.
(hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild
MehrSchule : Friedrich Schiller-Gymnasium Preetz / Holst. Am Ihlsol Preetz. Name des Schülers : Johannes Lampel
2 Schule : Friedrich Schiller-Gymnasium Preetz / Holst. Am Ihlsol 10-12 24211 Preetz Name des Schülers : Johannes Lampel Thema der besonderen Lernleistung : Einsatz von Neuronalen Netzen in einem Bot für
MehrPraktische Optimierung
Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze
MehrAdaptive Systeme. Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Unüberwachtes Lernen: Adaptive Vektor Quantisierung und Kohonen Netze Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff Überwachtes Lernen Alle bis lang betrachteten Netzwerke
MehrTechnische Universität. Fakultät für Informatik
Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Neuronale Netze - Supervised Learning Probleme des Backpropagation-Algorithmus und Alternativen Seminar
MehrTechnische Universität. Fakultät für Informatik
Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Selbstorganisierende Karten Seminar Kognitive Robotik (SS12) Thomas Hoffmann Betreuer: Dr. Florian Röhrbein
MehrNeuronale Netze mit mehreren Schichten
Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren
MehrKünstliche Neuronale Netze (KNN)
Künstliche Neuronale Netze (KNN) Die von Neuronalen Netzen ausgehende Faszination besteht darin, dass sie in der Lage sind, in einigen Fällen Probleme von hoher Kompleität mit einfachen Mitteln zu lösen.
MehrPerzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004
Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron
MehrSatelliten-Netz Lösung des 1. Studierendenwettbewerb der GI
Satelliten-Netz Lösung des 1. Studierendenwettbewerb der GI Yves Radunz Volker Grabsch 20. Dezember 2005 Inhaltsverzeichnis 1 Einleitung 2 1.1 Allgemeines zum Programm..................... 2 1.2 Verwendetes
MehrNeuronale Netze. Christian Böhm.
Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch
MehrComputational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20
Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt
MehrPraktikum Simulationstechnik Rene Schneider, Benjamin Zaiser
Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser 11.11.2008 CSM Master: Praktikum Simulationstechnik, rs034, bz003 2 Befehlsübersicht Begriffsdefinition / Neuronale Netze: / / 11.11.2008 CSM
MehrNeuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer. 5. Aufgabenblatt: Neural Network Toolbox 1
Neuronale Netze, Fuzzy Control, Genetische Algorithmen Prof. Jürgen Sauer 5. Aufgabenblatt: Neural Network Toolbox 1 A. Mit Hilfe der GUI vom Neural Network erstelle die in den folgenden Aufgaben geforderten
Mehr1 Einleitung. 2 Clustering
Lernende Vektorquantisierung (LVQ) und K-Means-Clustering David Bouchain Proseminar Neuronale Netze Kurs-Nr.: CS4400 ISI WS 2004/05 david@bouchain.de 1 Einleitung Im Folgenden soll zum einen ein Überblick
MehrAnleitung zum Praktikum Neuroinformationsverarbeitung - Wintersemester 2016/2017
Anleitung zum Praktikum Neuroinformationsverarbeitung - Wintersemester 26/27 EINLEITUNG. Sinn und Zweck des Praktikums Neuroinformationsverarbeitung Das Praktikum soll dazu dienen, die in der Vorlesung
MehrKapitel 6. Neuronale Netze. 6.1 Verwendeter Netztyp
Kapitel 6 Neuronale Netze Ein wesentlicher Teil der in dieser Arbeit entwickelten Methoden zur lokalen Kompositions- und Dickenbestimmung verwendet neuronale Netze zur Unterdrückung von Störeinflüssen.
MehrAnwenderdokumentation Beleg Neuronale Netze
Anwenderdokumentation Beleg Neuronale Netze Analyse von Bilanzen mit Hilfe von Kohonen-Netzwerken Dresden, Dezember 2002 Thorsten Wolfer Michael Wolf Seminargruppe htw8282 htw8222 ai96 Inhaltsverzeichnis
MehrWeitere Untersuchungen hinsichtlich der Anwendung von KNN für Solvency 2. Tom Schelthoff
Weitere Untersuchungen hinsichtlich der Anwendung von KNN für Solvency 2 Tom Schelthoff 30.11.2018 Inhaltsverzeichnis Deep Learning Seed-Stabilität Regularisierung Early Stopping Dropout Batch Normalization
MehrOutline. SOMs und verwandte Verfahren. Self-Organizing Map. Outline... Self-Organizing Map. Self-Organizing Map. Architektur:
SOMs und verwandte Verfahren VU Selbst-Organisierende Systeme SOMs und verwandte Verfahren Andreas Rauber http://wwwifstuwienacat/~andi (SOM) (SOM) Physiologische Grundlagen Architekturen Trainingsprozess
MehrWir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
MehrEinführung in neuronale Netze
Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze
MehrPROCMON. Performance und Condition Monitoring komplexer verfahrenstechnischer Prozesse. Christian W. Frey.
PROCMON Performance und Condition Monitoring komplexer verfahrenstechnischer Prozesse Christian W. Frey 2011 PROCMON Performance und Condition Monitoring komplexer verfahrenstechnischer Prozesse 1. Motivation
MehrEinführung in die Computerlinguistik
Einführung in die Computerlinguistik Neuronale Netze WS 2014/2015 Vera Demberg Neuronale Netze Was ist das? Einer der größten Fortschritte in der Sprachverarbeitung und Bildverarbeitung der letzten Jahre:
MehrMustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12
Mustererkennung: Neuronale Netze D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Feed-Forward Netze y 1 y 2 y m...... x 1 x 2 x n Output Schicht i max... Zwischenschicht i... Zwischenschicht 1
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen
MehrVorlesung Informatik II
Vorlesung Informatik II Universität Augsburg Wintersemester 2011/2012 Prof. Dr. Bernhard Bauer Folien von: Prof. Dr. Robert Lorenz Lehrprofessur für Informatik 9. Schichtenarchtitektur: Teil 1 (Datenhaltung)
MehrRekurrente / rückgekoppelte neuronale Netzwerke
Rekurrente / rückgekoppelte neuronale Netzwerke Forschungsseminar Deep Learning 2018 Universität Leipzig 12.01.2018 Vortragender: Andreas Haselhuhn Neuronale Netzwerke Neuron besteht aus: Eingängen Summenfunktion
Mehr11. Neuronale Netze 1
11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form
MehrNeuro-Info Notizen. Markus Klemm.net WS 2016/2017. Inhaltsverzeichnis. 1 Hebbsche Lernregel. 1 Hebbsche Lernregel Fälle Lernrate...
Neuro-Info Notizen Marus Klemm.net WS 6/7 Inhaltsverzeichnis Hebbsche Lernregel. Fälle........................................ Lernrate..................................... Neural Gas. Algorithmus.....................................
MehrNeuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24.
Neuronale Netze in der Phonetik: Grundlagen Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 24. Mai 2006 Inhalt Einführung Maschinelles Lernen Lernparadigmen Maschinelles
MehrKünstliche neuronale Netze
Lösungen zum Buch: Wissensverarbeitung Kapitel 10 Künstliche neuronale Netze Lösung 10.1 (Maschinelles Lernen) a) Ein Computerprogramm lernt aus einer Erfahrung E bezüglich einer Aufgabenklasse T und einer
MehrJan Parthey, Christin Seifert. 22. Mai 2003
Simulation Rekursiver Auto-Assoziativer Speicher (RAAM) durch Erweiterung eines klassischen Backpropagation-Simulators Jan Parthey, Christin Seifert jpar@hrz.tu-chemnitz.de, sech@hrz.tu-chemnitz.de 22.
MehrStudiengang Simulation Technology
1. Institut für Theoretische Physik Studiengang Simulation Technology Bachelorarbeit Selbstoptimierende Neuronale Netze zur Klassifizierung von Reaktanden und Produkten in der Reaktionsdynamik Erstprüfer
MehrEntwicklung von Methoden zum Nachweis von ökologisch erzeugten Produkten am Beispiel der Lachszucht - Neronale Netzanalyse -
Entwicklung von Methoden zum Nachweis von ökologisch erzeugten Produkten am Beispiel der Lachszucht - Neronale Netzanalyse - Development of Methods to Detect Products Made from Organic Salmon FKZ: 02OE073/1
MehrNeuronale Steuerungsparadigmen für autonome Roboter realisiert durch ein flexibles Software-Tool
Universität Leipzig Fakultät für Mathematik und Informatik (Institut für Informatik) Neuronale Steuerungsparadigmen für autonome Roboter realisiert durch ein flexibles Software-Tool Diplomarbeit vorgelegt
MehrAndreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg
Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale
MehrNeben der Verwendung von Klassen ist Vererbung ein wichtiges Merkmal objektorientierter
Kapitel 1 Der vierte Tag 1.1 Vererbung Neben der Verwendung von Klassen ist Vererbung ein wichtiges Merkmal objektorientierter Sprachen. Unter Vererbung versteht man die Möglichkeit, Eigenschaften vorhandener
Mehr(künstliche) Neuronale Netze. (c) Till Hänisch 2003, BA Heidenheim
(künstliche) Neuronale Netze (c) Till Hänisch 2003, BA Heidenheim Literatur zusätzlich zum Lit. Verz. Michael Negnevitsky, Artificial Intelligence, Addison Wesley 2002 Warum? Manche Probleme (z.b. Klassifikation)
Mehr