MULTILAYER-PERZEPTRON

Größe: px
Ab Seite anzeigen:

Download "MULTILAYER-PERZEPTRON"

Transkript

1 Einleitung MULTILAYER-PERZEPTRON Die Ausarbeitung befasst sich mit den Grundlagen von Multilayer-Perzeptronen, gibt ein Beispiel für deren Anwendung und zeigt eine Möglichkeit auf, sie zu trainieren. Dabei wird auch auf Probleme eingegangen, die ein solches Training beinhaltet und aufgezeigt, wie solche Probleme umgangen werden können. 1 Das Perzeptron Abbildung 1: Darstellung eines Perzeptrons ohne Bias (links bzw. mit Bias (rechts Ein Perzeptron ist, wie in Abbildung 1 gezeigt, eine modellhafte Nachbildung eines Neurons. Es hat, wie in [4] geschildert, die Eingänge ɛ 1,..., ɛ n, die mit den entsprechenden Gewichtungen ω 1,..., ω n multipliziert werden. Die so entstehenden Produkte werden zur Erregung s aufsummiert. Unter einer sogenannten Aktivierungsfunktion f wird s dann mit einer Schwelle Ω verglichen. Die boolesche Ausgabe α ergibt sich dann aus 0, falls n ɛ i ω i < Ω α = f(s = i=1 (1 Unter Umständen ist es sinnvoll, die Schwelle zu normieren (hier: sie auf 0 zu setzen. Dies geschieht über ein sogenanntes Bias 1. Das Bias β ist ein spezieller Eingang des Perzeptrons, an dem nach [1] immer der Wert 1 anliegt. Die Gewichtung am Bias ist gerade das Negative des ursprünglichen Schwellenwertes. 2 Das Multilayer-Perzeptron (MLP 2.1 MLP Grundlagen Ein Perzeptron für sich genommen kann lediglich eine lineare Klassifikation leisten (Abbildung 2. Oftmals ist es jedoch nötig, weitaus komplexere Klassifikationen durchzuführen. Dies geschieht nach [5], indem mehrere Perzeptrone miteinander verschaltet werden. Die einzelnen Perzeptrone werden dabei zunächst in Schichten gruppiert. Die Perzeptronen einer Schicht sind dann jeweils vorwärts mit jedem Perzeptron der folgenden Schicht verschaltet (vollverschaltetes Netz, innerhalb einer Schicht sind sie jedoch nicht verschaltet und es darf auch keine zyklischen Verschaltungen zwischen den Schichten geben. Als Ergebnis erhält man ein sogenanntes Multilayer-Perzeptron (MLP. Die erste Schicht eines MLP ist dabei die Eingabeschicht. Diese ist nur dafür verantwortlich, die einzelnen Werte der Eingänge über die Eingabeperzeptronen 2 an jedes Perzeptron der nächsten Schicht weiter zu leiten. Da die Eingabeschicht keinerlei verarbeitende Funktion erfüllt, wird sie bei der Zählung der Gesamtanzahl 1 [das Bi as] engl. Wort für Voreingenommenheit, Schieflage, oder Vorurteil. In der Statistik als Fachbegriff für die Differenz von Mittelwert und tatsächlichem Wert verwendet. 2 Perzeptronen ohne Vorgänger heißen Eingabeperzeptronen. 1

2 der Schichten eines MLP nicht beachtet. Nach der Eingabeschicht folgen ein oder mehrere verborgene Schichten. Abbildung 2 (links: Lineare Klassifikation, die durch ein einzelnes Perzeptron erreicht werden kann. Abbildung 3 (rechts: Nichtlineare Klassifikation, die von einem MLP erreicht werden kann. In den verborgenen Schichten findet die eigentliche Klassifikationsarbeit statt. Die Fähigkeit zur nichtlinearen Klassifikation entsteht durch den Einsatz mehrerer Perzeptrone in den verborgenen Schichten. Diese werden durch logische Verknüpfungen wie AND oder OR mit einander verbunden um so eine Lösung immer weiter einzuschränken, wie es in Abbildung 3 gezeigt ist. Nach den verborgenen Schichten folgt die Ausgabeschicht, die gleichzeitig auch die letzte Schicht eines MLP ist. Sie besteht aus Ausgabeperzeptronen 3. Das Gesamtergebnis der Klassifikation wird dann über diese Schicht ausgegeben. Jede Schicht kann aus mehreren, muss aber aus mindestens einem Perzeptron bestehen. Ähnlich wie bei einfachen Perzeptronen erhält jede Schicht außer der Ausgabeschicht einen Bias. In Abbildung 4 zeigt sich der Aufbau eines MLP. Abbildung 4: MLP mit 3 Schichten (die Ausgabeschicht wird nicht mitgezählt. Es wird für jede Schicht angegeben, welche Klasse von Aktivierungsfunktion sie verwendet. Dabei steht L für Linear, T für eine Treppen- bzw. bipolare Funktion und S für eine sigmoide Funktion. Ausser der Ausgabeschicht hat jede Schicht einen Bias β. Um ein solches MLP zu spezifizieren, werden einige Parameter angegeben: Anzahl der Schichten (hier 3, Anzahl der Perzeptronen innerhalb der einzelnen Schichten(I=4, H 1 =3, H 2 =4 und O=2, und verwendete Aktivierungsfunktion der einzelnen Schichten(hier Lineare-, T reppen- und S igmoide Funktionen. Die Aktivierungsfunktionen werden in Kapitel 2.2 näher erläutert. Um zusätzlich zur Spezifikation eines MLP auch eine Beschreibung abgeben zu können, verwendet man die sogenannte Stufenschreibweise. Hierbei wird einfach eine Kette von Textblöcken (mit einem - verbunden gebildet. Jeder Block beschreibt dann eine Schicht mit der Anzahl n der Perzeptronen dieser Schicht i und der verwendeten Aktivierungsfunktion f dieser Schicht. Allgemeine Beschreibung: n 2 f 2... n m f m. Das in Abbildung 4 gezeigte MLP hat also die Beschreibung: 3T 4S 2L. 2.2 Die Aktivierungsfunktionen Wie aus [4] ersichtlich ist, lassen sich die am häufigsten verwendeten Aktivierungsfunktionen (neben den einfachen linearen Funktionen in drei Hauptklassen einteilen. 3 Perzeptronen ohne Nachfolger heißen Ausgabeperzeptronen. 2

3 In Abbildung 5 von links nach rechts: Abbildung 5: Die Gestalt der verwendeten Aktivierungsfunktionen. Binäre Treppenfunktionen: α = f(s = Semilineare Funktionen: α = f(s = 1,falls s 0 0,falls s < 0 1,falls s 1 s,falls 0 < s < 1 0,falls s 0 Sigmoide Funktionen: α = f(s = 1 1+e s. Insbesondere die sigmoiden Funktionen sind hier von Bedeutung, da diese im Gegensatz zu den anderen beiden Funktionenklassen auf ihrem gesamten Definitionsbereich stetig und stetig differenzierbar sind. Dies ist nach [3] insbesondere für das in Kapitel 3 näher erläuterte Backpropagation-Lernverfahren wichtig. 2.3 Beispielanwendung für MLPs Um das Verständnis des sehr theoretischen Teils 2.1. zu verbessern, soll im Folgenden die XOR- Funktion 4 nach [6] mit Hilfe eines MLPs realisiert werden. Sie gibt genau dann eine 1 aus, wenn an genau einem der beiden Eingänge ɛ 1,2 eine 1 anliegt und sonst 0. Da wir nur zwei Eingänge benötigen, wird die Eingabeschicht auch nur aus zwei Perzeptronen bestehen, die vollverschaltet zur ersten verborgenen Schicht die Eingabe weiterleiten. Insgesamt haben wir 4 verschiedene Eingabetupel für (ɛ 1, ɛ 2 : (0, 0,(0, 1,(1, 0,(1, 1. Man kann den Sachverhalt umformulieren und sagen: Zur Ausgabe einer 1 durch die XOR-Fukntion brauchen wir mindestens eine 1 (untere Schranke und höchstens eine 1 (obere Schranke. Die Umsetzung der jeweiligen Schranken erfolgt mittels eines eigenen Perzeptrons in der verborgenen Schicht. Damit ergibt sich, dass wir genau zwei Perzeptrone in der verborgenen Schicht zur Verfügung stellen müssen. Die Verknüpfung beider Schranken erfolgt wieder über ein eigenes Perzeptron. Dieses befindet sich dann in der Ausgabeschicht und gibt das Ergebnis aus. Man betrachte zunächst den daraus gefolgerten Aufbau des MLP: Abbildung 6: Die Gestalt des MLP zur Realisierung der XOR-Funktion Es sind nun die Perzeptrone p 1,2 in der Eingabeschicht nur dafür verantwortlich, den Perzeptronen p 3,4 die Eingabeinformationen zur Verfügung zu stellen. Perzeptron p 3 soll dabei die Kalkulation für die untere Schranke vornehmen und Perzeptron p 4 die der oberen. p 5 ist dann für die AND-Verknüpfung zuständig, welche die Beiden Aussagen von p 3,4 mit einander Verbindet. Seien die Schwellwerte von p 3,4,5 mit Ω 3 = +1, Ω 4 = 1, Ω 5 = 2 definiert, so ergibt sich bei der Eingabe von (ɛ 1, ɛ 2 folgende Berechnung für p 3 (man beachte das Bias β und die damit verbundene Normierung der Schwelle auf 0: 0, falls β( Ω3 + ω α 3 = f(ɛ 1, ɛ 2 = 3,1 ɛ 1 + ω 3,2 ɛ 2 < 0 (2 Man beachte: β = 1 nach Vorraussetzung. ω 3,1 = ω 3,2 = 1, da beide Eingänge gleich wichtig sind. Damit vereinfacht sich der Term zu: 4 Die XOR-Funktion ist eine logische Funktion und das Gegenstück der Äquivalenzfuntion 3

4 0, falls 1 + ɛ1 + ɛ α 3 = f(ɛ 1, ɛ 2 = 2 < 0 Das Perzeptron p 3 gibt also eine 1 aus, wenn mindestens ein ɛ größer 0 ist. Die Berechnung für Perzeptron p 4 vollzieht sich durch einsetzen analog. Ergibt aber eine obere Schranke. p 4 gibt also eine 1 weiter, wenn höchstens eine 1 anliegt. p 5 ist das Ausgabeperzeptron, dessen Kalkulation wie folgt erklärt ist (bereits durch einsetzen vereinfacht: 0, falls 2 + α3 + α α 5 = f(α 3, α 4 = 4 < 0 (4 p 5 gibt genau dann eine 1 aus, wenn 2 + α 3 + α 4 0, also genau dann, wenn α 3,4 = 1 sind. Die graphische Darstellung der einzelnen Lösungsräume findet sich in der folgenden Abbildung: (3 Abbildung 7: Lösungstupel der Perzeptronen p 3 (rot, p 4 (grün, p 5 (blau, in denen sie jeweils eine 1 ausgeben. Zu einem gegebenen Problem ein geeignetes MLP zu konstruieren, ist keine triviale Aufgabe. Es ist oft so, dass viele verschiedene MLPs gleichzeitig für die Lösung ein und des selben Problems konstruiert werden. Diese MLPs werden dann trainiert. Dasjenige MLP, welches den besten Lernerfolg aufweist, wird zur Lösung des Problems herangezogen. Ein solches Lernverfahren soll nun näher erläutert werden. 3 Backpropagation 3.1 Algorithmische Funktionsweise des Backpropagation Lernalgorithmus Es ist nicht möglich, bei einem sehr großen MLP alle Parameter (wie die Gewichte der Perzeptrone manuell richtig zu konstruieren. Dies motiviert den Einsatz von Lernverfahren für neuronale Netze. Das in diesem Kapitel vorgestellte Backpropagation-Verfahren ist ein sogenanntes Gradientenabstiegsverfahren. Zu Beginn des Lernvorgangs werden die Gewichte der einzelnen Perzeptrone mit zufälligen Werten initialisiert. Während des Lernvorgangs wird die Ausgabe, die das MLP auf bestimmte Eingaben erzeugt (Feedforward-Teil, mit einem Lehrersignal verglichen. Die Differenz der Ausgabe zum erwarteten bzw. gewünschten Wert wird dann in Form einer Fehlerfunktion rückwärts durch die einzelnen Schichten weitergeleitet bzw. propagiert (Backpropagation-Teil, mit dem Ziel, dass die Gewichte der einzelnen Perzeptronen abgeändert werden. Dies wird so oft wiederholt, bis die Differenz der Ausgabe zum erwarteten Wert unter eine vorher festgelegte Toleranz fällt. Im Beispiel der XOR-Funktion sind dies nach [3] unter Verwendung sigmoider Aktivierungsfunktionen ca. 600 Iterationen. 3.2 Mathematische Herleitung des Backpropagation Lernalgorithmus Mathematischer Hintergrund hierzu ist nach [1] die Delta-Regel a p ω i,j = ηo p,i δ p,j welche dazu verwendet wird, einstufige Netzwerke mit linearen Aktivierungsfunktionen über einzelnen Trainingsmustern p zu trainieren. Mit Backpropagation können auch mehrstufige Netze mit nichtlinearen (z.b. sigmoiden Aktivierungsfunktionen trainiert werden. Die folgende Herleitung des Backpropagation- Lernverfahrens entstammt [1]. Seien i,j und k Perzeptrone in einem MLP. ω i,j bezeichnet ein Gewicht zwischen den Perzeptronen i und j. Sei E(W die Fehlerfunktion, mit W sei ein Vektor bezeichnet, der die Gewichte des MLPs enthält. Es ergibt sich, dass die Fehlerfunktion nicht einfach durch eine Differenz wie in 3.1 erklärt ist, sondern nach [1] folgende Gestalt hat: 4

5 1 E = 1 2 j (t j o j 2 Hierbei ist t j o j der Ausgabefehler zwischen dem erwarteten Wert t und der tatsächlichen Ausgabe o. Unter der Vorraussetzung, dass eine stetig differenzierbare Funktion als Aktivierungsfunktion verwendet wird, ist auch E auf dem gesamten (durch die Gewichte definierten Definitionsbereich stetig differenzierbar. Die Gewichtsänderung W ist erklärt durch: W = η E(W, wobei η die Schrittweite ist. Diese ist Maßgeblich für die Lerngeschwindigkeit verantwortilich und deren Bedeutung wird in 3.3 nocheinmal aufgegriffen. Ziel ist nun, E(W min zu erreichen. Nach [1] entspricht die Backpropagation-Regel genau der Delta-Regel a, lediglich die Fehlersignale δ p,j sind anders definiert. Anders als bei einstufigen Netzen muss man bei der Bestimmung des Fehlersignals in einer Schicht bei mehrschichtigen Netzen die bereits vorangegangenen Fehlersignale δ in anderen Schichten berücksichtigen (siehe Abbildung 8: Abbildung 8: Um das Fehlersignal δ i korrekt berechnen zu können, müssen auch die Fehlersignale der Nachfolgeperzeptronen von i beachtet werden, da Perzeptron i bei allen seinen Nachfolgern einen Fehler verursacht. δ p,j = Ep α p,j = Ep α p,j = Ep f(α p,j α p,j = E p }} F aktor1 f (α p,j Faktor 1 wird nach [1] jetzt weiter vereinfacht. Dazu ist es wichtig zu wissen, ob Perzeptron j ein Perzeptron der Ausgabeschicht 5 ist oder nicht. Ist dies bekannt, so ist auch bekannt, ob j Nachfolgeperzeptronen besitzt, deren Fehlersignale evtl. mit beachtet werden müssen. Ist j nun ein Perzeptron der verborgenen Schicht und k sein/e Nachfolger, so ergibt sich für Faktor 1: ( Ep = ( k E p α p,k α p,k = k ( δ p,k i o p,iω i,k = k δ p,kω j,k Ist j jedoch Teil der Ausgabeschicht, so vereinfacht sich Faktor 1 unter der Verwendung von 1 zu: ( ( Ep 1 = 2 j (t p,j o p,j 2 = (t p,j o p,j Wir erhalten für die δ p,j der Backpropagation-Regel in a folgende Ausdrücke: f δ p,j = (α p,j k δ p,kω j,k falls j ein Perzeptron der verborgenen Schicht ist. f (α p,j (t p,j o p,j falls j ein Perzeptron der Ausgabeschicht ist. Man erhält die Backpropagation-Regel durch einsetzen des entsprechenden δ p,j in a. An dieser Stelle sei erwähnt, dass sich die Berechnungen in einem Backpropagation-Netz mit Hilfe der linearen Algebra durchführen lassen. Genaueres dazu findet sich in entsprechender Fachliteratur. 3.3 Mögliche Probleme mit Backpropagation In [1] wird beschrieben, unter welchen Umständen die Anwendung des Backpropagation Lernverfahrens zu Problemen führen kann. Diese Probleme sollen hier noch kurz aufgezeigt werden. Generell kann man sagen, dass alle diese Probleme aus dem Einsatz einer konstanten Schrittweite η sowie der Gestalt der ersten Ableitung der Fehlerfunktion 6 herrühren. Diese ist zwar im Allgemeinen stetig, birgt aber einige Spezialfälle, die das Verfahren nicht unbedingt automatisiert erkennen kann. Folgende Charakterisierung der Fehlerklassen ist möglich: 5 Ist Perzeptron j in der Ausgabeschicht enthalten, hat es keine Nachfolger. 6 Siehe Kapitel 3.2 (5 5

6 Symmetry Breaking. Unter diesem Begriff versteht man ein Problem bei der Initialisierung der Startgewichte. Diese dürfen zu Beginn des Lernverfahrens nicht alle gleich groß gewählt werden, da das Verfahren sonst ab der ersten Stufe des MLP keine unterschiedlichen Gewichte mehr ausprägen kann. Daher werden die Gewichte zu Beginn des Verfahrens mit zufälligen Werten initialisiert um die Symmetrie zu brechen. Falsches Minimum. Der Suchalgorithmus findet zwar ein Minimum der Fehlerfunktion, doch stellt es sich nicht als das globale Minimum heraus. Die Belegung der Gewichte ist damit Semi-optimal. Partielle Konstantheit der Fehlerfunktion. Der Suchalgorithmus findet zwar ein Minimum, allerdings ist dieses Minimum in einem partiell konstanten Intervall der Fehlerfunktion, und muss nicht das gesuchte globale Minimum sein. Man könnte diesen Fehler auch zum ersten Punkt zählen. Oszillation. Es kann vorkommen, dass der Suchalgorithmus über ein Minimum hinwegspringt. Tritt das Phänomen erneut auf und springt er dann wieder zurück auf die Seite, von der er ursprünglich kam, haben wir eine Oszillation. Der Algorithmus bleibt in einer Endlosschleife praktisch hängen. Überspringen von Minima. Ist die Schrittweite, mit der entlang der Fehlerfunktion von Stelle zu Stelle gesucht wird, zu groß gewählt, kann es vorkommen, dass ganze Minima einfach übersehen werden. In diesem Fall hängt das Lernergebnis vom weiteren Verlauf des Lernvorgangs ab. Im Allgemeinen ist es sehr schwer, die richtige Schrittweite η für den optimalen Lernerfolg herauszufinden. Ein Ansatz zur Fehlervermeidung ist nach [3] die Schrittweite beim Lernen variabel zu gestalten, oder das Backpropagation Lernverfahren mit Impuls zu verwenden, über das sie in der Fachliteratur mehr Informationen finden. 4 Fazit und Ausblick Multilayer-Perzeptrone eignen sich hervorragend, um Klassifizierungsprobleme zu bewältigen. Es wurde gezeigt, wie sich MLPs durch Perzeptrone konstruieren lassen und welche besonderen Eigenschaften ein solches Netz hat. Es wurden einige Aktivierungsfunktionen im Zusammenhang mit der Funktionsweise der einzelnen Perzeptrone beschrieben, wobei sich insbesondere die sigmoiden Funktionen als sehr brauchbar für das in Kapitel 3 besprochene Backpropagation Lernverfahren herrausstellten. Aber auch die bipolaren Treppenfunktionen kamen in einem Beispiel zur Anwendung, als die Funktionsweise der XOR-Funktion mit Hilfe eines MLPs umgesetzt wurde. Heutzutage werden MLPs in vielen Bereichen wie Bildverarbeitung, Schrifterkennung und Robotersteuerung eingesetzt, obwohl ihre Konstruktion mitunter sehr mühsam ist. Dies ist insbesonderem den Lernverfahren zu verdanken, mit denen MLPs trainiert werden können. Das Backpropagation-Lernverfahren wurde in dieser Ausarbeitung genauer betrachtet. Es wurde seine Funktionsweise geschildert sowie einige Schwächen aufgezeigt. Obwohl ML- Ps als Werkzeuge zur (nichtlinearen Klassifizierung von Problemen verwendet werden, sind es gerade diese Schwächen in der Trainierbarkeit, sowie der hohe Konstruktionsaufwand, die eine Anwendung der MLPs nicht immer zulassen. Literatur [1] A. Zell: Simulation Neuronaler Netze, Addison-Wiseley, Kap. 7. Perzeptron, S Kap. 8. Backpropagation, S [2] R. Callan: The essence of Neural Networks, Prentice Hall, Kap. 2.4 Backpropagation learning, S Kap. 2.5 Applying the backpropagation network, S [3] R. Rojas: Theorie der neronalen Netze: Eine systematische Einführung, Springer, Kap. 7. Backpropagation-Algorithmus, S [4] C. Tornau: Neuronale Netze - eine Übersicht, Stand 16. April URL: [5] N. Drakos: Neuronale Netze, Netztopologien, Stand 16. April URL: mtalh/zeitreihen/skript/node5.html [6] R. Ritter: Multilayer-Perzeptron (MLP, Stand 16. April URL: 6

Hannah Wester Juan Jose Gonzalez

Hannah Wester Juan Jose Gonzalez Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron

Mehr

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) 6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese

Mehr

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale

Mehr

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen 6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1

Mehr

Praktische Optimierung

Praktische Optimierung Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze

Mehr

Neuronale Netze. Anna Wallner. 15. Mai 2007

Neuronale Netze. Anna Wallner. 15. Mai 2007 5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente

Mehr

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14. Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen

Mehr

ISI-Proseminar NEURONALE NETZE. Thema: MULTILAYER PERZEPTRON. Ausarbeitung von. Roland Ritter Betreuer

ISI-Proseminar NEURONALE NETZE. Thema: MULTILAYER PERZEPTRON. Ausarbeitung von. Roland Ritter Betreuer ISI-Proseminar NEURONALE NETZE Thema: MULTILAYER PERZEPTRON Ausarbeitung von Roland Ritter rr@informatiuni-ulmde Betreuer Prof Heio Neumann Guillem Pagès Gassull Faultät für Informati, Abt Neuroinformati

Mehr

Konzepte der AI Neuronale Netze

Konzepte der AI Neuronale Netze Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale

Mehr

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training des XOR-Problems mit einem Künstlichen Neuronalen Netz (KNN) in JavaNNS 11.04.2011 2_CI2_Deckblatt_XORbinaer_JNNS_2

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches

Mehr

Neuronale Netze mit mehreren Schichten

Neuronale Netze mit mehreren Schichten Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren

Mehr

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer

Mehr

11. Neuronale Netze 1

11. Neuronale Netze 1 11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form

Mehr

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1 Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung

Mehr

Technische Universität. Fakultät für Informatik

Technische Universität. Fakultät für Informatik Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Neuronale Netze - Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Betreuer: Dr. Florian

Mehr

Klassifikationsverfahren und Neuronale Netze

Klassifikationsverfahren und Neuronale Netze Klassifikationsverfahren und Neuronale Netze Hauptseminar - Methoden der experimentellen Teilchenphysik Thomas Keck 9.12.2011 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Thema 3: Radiale Basisfunktionen und RBF- Netze

Thema 3: Radiale Basisfunktionen und RBF- Netze Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung

Mehr

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt

Mehr

Neuronale Netze (Konnektionismus)

Neuronale Netze (Konnektionismus) Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine Verarbeitungseinheit für Zahlen mitneingängenx,...,x n und einem

Mehr

Proseminar Neuronale Netze Frühjahr 2004

Proseminar Neuronale Netze Frühjahr 2004 Proseminar Neuronale Netze Frühjahr 2004 Titel: Perzeptron Autor: Julia Grebneva, jg7@informatik.uni-ulm.de Einleitung In vielen Gebieten der Wirtschaft und Forschung, stellen sich oftmals Probleme, die

Mehr

Eine kleine Einführung in neuronale Netze

Eine kleine Einführung in neuronale Netze Eine kleine Einführung in neuronale Netze Tobias Knuth November 2013 1.2 Mensch und Maschine 1 Inhaltsverzeichnis 1 Grundlagen neuronaler Netze 1 1.1 Kopieren vom biologischen Vorbild...... 1 1.2 Mensch

Mehr

5. Lernregeln für neuronale Netze

5. Lernregeln für neuronale Netze 5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1

Mehr

Ein selbstmodellierendes System für die Wasserwirtschaft

Ein selbstmodellierendes System für die Wasserwirtschaft Ein selbstmodellierendes System für die Wasserwirtschaft Dipl.-Ing. Dr. ANDRADE-LEAL Wien, im Juli 2001 1 Einleitung, Motivation und Voraussetzungen Künstliche Intelligenz Neuronale Netze Experte Systeme

Mehr

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze. Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) 29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein

Mehr

Neuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer. 5. Aufgabenblatt: Neural Network Toolbox 1

Neuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer. 5. Aufgabenblatt: Neural Network Toolbox 1 Neuronale Netze, Fuzzy Control, Genetische Algorithmen Prof. Jürgen Sauer 5. Aufgabenblatt: Neural Network Toolbox 1 A. Mit Hilfe der GUI vom Neural Network erstelle die in den folgenden Aufgaben geforderten

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale

Mehr

Neural Networks: Architectures and Applications for NLP

Neural Networks: Architectures and Applications for NLP Neural Networks: Architectures and Applications for NLP Session 02 Julia Kreutzer 8. November 2016 Institut für Computerlinguistik, Heidelberg 1 Overview 1. Recap 2. Backpropagation 3. Ausblick 2 Recap

Mehr

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)

Mehr

Klassifikation linear separierbarer Probleme

Klassifikation linear separierbarer Probleme Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?

Mehr

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion

Mehr

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training eines Künstlich Neuronalen Netzes (KNN) zur Approximation einer Kennlinie in JavaNNS 28.01.2008

Mehr

Grundlagen neuronaler Netzwerke

Grundlagen neuronaler Netzwerke AUFBAU DES NEURONALEN NETZWERKS Enrico Biermann enrico@cs.tu-berlin.de) WS 00/03 Timo Glaser timog@cs.tu-berlin.de) 0.. 003 Marco Kunze makunze@cs.tu-berlin.de) Sebastian Nowozin nowozin@cs.tu-berlin.de)

Mehr

1 Einleitung. 2 Clustering

1 Einleitung. 2 Clustering Lernende Vektorquantisierung (LVQ) und K-Means-Clustering David Bouchain Proseminar Neuronale Netze Kurs-Nr.: CS4400 ISI WS 2004/05 david@bouchain.de 1 Einleitung Im Folgenden soll zum einen ein Überblick

Mehr

10. Neuronale Netze 1

10. Neuronale Netze 1 10. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form

Mehr

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform. (hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen

Mehr

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Approximation einer Kennlinie mit einem Künstlich Neuronalen Netz (KNN) in MATLAB 28.01.2008 5_CI2_Deckblatt_Kennlinie_Matlab_Schn2.doc

Mehr

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze? Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher 0651993 Damir Dudakovic

Mehr

Neuronale Netze Aufgaben 3

Neuronale Netze Aufgaben 3 Neuronale Netze Aufgaben 3 martin.loesch@kit.edu (0721) 608 45944 MLNN IN FLOOD3 2 Multi Layer Neural Network (MLNN) Netzaufbau: mehrere versteckte (innere) Schichten Lernverfahren: Backpropagation-Algorithmus

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische

Mehr

Lineare Regression. Volker Tresp

Lineare Regression. Volker Tresp Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M

Mehr

Computational Intelligence I Künstliche Neuronale Netze

Computational Intelligence I Künstliche Neuronale Netze Computational Intelligence I Künstliche Neuronale Nete Universität Dortmund, Informatik I Otto-Hahn-Str. 6, 44227 Dortmund lars.hildebrand@uni-dortmund.de Inhalt der Vorlesung 0. Organisatorisches & Vorbemerkungen.

Mehr

Hochschule Regensburg. Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer

Hochschule Regensburg. Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer Hochschule Regensburg Übung 44_ Multilayer-Perzeptron: Entwurf, Implementierung Bacpropagation Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer Name: Vorname: Multilayer-Perzeptrons (MLPs) sind

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Künstliche Neuronale Netze Hauptseminar Martin Knöfel Dresden, 16.11.2017 Gliederung

Mehr

Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck:

Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck: Diplomprüfung Informatik Kurs 1830 Neuronale Netze Prüfer: Prof. Dr. Helbig Beisitzer: Prodekan Prof. Dr. Hackstein Datum: 01.10.08 Note: 2,7 Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt,

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Sebastian Morr 4. Juni 2008 Worum geht es? Die Natur hat uns 3,7 Milliarden Jahre Forschungszeit voraus. Toby Simpson Vorbild: Strukturen des Gehirns Ziel: Lernfähige Künstliche

Mehr

Neuronale Netze. Christian Böhm.

Neuronale Netze. Christian Böhm. Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch

Mehr

Neuronale Netze I. Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München

Neuronale Netze I. Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München Neuronale Netze I Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München Email: florian.zipperle@tum.de Zusammenfassung Neuronale Netze werden im Bereich Data Mining

Mehr

Lernverfahren von Künstlichen Neuronalen Netzwerken

Lernverfahren von Künstlichen Neuronalen Netzwerken Lernverfahren von Künstlichen Neuronalen Netzwerken Untersuchung und Vergleich der bekanntesten Lernverfahren und eine Übersicht über Anwendung und Forschung im Bereich der künstlichen neuronalen Netzen.

Mehr

Einführung in Neuronale Netze

Einführung in Neuronale Netze Einführung in Neuronale Netze Thomas Ruland Contents 1 Das menschliche Gehirn - Höchstleistungen im täglichen Leben 2 2 Die Hardware 2 2.1 Das Neuron 2 2.2 Nachahmung in der Computertechnik: Das künstliche

Mehr

Inexakte Newton Verfahren

Inexakte Newton Verfahren Kapitel 3 Inexakte Newton Verfahren 3.1 Idee inexakter Newton Verfahren Wir betrachten weiterhin das nichtlineare Gleichungssystem F (x) = mit einer zumindest stetig differenzierbaren Funktion F : R n

Mehr

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134 Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches

Mehr

Implementationsaspekte

Implementationsaspekte Implementationsaspekte Überlegungen zur Programmierung Neuronaler Netzwerke Implementationsprinzipien Trennung der Aspekte: Datenhaltung numerische Eigenschaften der Objekte Funktionalität Methoden der

Mehr

Softcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003

Softcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung

Mehr

Theoretische Informatik 1

Theoretische Informatik 1 Theoretische Informatik 1 Boltzmann Maschine David Kappel Institut für Grundlagen der Informationsverarbeitung TU Graz SS 2014 Übersicht Boltzmann Maschine Neuronale Netzwerke Die Boltzmann Maschine Gibbs

Mehr

Einführung in neuronale Netze

Einführung in neuronale Netze Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen

Mehr

Einführung in die linearen Funktionen. Autor: Benedikt Menne

Einführung in die linearen Funktionen. Autor: Benedikt Menne Einführung in die linearen Funktionen Autor: Benedikt Menne Inhaltsverzeichnis Vorwort... 3 Allgemeine Definition... 3 3 Bestimmung der Steigung einer linearen Funktion... 4 3. Bestimmung der Steigung

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze Vorlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Übersicht Neuronale Netze Motivation Perzeptron Grundlagen für praktische Übungen

Mehr

BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON

BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe

Mehr

Ausarbeitung zum Hauptseminar Machine Learning

Ausarbeitung zum Hauptseminar Machine Learning Ausarbeitung zum Hauptseminar Machine Learning Matthias Seidl 8. Januar 2004 Zusammenfassung single-layer networks, linear separability, least-squares techniques Inhaltsverzeichnis 1 Einführung 2 1.1 Anwendungen

Mehr

Was sind Neuronale Netze?

Was sind Neuronale Netze? Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk

Mehr

Selbstorganisierende Karten

Selbstorganisierende Karten Selbstorganisierende Karten Yacin Bessas yb1@informatik.uni-ulm.de Proseminar Neuronale Netze 1 Einleitung 1.1 Kurzüberblick Die Selbstorganisierenden Karten, auch Self-Organizing (Feature) Maps, Kohonen-

Mehr

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale

Mehr

Seminar Gewöhnliche Differentialgleichungen

Seminar Gewöhnliche Differentialgleichungen Seminar Gewöhnliche Differentialgleichungen Dynamische Systeme I 1 Einleitung 1.1 Nichtlineare Systeme In den vorigen Vorträgen haben wir uns mit linearen Differentialgleichungen beschäftigt. Nun werden

Mehr

Nichtlineare Gleichungssysteme

Nichtlineare Gleichungssysteme Kapitel 5 Nichtlineare Gleichungssysteme 51 Einführung Wir betrachten in diesem Kapitel Verfahren zur Lösung von nichtlinearen Gleichungssystemen Nichtlineares Gleichungssystem: Gesucht ist eine Lösung

Mehr

NICHTRESTRINGIERTE OPTIMIERUNG

NICHTRESTRINGIERTE OPTIMIERUNG 3 NICHTRESTRINGIERTE OPTIMIERUNG Die Aufgabe, mit der wir uns im Folgen beschäftigen werden, ist die Lösung von Minimierungsproblemen der Form minimiere f(x) in R n, (3.1) wobei f : R n R eine gegebene

Mehr

Prof. Dr. H. Brenner Osnabrück SS Analysis II. Vorlesung 50. Hinreichende Kriterien für lokale Extrema

Prof. Dr. H. Brenner Osnabrück SS Analysis II. Vorlesung 50. Hinreichende Kriterien für lokale Extrema Prof. Dr. H. Brenner Osnabrück SS 205 Analysis II Vorlesung 50 Hinreichende Kriterien für lokale Extrema Wir kommen jetzt zu hinreichenden Kriterien für die Existenz von lokalen Extrema einer Funktion

Mehr

Ausgleichsproblem. Definition (1.0.3)

Ausgleichsproblem. Definition (1.0.3) Ausgleichsproblem Definition (1.0.3) Gegeben sind n Wertepaare (x i, y i ), i = 1,..., n mit x i x j für i j. Gesucht ist eine stetige Funktion f, die die Wertepaare bestmöglich annähert, d.h. dass möglichst

Mehr

Kohonennetze Selbstorganisierende Karten

Kohonennetze Selbstorganisierende Karten Kohonennetze Selbstorganisierende Karten Julian Rith, Simon Regnet, Falk Kniffka Seminar: Umgebungsexploration und Wegeplanung mit Robotern Kohonennetze: Neuronale Netze In Dendriten werden die ankommenden

Mehr

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016 Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online

Mehr

Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation

Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2012 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für

Mehr

Aufbau und Beschreibung Neuronaler Netzwerke

Aufbau und Beschreibung Neuronaler Netzwerke Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser

Mehr

Exkurs Modelle und Algorithmen

Exkurs Modelle und Algorithmen Exkurs Modelle und Algorithmen Ansatz künstlich neuronaler Netze (KNN) Versuch, die Wirkungsweise menschlicher Gehirnzellen nachzubilden dabei wird auf formale mathematische Beschreibungen und Algorithmen

Mehr

Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie

Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie 1. Erzeugung von Stahl im Lichtbogenofen 2. Biologische neuronale Netze 3. Künstliche neuronale Netze 4. Anwendung neuronaler

Mehr

Was bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen

Was bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise

Mehr

Grundlagen Kondition Demo. Numerisches Rechnen. (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang

Grundlagen Kondition Demo. Numerisches Rechnen. (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang Numerisches Rechnen (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang Institut für Geometrie und Praktische Mathematik RWTH Aachen Wintersemester 2011/12 IGPM, RWTH Aachen Numerisches Rechnen

Mehr

Kapitel LF: IV. IV. Neuronale Netze

Kapitel LF: IV. IV. Neuronale Netze Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas LF: IV-39 Machine Learning c

Mehr

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr.

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Neuronale Netze Maschinelles Lernen Michael Baumann Universität Paderborn Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Kleine Büning WS 2011/2012 Was ist ein neuronales Netz? eigentlich: künstliches

Mehr

1. XOR: Mit folgender Architektur geht es. x 1. x n-dimensionale Lernprobleme mit einer n-2-1-architektur lösen ...

1. XOR: Mit folgender Architektur geht es. x 1. x n-dimensionale Lernprobleme mit einer n-2-1-architektur lösen ... 1. XOR: Mit folgender Architektur geht es x 1 x 2 2. n-dimensionale Lernprobleme mit einer n-2-1-architektur lösen x 1 x 2... x 2 Loading-Problem: Für eine endliche Liste binärer Trainingspaare (x(1),d(1)),l,(x(k)d(k))

Mehr

Nichtlineare Optimierung ohne Nebenbedingungen

Nichtlineare Optimierung ohne Nebenbedingungen Kapitel 2 Nichtlineare Optimierung ohne Nebenbedingungen In diesem Abschnitt sollen im wesentlichen Verfahren zur Bestimmung des Minimums von nichtglatten Funktionen in einer Variablen im Detail vorgestellt

Mehr

Multi-Layer Neural Networks and Learning Algorithms

Multi-Layer Neural Networks and Learning Algorithms Multi-Layer Neural Networks and Learning Algorithms Alexander Perzylo 22. Dezember 2003 Ausarbeitung für das Hauptseminar Machine Learning (2003) mit L A TEX gesetzt Diese Ausarbeitung ist eine Weiterführung

Mehr

Dualitätssätze der linearen Optimierung

Dualitätssätze der linearen Optimierung Kapitel 9 Dualitätssätze der linearen Optimierung Sei z = c T x min! Ax = b 9.1 x 0 mit c, x R n, b R m, A R m n ein lineares Programm. Definition 9.1 Duales lineares Programm. Das lineare Programm z =

Mehr

Vollständigkeit. 1 Konstruktion der reellen Zahlen

Vollständigkeit. 1 Konstruktion der reellen Zahlen Vortrag im Rahmen des Proseminars zur Analysis, 17.03.2006 Albert Zeyer Ziel des Vortrags ist es, die Vollständigkeit auf Basis der Konstruktion von R über die CAUCHY-Folgen zu beweisen und äquivalente

Mehr

Backpropagation. feedforward Netze

Backpropagation. feedforward Netze Backpropagation Netze ohne Rückkopplung, überwachtes Lernen, Gradientenabstieg, Delta-Regel Datenstrom (Propagation) Input Layer hidden Layer hidden Layer Output Layer Daten Input Fehler Berechnung Fehlerstrom

Mehr

Kleines Handbuch Neuronale Netze

Kleines Handbuch Neuronale Netze Norbert Hoffmann Kleines Handbuch Neuronale Netze Anwendungsorientiertes Wissen zum Lernen und Nachschlagen - vieweg INHALTSVERZEICHNIS 1 Einleitung, 1.1 Begriff des neuronalen Netzes 1 11.1 Neurophysiologie

Mehr

Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation

Neuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2013 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für

Mehr

Mann-Whitney-U-Test: Tiefenstufen

Mann-Whitney-U-Test: Tiefenstufen Mann-Whitney-U-Test: Tiefenstufen Variable Al Ca Cl DOC Fe K Mg Mn Na NO3 ph Si SO4 El. Leitfähigkeit Mann-Whitney U-Test (Piezometer.sta) Nach Var.: Tiefe Markierte Tests signifikant ab p

Mehr

Beschränktheit, Monotonie & Symmetrie

Beschränktheit, Monotonie & Symmetrie Beschränktheit, Monotonie & Symmetrie ein Referat Dies ist eine Beilage zum Gruppen-SOL - Projekt Potenz- & Exponentialfunktionen Ronald Balestra CH - 8046 Zürich www.ronaldbalestra.ch November 2015 Inhaltsverzeichnis

Mehr

Aufgabe 1 Probabilistische Inferenz

Aufgabe 1 Probabilistische Inferenz Seite 1 von 8 Aufgabe 1 Probabilistische Inferenz (28 Punkte) Die BVG will besser auf Ausfälle im S-Bahn-Verkehr eingestellt sein. Sie geht dabei von folgenden Annahmen aus: An 20% der Tage ist es besonders

Mehr

Von schwachen zu starken Lernern

Von schwachen zu starken Lernern Von schwachen zu starken Lernern Wir nehmen an, dass ein schwacher Lernalgorithmus L mit vielen Beispielen, aber großem Fehler ε = 1 2 θ gegeben ist. - Wie lässt sich der Verallgemeinerungsfehler ε von

Mehr

Mathematik II für Studierende der Informatik. Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016

Mathematik II für Studierende der Informatik. Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016 und Wirtschaftsinformatik (Analysis und lineare Algebra) im Sommersemester 2016 5. Juni 2016 Definition 5.21 Ist a R, a > 0 und a 1, so bezeichnet man die Umkehrfunktion der Exponentialfunktion x a x als

Mehr

Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser

Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser 11.11.2008 CSM Master: Praktikum Simulationstechnik, rs034, bz003 2 Befehlsübersicht Begriffsdefinition / Neuronale Netze: / / 11.11.2008 CSM

Mehr