1. Neuronale Netzwerke 2. Lernen in neuronalen Netzen 3. Überblick und Klassifizierung von Modellen 4. Eigenschaften von neuronalen Netzen 5.

Größe: px
Ab Seite anzeigen:

Download "1. Neuronale Netzwerke 2. Lernen in neuronalen Netzen 3. Überblick und Klassifizierung von Modellen 4. Eigenschaften von neuronalen Netzen 5."

Transkript

1 Stephan Ruttloff

2 1. Neuronale Netzwerke 2. Lernen in neuronalen Netzen 3. Überblick und Klassifizierung von Modellen 4. Eigenschaften von neuronalen Netzen 5. Verwendungsweise 6. Quellen

3 Was sind neuronale Netzwerke?

4 Mathematische Modelle, die sich an der Funktionsweise des Gehirns orientieren Ein Netz besteht aus vielen kleinen Einheiten, den Neuronen Neuronen sind gewichtet miteinander verbunden Das Wissen eines neuronalen Netzwerkes findet sich in den einzelnen Verbindungsgewichten der Neuronen wieder Frühe neuronale Netze wurden als eigenständige elektronische Geräte aufgebaut Heute werden sie hauptsächlich als Simulationen umgesetzt

5 Eingänge Neuron Ausgang Gewichtete Kante Neuron Biologisches Neuron Künstliches Neuron

6 Eingaben o i Ausgabe Eingabefunktion net j Aktivierungsfunktion f Ausgabe o j

7 Neuronen verarbeiten Eingangssignale und erzeugen Ausgangswerte Innerhalb des Neurons werden gewichtete Signale zur Netzaktivität (net i ) aufsummiert Die Netzaktivität eines Neurons i ist gleich der Summe der Gewichte mal der Eingangssignale o j für alle Eingänge in das Neuron i, angefangen beim Ausgang des Neurons j=1 und endet bei j=n

8 einfachste Aktivierungsfunktion ist die Identität, also genau die Summe der gewichteten Eingangswerte in komplizierteren Modelle benutzt die Aktivierungsfunktion auch den vorhergehenden Aktivitätszustand des Neurons, so dass das Neuron sich selbst erregen kann Manchmal ist die Aktivierungsfunktion auch stochastisch, enthält also einen Zufallsfaktor Jedes Neuron hat einen individuellen Aktivierungswert, der als a i (t) geschrieben wird, wobei a für Aktivierung steht, i das Neuron bezeichnet und (t) einen bestimmten Zeitpunkt darstellt

9 Die Aktivierungsfunktion spezifiziert, was das Neuron mit dem Signal tut, nachdem die Gewichtungen ihre Wirkung gezeigt haben In meisten Modellen kann Aktivierungswert beliebiger Betrag in einem beschränkten Bereich kontinuierlicher Werte sein, einschließlich gebrochener Zahlen In anderen Modellen ist Aktivierungswert gebunden und diskret, kann also keinen gebrochenen Wert annehmen Gebräuchliche Werte sind -1 (für inaktiv) und +1 (für aktiv) Manche Modelle haben keine Grenzen des Wertebereichs, wobei man von einem unbeschränkten und kontinuierlichen Aktivierungswert spricht

10 Einfachste Aktivierungsfunktion Summe der gewichteten Eingangswerte

11 Alles-oder-Nichts-Funktion Ist der Aktivierungswert größer als ein festgelegter Betrag, gibt das Neuron eine 1 aus, ansonsten eine 0 Aktivität des Neurons muss ein bestimmtes Niveau erreichen um einen Beitrag zum Gesamtzustand des Netzes zu leisten

12 Besonders nützliche nichtlineare Funktion Sättigungsfunktion oberhalb eines bestimmten Maximalwertes hat eine stärkere Erregung keine zusätzliche Wirkung mehr Obere und untere Sättigungsgrenze, sowie proportionalen Bereich dazwischen

13 n Eingänge m Ausgänge Neuronen veränderlich gewichtete Kanten Verarbeitungsrichtung Neuronen weisen vielfache Verknüpfungen untereinander auf Wissen eines Neurons auf die Querverbindungen verteilt Neuronen können prinzipiell frei miteinander verbunden sein, sind jedoch meist in Schichten organisiert

14 n Eingänge m Ausgänge Eingangsschicht verborgene Schicht Ausgangsschicht Neuronen können an drei verschiedenen Positionen in einem Netz vorkommen: der Eingangsschicht, der Ausgangsschicht und einer verborgenen Schicht

15 n Eingänge m Ausgänge Eingangsneuronen empfangen Daten aus der äußeren Welt Daten können von anderen Programmen, aus Dateien, etc. stammen

16 n Eingänge m Ausgänge Alle Neuronen zwischen den Ein- und Ausgangsschichten Ein- und Ausgangsdaten bleiben unsichtbar, da sie nur mit anderen Neuronen und nicht mit der Außenwelt verbunden sind

17 n Eingänge m Ausgänge Ausgangsneuronen senden Informationen an uns oder an einen anderen Empfänger, wie zum Beispiel eine mechanische Steuerung

18 Eine Verbindung ist eine einzelne Nachrichtenstrecke, die von einem sendenden zu einem empfangenden Neuron führt Es gibt zwei Arten von Verbindungen: erregende und hemmende Erregende Verbindungen neigen dazu, ein Neuron zum feuern zu veranlassen Hemmende Verbindungen neigen dazu, ein Neuron am feuern zu hindern Weist die Struktur eines Netzwerkes hemmende Verbindungen von einem Neuron zu allen übrigen der selben Schicht auf, nennt man dies laterale Hemmung

19 Eingänge Ausgänge Laterale Hemmung Rückkoppelung Rückkoppelung bezeichnet eine Verbindung vom Ausgang einer Schicht zum Eingang einer früheren, oder zu derselben Schicht

20 Wie lernt ein künstliches neuronales Netz

21 Bei einem Lernvorgang oder auch Training eines neuronalen Netzes können Neuronen entfernt bzw. hinzugefügt oder die Aktivierungsfunktion verändert werden Meistens versteht man unter lernen allerdings das Verändern der Gewichtung der Kanten (Verbindungsstärke w) Man unterscheidet zwischen drei Arten des Lernens: Überwachtes Lernen (supervised learning) Unüberwachtes Lernen (unsupervised learning) Verstärkendes Lernen (reinforcement learning) Außerdem unterscheidet man zwischen verschiedenen Lernregeln

22 Dem Netz wird zu jedem Eingabemuster I ein Zielmuster t präsentiert Beim Lernen werden die Verbindungsgewichte so angepasst, dass die Ausgabe des Netzes eher dem Zielmuster t entspricht Nachdem man dem Netz wiederholt eine ausreichende Anzahl verschiedener Paare von Ein- und Ausgabewerten präsentiert hat, kann es selbständig auf unbekannte Fragen antworten (Generalisierung) In Netzen ohne verborgene Schicht kann man die Delta- Lernregel verwenden:

23 Beruht auf dem Vergleich zwischen gewünschter und tatsächlicher Ausgabe Es können drei Möglichkeiten auftreten: Die Ausgabe ist zu niedrig: Gewichte zu positiv sendenden Neuronen werden erhöht und Gewichte zu negativ sendenden Neuronen gesenkt Die Ausgabe ist zu hoch: Gewichte zu positiv sendenden Neuronen werden gesenkt und Gewichte zu negativ sendenden Neuronen erhöht Die Ausgabe stimmt mit der gewünschten Ausgabe überein: Es werden keine Veränderungen vorgenommen Dabei geschieht die Gewichtsveränderung proportional zur Größe des Fehlers

24 I ist das Eingabemuster o ist die Ausgabe des Neuronalen Netzes t ist das Zielmuster Da o nicht mit t übereinstimmt müssen die Gewichte entsprechend angepasst werden

25 Dem Netz wird lediglich eine Menge von Eingabemustern präsentiert Kann ein solches Netz etwas nützliches lernen? Ja, denn durch eine geeignete Lernregel findet es Zusammenhänge und Ähnlichkeiten in der Eingabemenge Das Lernverfahren nutzt also statistische Eigenschaften in den Daten zur Generierung von Ausgabemustern In Netzen ohne verborgene Schicht kann man die Hebb sche Lernregel verwenden:

26 Große biologische Plausibilität Das Gewicht zwischen zwei Neuronen wird dann verändert, wenn beide Neuronen gleichzeitig aktiv sind Die Größe der Gewichtsveränderung hängt dabei von drei Werten ab: Dem Aktivitätslevel (bzw. der Ausgabe) des sendenden Neurons Dem Aktivitätslevel (bzw. der Ausgabe) des empfangenden Neurons Einem vorher festgelegten Parameter (der Lernschrittweite ) Donald E. Hebb

27 0,1 0,1 0,4 0,2 0,7 0,4 0,2 0,7 0,9 0,9 Vorher Nachher Die hervorgehobenen Verbindungen stellen hier eine Verstärkung des Verbindungsgewichts dar

28 Bewertung (erwartet/unerwartet) Ordnet sich zwischen überwachtem und unüberwachtem Lernen ein Anstelle eines konkreten Zielmusters tritt hier eine Belohnung bzw. Bestrafung Das Modell lernt dann, wenn es einen Unterschied zwischen angestrebter und tatsächlich erreichter Belohnung gibt

29 Die Fehlerrückführung (oder auch Backpropagation) kann im Gegensatz zu den bisher vorgestellten Lernregeln auch für neuronale Netze mit verborgenen Schichten angewendet werden Gehört zur Gruppe der überwachten Lernverfahren Stellt eine Verallgemeinerung der Delta-Lernregel für mehrschichtige neuronale Netze dar Verläuft in drei Phasen: Eingabemuster wird angelegt und vorwärts durch das Netz geschickt Die Ausgabe wird mit der gewünschten Ausgabe verglichen, wobei die Differenz als Fehler des Netzes erachtet wird Der Fehler wird nun von der Aus- zur Eingabeschicht zurück propagiert und die Gewichte entsprechend angepasst

30 Welche Netztypen gibt es?

31 Der Pattern Associator ist ein Netztyp, der Muster erkennen kann, die er zuvor gelernt hat Besteht lediglich aus Input- und Output-Schicht In der Trainingsphase kann die Delta-Lernregel oder die Hebb sche Regel angewendet werden

32 Generalisierung Ähnliche Reize werden zur selben Reizgruppe kategorisiert (verschiedene Hunderassen gehören der Reizgruppe Hunde an) Problem: ähnliche Reize unterschiedlicher Kategorien werden in der selben Kategorie zusammengefasst ( Übergeneralisierung). Beispielsweise ist es falsch Forellen, Delphine, Barsche und Heringe der Kategorie Fisch zuzuordnen Toleranz gegenüber internen Schäden Trotz innerer Schäden (z.b. durch Verlust von Neuronen) kann das Netzwerk oftmals noch richtigen Output produzieren Toleranz gegenüber externen Schäden Trotz fehlerhaftem oder unvollständigem Input gelingt es dem neuronalen Netz, das Muster zu identifizieren (etwa wenn Teile eines Gesichts verdeckt sind)

33 Sind durch Rückkoppelungen von Neuronen einer Schicht zu Neuronen derselben oder einer vorhergehenden Schicht gekennzeichnet Sinn dieser Rückkoppelungen ist es meist, zeitlich codierte Informationen in den Daten zu entdecken Rekurrente Netze lassen sich wiederum in vier Gruppen unterteilen: Neuronale Netze mit direkten Rückkoppelungen (direct feedback) Neuronale Netze mit indirekten Rückkoppelungen (indirect feedback) Neuronale Netze mit seitlichen Rückkoppelungen (lateral feedback) Neuronale Netze mit vollständigen Verbindungen

34 Hier existieren Verbindungen vom Ausgang eines Neurons zum Eingang des selben Neurons Somit wird die Aktivität des Neurons zum Eingang des selben Neurons

35 Hier existieren Verbindungen vom Ausgang eines Neurons zum Eingang eines Neurons der vorangegangenen Schicht Somit wird die Aktivität des Neurons zur vorhergehenden Schicht zurückgeschickt

36 Hier existieren Verbindungen vom Ausgang eines Neurons zum Eingang eines Neurons in der selben Schicht

37 Diese Netze besitzen Verbindungen zwischen sämtlichen Neuronen

38 Prognose über die Zukunft treffen Grundsätzlich können rekurrente Netze Vorhersagen über die Zukunft machen, z.b. die nächste Eingabe einer Sequenz prognostizieren Simulation von menschlichen Verhaltenssequenzen Rekurrente Netze können menschliche Verhaltensweisen simulieren, z.b. die Steuerung der Motorik, vor allem der Sprache

39 Neuronale Netze mit einer Input- und einer Output-Schicht (wie Pattern Associator) Kompetitive Netze sind unüberwacht Training kompetitiver Netze erfolgt in 3 Phasen Erregung Wettbewerb Veränderung der Gewichte Problem: Die Gewichte zu einem einzigen oder einigen wenigen Ausgangsneuronen kann so groß werden, dass sie unabhängig vom Eingangsmuster gewinnen. Daher kann es sinnvoll sein den Gesamtbetrag der Gewichte einer Schicht auf einen konstanten wert festzulegen

40 Filtern von Redundanzen Vorgeschaltetes Netz für andere Netztypen Man kann ein kompetitives Netz vor einen Pattern Associator schalten um seine Arbeitsweise zu verbessern Musterklassifikation Ähnlich wie beim Pattern Associator, jedoch mit unüberwachtem Lernen (etwa zur Buchstabenerkennung)

41 Kohonen geht auf den finnischen Ingenieur Teuvo Kohonen zurück Auch als Self-Organizing Maps (SOMs) bezeichnet Training durch unüberwachtes Lernen Kohonennetze können in selbstorganisierender Weise lernen, Karten von einem Inputraum zu erstellen Man kann auch sagen dass Kohonennetze den Inputraum clustern Teuvo Kohonen

42 2-dimensionale Output-Schicht Input-Schicht Kohonennetze bestehen üblicherweise aus zwei Schichten (einer Inputund einer Output-Schicht) Von jedem Input-Neuron führen Verbindungen zu sämtlichen Output- Neuronen Häufig ist die Output-Schicht 2-dimensional aufgebaut, wobei die Distanz zwischen den einzelnen Output-Neuronen eine wichtige Rolle spielt

43 Startwert festlegen Gewichte werden zufällig generiert Lernkonstante, Radius, Nachbarschaftsfunktion und maximale Anzahl der Durchläufe werden festgelegt Auswahl eines Eingabemusters Aktivitätsberechnung und Auswahl Aktivität der Output-Neuronen wird berechnet Neuron mit Maximalem Ausgang wird ausgewählt (das ist jenes Neuron, welches dem Eingabemuster am ähnlichsten ist) Gewichtsmodifikation Gewichte des ausgewählten Neurons werden so angepasst, dass es dem Eingabemuster ein wenig ähnlicher wird Das Selbe geschieht (in abgeschwächter Form) für seine Nachbarn Der Lernparameter wird reduziert Der Radius für die Nachbarschaft wird eingegrenzt Danach geht es wieder mit dem ersten Schritt weiter Abbruch Wenn maximale Anzahl der Durchläufe erreicht ist

44 Zähler Anzahl der Durchläufe Radius der Nachbarschaft Größe der bei Gewichtsanpassungen berücksichtigten Nachbarschaft Lernparameter Bestimmt, wie stark die Gewichte verändert werden Matrixgröße Anzahl der Output-Neuronen Form der Nachbarschaftsfunktion Bestimmt, in welcher Weise benachbarte Neuronen von den Gewichtsveränderungen betroffen sind (die Stärke der Gewichtsveränderung kann mit zunehmender Distanz z.b. linear oder exponentiell abnehmen) Art und Weise, wie Parameter im Lerndurchgang verändert werden Dimension des Kohonennetzes 2-, 3-,, n-dimensional

45 Inverse Kinematik Z.B. bei mechanischen Armen bei Robotern im 2-dimensionalen Raum Kohonennetze können kürzesten Weg zwischen 2 Punkten finden, auch wenn sich auf dem direkten Weg Hindernisse befinden (vorausgesetzt, die Hindernisse verändern ihre Position nicht) Transformation von n-dimensionalen Figuren in 2- oder 3- dimensionale Figuren ohne dabei kritische Informationen zu verlieren Spracherkennung, Unterschriftenerkennung, Gesichtserkennung Also verschiedene Formen der Mustererkennung Problem des Handlungsreisenden

46 Pattern Associator Rekurrente Netze Kompetitive Netze Kohonennetze Kernkonzept Assoziationen zwischen Reizpaaren bilden Rückkoppelung Erregung, Wettbewerb, Gewichtsmodifika tion Wie kompetitive Netze, nur mit mehrdimensionale r Output-Schicht Lernregel Hebb, Delta Fehlerrückführung Competitive Learning Rückkoppelung Nein Ja Nein Nein Verborgene Schicht Competitive Learning Nein Möglich Möglich In der Regel nicht Art der Lernregel Überwacht Überwacht Unüberwacht Unüberwacht Vorteile Einfachheit Entdecken zeitlich codierter Informationen Nachteile Kein verborgene Schicht Überlaufen der Aktivität Biologisch plausibel Einzelne Output- Neuronen werden zu stark Biologisch plausibel Viele Parameter

47 Welche besonderen Eigenschaften haben neuronale Netze?

48 Parallelverarbeitung Verteilte Speicherung Zum Teil biologische Plausibilität Toleranz gegenüber internen Schäden Toleranz gegenüber externen Fehlern Generalisation/Kategorienbildung Output der zentralen Tendenz bzw. des Prototypen der Kategorie Inhaltsabruf Hohe Lernfähigkeit Große Anzahl an Freiheitsgraden

49 Parallelverarbeitung Ein neuronales Netz kann die notwendigen Berechnungen nicht nacheinander, sondern gleichzeitig ausführen Beachte: Parallelverarbeitung ist bei der Simulation am PC eher theoretischer Natur Verteilte Speicherung Speicherung von Informationen in neuronalen Netzen verteilt Informationen (z.b. das Alter einer Person) sind über das gesamte Netz oder zumindest über einen Teil davon gelagert Genauer: das Wissen ist in den vielen verschiedenen Gewichten zusammen abgespeichert

50 Zum Teil biologische Plausibilität Aufgrund der Parallelverarbeitung und verteilten Speicherung bieten neuronale Netze eine gewisse Nähe zum menschlichen Gehirn Mit Hilfe neuronaler Netzsimulationen kann menschliches Verhalten oftmals sehr gut simuliert werden Toleranz gegenüber internen Schäden Trotz interner Schäden (z.b. durch das Fehlen einzelner Neuronen) liefert das neuronale Netz oftmals den richtigen Output Toleranz gegenüber externen Fehlern Auch bei unvollständigem oder fehlerhaftem Input liefert das Netz häufig den richtigen Output

51 Output der zentralen Tendenz bzw. des Prototypen der Kategorie Bezieht sich auf den erzeugten Output des Netzes Formt häufig bei mehreren gelernten Inputvektoren einen gemeinsamen Outputvektor aus, den man als Prototyp einer Kategorie auffassen kann Typisch menschliche Eigenschaft Inhaltsabruf Zum Abrufen einer Information muss man dem Netz lediglich Inhalte präsentieren, die mit dem gesuchten Inhalt in Verbindung stehen z.b. reicht es dem Netz Informationen über das Aussehen, den Wohnort, etc. zu präsentieren, um den Namen zu erfahren an den man sich gerade nicht mehr erinnert

52 Hohe Lernfähigkeit Neuronale Netze haben im Gegensatz zu herkömmlichen statistischen Methoden keine Probleme Zusammenhänge nonlinearer Art oder Interaktionseffekte zwischen mehreren Variablen zu erfassen In diesem Zusammenhang spricht man auch vom Erlernen beliebiger Abbildungen Große Anzahl an Freiheitsgraden Es existieren zahlreiche Parameter, die die Arbeitsweise von neuronelen Netzen beeinflussen können Bedingt durch die hohe Lernfähigkeit und erfassung nonlinearer Zusammenhänge Dies kann allerdings auch zu Probleme führen

53 Große Anzahl an Freiheitsgraden Viele frei variierbare Parameter ermöglichen die Simulation jeder menschlichen Verhaltensweise Allerdings kann dies dazu führen dass neuronale Netze, welche menschliches Verhalten erklären sollen, durch Variation verschiedener Parameter nicht wiederlegbar sind (man spricht hier auch von einer Immunisierungsstrategie) Trifft nur auf neuronale Netze zu, welche menschliches Verhalten erklären sollen Neuronale Netze, die konkrete Anwendungsprobleme lösen sollen, sind von diesem Kritikpunkt nicht betroffen

54 Fragwürdige biologische Plausibilität Bezieht sich ebenfalls nur auf Netze zur Erklärung der funktionsweise des menschlichen Gehirns Viele Netze wiedersprechen biologischen Grundannahmen und sind zur Erklärung nur bedingt geeignet Beispiel: Rückwärtsausbreitung bei der Backpropagation-Lernregel Großer Rechenaufwand Herkömmliche Methoden besitzen oftmals geringeren Rechenaufwand und erzeugen genaueren Output Trifft nur auf neuronale Netze zu die ein konkretes Anwendungsproblem lösen sollen

55 genschaften_large.gif

56 Konstruktion eines neuronalen Netzes

57 Bei der Konstruktion eines neuronalen Netzes geht man in folgenden Schritten vor: 1. Anzahl und Typ der benötigten Neuronen festlegen 2. Verbindungen zwischen Neuronen festlegen 3. Gewichte der Kanten initialisieren 4. Eine Menge an Beispielpaaren auswählen (Eingabe- und Zielmuster) 5. Reihenfolge festlegen, in welcher die Eingaben dem Netz dargeboten werden 6. Für jedes Beispiel Differenz zwischen tatsächlicher und gewünschter Ausgabe ausrechnen 7. Gewichte der Kanten anpassen (Lernalgorithmus)

58 Neuronale Netze neigen meist dazu, die Trainingsdaten auswendig zu lernen. Um dieses overfitting zu vermeiden wird folgende einfache Strategie verfolgt: Den Fehler Bestimmen Das Training beenden, wenn der Fehler nicht weiter fällt Ein vergleich von Netzen kann hier mittels eines Testdatensatzes erfolgen, welcher dem Netz unbekannt ist (Leave-k-out)

59

60 Lawrence, Jeanette: Neuronale Netze Mainzer, Klaus: KI Künstliche Intelligenz Patterson, Dan: Künstliche Neuronale Netze 2. Auflage Lämmel, Uwe; Cleve, Jürgen: Künstliche Intelligenz Luger, Georg F.: Künstliche Intelligenz

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung

Mehr

Konzepte der AI Neuronale Netze

Konzepte der AI Neuronale Netze Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale

Mehr

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze? Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher 0651993 Damir Dudakovic

Mehr

Was sind Neuronale Netze?

Was sind Neuronale Netze? Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk

Mehr

Automatische Spracherkennung

Automatische Spracherkennung Automatische Spracherkennung 3 Vertiefung: Drei wichtige Algorithmen Teil 3 Soweit vorhanden ist der jeweils englische Fachbegriff, so wie er in der Fachliteratur verwendet wird, in Klammern angegeben.

Mehr

Hannah Wester Juan Jose Gonzalez

Hannah Wester Juan Jose Gonzalez Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron

Mehr

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1 Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?

Mehr

Universität zu Köln Seminar: Künstliche Intelligenz II Dozent: Claes Neuefeind SS 2012. Neuronale Netze. Von Deasy Sukarya & Tania Bellini

Universität zu Köln Seminar: Künstliche Intelligenz II Dozent: Claes Neuefeind SS 2012. Neuronale Netze. Von Deasy Sukarya & Tania Bellini Universität zu Köln Seminar: Künstliche Intelligenz II Dozent: Claes Neuefeind SS 2012 Neuronale Netze Von Deasy Sukarya & Tania Bellini Einführung Symbolische vs. Sub-symbolische KI Symbolische KI: Fokussierung

Mehr

Rekurrente / rückgekoppelte neuronale Netzwerke

Rekurrente / rückgekoppelte neuronale Netzwerke Rekurrente / rückgekoppelte neuronale Netzwerke Forschungsseminar Deep Learning 2018 Universität Leipzig 12.01.2018 Vortragender: Andreas Haselhuhn Neuronale Netzwerke Neuron besteht aus: Eingängen Summenfunktion

Mehr

Lernregeln. Künstliche neuronale Netze. Professur Psychologie digitaler Lernmedien. Institut für Medienforschung Philosophische Fakultät

Lernregeln. Künstliche neuronale Netze. Professur Psychologie digitaler Lernmedien. Institut für Medienforschung Philosophische Fakultät Professur Psychologie digitaler Lernmedien Institut für Medienforschung Philosophische Fakultät Künstliche neuronale Netze Lernregeln Überblick Definition Lernregeln Hebb-Regel Delta-Regel Gradientenabstiegsverfahren

Mehr

Neuronale Netze. Anna Wallner. 15. Mai 2007

Neuronale Netze. Anna Wallner. 15. Mai 2007 5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches

Mehr

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) 6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze

Mehr

7. Vorlesung Neuronale Netze

7. Vorlesung Neuronale Netze Soft Control (AT 3, RMA) 7. Vorlesung Neuronale Netze Grundlagen 7. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation

Mehr

Universität Klagenfurt

Universität Klagenfurt Universität Klagenfurt Neuronale Netze Carmen Hafner Elisabeth Stefan Raphael Wigoutschnigg Seminar in Intelligent Management Models in Transportation und Logistics 623.900, WS 05 Univ.-Prof. Dr.-Ing.

Mehr

6 Neuronale Modellierung: Der STAA-Ansatz

6 Neuronale Modellierung: Der STAA-Ansatz Bernd J. Kröger: Neuronale Sprachverarbeitung (Version 1.0.4) Seite 150 6 Neuronale Modellierung: Der STAA-Ansatz 6.1 Knoten: die STAA-Neuronensembles 6.1.1 Aktivierungslevel, Aktivierungsfunktion und

Mehr

Selbstorganisierende Karten

Selbstorganisierende Karten Selbstorganisierende Karten Proseminar Ausgewählte Themen über Agentensysteme 11.07.2017 Institut für Informatik Selbstorganisierende Karten 1 Übersicht Motivation Selbstorganisierende Karten Aufbau &

Mehr

Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser

Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser 11.11.2008 CSM Master: Praktikum Simulationstechnik, rs034, bz003 2 Befehlsübersicht Begriffsdefinition / Neuronale Netze: / / 11.11.2008 CSM

Mehr

Neuronale Netze (I) Biologisches Neuronales Netz

Neuronale Netze (I) Biologisches Neuronales Netz Neuronale Netze (I) Biologisches Neuronales Netz Im menschlichen Gehirn ist ein Neuron mit bis zu 20.000 anderen Neuronen verbunden. Milliarden von Neuronen beteiligen sich simultan an der Verarbeitung

Mehr

Kohonennetze Selbstorganisierende Karten

Kohonennetze Selbstorganisierende Karten Kohonennetze Selbstorganisierende Karten Julian Rith, Simon Regnet, Falk Kniffka Seminar: Umgebungsexploration und Wegeplanung mit Robotern Kohonennetze: Neuronale Netze In Dendriten werden die ankommenden

Mehr

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???

Mehr

Technische Universität. Fakultät für Informatik

Technische Universität. Fakultät für Informatik Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Selbstorganisierende Karten Seminar Kognitive Robotik (SS12) Thomas Hoffmann Betreuer: Dr. Florian Röhrbein

Mehr

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron

Mehr

Grundlagen Neuronaler Netze

Grundlagen Neuronaler Netze Grundlagen Neuronaler Netze Neuronen, Aktivierung, Output, Netzstruktur, Lernziele, Training, Grundstruktur Der Begriff neuronales Netz(-werk) steht immer für künstliche neuronale Netzwerke, wenn nicht

Mehr

Einführung in neuronale Netze

Einführung in neuronale Netze Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze

Mehr

Einfaches Framework für Neuronale Netze

Einfaches Framework für Neuronale Netze Einfaches Framework für Neuronale Netze Christian Silberbauer, IW7, 2007-01-23 Inhaltsverzeichnis 1. Einführung...1 2. Funktionsumfang...1 3. Implementierung...2 4. Erweiterbarkeit des Frameworks...2 5.

Mehr

Adaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Mehrere Neuronen, Assoziative Speicher und Mustererkennung Prof. Dr. rer. nat. Nikolaus Wulff Modell eines Neuron x x 2 x 3. y y= k = n w k x k x n Die n binären Eingangssignale x k {,}

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Künstliche Neuronale Netze Hauptseminar Martin Knöfel Dresden, 16.11.2017 Gliederung

Mehr

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14. Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen

Mehr

BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON

BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial

Mehr

5. Lernregeln für neuronale Netze

5. Lernregeln für neuronale Netze 5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1

Mehr

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / 2015 8. Aufgabenblatt

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen

Mehr

Aufbau und Beschreibung Neuronaler Netzwerke

Aufbau und Beschreibung Neuronaler Netzwerke Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser

Mehr

Adaptive Resonance Theory

Adaptive Resonance Theory Adaptive Resonance Theory Jonas Jacobi, Felix J. Oppermann C.v.O. Universität Oldenburg Adaptive Resonance Theory p.1/27 Gliederung 1. Neuronale Netze 2. Stabilität - Plastizität 3. ART-1 4. ART-2 5. ARTMAP

Mehr

Kleines Handbuch Neuronale Netze

Kleines Handbuch Neuronale Netze Norbert Hoffmann Kleines Handbuch Neuronale Netze Anwendungsorientiertes Wissen zum Lernen und Nachschlagen - vieweg INHALTSVERZEICHNIS 1 Einleitung, 1.1 Begriff des neuronalen Netzes 1 11.1 Neurophysiologie

Mehr

Neuronale Netze. Seminar aus Algorithmik Stefan Craß,

Neuronale Netze. Seminar aus Algorithmik Stefan Craß, Neuronale Netze Seminar aus Algorithmik Stefan Craß, 325656 Inhalt Theoretisches Modell Grundlagen Lernansätze Hopfield-Netze Kohonen-Netze Zusammenfassung 2 Inhalt Theoretisches Modell Grundlagen Lernansätze

Mehr

2.4.4 Die Fraktale Dimension

2.4.4 Die Fraktale Dimension 2.4.4 Die Fraktale Dimension Ausgehend vom euklidischen Dimensionsbegriff (Punkt = 0, Linie = 1, Fläche = 2...) lässt sich einem fraktalen Gebilde eine fraktale Dimension d f zuordnen. Wir verwenden die

Mehr

Neuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24.

Neuronale Netze in der Phonetik: Grundlagen. Pfitzinger, Reichel IPSK, LMU München {hpt 24. Neuronale Netze in der Phonetik: Grundlagen Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 24. Mai 2006 Inhalt Einführung Maschinelles Lernen Lernparadigmen Maschinelles

Mehr

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt

Mehr

Neuronale Netze (Konnektionismus)

Neuronale Netze (Konnektionismus) Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale

Mehr

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) 29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein

Mehr

Was bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen

Was bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise

Mehr

Neuronale Neize. Eine Einfuhrung in die Neuroinfomnatik selbstorganisierender Netzwerke ADDISON-WESLEY PUBLISHING COMPANY

Neuronale Neize. Eine Einfuhrung in die Neuroinfomnatik selbstorganisierender Netzwerke ADDISON-WESLEY PUBLISHING COMPANY Helge Ritter/Thomas Marrineiz/Klaus Schulten Neuronale Neize Eine Einfuhrung in die Neuroinfomnatik selbstorganisierender Netzwerke Technische Hochschule Darmstadt FACHBEREICH INFORMATIK B! B k±ojjtlus

Mehr

Effiziente Näherungsverfahren 2

Effiziente Näherungsverfahren 2 Effiziente Näherungsverfahren 2 D. Rücker S. Major Hochschule Zittau-Görlitz 21. Juni 2009 Überblick DNA Computing evolutionäre Algorithmen Neuronale Netze Effiziente Näherungsverfahren 2 DNA Computing

Mehr

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)

Mehr

Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie

Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie 1. Erzeugung von Stahl im Lichtbogenofen 2. Biologische neuronale Netze 3. Künstliche neuronale Netze 4. Anwendung neuronaler

Mehr

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze. Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Künstliche Intelligenz. Neuronale Netze

Künstliche Intelligenz. Neuronale Netze Künstliche Intelligenz Neuronale Netze Richard Schorpp Version. -- 3.8.7 INHALTVERZEICHNIS Inhaltverzeichnis...2. Versionsverwaltung...2 2 Das Neuron... 3 2. Naturbeobachtung...3 2.2 Nachbildung der Natur...4

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer

Mehr

Objekt Attributwerte Klassifizierung X Y

Objekt Attributwerte Klassifizierung X Y AUFGABE : Entscheidungsbäume Betrachten Sie das folgende Klassifizierungsproblem: bjekt Attributwerte Klassifizierung X Y A 3 B 2 3 + C 2 D 3 3 + E 2 2 + F 3 G H 4 3 + I 3 2 J 4 K 2 L 4 2 ) Bestimmen Sie

Mehr

DOKUMENTENKLASSIFIKATION MIT MACHINE LEARNING

DOKUMENTENKLASSIFIKATION MIT MACHINE LEARNING DOKUMENTENKLASSIFIKATION MIT MACHINE LEARNING Andreas Nadolski Softwareentwickler andreas.nadolski@enpit.de Twitter: @enpit Blogs: enpit.de/blog medium.com/enpit-developer-blog 05.10.2018, DOAG Big Data

Mehr

Einführung in die Computerlinguistik

Einführung in die Computerlinguistik Einführung in die Computerlinguistik Neuronale Netze WS 2014/2015 Vera Demberg Neuronale Netze Was ist das? Einer der größten Fortschritte in der Sprachverarbeitung und Bildverarbeitung der letzten Jahre:

Mehr

Seminar über Neuronale Netze und Maschinelles Lernen WS 06/07

Seminar über Neuronale Netze und Maschinelles Lernen WS 06/07 Universität Regensburg Naturwissenschaftliche Informatik Seminar über Neuronale Netze und Maschinelles Lernen WS 06/07 Cluster-Algorithmen II: Neural Gas Vortragender: Matthias Klein Gliederung Motivation:

Mehr

Vorlesung Digitale Bildverarbeitung Sommersemester 2013

Vorlesung Digitale Bildverarbeitung Sommersemester 2013 Vorlesung Digitale Bildverarbeitung Sommersemester 2013 Sebastian Houben (Marc Schlipsing) Institut für Neuroinformatik Inhalt Crash-Course in Machine Learning Klassifikationsverfahren Grundsätzliches

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale

Mehr

Neuronale Netze. Christian Böhm.

Neuronale Netze. Christian Böhm. Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch

Mehr

auch: Konnektionismus; subsymbolische Wissensverarbeitung

auch: Konnektionismus; subsymbolische Wissensverarbeitung 10. Künstliche Neuronale Netze auch: Konnektionismus; subsymbolische Wissensverarbeitung informationsverarbeitende Systeme, bestehen aus meist großer Zahl einfacher Einheiten (Neuronen, Zellen) einfache

Mehr

Neuroinformatik. Übung 1

Neuroinformatik. Übung 1 Neuroinformatik Übung 1 Fabian Bürger Raum: BC419, Tel.: 0203-379 - 3124, E-Mail: fabian.buerger@uni-due.de Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 1 / 27 Organisatorisches Neuroinformatik:

Mehr

Reinforcement Learning

Reinforcement Learning Reinforcement Learning 1. Allgemein Reinforcement Learning 2. Neuronales Netz als Bewertungsfunktion 3. Neuronales Netz als Reinforcement Learning Nils-Olaf Bösch 1 Allgemein Reinforcement Learning Unterschied

Mehr

1 Einleitung. 2 Clustering

1 Einleitung. 2 Clustering Lernende Vektorquantisierung (LVQ) und K-Means-Clustering David Bouchain Proseminar Neuronale Netze Kurs-Nr.: CS4400 ISI WS 2004/05 david@bouchain.de 1 Einleitung Im Folgenden soll zum einen ein Überblick

Mehr

Technische Universität. Fakultät für Informatik

Technische Universität. Fakultät für Informatik Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Unsupervised Learning Seminar Kognitive Robotik (SS12) Sebastian Fröhlich Betreuer: Florian Röhrbein Leitung:

Mehr

Thema 3: Radiale Basisfunktionen und RBF- Netze

Thema 3: Radiale Basisfunktionen und RBF- Netze Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung

Mehr

Neuronale Netze in der Farbmetrik zur Bestimmung des Farbabstandes in der Qualitätsprüfung

Neuronale Netze in der Farbmetrik zur Bestimmung des Farbabstandes in der Qualitätsprüfung Neuronale Netze in der Farbmetrik zur Bestimmung des Farbabstandes in der Qualitätsprüfung Günter Faes DyStar GmbH & Co. Deutschland KG Kaiser-Wilhelm-Allee Postfach 10 04 80 D-51304 Leverkusen Telefon:

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Sibylle Schwarz Westsächsische Hochschule Zwickau Dr. Friedrichs-Ring 2a, RII 263 http://wwwstud.fh-zwickau.de/~sibsc/ sibylle.schwarz@fh-zwickau.de SS 2011 1 Softcomputing Einsatz

Mehr

Grundlagen Künstlicher Neuronaler Netze

Grundlagen Künstlicher Neuronaler Netze FernUniversität in Hagen Fachbereich Elektrotechnik und Informationstechnik Lehrgebiet Informationstechnik Seminar Computational Intelligence in der Prozessautomatisierung 7. Juli 2003 Grundlagen Künstlicher

Mehr

Nichtlineare Klassifikatoren

Nichtlineare Klassifikatoren Nichtlineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 11 1 M. O. Franz 12.01.2008 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht

Mehr

Intelligente Algorithmen Einführung in die Technologie

Intelligente Algorithmen Einführung in die Technologie Intelligente Algorithmen Einführung in die Technologie Dr. KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Natürlich sprachliche

Mehr

Statistical Learning

Statistical Learning Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in

Mehr

Objekterkennung mit künstlichen neuronalen Netzen

Objekterkennung mit künstlichen neuronalen Netzen Objekterkennung mit künstlichen neuronalen Netzen Frank Hallas und Alexander Butiu Universität Erlangen Nürnberg, Lehrstuhl für Hardware/Software CoDesign Multicorearchitectures and Programming Seminar,

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Sebastian Morr 4. Juni 2008 Worum geht es? Die Natur hat uns 3,7 Milliarden Jahre Forschungszeit voraus. Toby Simpson Vorbild: Strukturen des Gehirns Ziel: Lernfähige Künstliche

Mehr

Neuronale Netze Aufgaben 3

Neuronale Netze Aufgaben 3 Neuronale Netze Aufgaben 3 martin.loesch@kit.edu (0721) 608 45944 MLNN IN FLOOD3 2 Multi Layer Neural Network (MLNN) Netzaufbau: mehrere versteckte (innere) Schichten Lernverfahren: Backpropagation-Algorithmus

Mehr

Computational Intelligence I Künstliche Neuronale Netze

Computational Intelligence I Künstliche Neuronale Netze Computational Intelligence I Künstliche Neuronale Nete Universität Dortmund, Informatik I Otto-Hahn-Str. 6, 44227 Dortmund lars.hildebrand@uni-dortmund.de Inhalt der Vorlesung 0. Organisatorisches & Vorbemerkungen.

Mehr

Einführung in Neuronale Netze

Einführung in Neuronale Netze Wintersemester 2005/2006 VO 181.138 Einführung in die Artificial Intelligence Einführung in Neuronale Netze Oliver Frölich Abteilung für Datenbanken und Artificial Intelligence Institut für Informationssysteme

Mehr

Neuronale Netze Eine Einführung

Neuronale Netze Eine Einführung Neuronale Netze Eine Einführung Druckversion der Internetseite www.neuronalesnetz.de Inhaltsverzeichnis Grundlagen Einleitung Units Verbindungen Input Aktivität Training und Test Matrizendarstellung Zfs.

Mehr

Seminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens

Seminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens Seminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 19.12.2013 Allgemeine Problemstellung

Mehr

Neuro-Info Notizen. Markus Klemm.net WS 2016/2017. Inhaltsverzeichnis. 1 Hebbsche Lernregel. 1 Hebbsche Lernregel Fälle Lernrate...

Neuro-Info Notizen. Markus Klemm.net WS 2016/2017. Inhaltsverzeichnis. 1 Hebbsche Lernregel. 1 Hebbsche Lernregel Fälle Lernrate... Neuro-Info Notizen Marus Klemm.net WS 6/7 Inhaltsverzeichnis Hebbsche Lernregel. Fälle........................................ Lernrate..................................... Neural Gas. Algorithmus.....................................

Mehr

Multi-Layer Neural Networks and Learning Algorithms

Multi-Layer Neural Networks and Learning Algorithms Multi-Layer Neural Networks and Learning Algorithms Alexander Perzylo 22. Dezember 2003 Ausarbeitung für das Hauptseminar Machine Learning (2003) mit L A TEX gesetzt Diese Ausarbeitung ist eine Weiterführung

Mehr

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training eines Künstlich Neuronalen Netzes (KNN) zur Approximation einer Kennlinie in JavaNNS 28.01.2008

Mehr

Proseminar Neuronale Netze Frühjahr 2004

Proseminar Neuronale Netze Frühjahr 2004 Proseminar Neuronale Netze Frühjahr 2004 Titel: Perzeptron Autor: Julia Grebneva, jg7@informatik.uni-ulm.de Einleitung In vielen Gebieten der Wirtschaft und Forschung, stellen sich oftmals Probleme, die

Mehr

Modellbildung und Simulation

Modellbildung und Simulation Modellbildung und Simulation 6. Vorlesung Wintersemester 2007/2008 Klaus Kasper Value at Risk (VaR) Gaußdichte Gaußdichte der Normalverteilung: f ( x) = 1 2π σ x e 2 2 x ( x µ ) / 2σ x Gaußdichte der Standardnormalverteilung:

Mehr

Strukturen für neuronale Netze in der Tageslicht-/ Kunstlichtregelung. 1 Vom biologischen zum künstlichen neuronalen Netz

Strukturen für neuronale Netze in der Tageslicht-/ Kunstlichtregelung. 1 Vom biologischen zum künstlichen neuronalen Netz Strukturen für neuronale Netze in der Tageslicht-/ Kunstlichtregelung - zur Veröffentlichung bei LuxJunior 2003 - Krzyzanowski, J., Rosemann, A., Kaase, H. Technische Universität Berlin Fachgebiet Lichttechnik,

Mehr

Selbstorganisierende Karten

Selbstorganisierende Karten Selbstorganisierende Karten (engl. Self-Organizing Maps (SOMs)) Rudolf Kruse Neuronale Netze 169 Selbstorganisierende Karten Eine selbstorganisierende Karte oder Kohonen-Merkmalskarte ist ein neuronales

Mehr

Modul MED-CNS008: Grundlagen der Modellierung neuronaler Systeme. VL4, , Uhr, PC-Pool, IMSID, Bachstr.18, Gebäude 1

Modul MED-CNS008: Grundlagen der Modellierung neuronaler Systeme. VL4, , Uhr, PC-Pool, IMSID, Bachstr.18, Gebäude 1 Modul MED-CNS008: Grundlagen der Modellierung neuronaler Systeme VL4, 11.5.2012, 10.00 Uhr, PC-Pool, IMSID, Bachstr.18, Gebäude 1 Lehrender: Dirk Hoyer, dirk.hoyer@med.uni-jena.de, Tel. 9325795 2.2 Rückgekoppelte

Mehr

Physik der sozio-ökonomischen Systeme mit dem Computer. 7. Vorlesung

Physik der sozio-ökonomischen Systeme mit dem Computer. 7. Vorlesung Physik der sozio-ökonomischen Systeme mit dem Computer PC-POOL RAUM 01.120 JOHANN WOLFGANG GOETHE UNIVERSITÄT 01.12.2017 7. Vorlesung MATTHIAS HANAUSKE FRANKFURT INSTITUTE FOR ADVANCED STUDIES JOHANN WOLFGANG

Mehr

Gesichtserkennung mit MemBrain. - GIMP starten (ggf. eignen sich auch andere Programme dazu) und ein einzelnes Foto der Trainingsdaten

Gesichtserkennung mit MemBrain. - GIMP starten (ggf. eignen sich auch andere Programme dazu) und ein einzelnes Foto der Trainingsdaten Gesichtserkennung mit MemBrain A. Daten erheben 1. Eure Gruppe erhält einen Ordner mit den Trainingsdaten (9 Bilder von insgesamt 3 Personen) und einen Ordner mit den Testdaten (3 Bilder von insgesamt

Mehr

11. Neuronale Netze 1

11. Neuronale Netze 1 11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Einführung und Anwendung im Bereich der Mustererkennung Michael Pucher BG/BRG Weiz, Offenburgergasse 23 Künstliche neuronale Netze Einführung und Anwendung im Bereich der Mustererkennung

Mehr

Ein selbstmodellierendes System für die Wasserwirtschaft

Ein selbstmodellierendes System für die Wasserwirtschaft Ein selbstmodellierendes System für die Wasserwirtschaft Dipl.-Ing. Dr. ANDRADE-LEAL Wien, im Juli 2001 1 Einleitung, Motivation und Voraussetzungen Künstliche Intelligenz Neuronale Netze Experte Systeme

Mehr

Der Sprung in die Zukunft! Einführung in neuronale Netzwerke

Der Sprung in die Zukunft! Einführung in neuronale Netzwerke Der Sprung in die Zukunft! Einführung in neuronale Netzwerke Inhalt 1. Warum auf einmal doch? 2. Welche Einsatzgebiete gibt es? 3. Was sind neuronale Netze und wie funktionieren sie? 4. Wie lernen neuronale

Mehr

Konvergenz von Hopfield-Netzen

Konvergenz von Hopfield-Netzen Matthias Jauernig 1. August 2006 Zusammenfassung Die nachfolgende Betrachtung bezieht sich auf das diskrete Hopfield-Netz und hat das Ziel, die Konvergenz des Verfahrens zu zeigen. Leider wird dieser Beweis

Mehr

Virtuelles Labor für Neuronale Netze

Virtuelles Labor für Neuronale Netze Universität Zürich / Wintersemester 2001/2002 Semesterarbeit Virtuelles Labor für Neuronale Netze vorgelegt von Rolf Hintermann, Dielsdorf, ZH, Schweiz, Matrikelnummer: 98-706-575 Angefertigt am Institut

Mehr

Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik Universität Rostock.

Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik Universität Rostock. Seite 1 Implementierung Neuronaler Netze mittels Digit-Online Algorithmen Vortrag im Rahmen des 10. Symposium Maritime Elektronik 2001 M.Haase, A.Wassatsch, D.Timmermann Seite 2 Gliederung Was sind Neuronale

Mehr

3. Das Reinforcement Lernproblem

3. Das Reinforcement Lernproblem 3. Das Reinforcement Lernproblem 1. Agierender Agent in der Umgebung 2. Discounted Rewards 3. Markov Eigenschaft des Zustandssignals 4. Markov sche Entscheidung 5. Werte-Funktionen und Bellman sche Optimalität

Mehr