Intelligente Systeme

Größe: px
Ab Seite anzeigen:

Download "Intelligente Systeme"

Transkript

1 Intelligente Systeme Neuronale Netze Prof. Dr. R. Kruse C. Braune Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität Magdeburg R. Kruse, C. Braune IS Neuronale Netze / 52

2 Übersicht 1. Einleitung Natürliche (biologische) Neuronen Konventionelle Rechner vs. Gehirn Künstliche Neuronale Netze 2. Schwellenwert-Elemente 3. Mehrschichtige Perzeptrons

3 Neuronale Netze Bisher Intelligente Systeme von oben : Modellierung eines intelligenten Agenten durch algorithmische Realisierung bestimmter Aspekte rationalen Handeln Jetzt Intelligente Systeme von unten : Grobe Nachbildung der Struktur und der Verarbeitungsmechanismen des Gehirns Viele Prozessoren (Neuronen) und Verbindungen (Synapsen), die parallel und lokal Informationen verarbeiten R. Kruse, C. Braune IS Neuronale Netze / 52

4 Natürliche (biologische) Neuronen R. Kruse, C. Braune IS Neuronale Netze / 52

5 Konventionelle Rechner vs. Gehirn Computer Gehirn Verarbeitungs- CPU (Intel i7), Transistoren Neuronen einheiten nvidia GK110 (GPU, 2013) Transistoren Speicherkapazität Bytes RAM, Neuronen, Bytes Festspeicher Synapsen Verarbeitungs s 10 3 s geschwindigkeit Bandbreite bits/s bits/s Neuronale Updates pro Sekunde Neu 2014: IBM TrueNorth Transistoren simulieren 10 6 Neuronen und Synapsen. R. Kruse, C. Braune IS Neuronale Netze / 52

6 Konventionelle Rechner vs. Gehirn Beachte: Hirnschaltzeit von 10 3 s recht langsam Aber: Updates erfolgen parallel Dagegen: serielle Simulation auf Rechner mehrere 100 Zyklen für ein Update Vorteile neuronaler Netze: Hohe Verarbeitungsgeschwindigkeit durch massive Parallelität Funktionstüchtigkeit selbst bei Ausfall von Teilen des Netzes (Fehlertoleranz) Langsamer Funktionsausfall bei fortschreitenden Ausfällen von Neuronen (graceful degradation) Gut geeignet für induktives Lernen Daher sinnvoll, Vorteile natürlicher NN künstlich nachzuahmen R. Kruse, C. Braune IS Neuronale Netze / 52

7 Übersicht 1. Einleitung 2. Schwellenwert-Elemente Perzeptron Geometrische Interpretation Biimplikationsproblem Lernverfahren Delta-Regel 3. Mehrschichtige Perzeptrons

8 Perzeptron Implementierung eines S-R-Agenten: verschiedene Möglichkeiten S-R-Agent repräsentiert eine Funktion Im Folgenden werden Perzeptren auch engl. threshold logic unit (TLU) genannt R. Kruse, C. Braune IS Neuronale Netze / 52

9 Ein Perzeptron x 1 w 1 n x 2 w 2 x 3 w 3 w 4 Σ i=1 w ix i gewichtete Summe Schwelle θ Aktion (1 oder 0) x 4 Formale Definition: f (x 1,..., x n ) = { 1 falls ni=1 w i x i θ, 0 sonst. x def = (x 1,..., x n ) R. Kruse, C. Braune IS Neuronale Netze / 52

10 Perzeptron: Vereinfachte Schreibweise Seien x n+1 def = 1 und w n+1 def = θ So sind x = (x 1,..., x n, 1) und w = (w 1,..., w n, θ) Vereinfachte Schreibweise: { 1 falls w x 0, f (x) = 0 sonst. Beispiele äquivalenter Darstellungen: x 1 1 x 1 1 x 1 1 θ = 1, 5 x ,5 x ,5 x 2 1 R. Kruse, C. Braune IS Neuronale Netze / 52

11 Geometrische Interpretation Gewichtsvektor w = (w 1,..., w n ) Schwellenwert θ Eingabevektor x = (x 1,..., x n ) Ausgabewert { 1 falls ni=1 w i x i θ, f (x 1,..., x n ) = 0 sonst. Trennende Hyperebene w x θ = 0 R. Kruse, C. Braune IS Neuronale Netze / 52

12 Geometrische Interpretation x 2. w θ w φ x x w θ = 0 x 1 θ ist negativ, falls Ursprung auf Ebenenseite, in die w zeigt Ansonsten ist θ positiv w x θ > 0, falls x auf Ebenenseite, in deren Richtung w zeigt R. Kruse, C. Braune IS Neuronale Netze / 52

13 Geometrische Interpretation Perzeptron repräsentiert eine linear separable Funktion Logisches AND ist linear separabel Somit durch Perzeptron darstellbar x 1 x 2 x 1 x x x 1 R. Kruse, C. Braune IS Neuronale Netze / 52

14 Biimplikationsproblem Biimplikation (Äquivalenz) ist nicht linear separabel Also existiert kein Perzeptron dafür x 1 x 2 x 1 x x Es gibt keine Trenngerade, die den Lösungsraum wie gewünscht aufteilt x 1 R. Kruse, C. Braune IS Neuronale Netze / 52

15 Biimplikationsproblem Lösung: Zusammenschalten mehrerer Schwellenwertelemente berechnet y 1 = x 1 x 2 x 1 x berechnet y = y 1 y 2 y = x 1 x 2 berechnet y 2 = x 2 x 1 R. Kruse, C. Braune IS Neuronale Netze / 52

16 Biimplikationsproblem g 2 1 g 1 d 0 c b 0 1 ac x 2 0 a 0 b y 2 0 d g x 1 0 y 1 1 Geometrische Deutung des Zusammenschaltens mehrerer Schwellenwertelemente zur Berechnung der Biimplikation R. Kruse, C. Braune IS Neuronale Netze / 52

17 Lernverfahren für Perzeptrons Problemstellung: Gegeben: Lernstichprobe L = {(x 1, d 1 ),..., (x N, d N )} Merkmale x i {0, 1} n mit zugehörigen Aktionen d i, 1 i N L auch Trainingsmenge genannt L gegeben durch Lehrer/Orakel Daher: überwachtes Lernen, engl. supervised learning Gesucht: Funktion f : {0, 1} n {0, 1}, die zu L passt R. Kruse, C. Braune IS Neuronale Netze / 52

18 Trainieren einzelner Perzeptrons Im Training: w und θ werden angepasst Ziel: Für Elemente x i aus L stimmen d i und die Perzeptron-Ausgabe möglichst gut überein f i = f (w1,...,w n,θ)(x i ) Lösung: Minimierung des quadratischen Fehlers Also, Lernen = Optimierungsaufgabe N N ε = (d i f w (x i )) 2 = (d i f i ) 2! = min i=1 i=1 R. Kruse, C. Braune IS Neuronale Netze / 52

19 Gradientenabstieg Anschauung Zu jedem w gehört ein Fehlerwert Fehlergebirge über dem durch w s aufgespannten Raum Gradientenabstieg: von gegebenem Punkt in Gebirge talwärts wandern bis Talsohle erreicht Hängenbleiben in lokalen Minima: je nach Fehlergebirge, Startpunkt, und η ǫ w R. Kruse, C. Braune IS Neuronale Netze / 52

20 Gradientenabstiegsverfahren Idee: Bestimmung der Abhängigkeit von ε zu w durch Berechnung partieller Ableitungen w ε = ε w = [ ε w 1,..., ε w n+1 Anschließend: inkrementelle Berechnung neuer Gewichte w (neu) def = w (alt) + η w ε Lernrate η legt Schrittweite des Abstiegs fest Abstieg in entgegengesetzter Richtung des Gradienten w ε ] R. Kruse, C. Braune IS Neuronale Netze / 52

21 Gradientenabstieg für Perzeptron Fehler ε = (d f ) 2 Gradient ε w = [ ε w 1,..., ] ε w n+1 = ε s s w (da s = x w) = ε s x s (da w s = x) = 2(d f ) f s x Problem: ε nicht stetig differenzierbar wegen θ R. Kruse, C. Braune IS Neuronale Netze / 52

22 Delta-Regel Fehlerkorrekturverfahren: Änderung von w wird nur bei Fehler vorgenommen Einführen einer Lernrate η > 0 Sei f (x) = { 1 falls x w 0 0 sonst. Algorithmus: 1. Initialisierung von w (zufällig oder gesetzt) 2. ε 0 R. Kruse, C. Braune IS Neuronale Netze / 52

23 Delta-Regel Algorithmus 3. Führe folgende Schritte für jedes Element (x, d) L durch: ε ε + (d f ) 2 = ε + (d f w (x)) 2 Bestimme für i = 1,..., n falls d = f w (x) (x,d) w i = η x i falls f w (x) = 0 und d = 1 η x i falls f w (x) = 1 und d = 0. Beachte: + θ = (,d) w n+1, x n+1 = 1, θ = w n+1 Bestimme neue Gewichte w w + (x,d) (w) 4. Terminiere falls ε minimal, sonst weiter mit Schritt 2 R. Kruse, C. Braune IS Neuronale Netze / 52

24 Delta-Regel Anmerkungen Berechnung der -Werte lässt sich auch schreiben als η (d f ) x i Bzw. in Vektorschreibweise { 0 falls d = f (x,d) w = η (d f ) x sonst. Oft Abbruchbedingung: ε < vorgegebene Schranke Ein Durchgang heißt Lernperiode Algorithmus terminiert für linear separable Lernstichproben R. Kruse, C. Braune IS Neuronale Netze / 52

25 Delta-Regel Beispiel AND Lernvorgang liefert Initialisierung Nach dem Lernen x 1 x 2 d x 1 w 1 = 0 x 1 w1 = x 2 θ = 0 w 2 = 0 f x 2 θ = 3 w 2 = 1 d Rechnung Übung, Hinweis: Tabelle mit folgenden Werten Epoche x 1 x 2 d xw f ε θ w 1 w 2 θ w 1 w 2 Eine Epoche = ein Durchlauf aller Lernbeispiele R. Kruse, C. Braune IS Neuronale Netze / 52

26 Perzeptrons in der Grid World move east x 1 = 1 x 2 = 0 x 1 x 2 = (s 2 s 3 ) s 4 s 5 Folgendes Perzeptron liefert 1 move east s 1 s 2 s 3 s 4 s 5 s 6 s ,5 x 1 x 2 s 8 R. Kruse, C. Braune IS Neuronale Netze / 52

27 Lerndatensatz nach Osten gehen Möglich: Gewichte von Beispielen lernen hier: nicht lohnenswert, da Funktion sehr einfach Aufgabe: suche x für die 6 markierten Positionen R. Kruse, C. Braune IS Neuronale Netze / 52

28 Lerndatensatz nach Osten gehen Hier L sieht wie folgt aus Nr. Sensordaten x 1 x 2 (move east) 1 (0, 0, 0, 0, 1, 1, 0, 0) 0 2 (1, 1, 1, 0, 0, 0, 0, 0) 1 3 (0, 0, 1, 0, 0, 0, 0, 0) 0 4 (0, 0, 0, 0, 0, 0, 0, 0) 0 5 (0, 0, 0, 0, 0, 1, 0, 0) 0 6 (0, 1, 1, 0, 0, 0, 0, 0) 1 R. Kruse, C. Braune IS Neuronale Netze / 52

29 Verallgemeinerte Delta-Regel Idee: ersetze f durch s-förmige (sigmoide), differenzierbare Funktion wie z.b. logistische Funktion f (s) = e s und somit Einfluss des Schwellenwerts θ f s = f (1 f ) y 0.6 f(net) 0.4 f(net - θ) 0.2 f(net + θ) net R. Kruse, C. Braune IS Neuronale Netze / 52

30 Ableitung der logistischen Funktion f (s) s = s 1 1+e s = s (1 + e s ) 1 = e = s = 1+e s 1 1+e s ) 2 (1 e s ) 2 = 1+e s (1+e s ) 2 1 (1+e s ) 2 = f f 2 = f (1 f ) f (s) s s=0 = ( ) = 1 4 äußere Ableitung {}}{ innere Ableitung {}}{ (1 + e s ) 2 ( e s ) R. Kruse, C. Braune IS Neuronale Netze / 52

31 Graph von f (1 f ) f(1-f) 0.3 f(1-f) Wirkung: Nahe an der Hyperebene durch w ist Änderung stark Weiter davon entfernt ist sie gering (bei gleichem Fehler) R. Kruse, C. Braune IS Neuronale Netze / 52 s

32 Verallgemeinerte Delta-Regel Fehlergradienten somit ε w = 2(d f )f (1 f ) x Wie bei alter Delta-Regel, neue Schätzung für w w (neu) w (alt) + η (d f )f (1 f ) x Variable Lernrate η, um Änderungsstärke einzustellen Weitere Verbesserungen des Lernverfahrens sind möglich Lernen Übungsaufgabe, Hinweis zur Tabelle: Epoche x 1 x 2 d xw f ε θ w 1 w 2 θ w 1 w 2 R. Kruse, C. Braune IS Neuronale Netze / 52

33 Übersicht 1. Einleitung 2. Schwellenwert-Elemente 3. Mehrschichtige Perzeptrons Backpropagation Beispiel Bemerkungen

34 Mehrschichtige Perzeptrons Falls Problem nicht linear separabel, dann mehrschichtige NNs Beispiel: Funktion gleiche Parität x 1 1 1, ,5 f x ,5 Zweischichtiges NN Dreischichtiges NN falls Eingabeschicht mitzählt Neuronen in mittlerer Schicht: verborgene/innere Neuronen R. Kruse, C. Braune IS Neuronale Netze / 52

35 Propagation am Beispiel f (x 1, x 2 ) = (x 1 x 2 ) (x 1 x 2 ) Eingabe Neuron I Neuron II Neuron III Ausgabe x 1 x 2 Eingabe Ausgabe Eingabe Ausgabe Eingabe Ausgabe x ,5 1 x ,5 1 0,5 f R. Kruse, C. Braune IS Neuronale Netze / 52

36 Mehrschichtige Perzeptrons Definition k-schichtiges Perzeptron besteht aus k Schichten, wobei in Schicht j Neuronen m j mit Sigmoiden Ausgabe x j liefern x (0) ist Eingabe f ist Ausgabe w j i ist Gewichtsvektor des i-ten Sigmoids in Schicht j, wobei letzte Komponente jeweils θ Aktivierung des Neurons = Summe s j i = x j 1 w j i R. Kruse, C. Braune IS Neuronale Netze / 52

37 Mehrschichtige Perzeptrons x (0) erste Schicht j-te Schicht (k 1)-te Schicht x (1) x (j) x (k 1) k-te Schicht.... f (k) = f f (1) i f (j) i s (k) s (1) i. w (j) i. s (j) i. s (k 1) i Sigmoide m 1 Sigmoide m j Sigmoide m k 1 R. Kruse, C. Braune IS Neuronale Netze / 52

38 Backpropagation Spezielles Trainingsverfahren Fehler wird durch Netz schichtweise zurückgeschickt Idee: analog zu Gradientenabstieg, berechne Fehlergradient Herleitung: Fehler für Ausgabeschicht ε = (d f ) 2 Gradient: ε w j = ε ε i w j,..., 1i w j,..., li wobei w j li die l-te Komponenten von w j i ε w j m j 1 +1,i, R. Kruse, C. Braune IS Neuronale Netze / 52

39 Backpropagation Herleitung ε w j i = ε s j i = ε s j i sj i w j i ( ) ε hängt von w j i nur über s j i ab x j 1 (s j i = x j 1 w j i und somit sj i w j i = 2(d f ) f s j i = 2(δ j i xj 1 ) x j 1 ( ε s j i = (d f )2 s j i ( δ j i := (d f ) f s j i ) ) = 2(d f ) f s j i = 1 2 ) ε s j i Berechnung neuer Gewichte (w j i )(neu) (w j i )(alt) + η j i δ j i xj 1 Lernrate η j i meistens ein Wert für gesamtes Netz R. Kruse, C. Braune IS Neuronale Netze / 52

40 Backpropagation Herleitung Gewichtsänderungen in der Ausgabeschicht: δ k = (d f ) f = (d f )f (1 f ) sk w k,neu w k,alt + η k (d f )f (1 f )x k 1 Anmerkungen: Gilt bei logistischer Funktion mit Bias 0 (wegen zusätzlicher Eingabe θ) Nur ein Wert, daher keine Indizes Sonst wie bei verallgemeinerter Delta-Regel R. Kruse, C. Braune IS Neuronale Netze / 52

41 Backpropagation Herleitung Gewichtsänderungen in verborgener Schicht: m j+1 δ j i = (d f ) l=1 f s j+1 l sj+1 l s j i = m j+1 l=1 δ j+1 s j+1 l l s j i Summand muss noch berechnet werden Betrachte hierzu zunächst: m j+1 s j+1 l = x j w j+1 l = γ=1 m j+1 xγ j w j+1 γl = (γ ist Index über einzelnen Vektorelemente) γ=1 f j γ w j+1 γl R. Kruse, C. Braune IS Neuronale Netze / 52

42 Backpropagation Herleitung s j+1 l s j i = [ m j+1 ] γ=1 f γw j j+1 γl s j i = m j+1 γ=1 w j+1 fγ j γl s j i ( da fγj s j i = 0 für γ i, = w j+1 il f j i (1 f j i ) sonst fγ j sγ=f j γ(1 f j γ) j ) Somit rekursives Gleichungssystem zur Berechnung der δ j i δ j i = f j i (1 f j mj+1 i ) l=1 δ j+1 l w j+1 il und δ k = (d f )f (1 f ) Schließlich: Berechnung der neuen Gewichte w j(neu) i w j(alt) i + η δ j i f j 1 i R. Kruse, C. Braune IS Neuronale Netze / 52

43 Backpropagation Beispiel Netz mit zufällig generierten Gewichten: x 1 x 2 x 3 = sigmoidale Neuronen mit Ausgabe f1 1, f2 1 ( 1 1+e wegen x x 3 = 1 als Eingabe ) f R. Kruse, C. Braune IS Neuronale Netze / 52

44 Backpropagation Beispiel Lernstichprobe: {((1, 0, 1), 0), ((0, 1, 1), 0), ((0, 0, 1), 1), ((1, 1, 1), 1)} Propagation: (1, 0, 1) f1 1 = 0.881, f 2 1 = 0.5, f = Backpropagation Fehlersignale: δ (2) = 0.148, δ (1) 1 = 0.047, δ (1) 2 = 0, 074 Neue Gewichte mit η = 1: w (1) 1 = (1.935, 2, 0.047) w (1) 2 = (1.074, 3, 0.926) w (2) = (2.870, 2.074, 1.148) R. Kruse, C. Braune IS Neuronale Netze / 52

45 Effekt der Lernrate E gewünschtes Verhalten: E zu klein: Lernen verläuft zu langsam w alt w neu w w zu groß: Pingpong-Effekt E R. Kruse, C. Braune IS Neuronale Netze / 52 w

46 Eigenschaften von Neuronalen Netzen NN können generalisieren, d.h. Vektoren klassifizieren, die / L Möglich: Maß der Generalisierungsgüte Analogie: Funktionsapproximation Datensatz zu einfach, schlechte Güte zu kompliziert, kein Fehler, Daten auswendig gelernt, schlechte Generalisierung, (overfitting) Mittelweg Occam s razor R. Kruse, C. Braune IS Neuronale Netze / 52

47 Vorgehensweise beim Lernen Lernstichprobe = Trainingsmenge + Validierungsmenge Trainingsmenge (ca. 2/3 der Daten) zum Lernen Validierungsmenge (ca. 1/3 der Daten) für Güteschätzung Kreuzvalidierung (cross validation) Lernstichprobe in n disjunkte Mengen teilen Jeweils n 1 Mengen fürs Training und 1 Menge für Validierung Ermittlung der n out-of-sample errors Anwendungen von NNs: Gesichtserkennung, Börsenprognosen,... Data Mining (siehe z.b. unseren Artikel in Spektrum der Wissenschaften, Nov. 2002, S. 80 ff.) R. Kruse, C. Braune IS Neuronale Netze / 52

48 USPS-Datensatz, Originaldaten Abbildung: USPS-Datensatz, Originaldaten (segmentierte Ziffern) mit Labels R. Kruse, C. Braune IS Neuronale Netze / 52

49 USPS-Datensatz Problemstellung: Erkennung von Handschrift Datensatz: United States Postal Service (USPS) Automatisch gescannte Postleitzahl-Ziffern Schwarz-Weiß-Bilder der Ziffern 16x16 Pixel, (nach Vorverarbeitung) Lerndatensatz: 7291 Beispiele Testdatensatz: 2007 Beispiele Zeile im Datensatz: Ziffer Codierung: Graustufenwerte von 0 (weiß) bis 2 (schwarz) D.h. Tabelle mit 7291 Zeilen und Spalten (nach [LeCun et al., 1990]) R. Kruse, C. Braune IS Neuronale Netze / 52

50 USPS-Datensatz, Beispielcodierung Ziffer p 1 p 2 p 3 p 4... p 255 p R. Kruse, C. Braune IS Neuronale Netze / 52

51 USPS-Datensatz, Klassifikation Trainieren eines MLP auf dem Trainingsdatensatz 256 Eingabeneuronen Mehrere versteckte Schichten zur Merkmalsbestimmung 10 Ausgabeneuronen (eins pro Klasse/Ziffer) Insgesamt: 6465 Neuronen, ca Verbindungen, 3658 freie Parameter Propagieren der Trainingsmuster durch das Netz Bestimmung des Fehlers Rückpropagation des Fehlers, Anpassung der Netzparameter Testen des oben trainierten MLP Propagation des Testdatensatzes Bestimmung der Fehlklassifikationsrate R. Kruse, C. Braune IS Neuronale Netze / 52

52 USPS-Datensatz, Beispielnetz Abbildung: Ziffererkennung im USPS-Datensatz mit mehrschichtigem Perzeptron, nach [Matan et al., 1992] R. Kruse, C. Braune IS Neuronale Netze / 52

53 USPS-Datensatz, Erkennungsleistung Erkenner Fehlklassifikation Entscheidungsbaum C4.5 16,2% Bestes zweischichtiges Netz 5,9% Fünfschichtiges Netz 5,1% Support-Vektor-Maschine >4,0% Mensch 2,5% Tabelle: Erkennungsleistung verschiedener Klassifikatoren auf USPS-Datensatz R. Kruse, C. Braune IS Neuronale Netze / 52

54 Weitere Details... Im Sommersemester: Vorlesung Neuronale Netze Detailliertere Betrachtung der hier gezeigten Prinzipien Außerdem: weitergehende Themen und Netztypen Weitere Informationen in unserem aktuellen Buch [Kruse et al., 2011] R. Kruse, C. Braune IS Neuronale Netze / 52

55 Literatur zur Lehrveranstaltung Kruse, R., Borgelt, C., Klawonn, F., Moewes, C., Ruß, G., and Steinbrecher, M. (2011). Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze. Vieweg+Teubner-Verlag, Wiesbaden. LeCun, Y., Matan, O., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W., Jackel, L. D., and Baird, H. S. (1990). Handwritten zip code recognition with multilayer networks. In Proc. of the International Conference on Pattern Recognition, volume II, pages 35 40, Atlantic City. IEEE Press. Matan, O., Bromley, J., Burges, C., Denker, J., Jackel, L., LeCun, Y., Pednault, E., Satterfield, W., Stenard, C., and Thompson, T. (1992). Reading handwritten digits: A zip code recognition system. IEEE Computer, 25(7): R. Kruse, C. Braune IS Neuronale Netze / 52

Intelligente Systeme

Intelligente Systeme Intelligente Systeme Neuronale Netze Prof. Dr. R. Kruse C. Braune C. Moewes {kruse,cbraune,cmoewes}@iws.cs.uni-magdeburg.de Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke

Mehr

Intelligente Systeme. Einführung. Christian Moewes

Intelligente Systeme. Einführung. Christian Moewes Intelligente Systeme Einführung Prof. Dr. Rudolf Kruse Christian Moewes Georg Ruß {kruse,russ,cmoewes}@iws.cs.uni-magdeburg.de Arbeitsgruppe Computational Intelligence Institut für Wissens- und Sprachverarbeitung

Mehr

Intelligente Systeme

Intelligente Systeme Intelligente Systeme Neuronale Netze Prof. Dr. R. Kruse C. Braune {rudolf.kruse,christian.braune}@ovgu.de Institut für Intelligente Kooperierende Systeme Fakultät für Informatik Otto-von-Guericke-Universität

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse, Alexander Dockhorn Neuronale

Mehr

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine Verarbeitungseinheit für Zahlen mitneingängenx,...,x n und einem

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches

Mehr

Hannah Wester Juan Jose Gonzalez

Hannah Wester Juan Jose Gonzalez Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron

Mehr

Neuronale Netze (Konnektionismus)

Neuronale Netze (Konnektionismus) Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze. Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Konzepte der AI Neuronale Netze

Konzepte der AI Neuronale Netze Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer

Mehr

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1 Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?

Mehr

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14. Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse, Christoph Doell Neuronale Netze

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze Vorlesung Künstliche Intelligenz Wintersemester 2008/09 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der

Mehr

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform. (hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild

Mehr

Praktische Optimierung

Praktische Optimierung Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze

Mehr

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???

Mehr

6.2 Feed-Forward Netze

6.2 Feed-Forward Netze 6.2 Feed-Forward Netze Wir haben gesehen, dass wir mit neuronalen Netzen bestehend aus einer oder mehreren Schichten von Perzeptren beispielsweise logische Funktionen darstellen können Nun betrachten wir

Mehr

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen 6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1

Mehr

Statistical Learning

Statistical Learning Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen

Mehr

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt

Mehr

Neuronale Netze. Anna Wallner. 15. Mai 2007

Neuronale Netze. Anna Wallner. 15. Mai 2007 5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente

Mehr

Einige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel

Einige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel Einige überwachte Lernverfahren Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel Funktionsweise eines künstlichen Neurons x w k Neuron k x 2 w 2k net k f y k x n- w n-,k x n w n,k

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen

Mehr

Thema 3: Radiale Basisfunktionen und RBF- Netze

Thema 3: Radiale Basisfunktionen und RBF- Netze Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung

Mehr

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134 Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches

Mehr

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016 Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online

Mehr

Klassifikationsverfahren und Neuronale Netze

Klassifikationsverfahren und Neuronale Netze Klassifikationsverfahren und Neuronale Netze Hauptseminar - Methoden der experimentellen Teilchenphysik Thomas Keck 9.12.2011 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

MULTILAYER-PERZEPTRON

MULTILAYER-PERZEPTRON Einleitung MULTILAYER-PERZEPTRON Die Ausarbeitung befasst sich mit den Grundlagen von Multilayer-Perzeptronen, gibt ein Beispiel für deren Anwendung und zeigt eine Möglichkeit auf, sie zu trainieren. Dabei

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze Vorlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze. Was sind künstliche Neuronale Netze?

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze. Was sind künstliche Neuronale Netze? Was sind künstliche Neuronale Netze? Vorlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Künstliche Neuronale Netze sind massiv parallel

Mehr

Adaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Mehrere Neuronen, Assoziative Speicher und Mustererkennung Prof. Dr. rer. nat. Nikolaus Wulff Modell eines Neuron x x 2 x 3. y y= k = n w k x k x n Die n binären Eingangssignale x k {,}

Mehr

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) 6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese

Mehr

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training eines Künstlich Neuronalen Netzes (KNN) zur Approximation einer Kennlinie in JavaNNS 28.01.2008

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale

Mehr

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung

Mehr

Neuronale Netze. Christian Böhm.

Neuronale Netze. Christian Böhm. Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch

Mehr

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale

Mehr

Neuronale Netze mit mehreren Schichten

Neuronale Netze mit mehreren Schichten Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Übersicht Neuronale Netze Motivation Perzeptron Grundlagen für praktische Übungen

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze

Mehr

Eine kleine Einführung in neuronale Netze

Eine kleine Einführung in neuronale Netze Eine kleine Einführung in neuronale Netze Tobias Knuth November 2013 1.2 Mensch und Maschine 1 Inhaltsverzeichnis 1 Grundlagen neuronaler Netze 1 1.1 Kopieren vom biologischen Vorbild...... 1 1.2 Mensch

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial

Mehr

Teil III: Wissensrepräsentation und Inferenz. Nachtrag zu Kap.5: Neuronale Netze. w i,neu = w i,alt + x i * (Output soll - Output ist ) Delta-Regel

Teil III: Wissensrepräsentation und Inferenz. Nachtrag zu Kap.5: Neuronale Netze. w i,neu = w i,alt + x i * (Output soll - Output ist ) Delta-Regel Einfaches Perzeptrn Delta-Regel Vrlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentatin und Inferenz Nachtrag zu Kap.5: Neurnale Netze Beim Training werden die Beispiele dem

Mehr

Radiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120

Radiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120 Radiale-Basisfunktionen-Netze Rudolf Kruse Neuronale Netze 2 Radiale-Basisfunktionen-Netze Eigenschaften von Radiale-Basisfunktionen-Netzen (RBF-Netzen) RBF-Netze sind streng geschichtete, vorwärtsbetriebene

Mehr

Universität des Saarlandes

Universität des Saarlandes Universität des Saarlandes FR 6.2 Informatik Prof. Dr. Kurt Mehlhorn Dr. Antonios Antoniadis André Nusser WiSe 2017/18 Übungen zu Ideen der Informatik http://www.mpi-inf.mpg.de/departments/algorithms-complexity/teaching/winter17/ideen/

Mehr

Grundlagen zu neuronalen Netzen. Kristina Tesch

Grundlagen zu neuronalen Netzen. Kristina Tesch Grundlagen zu neuronalen Netzen Kristina Tesch 03.05.2018 Gliederung 1. Funktionsprinzip von neuronalen Netzen 2. Das XOR-Beispiel 3. Training des neuronalen Netzes 4. Weitere Aspekte Kristina Tesch Grundlagen

Mehr

Optimal-trennende Hyperebenen und die Support Vector Machine. Volker Tresp

Optimal-trennende Hyperebenen und die Support Vector Machine. Volker Tresp Optimal-trennende Hyperebenen und die Support Vector Machine Volker Tresp 1 (Vapnik s) Optimal-trennende Hyperebenen (Optimal Separating Hyperplanes) Wir betrachten wieder einen linearen Klassifikator

Mehr

5. Lernregeln für neuronale Netze

5. Lernregeln für neuronale Netze 5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1

Mehr

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale

Mehr

Überwachtes Lernen II: Netze und Support-Vektor-Maschinen

Überwachtes Lernen II: Netze und Support-Vektor-Maschinen Überwachtes Lernen II: Klassifikation und Regression - Neuronale Netze und Support-Vektor-Maschinen Praktikum: Data Warehousing und Data Mining Praktikum Data Warehousing und Mining, Sommersemester 2009

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?

Mehr

Lineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren

Lineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren Lineare Regression Christian Herta Oktober, 2013 1 von 33 Christian Herta Lineare Regression Lernziele Lineare Regression Konzepte des Maschinellen Lernens: Lernen mittels Trainingsmenge Kostenfunktion

Mehr

So lösen Sie das multivariate lineare Regressionsproblem von Christian Herta

So lösen Sie das multivariate lineare Regressionsproblem von Christian Herta Multivariate Lineare Regression Christian Herta Oktober, 2013 1 von 34 Christian Herta Multivariate Lineare Regression Lernziele Multivariate Lineare Regression Konzepte des Maschinellen Lernens: Kostenfunktion

Mehr

Klausur Modellbildung und Simulation (Prof. Bungartz) SS 2007 Seite 1/7

Klausur Modellbildung und Simulation (Prof. Bungartz) SS 2007 Seite 1/7 Klausur Modellbildung und Simulation (Prof. Bungartz) SS 2007 Seite /7 Matrikelnummer: Systeme gewöhnlicher Differentialgleichungen (3 + 3 = 6 Pkt.) Die Abbildung zeigt die Richtungsfelder von drei Differentialgleichungssystemen

Mehr

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) 6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Maschinelles Lernen

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Maschinelles Lernen Universität Potsdam Institut für Informatik Lehrstuhl Niels Landwehr, Silvia Makowski, Christoph Sawade, Tobias Scheffer Organisation Vorlesung/Übung, praktische Informatik. 4 SWS. Übung: Di 10:00-11:30

Mehr

Lineare Regression. Volker Tresp

Lineare Regression. Volker Tresp Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M

Mehr

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)

Mehr

Kapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017

Kapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017 10.1 Sommersemester 2017 Problemstellung Welche Gerade? Gegeben sind folgende Messungen: Masse (kg) 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 Kraft (N) 1.6 2.2 3.2 3.0 4.9 5.7 7.1 7.3 8.1 Annahme: Es gibt eine Funktion

Mehr

Logistische Regression

Logistische Regression Logistische Regression Christian Herta August, 2013 1 von 45 Christian Herta Logistische Regression Lernziele Logistische Regression Konzepte des maschinellen Lernens (insb. der Klassikation) Entscheidungsgrenze,

Mehr

Klassifikation linear separierbarer Probleme

Klassifikation linear separierbarer Probleme Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear

Mehr

Neural Networks: Architectures and Applications for NLP

Neural Networks: Architectures and Applications for NLP Neural Networks: Architectures and Applications for NLP Session 02 Julia Kreutzer 8. November 2016 Institut für Computerlinguistik, Heidelberg 1 Overview 1. Recap 2. Backpropagation 3. Ausblick 2 Recap

Mehr

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr.

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Neuronale Netze Maschinelles Lernen Michael Baumann Universität Paderborn Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Kleine Büning WS 2011/2012 Was ist ein neuronales Netz? eigentlich: künstliches

Mehr

Adaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Neuronale Netze: Neuronen, Perzeptron und Adaline Prof. Dr. rer. nat. Nikolaus Wulff Neuronale Netze Das (menschliche) Gehirn ist ein Musterbeispiel für ein adaptives System, dass sich

Mehr

11. Neuronale Netze 1

11. Neuronale Netze 1 11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form

Mehr

Ausarbeitung zum Hauptseminar Machine Learning

Ausarbeitung zum Hauptseminar Machine Learning Ausarbeitung zum Hauptseminar Machine Learning Matthias Seidl 8. Januar 2004 Zusammenfassung single-layer networks, linear separability, least-squares techniques Inhaltsverzeichnis 1 Einführung 2 1.1 Anwendungen

Mehr

8. Vorlesung Neuronale Netze

8. Vorlesung Neuronale Netze Soft Control (AT 3, RMA) 8. Vorlesung Neuronale Netze Lernverfahren 8. Vorlesung im Aufbau der Vorlesung 1. inführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation

Mehr

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion

Mehr

Linear nichtseparable Probleme

Linear nichtseparable Probleme Linear nichtseparable Probleme Mustererkennung und Klassifikation, Vorlesung No. 10 1 M. O. Franz 20.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht

Mehr

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / 2015 8. Aufgabenblatt

Mehr

Mustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12

Mustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Mustererkennung: Neuronale Netze D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Feed-Forward Netze y 1 y 2 y m...... x 1 x 2 x n Output Schicht i max... Zwischenschicht i... Zwischenschicht 1

Mehr

Funktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen

Funktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen 5. Klassifikation 5.6 Support Vector Maschines (SVM) übernommen von Stefan Rüping, Katharina Morik, Universität Dortmund Vorlesung Maschinelles Lernen und Data Mining, WS 2002/03 und Katharina Morik, Claus

Mehr

Hochschule Regensburg. Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer

Hochschule Regensburg. Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer Hochschule Regensburg Übung 44_ Multilayer-Perzeptron: Entwurf, Implementierung Bacpropagation Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer Name: Vorname: Multilayer-Perzeptrons (MLPs) sind

Mehr

Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser

Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser 11.11.2008 CSM Master: Praktikum Simulationstechnik, rs034, bz003 2 Befehlsübersicht Begriffsdefinition / Neuronale Netze: / / 11.11.2008 CSM

Mehr

Einführung in die Neuroinformatik Lösungen zum 5. Aufgabenblatt

Einführung in die Neuroinformatik Lösungen zum 5. Aufgabenblatt Einführung in die Neuroinformatik Lösungen zum 5. Aufgabenblatt 7. Aufgabe : Summe {} Man sieht leicht ein, dass ein einzelnes Perzeptron mit Gewichten c, c 2, c 3 und Schwelle θ das Problem nicht lösen

Mehr

Vorlesung Mathematik für Ingenieure 2 (Sommersemester 2009)

Vorlesung Mathematik für Ingenieure 2 (Sommersemester 2009) 1 Vorlesung Mathematik für Ingenieure 2 (Sommersemester 2009) Kapitel 10: Differenzialrechnung R n R m Volker Kaibel Otto-von-Guericke Universität Magdeburg (Version vom 27. März 2009) Differenzialrechnung

Mehr

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) 29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein

Mehr

Grundlagen neuronaler Netzwerke

Grundlagen neuronaler Netzwerke AUFBAU DES NEURONALEN NETZWERKS Enrico Biermann enrico@cs.tu-berlin.de) WS 00/03 Timo Glaser timog@cs.tu-berlin.de) 0.. 003 Marco Kunze makunze@cs.tu-berlin.de) Sebastian Nowozin nowozin@cs.tu-berlin.de)

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse Neuronale Netze 1 Rekurrente

Mehr

Reinforcement Learning

Reinforcement Learning Reinforcement Learning 1. Allgemein Reinforcement Learning 2. Neuronales Netz als Bewertungsfunktion 3. Neuronales Netz als Reinforcement Learning Nils-Olaf Bösch 1 Allgemein Reinforcement Learning Unterschied

Mehr

Weitere Untersuchungen hinsichtlich der Anwendung von KNN für Solvency 2. Tom Schelthoff

Weitere Untersuchungen hinsichtlich der Anwendung von KNN für Solvency 2. Tom Schelthoff Weitere Untersuchungen hinsichtlich der Anwendung von KNN für Solvency 2 Tom Schelthoff 30.11.2018 Inhaltsverzeichnis Deep Learning Seed-Stabilität Regularisierung Early Stopping Dropout Batch Normalization

Mehr

Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck:

Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck: Diplomprüfung Informatik Kurs 1830 Neuronale Netze Prüfer: Prof. Dr. Helbig Beisitzer: Prodekan Prof. Dr. Hackstein Datum: 01.10.08 Note: 2,7 Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt,

Mehr

Was sind Neuronale Netze?

Was sind Neuronale Netze? Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk

Mehr

Finanzmarktprognose mit neuronalen Netzen

Finanzmarktprognose mit neuronalen Netzen Reihe: Quantitative Ökonomie Band 131 Herausgegeben von Prof. Dr. Eckart Bomsdorf, Köln, Prof. Dr. Wim Kösters, Bochum, und Prof. Dr. Winfried Matthes, Wuppertal Dr. Christoph A. Hövel Finanzmarktprognose

Mehr

12. Übung Künstliche Intelligenz Wintersemester 2006/2007

12. Übung Künstliche Intelligenz Wintersemester 2006/2007 12. Übung Künstliche Intelligenz Wintersemester 2006/2007 1. Contraints und Heuristiken Prof. Dr. Gerd Stumme, Miranda Grahl Fachgebiet Wissensverarbeitung 09.02.2006, mgr@cs.uni-kassel.de a) Beschreibe

Mehr

RL und Funktionsapproximation

RL und Funktionsapproximation RL und Funktionsapproximation Bisher sind haben wir die Funktionen V oder Q als Tabellen gespeichert. Im Allgemeinen sind die Zustandsräume und die Zahl der möglichen Aktionen sehr groß. Deshalb besteht

Mehr

Allgemeine (Künstliche) Neuronale Netze. Rudolf Kruse Neuronale Netze 40

Allgemeine (Künstliche) Neuronale Netze. Rudolf Kruse Neuronale Netze 40 Allgemeine (Künstliche) Neuronale Netze Rudolf Kruse Neuronale Netze 40 Allgemeine Neuronale Netze Graphentheoretische Grundlagen Ein (gerichteter) Graph ist ein Tupel G = (V, E), bestehend aus einer (endlichen)

Mehr

Neuro-Info Notizen. Markus Klemm.net WS 2016/2017. Inhaltsverzeichnis. 1 Hebbsche Lernregel. 1 Hebbsche Lernregel Fälle Lernrate...

Neuro-Info Notizen. Markus Klemm.net WS 2016/2017. Inhaltsverzeichnis. 1 Hebbsche Lernregel. 1 Hebbsche Lernregel Fälle Lernrate... Neuro-Info Notizen Marus Klemm.net WS 6/7 Inhaltsverzeichnis Hebbsche Lernregel. Fälle........................................ Lernrate..................................... Neural Gas. Algorithmus.....................................

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse kruse@iws.cs.uni-magdeburg.de Arbeitsgruppe Computational Intelligence Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität

Mehr

Nichtlineare Klassifikatoren

Nichtlineare Klassifikatoren Nichtlineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 11 1 M. O. Franz 12.01.2008 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht

Mehr

Vorlesung Mathematik für Ingenieure II (Sommersemester 2008)

Vorlesung Mathematik für Ingenieure II (Sommersemester 2008) Vorlesung Mathematik für Ingenieure II (Sommersemester 8) Kapitel : Differenzialrechnung R n R m Volker Kaibel Otto-von-Guericke Universität Magdeburg (Version vom 8. Mai 8) Differenzialrechnung R R 4

Mehr

Selbstorganisierende Karten

Selbstorganisierende Karten Selbstorganisierende Karten (engl. Self-Organizing Maps (SOMs)) Rudolf Kruse Neuronale Netze 169 Selbstorganisierende Karten Eine selbstorganisierende Karte oder Kohonen-Merkmalskarte ist ein neuronales

Mehr

Data Mining - Wiederholung

Data Mining - Wiederholung Data Mining - Wiederholung Norbert Fuhr 18. Januar 2006 Problemstellungen Problemstellungen Daten vs. Information Def. Data Mining Arten von strukturellen Beschreibungen Regeln (Klassifikation, Assoziations-)

Mehr