Intelligente Systeme. Einführung. Christian Moewes

Größe: px
Ab Seite anzeigen:

Download "Intelligente Systeme. Einführung. Christian Moewes"

Transkript

1 Intelligente Systeme Einführung Prof. Dr. Rudolf Kruse Christian Moewes Georg Ruß Arbeitsgruppe Computational Intelligence Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität Magdeburg Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme / 5

2 Intelligente Systeme Neuronale Netze Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 2 / 5

3 Gliederung der Vorlesung. Einleitung 2. Perzeptrons 3. Mehrschichtige Perzeptrons Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 3 / 5

4 Neuronale Netze Bisher: KI von oben : Modellierung eines intelligenten Agenten durch algorithmische Realisierung bestimmter Aspekte rationalen Handelns. Jetzt: KI von unten : grobe Nachbildung der Struktur und der Verarbeitungsmechanismen des Gehirns viele Prozessoren (Neuronen) und Verbindungen (Synapsen), die parallel und lokal Informationen verarbeiten Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 4 / 5

5 Natürliche (biologische) Neuronen Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 5 / 5

6 Konventionelle Rechner vs. Gehirn Computer Gehirn Verarbeitungseinheiten CPU, 0 9 Transistoren 0 Neuronen Speicherkapazität 0 9 Bytes RAM, 0 0 Bytes Festspeicher 0 Neuronen, 0 4 Synapsen Verarbeitungsgeschwindigkeit 0 8 sec. 0 3 sec. Bandbreite 0 9 bits s 4 bits 0 s Neuronale pro sec. Updates Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 6 / 5

7 Konventionelle Rechner vs. Gehirn Beachte: die Hirnschaltzeit ist mit 0 3 s recht langsam, aber Updates erfolgen parallel. Dagegen braucht die serielle Simulation auf einem Rechner mehrere hundert Zyklen für ein Update. Vorteile neuronaler Netze: Hohe Verarbeitungsgeschwindigkeit durch massive Parallelität Funktionstüchtigkeit selbst bei Ausfall von Teilen des Netzes (Fehlertoleranz) Langsamer Funktionsausfall bei fortschreitenden Ausfällen von Neuronen (graceful degradation) Gut geeignet für induktives Lernen Es erscheint daher sinnvoll, diese Vorteile natürlicher neuronaler Netze künstlich nachzuahmen. Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 7 / 5

8 Neuronale Netze Vom mathematischen Standpunkt: Neuronale Netze als Methode, Funktionen zu repräsentieren durch Netzwerke von einfachen Berechungselementen (vergleichbar mit logischen Schaltkreisen) die aus Beispielen gelernt werden können (Sichtweise in dieser Vorlesung!) Vom biologischen Standpunkt: Neuronale Netze als stark vereinfachtes Modell des Gehirns und seiner Funktionsweise Konnektionismus (Nicht in dieser Vorlesung!) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 8 / 5

9 Gliederung der Vorlesung. Einleitung 2. Perzeptrons 3. Mehrschichtige Perzeptrons Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 9 / 5

10 Perzeptrons Perzeptrons (Schwellenwert-Elemente) Es gibt eine ganze Reihe verschiedener Möglichkeiten, S-R-Agenten zu implementieren; letztendlich repräsentiert ein solcher Agent eine Funktion. Im Folgenden betrachten wir für diese Zwecke ein Perzeptron (threshold logic unit, TLU) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 0 / 5

11 Ein Perzeptron x w n x 2 w 2 x 3 w 3 w 4 Σ i= w ix i gewichtete Summe Schwelle θ Aktion ( oder 0) x 4 Formale Definition: n, falls w i x i θ, f (x,..., x n ) = i= 0, sonst. x = (x,..., x n ) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme / 5

12 Perzeptrons: Vereinfachte Darstellung Setzt man x n+ := und w n+ := θ, so erhält man mit x = (x,...,x n, ) und w = (w,...,w n, θ) die besonders einfache Darstellung: {, falls w x 0 f (x) = 0, sonst. Beispiel für äquivalente Darstellungen: x x x θ =, 5 x 2 0,5 x 2 -,5 x 2 Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 2 / 5

13 Geometrische Interpretation Gewichtsvektor: w = (w,..., w n ) Schwellenwert: θ Eingabevektor: x = (x,...,x n ) n, falls w i x i θ, Ausgabewert: f (x,...,x n ) = i= 0, sonst. Trennende Hyperebene: w x θ = 0 Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 3 / 5

14 Geometrische Interpretation x 2 θ w. w φ x x w θ = 0 x θ negativ, falls Ursprung auf der Seite der Ebene, in die der Normalenvektor zeigt, positiv sonst w x θ> 0, falls x auf der Seite der Ebene liegt, in deren Richtung der Normalenvektor zeigt Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 4 / 5

15 Geometrische Interpretation Ein Perzeptron kann genau die Menge der linear separablen Funktionen darstellen. AND ist linear separabel und somit durch ein Perzeptron darstellbar: x x 2 x x x 2 0 x 0 Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 5 / 5

16 Geometrische Interpretation Die Biimplikation ist nicht linear separabel. Somit gibt es kein Perzeptron, das die Biimplikation (Äquivalenz, gerade Parität) als Funktion berechnet: x x 2 x x x x Es gibt keine Trenngerade, die den Lösungsraum aufteilt. Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 6 / 5

17 Biimplikationsproblem Lösung: Zusammenschalten mehrerer Schwellenwertelemente berechnet y = x x 2 x berechnet y = y y 2 x y = x x 2 berechnet y 2 = x 2 x Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 7 / 5

18 Geometrische Deutung Geometrische Deutung des Zusammenschaltens mehrerer Schwellenwertelemente zur Berechnung der Biimplikation g 2 g d 0 c b 0 ac x 2 0 a 0 b y 2 0 d g 3 0 x 0 y Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 8 / 5

19 Lernverfahren für Perzeptrons Problemstellung: Gegeben: Eine Lernstichprobe L = (x, d ),...,(x n, d n ) von Merkmalen mit zugehörigen Aktionen. Man spricht auch von einer Trainingsmenge, die von einem Lehrer gegeben wurde (überwachtes Lernen, supervised learning). Gesucht: Eine Funktion f :{0, } n {0, }, die zu der Trainingsmenge passt. Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 9 / 5

20 Trainieren einzelner Perzeptrons Beim Trainieren werden die Gewichte und der Schwellenwert der TLU so verändert, dass für die Elemente der Lernstichprobe x i der vorgegebene Wert d i und der von einem Perzeptron tatsächlich berechnete Wert (möglichst) gut übereinstimmen. Dies kann man erreichen, indem man den quadratischen Fehler f i = f w,...,w n,θ(x i ) minimiert. Lernen entspricht also einer Optimierungsaufgabe: ε = m (d f w (x)) 2 = (d i f i ) 2! = min (x,d) L i= Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 20 / 5

21 Gradientenabstiegsverfahren Ein typisches Optimierungsverfahren ist das Gradientenabstiegsverfahren. Wir wählen eine vereinfachte Version, bei der wir nicht gleichzeitig für alle Elemente der Lernstichprobe, sondern die Fehler der Reihe nach (inkrementell) minimieren. Idee: Bestimmung der Abhängigkeit des Fehlers von den Gewichten durch Berechnung der partiellen Ableitungen: ε = (d f ) 2 Anschließend Berechnung neuer Gewichte nach: [ ] w ε = ε w = ε ε w,..., w n+ wobei c eine Lernrate ist, die die Schrittweite des Abstiegs (in entgegengesetzter Richtung des Gradienten) festlegt: w (neu) := w (alt) c w ε Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 2 / 5

22 Gradientenabstiegsverfahren Anschaulich: Zu jedem Gewichtsvektor w gehört ein Fehlerwert. Man hat also ein Fehlergebirge über dem durch die Gewichte aufgespannten Raum. Beim Gradientenabstiegsverfahren geht man von einem gegebenen Punkt in diesem Gebirge solange talwärts, bis man eine Talsohle erreicht hat. Je nach Fehlergebirge und Startpunkt kann man in lokalen Minima hängenbleiben: ǫ Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 22 / 5

23 Gradientenabstieg für Perzeptron Fehler:ε = (d f ) 2 Gradient: ε w [ ] = ε ε w,..., w n+ = ε s s w = ε s x (da s = x w) s (da w s = x) = 2(d f ) f s x Problem: ε ist nicht stetig differenzierbar wegen des Schwellenwertes Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 23 / 5

24 Delta-Regel Fehlerkorrekturverfahren Delta-Regel: Eine Änderung des Gewichtsvektors wird nur im Falle eines Fehlers vorgenommen. Es wird eine Lernrate c> 0 eingeführt. Es gilt: {, falls x w 0 f (x) = 0, sonst. Algorithmus:. Initialisierung von w (zufällig oder gesetzt) 2.ε := 0 3. Für jedes Element (x, d) der Lernstichprobe werden folgende Schritte durchgeführt: Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 24 / 5

25 Delta-Regel (Algorithmus) 3. (... ) ε :=ε + (d f ) 2 =ε + (d f w (x)) 2 Bestimme für i =,...,n + : 0, falls d = f w (x) (x,d) w i = c x i, falls f w (x) = 0 und d = c x i, falls f w (x) = und d = 0. (Beachte: + θ = (,d) w n+, x n+ =,θ = w n+ ) Bestimme neue Gewichte: w := w + (x,d) (w) 4. falls ε minimal, terminiere, sonst weiter mit Schritt 2 Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 25 / 5

26 Delta-Regel (Anmerkungen) Die Berechnung der -Werte lässt sich allgemein auch schreiben als: c (d f ) x i bzw. in Vektorschreibweise: { 0, falls d = f (x,d) w = c (d f ) x, sonst. Oft fordert man als Abbruchbedingung nur, dass ε kleiner als eine vorgegebene Schranke sein soll. Ein Durchgang heißt Lernperiode. Für linear separable Lernstichproben terminiert dieser Algorithmus. Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 26 / 5

27 Delta-Regel (Beispiel AND) Lernvorgang für AND liefert Initialisierung Nach dem Lernen x x 2 d x x 2 w = 0 θ = 0 w 2 = 0 x w = 2 f θ = 3 x 2 w 2 = d Der Lernvorgang verbleibt als Übungsaufgabe. Hinweis: es ist sinnvoll, eine Tabelle mit folgenden Werten anzulegen: Epoche x x 2 d xw y ε θ w w 2 θ w w 2 (Eine Epoche besteht hierbei aus einem Durchlauf aller Lernbeispiele.) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 27 / 5

28 Perzeptren in der grid world move east x = x 2 = 0 x x 2 = (s 2 s 3 ) s 4 s 5 Das folgende Perzeptron liefert genau dann, wenn der Roboter nach Osten gehen soll: s s 2 s 3 0 s 4 s 5 s 6 s ,5 x x 2 s 8 Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 28 / 5

29 Lerndatensatz ( nach Osten gehen ) Man kann Gewichte anhand von Beispielen erlernen. In diesem Beispiel lohnt das allerdings nicht, sondern nur bei komplexen Beispielen mit unbekannten Funktionen. Für die sechs markierten Positionen werden Eingabevektoren gesucht: Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 29 / 5

30 Lerndatensatz ( nach Osten gehen ) Der Lerndatensatz für dieses Beispiel sieht wie folgt aus: Eingabenummer Vektor der Sensordaten x x 2 (move east) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 30 / 5

31 Verallgemeinerte Delta-Regel Idee: Ersetze die Schwellenwertfunktion durch eine s-förmige (sigmoide), differenzierbare Funktion wie z.b. die logistische Funktion Es gilt hier: f (s) = +e s und f s = f ( f) y 0.8 Einfluss des Bias-Wertes θ 0.6 f(net) 0.4 f(net -θ) 0.2 f(net +θ) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 3 / 5

32 Verallgemeinerte Delta-Regel Genaue Ableitung: f (s) s = s +e s = s ( + e s ) = e = s = +e s (+e s ) 2 ( e s ) 2 = +e s (+e s ) 2 (+e s ) 2 = f f 2 = f ( f) f (s) s s=0 = + ( + ) = 4 äußere Ableitung {}}{ ( + e s ) 2 innere Ableitung {}}{ ( e s ) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 32 / 5

33 Verallgemeinerte Delta-Regel Graph von f ( f): f(-f) 0.3 f(-f) s Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 33 / 5

34 Verallgemeinerte Delta-Regel Für den Fehlergradienten erhält man somit: ε w = 2(d f )f ( f) x Wie bei der Delta-Regel erhält man damit eine neue Schätzung für w: w (neu) := w (alt) + c (d f )f ( f) x Hierbei wird eine variable Lernrate c eingeführt, mit der man die Änderungsstärke einstellen kann. Weitere Verbesserungen des Lernverfahrens sind möglich. Der Lernvorgang verbleibt wiederum als Übungsaufgabe. Epoche x x 2 d xw y ε θ w w 2 θ w w 2 (Eine Epoche besteht hierbei aus einem Durchlauf aller Lernbeispiele.) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 34 / 5

35 Gliederung der Vorlesung. Einleitung 2. Perzeptrons 3. Mehrschichtige Perzeptrons Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 35 / 5

36 Mehrschichtige Perzeptrons Im Falle nicht separabler Funktionen verwendet man mehrschichtige Neuronale Netze. Beispiel: Funktion gleiche Parität: x x 2 - -,5-0,5 zweischichtiges Neuronales Netz (falls die Eingabeschicht mitgezählt wird, kann es auch, je nach Literatur, als dreischichtiges Netz bezeichnet werden) Neuronen in der mittleren Schicht werden auch als verborgene oder innere Neuronen bezeichnet. Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 36 / 5 0,5 f

37 Mehrschichtige Perzeptrons Propagation am Beispiel f (x, x 2 ) = (x x 2 ) ( x x 2 ) Eingabe Neuron I Neuron II Neuron III Ausgabe x x 2 Eingabe Ausgabe Eingabe Ausgabe Eingabe Ausgabe x,5 x ,5 0,5 f Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 37 / 5

38 Mehrschichtige Perzeptrons Definition: Ein k-schichtiges Perzeptron besteht aus k Schichten, wobei in der Schicht j die Neuronen m j mit Sigmoiden die Ausgabe x j liefern, x (0) ist die Eingabe, f die Ausgabe, w j i ist der Gewichtsvektor des i-ten Sigmoids in der Schicht j, wobei die letzte Komponente jeweils der Schwellenwert ist. Wir nennen die Summe s j i = x j w j i die Aktivierung des sigmoiden Neurons. Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 38 / 5

39 Mehrschichtige Perzeptrons x (0) erste Schicht j-te Schicht (k )-te Schicht x () x (j) x (k ) k-te Schicht.... f (k) = f f () i f (j) i s (k) s () i. w (j) i. s (j) i. s (k ) i Sigmoide m Sigmoide m j Sigmoide m k Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 39 / 5

40 Mehrschichtige Perzeptrons Ein spezielles Trainingsverfahren heißt Backpropagation (der Fehler wird durch das Netz schichtweise zurückgeschickt). Idee: Analog zum Gradientenabstieg wird ein Fehlergradient berechnet. Herleitung des Verfahrens: Fehler für Ausgabeschicht:ε=(d f ) 2 [ = ],..., ε ε,...,, w j w j li m j +,i ε ε Gradient: w j i w j i wobei w j li die l-te Komponenten von w j i ist Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 40 / 5

41 Backpropagation (Herleitung) ε w j i = ε s j i = ε s j i sj i w j i ( ) ε hängt von w j i nur über s j i ab x j (s j i = x j w j i und somit sj i w j i = 2(d f ) f s j i = 2(δ j i xj ) x j ( ε s j i = (d f )2 s j i ( δ j i := (d f ) f s j i ) ) = 2(d f ) f s j i ) = ε 2 s j i Berechnung der neuen Gewichte: (w j i )(neu) := (w j i )(alt) + c j i δ j i xj, Hierbei ist c j i eine Lernrate. Meistens wird für c j i ein Wert für das gesamte Netz verwendet. Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 4 / 5

42 Backpropagation (Herleitung) Gewichtsänderungen in der Ausgabeschicht: δ k = (d f ) f = (d f )f ( f) s k w k,neu := w k,alt + c k (d f )f ( f)x k Anmerkungen: Gilt bei (logistischer) sigmoider Funktion mit Bias 0 (wegen zusätzlicher Eingabe θ). Nur ein Wert, daher keine Indizes; sonst wie bei verallgemeinerter Delta-Regel. Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 42 / 5

43 Backpropagation (Herleitung) Gewichtsänderungen in verborgener Schicht: m j+ δ j i = (d f ) l= f s j+ l sj+ l s j i = m j+ l= δ j+ s j+ l l s j i Der Summand muss noch berechnet werden. Betrachte hierzu zunächst: s j+ l = x j m j+ m j+ w j+ l = xγ j w j+ γl = fγ j w j+ γl γ= γ= (γ ist der Index über die einzelnen Vektorelemente) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 43 / 5

44 Backpropagation (Herleitung) s j+ l s j i = m j+ fγ j w j+ γl γ= = m j+ s j i γ= w j+ fγ j γl s j i ( ) = w j+ il f j i ( fj i ) da fγj fγ = 0 fürγ i, sonst j s j i sγ=f j γ( f j γ j Somit erhalten wir ein rekursives Gleichungssystem zur Berechnung derδ j i : δ j i = f j i ( fj mj+ i ) l= δ j+ l w j+ il undδ k = (d f )f ( f) Und schließlich zur Berechnung der neuen Gewichte: w j(neu) i := w j(alt) i + ci δ j i j x j Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 44 / 5

45 Backpropagation Beispiel (Netz mit zufällig generierten Gewichten): x x 2 x 3 = sigmoidale Neuronen ( +e wegen x x 3 = als Eingabe ) f Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 45 / 5

46 Backpropagation (Beispiel) Lernstichprobe: {((, 0, ), 0)),((0,, ), 0),((0, 0, ), ),((,, ), )} Propagation: (, 0, ) f Backpropagation: Fehlersignale: neue Gewichte mit c = : = 0, 88; f 2 = 0, 5; f = 0, 655 δ (2) = 0, 48; d () = 0, 047; d () 2 = 0, 074 w () = (, 935; 2; 0, 047) w () 2 = (, 074; 3; 0, 926) w (2) = (2, 870; 2, 074;, 48) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 46 / 5

47 Effekt der Lernrate Anmerkungen zum Effekt der Lernrate: gewünschtes Verhalten: E E zu klein: Lernen verläuft zu langsam w alt w neu w w zu groß: Pingpong-Effekt E Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 47 / 5 w

48 Eigenschaften von Neuronalen Netzen NN können generalisieren, d.h. Vektoren klassifizieren, die nicht in der Trainingsmenge enthalten sind. Man kann die Güte der Generalisierung messen. Analogie: Funktionsapproximation Datensatz zu einfach, schlechte Güte zu kompliziert, kein Fehler, Daten auswendig gelernt, schlechte Generalisierung, (overfitting) Mittelweg Occam s razor Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 48 / 5

49 Vorgehensweise beim Lernen Lernstichprobe = Trainingsmenge + Validierungsmenge Mit Trainingsmenge (ca. 2 3 der Daten) lernen. Mit Validierungsmenge Güte schätzen. Kreuzvalidierung (cross validation) Lernstichprobe in n disjunkte Mengen teilen. Jeweils eine Menge als Validierungsmenge und n Mengen zum Training verwenden. Die n out-of-sample errors danach mitteln. Beispiele NN werden in verschiedensten Gebieten wie Gesichtserkennung oder Börsenprognosen eingesetzt. NN werden auch im Data Mining genutzt (siehe z.b. unser Artikel in Spektrum der Wissenschaften, Nov, 2002, S. 80ff) Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 49 / 5

50 weitere Details... Im Sommersemester findet unsere Vorlesung Neuronale Netze statt. Dort werden die hier vorgestellten Prinzipien detailliert vorgestellt und weitergehende Themen und Netztypen präsentiert. Weitere Informationen finden sich auch in unserem Buch [Nauck et al., 2003]: Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 50 / 5

51 Literatur I Nauck, D., Borgelt, C., Klawonn, F., and Kruse, R. (2003). Neuro-Fuzzy-Systeme Von den Grundlagen Neuronaler Netze zu modernen Fuzzy-Systemen. Vieweg, Wiesbaden, Germany. Rudolf Kruse, Christian Moewes, Georg Ruß Intelligente Systeme 5 / 5

Intelligente Systeme

Intelligente Systeme Intelligente Systeme Neuronale Netze Prof. Dr. R. Kruse C. Braune {kruse,cbraune}@iws.cs.uni-magdeburg.de Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität

Mehr

Intelligente Systeme

Intelligente Systeme Intelligente Systeme Neuronale Netze Prof. Dr. R. Kruse C. Braune C. Moewes {kruse,cbraune,cmoewes}@iws.cs.uni-magdeburg.de Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke

Mehr

Intelligente Systeme

Intelligente Systeme Intelligente Systeme Neuronale Netze Prof. Dr. R. Kruse C. Braune {rudolf.kruse,christian.braune}@ovgu.de Institut für Intelligente Kooperierende Systeme Fakultät für Informatik Otto-von-Guericke-Universität

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse, Alexander Dockhorn Neuronale

Mehr

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine Verarbeitungseinheit für Zahlen mitneingängenx,...,x n und einem

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches

Mehr

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14. Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen

Mehr

Neuronale Netze (Konnektionismus)

Neuronale Netze (Konnektionismus) Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.

Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze. Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

Hannah Wester Juan Jose Gonzalez

Hannah Wester Juan Jose Gonzalez Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron

Mehr

Konzepte der AI Neuronale Netze

Konzepte der AI Neuronale Netze Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse, Christoph Doell Neuronale Netze

Mehr

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1 Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze Vorlesung Künstliche Intelligenz Wintersemester 2008/09 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der

Mehr

Statistical Learning

Statistical Learning Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in

Mehr

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt

Mehr

Praktische Optimierung

Praktische Optimierung Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze

Mehr

Adaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Mehrere Neuronen, Assoziative Speicher und Mustererkennung Prof. Dr. rer. nat. Nikolaus Wulff Modell eines Neuron x x 2 x 3. y y= k = n w k x k x n Die n binären Eingangssignale x k {,}

Mehr

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???

Mehr

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform. (hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer

Mehr

Neuronale Netze. Anna Wallner. 15. Mai 2007

Neuronale Netze. Anna Wallner. 15. Mai 2007 5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente

Mehr

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron

Mehr

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze. Was sind künstliche Neuronale Netze?

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze. Was sind künstliche Neuronale Netze? Was sind künstliche Neuronale Netze? Vorlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Künstliche Neuronale Netze sind massiv parallel

Mehr

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen 6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1

Mehr

5. Lernregeln für neuronale Netze

5. Lernregeln für neuronale Netze 5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze Vorlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen

Mehr

MULTILAYER-PERZEPTRON

MULTILAYER-PERZEPTRON Einleitung MULTILAYER-PERZEPTRON Die Ausarbeitung befasst sich mit den Grundlagen von Multilayer-Perzeptronen, gibt ein Beispiel für deren Anwendung und zeigt eine Möglichkeit auf, sie zu trainieren. Dabei

Mehr

Neuronale Netze mit mehreren Schichten

Neuronale Netze mit mehreren Schichten Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren

Mehr

Lineare Regression. Volker Tresp

Lineare Regression. Volker Tresp Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M

Mehr

Thema 3: Radiale Basisfunktionen und RBF- Netze

Thema 3: Radiale Basisfunktionen und RBF- Netze Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze

Mehr

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) 6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen

Mehr

Klassifikation linear separierbarer Probleme

Klassifikation linear separierbarer Probleme Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear

Mehr

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134 Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches

Mehr

Radiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120

Radiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120 Radiale-Basisfunktionen-Netze Rudolf Kruse Neuronale Netze 2 Radiale-Basisfunktionen-Netze Eigenschaften von Radiale-Basisfunktionen-Netzen (RBF-Netzen) RBF-Netze sind streng geschichtete, vorwärtsbetriebene

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse kruse@iws.cs.uni-magdeburg.de Arbeitsgruppe Computational Intelligence Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität

Mehr

Grundlagen zu neuronalen Netzen. Kristina Tesch

Grundlagen zu neuronalen Netzen. Kristina Tesch Grundlagen zu neuronalen Netzen Kristina Tesch 03.05.2018 Gliederung 1. Funktionsprinzip von neuronalen Netzen 2. Das XOR-Beispiel 3. Training des neuronalen Netzes 4. Weitere Aspekte Kristina Tesch Grundlagen

Mehr

Teil III: Wissensrepräsentation und Inferenz. Nachtrag zu Kap.5: Neuronale Netze. w i,neu = w i,alt + x i * (Output soll - Output ist ) Delta-Regel

Teil III: Wissensrepräsentation und Inferenz. Nachtrag zu Kap.5: Neuronale Netze. w i,neu = w i,alt + x i * (Output soll - Output ist ) Delta-Regel Einfaches Perzeptrn Delta-Regel Vrlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentatin und Inferenz Nachtrag zu Kap.5: Neurnale Netze Beim Training werden die Beispiele dem

Mehr

6.2 Feed-Forward Netze

6.2 Feed-Forward Netze 6.2 Feed-Forward Netze Wir haben gesehen, dass wir mit neuronalen Netzen bestehend aus einer oder mehreren Schichten von Perzeptren beispielsweise logische Funktionen darstellen können Nun betrachten wir

Mehr

Adaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Neuronale Netze: Neuronen, Perzeptron und Adaline Prof. Dr. rer. nat. Nikolaus Wulff Neuronale Netze Das (menschliche) Gehirn ist ein Musterbeispiel für ein adaptives System, dass sich

Mehr

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale

Mehr

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider

Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training eines Künstlich Neuronalen Netzes (KNN) zur Approximation einer Kennlinie in JavaNNS 28.01.2008

Mehr

Lineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren

Lineare Regression. Christian Herta. Oktober, Problemstellung Kostenfunktion Gradientenabstiegsverfahren Lineare Regression Christian Herta Oktober, 2013 1 von 33 Christian Herta Lineare Regression Lernziele Lineare Regression Konzepte des Maschinellen Lernens: Lernen mittels Trainingsmenge Kostenfunktion

Mehr

Funktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen

Funktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen 5. Klassifikation 5.6 Support Vector Maschines (SVM) übernommen von Stefan Rüping, Katharina Morik, Universität Dortmund Vorlesung Maschinelles Lernen und Data Mining, WS 2002/03 und Katharina Morik, Claus

Mehr

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr.

Neuronale Netze. Maschinelles Lernen. Michael Baumann. Universität Paderborn. Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Neuronale Netze Maschinelles Lernen Michael Baumann Universität Paderborn Forschungsgruppe Wissensbasierte Systeme Prof. Dr. Kleine Büning WS 2011/2012 Was ist ein neuronales Netz? eigentlich: künstliches

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?

Mehr

Eine kleine Einführung in neuronale Netze

Eine kleine Einführung in neuronale Netze Eine kleine Einführung in neuronale Netze Tobias Knuth November 2013 1.2 Mensch und Maschine 1 Inhaltsverzeichnis 1 Grundlagen neuronaler Netze 1 1.1 Kopieren vom biologischen Vorbild...... 1 1.2 Mensch

Mehr

Logistische Regression

Logistische Regression Logistische Regression Christian Herta August, 2013 1 von 45 Christian Herta Logistische Regression Lernziele Logistische Regression Konzepte des maschinellen Lernens (insb. der Klassikation) Entscheidungsgrenze,

Mehr

Einige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel

Einige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel Einige überwachte Lernverfahren Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel Funktionsweise eines künstlichen Neurons x w k Neuron k x 2 w 2k net k f y k x n- w n-,k x n w n,k

Mehr

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / 2015 8. Aufgabenblatt

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Übersicht Neuronale Netze Motivation Perzeptron Grundlagen für praktische Übungen

Mehr

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) 29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein

Mehr

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016 Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online

Mehr

Vorlesung Mathematik für Ingenieure 2 (Sommersemester 2009)

Vorlesung Mathematik für Ingenieure 2 (Sommersemester 2009) 1 Vorlesung Mathematik für Ingenieure 2 (Sommersemester 2009) Kapitel 10: Differenzialrechnung R n R m Volker Kaibel Otto-von-Guericke Universität Magdeburg (Version vom 27. März 2009) Differenzialrechnung

Mehr

Klausur Modellbildung und Simulation (Prof. Bungartz) SS 2007 Seite 1/7

Klausur Modellbildung und Simulation (Prof. Bungartz) SS 2007 Seite 1/7 Klausur Modellbildung und Simulation (Prof. Bungartz) SS 2007 Seite /7 Matrikelnummer: Systeme gewöhnlicher Differentialgleichungen (3 + 3 = 6 Pkt.) Die Abbildung zeigt die Richtungsfelder von drei Differentialgleichungssystemen

Mehr

Vorlesung Mathematik für Ingenieure II (Sommersemester 2008)

Vorlesung Mathematik für Ingenieure II (Sommersemester 2008) Vorlesung Mathematik für Ingenieure II (Sommersemester 8) Kapitel : Differenzialrechnung R n R m Volker Kaibel Otto-von-Guericke Universität Magdeburg (Version vom 8. Mai 8) Differenzialrechnung R R 4

Mehr

8. Vorlesung Neuronale Netze

8. Vorlesung Neuronale Netze Soft Control (AT 3, RMA) 8. Vorlesung Neuronale Netze Lernverfahren 8. Vorlesung im Aufbau der Vorlesung 1. inführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation

Mehr

Ausarbeitung zum Hauptseminar Machine Learning

Ausarbeitung zum Hauptseminar Machine Learning Ausarbeitung zum Hauptseminar Machine Learning Matthias Seidl 8. Januar 2004 Zusammenfassung single-layer networks, linear separability, least-squares techniques Inhaltsverzeichnis 1 Einführung 2 1.1 Anwendungen

Mehr

Kohonennetze Selbstorganisierende Karten

Kohonennetze Selbstorganisierende Karten Kohonennetze Selbstorganisierende Karten Julian Rith, Simon Regnet, Falk Kniffka Seminar: Umgebungsexploration und Wegeplanung mit Robotern Kohonennetze: Neuronale Netze In Dendriten werden die ankommenden

Mehr

11. Neuronale Netze 1

11. Neuronale Netze 1 11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form

Mehr

Universität des Saarlandes

Universität des Saarlandes Universität des Saarlandes FR 6.2 Informatik Prof. Dr. Kurt Mehlhorn Dr. Antonios Antoniadis André Nusser WiSe 2017/18 Übungen zu Ideen der Informatik http://www.mpi-inf.mpg.de/departments/algorithms-complexity/teaching/winter17/ideen/

Mehr

Klassifikationsverfahren und Neuronale Netze

Klassifikationsverfahren und Neuronale Netze Klassifikationsverfahren und Neuronale Netze Hauptseminar - Methoden der experimentellen Teilchenphysik Thomas Keck 9.12.2011 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum

Mehr

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg

Andreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale

Mehr

Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck:

Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck: Diplomprüfung Informatik Kurs 1830 Neuronale Netze Prüfer: Prof. Dr. Helbig Beisitzer: Prodekan Prof. Dr. Hackstein Datum: 01.10.08 Note: 2,7 Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt,

Mehr

Neuronale Netze. Christian Böhm.

Neuronale Netze. Christian Böhm. Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch

Mehr

Hochschule Regensburg. Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer

Hochschule Regensburg. Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer Hochschule Regensburg Übung 44_ Multilayer-Perzeptron: Entwurf, Implementierung Bacpropagation Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer Name: Vorname: Multilayer-Perzeptrons (MLPs) sind

Mehr

Nichtlineare Klassifikatoren

Nichtlineare Klassifikatoren Nichtlineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 11 1 M. O. Franz 12.01.2008 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht

Mehr

Optimal-trennende Hyperebenen und die Support Vector Machine. Volker Tresp

Optimal-trennende Hyperebenen und die Support Vector Machine. Volker Tresp Optimal-trennende Hyperebenen und die Support Vector Machine Volker Tresp 1 (Vapnik s) Optimal-trennende Hyperebenen (Optimal Separating Hyperplanes) Wir betrachten wieder einen linearen Klassifikator

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Künstliche Neuronale Netze Hauptseminar Martin Knöfel Dresden, 16.11.2017 Gliederung

Mehr

Kapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017

Kapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017 10.1 Sommersemester 2017 Problemstellung Welche Gerade? Gegeben sind folgende Messungen: Masse (kg) 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 Kraft (N) 1.6 2.2 3.2 3.0 4.9 5.7 7.1 7.3 8.1 Annahme: Es gibt eine Funktion

Mehr

Was sind Neuronale Netze?

Was sind Neuronale Netze? Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk

Mehr

Linear nichtseparable Probleme

Linear nichtseparable Probleme Linear nichtseparable Probleme Mustererkennung und Klassifikation, Vorlesung No. 10 1 M. O. Franz 20.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht

Mehr

Ein selbstmodellierendes System für die Wasserwirtschaft

Ein selbstmodellierendes System für die Wasserwirtschaft Ein selbstmodellierendes System für die Wasserwirtschaft Dipl.-Ing. Dr. ANDRADE-LEAL Wien, im Juli 2001 1 Einleitung, Motivation und Voraussetzungen Künstliche Intelligenz Neuronale Netze Experte Systeme

Mehr

(a), für i = 1,..., n.

(a), für i = 1,..., n. .4 Extremwerte Definition Sei M R n eine Teilmenge, f : M R stetig, a M ein Punkt. f hat in a auf M ein relatives (oder lokales) Maximum bzw. ein relatives (oder lokales) Minimum, wenn es eine offene Umgebung

Mehr

Rückblick auf die letzte Vorlesung. Bemerkung

Rückblick auf die letzte Vorlesung. Bemerkung Bemerkung 1) Die Bedingung grad f (x 0 ) = 0 T definiert gewöhnlich ein nichtlineares Gleichungssystem zur Berechnung von x = x 0, wobei n Gleichungen für n Unbekannte gegeben sind. 2) Die Punkte x 0 D

Mehr

RL und Funktionsapproximation

RL und Funktionsapproximation RL und Funktionsapproximation Bisher sind haben wir die Funktionen V oder Q als Tabellen gespeichert. Im Allgemeinen sind die Zustandsräume und die Zahl der möglichen Aktionen sehr groß. Deshalb besteht

Mehr

Grundlagen neuronaler Netzwerke

Grundlagen neuronaler Netzwerke AUFBAU DES NEURONALEN NETZWERKS Enrico Biermann enrico@cs.tu-berlin.de) WS 00/03 Timo Glaser timog@cs.tu-berlin.de) 0.. 003 Marco Kunze makunze@cs.tu-berlin.de) Sebastian Nowozin nowozin@cs.tu-berlin.de)

Mehr

Hopfield-Netze. Rudolf Kruse Neuronale Netze 192

Hopfield-Netze. Rudolf Kruse Neuronale Netze 192 Hopfield-Netze Rudolf Kruse Neuronale Netze 192 Hopfield-Netze Ein Hopfield-Netz ist ein neuronales Netz mit einem Graphen G = (U, C), das die folgenden Bedingungen erfüllt: (i)u hidden =,U in =U out =U,

Mehr

12. Übung Künstliche Intelligenz Wintersemester 2006/2007

12. Übung Künstliche Intelligenz Wintersemester 2006/2007 12. Übung Künstliche Intelligenz Wintersemester 2006/2007 1. Contraints und Heuristiken Prof. Dr. Gerd Stumme, Miranda Grahl Fachgebiet Wissensverarbeitung 09.02.2006, mgr@cs.uni-kassel.de a) Beschreibe

Mehr

Die Datenmatrix für Überwachtes Lernen

Die Datenmatrix für Überwachtes Lernen Die Datenmatrix für Überwachtes Lernen X j j-te Eingangsvariable X = (X 0,..., X M 1 ) T Vektor von Eingangsvariablen M Anzahl der Eingangsvariablen N Anzahl der Datenpunkte Y Ausgangsvariable x i = (x

Mehr

Überwachtes Lernen II: Netze und Support-Vektor-Maschinen

Überwachtes Lernen II: Netze und Support-Vektor-Maschinen Überwachtes Lernen II: Klassifikation und Regression - Neuronale Netze und Support-Vektor-Maschinen Praktikum: Data Warehousing und Data Mining Praktikum Data Warehousing und Mining, Sommersemester 2009

Mehr

Adaptive Systeme. Neuronale Netze: der Backward Propagation Algorithmus. Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Neuronale Netze: der Backward Propagation Algorithmus. Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Neuronale Netze: der Backward Propagation Algorithmus Prof. Dr. rer. nat. Nikolaus Wulff Neuronen Schicht x 1 x 2 x 3.. θ 1 θ 2. y 1 y 2 n y j = k =1 w jk x k j y j = n k =0 w jk x k x

Mehr

Evolutionäre Algorithmen Einführung

Evolutionäre Algorithmen Einführung Evolutionäre Algorithmen Einführung Prof. Dr. Rudolf Kruse Pascal Held {kruse,pheld}@iws.cs.uni-magdeburg.de Otto-von-Guericke-Universität Magdeburg Fakultät für Informatik Institut für Wissens- und Sprachverarbeitung

Mehr

So lösen Sie das multivariate lineare Regressionsproblem von Christian Herta

So lösen Sie das multivariate lineare Regressionsproblem von Christian Herta Multivariate Lineare Regression Christian Herta Oktober, 2013 1 von 34 Christian Herta Multivariate Lineare Regression Lernziele Multivariate Lineare Regression Konzepte des Maschinellen Lernens: Kostenfunktion

Mehr

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) 6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese

Mehr

Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik Universität Rostock.

Institut für Angewandte Mikroelektronik und Datentechnik Fachbereich Elektrotechnik und Informationstechnik Universität Rostock. Seite 1 Implementierung Neuronaler Netze mittels Digit-Online Algorithmen Vortrag im Rahmen des 10. Symposium Maritime Elektronik 2001 M.Haase, A.Wassatsch, D.Timmermann Seite 2 Gliederung Was sind Neuronale

Mehr

Das Modell: Nichtlineare Merkmalsextraktion (Preprozessing) + Lineare Klassifikation

Das Modell: Nichtlineare Merkmalsextraktion (Preprozessing) + Lineare Klassifikation Das Modell: Nichtlineare Merkmalsextraktion (Preprozessing) + Lineare Klassifikation Hochdimensionaler Eingaberaum {0,1} Z S quadratisch aufgemalt (zwecks besserer Visualisierung) als Retina bestehend

Mehr

Tangentialebene. Sei f eine stetig differenzierbare Funktion und p = (p 1,..., p n ) die Koordinaten eines Punktes P auf der durch

Tangentialebene. Sei f eine stetig differenzierbare Funktion und p = (p 1,..., p n ) die Koordinaten eines Punktes P auf der durch Tangentialebene Sei f eine stetig differenzierbare Funktion und p = (p 1,..., p n ) die Koordinaten eines Punktes P auf der durch implizit definierten Fläche. f (x 1,..., x n ) = c Tangentialebene 1-1

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische

Mehr

Inhaltsverzeichnis. Einführung

Inhaltsverzeichnis. Einführung Inhaltsverzeichnis Einführung 1 Das biologische Paradigma 3 1.1 Neuronale Netze als Berechnungsmodell 3 1.1.1 Natürliche und künstliche neuronale Netze 3 1.1.2 Entstehung der Berechenbarkeitsmodelle 5

Mehr

Kapitel VI Neuronale Netze

Kapitel VI Neuronale Netze Kapitel VI Neuronale Netze (basierend auf Material von Andreas Hotho) 1 Agenda 1. Einführung & Grundbegriffe - Motivation & Definition - Vorbild Biologie - Historie der NN - Überblick über verschiedene

Mehr