Neuronale Netze. Prof. Dr. Rudolf Kruse

Größe: px
Ab Seite anzeigen:

Download "Neuronale Netze. Prof. Dr. Rudolf Kruse"

Transkript

1 Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik Rudolf Kruse, Alexander Dockhorn Neuronale Netze

2 Aktuelle Motivation: Alphago 6: Alphago besiegt Lee Sedol 4: Es nutzt dabei tiefe Neuronale Netze: Policy-Networks zur Vorauswahl möglicher Züge Value-Networks zur Bewertung von Spielpositionen Monte-Carlo Baumsuche zum Finden der besten Züge Reinforcement Learning zur Verbesserung der Neuronalen Netze Rudolf Kruse, Alexander Dockhorn Neuronale Netze

3 Motivation: Warum (künstliche) neuronale Netze? (Neuro-)Biologie / (Neuro-)Physiologie / Psychologie: Ausnutzung der Ähnlichkeit zu echten (biologischen) neuronalen Netzen Modellierung zum Verständnis Arbeitsweise von Nerven und Gehirn durch Simulation Informatik / Ingenieurwissenschaften / Wirtschaft Nachahmen der menschlichen Wahrnehmung und Verarbeitung Lösen von Lern-/Anpassungsproblemen sowie Vorhersage- und Optimierungsproblemen Physik / Chemie Nutzung neuronaler Netze, um physikalische Phänomene zu beschreiben Spezialfall: Spin-Glas (Legierungen von magnetischen und nicht-magnetischen Metallen) Rudolf Kruse, Alexander Dockhorn Neuronale Netze 3

4 Konventionelle Rechner vs. Gehirn Computer Gehirn Verarbeitungseinheiten CPU, Transistoren Neuronen Speicherkapazität Bytes RAM, 3 Bytes Festspeicher Neuronen, 4 Synapsen Verarbeitungsgeschwindigkeit 8 Sekunden 3 Sekunden Bandbreite bits s 4bits s Neuronale Updates pro Sekunde 6 4 Rudolf Kruse, Alexander Dockhorn Neuronale Netze 4

5 Konventionelle Rechner vs. Gehirn Beachte: die Hirnschaltzeit ist mit 3 s recht langsam, aber Updates erfolgen parallel. Dagegen braucht die serielle Simulation auf einem Rechner mehrere hundert Zyklen für ein Update. Vorteile neuronaler Netze: Hohe Verarbeitungsgeschwindigkeit durch massive Parallelität Funktionstüchtigkeit selbst bei Ausfall von Teilen des Netzes (Fehlertoleranz) Langsamer Funktionsausfall bei fortschreitenden Ausfällen von Neuronen (graceful degradation) Gut geeignet für induktives Lernen Es erscheint daher sinnvoll, diese Vorteile natürlicher neuronaler Netze künstlich nachzuahmen. Rudolf Kruse, Alexander Dockhorn Neuronale Netze 5

6 Biologischer Hintergrund Struktur eines prototypischen biologischen Neurons Synapsenenden Synapse Dendriten Zellkern Zellkörper (Soma) Axon Myelinscheide Rudolf Kruse, Alexander Dockhorn Neuronale Netze 6

7 Biologischer Hintergrund (Stark) vereinfachte Beschreibung neuronaler Informationsverarbeitung Das Axonende gibt Chemikalien ab, Neurotransmitter genannt. Diese bewirken an der Membran des Empfängerdendriten die Veränderung der Polarisierung. (Das Innere ist typischerweise 7mV negativer als die Außenseite.) Abnahme in der Potentialdifferenz: anregende Synapse Zunahme in der Potentialdifferenz: hemmende Synapse Wenn genügend anregende Information vorhanden ist, wird das Axon depolarisiert. Das resultierende Aktionspotential pflanzt sich entlang des Axons fort. (Die Geschwindigkeit hängt von der Bedeckung mit Myelin ab.) Wenn das Aktionspotential die Synapsenenden erreicht, löst es die Abgabe von Neurotransmittern aus. Rudolf Kruse, Alexander Dockhorn Neuronale Netze 7

8 Schwellenwertelemente Rudolf Kruse, Alexander Dockhorn Neuronale Netze 8

9 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine VerarbeitungseinheitfürZahlenmitnEingängenx,...,x n undeinemausgang y.daselementhat einen Schwellenwert θ und jeder Eingang x i ist mit einem Gewicht w i versehen. Ein Schwellenwertelement berechnet die Funktion y =, falls x w =, sonst. n i= w i x i θ, x w.. θ y x n w n Rudolf Kruse, Alexander Dockhorn Neuronale Netze 9

10 Schwellenwertelemente: Beispiele Schwellenwertelement für die Konjunktion x x. x 3 x 4 y x x 3x +x y 3 5 Schwellenwertelement für die Implikation x x. x x y x x x x y Rudolf Kruse, Alexander Dockhorn Neuronale Netze

11 Schwellenwertelemente: Beispiele Schwellenwertelement für (x x ) (x x 3 ) (x x 3 ). x x x 3 y x x x 3 iw i x i y 4 Rudolf Kruse, Alexander Dockhorn Neuronale Netze

12 Schwellenwertelemente: Geometrische Interpretation Rückblick: Geradendarstellungen Geraden werden typischerweise in einer der folgenden Formen dargestellt: mit den Parametern Explizite Form: g x = bx +c Implizite Form: g a x +a x +d = Punkt-Richtungs-Form: g x = p+k r Normalform g ( x p) n = b : Anstieg der Geraden c : Abschnitt der x -Achse p : Vektor zu einem Punkt auf der Gerade (Ortsvektor) r : Richtungsvektor der Gerade n : Normalenvektor der Gerade Rudolf Kruse, Alexander Dockhorn Neuronale Netze

13 Schwellenwertelemente: Geometrische Interpretation Eine Gerade und ihre definierenden Eigenschaften. c x b = r r r n = (a,a ) q = d n n n g ϕ p d = p n x O Rudolf Kruse, Alexander Dockhorn Neuronale Netze 3

14 Schwellenwertelemente: Geometrische Interpretation Bestimmung, auf welcher Seite ein Punkt x liegt. x z z = x n n n n q = d n n n g ϕ x x O Rudolf Kruse, Alexander Dockhorn Neuronale Netze 4

15 Schwellenwertelemente: Geometrische Interpretation Schwellenwertelement für x x. x 3 x 4 y x x Ein Schwellenwertelement für x x. x x y x x Rudolf Kruse, Alexander Dockhorn Neuronale Netze 5

16 Schwellenwertelemente: Geometrische Interpretation Darstellung 3-dimensionaler Boolescher Funktionen: x 3 x (,,) x (,,) Schwellenwertelement für (x x ) (x x 3 ) (x x 3 ). x x y x 3 x x 3 x Rudolf Kruse, Alexander Dockhorn Neuronale Netze 6

17 Schwellenwertelemente: lineare Separabilität Zwei Punktmengen in einem n-dimensionalen Raum heißen linear separabel, wenn sie durch eine(n-)-dimensionale Hyperebene getrennt werden können. Die Punkte der einen Menge dürfen dabei auch auf der Hyperebene liegen. Eine Boolesche Funktion heißt linear separabel, falls die Menge der Urbilder von und die Menge der Urbilder von linear separabel sind. Rudolf Kruse, Alexander Dockhorn Neuronale Netze 7

18 Schwellenwertelemente: Grenzen Das Biimplikationsproblem x x : Es gibt keine Trenngerade. x x y x x Formaler Beweis durch reductio ad absurdum: da (,) : θ, () da (,) : w < θ, () da (,) : w < θ, (3) da (,) : w +w θ. (4) () und (3): w +w < θ. Mit (4): θ > θ, oder θ >. Widerspruch zu (). Rudolf Kruse, Alexander Dockhorn Neuronale Netze 8

19 Schwellenwertelemente: Grenzen Vergleich zwischen absoluter Anzahl und der Anzahl linear separabler Boolescher Funktionen. ([Widner 96] zitiert in [Zell 994]) Eingaben Boolesche Funktionen linear separable Funktionen Für viele Eingaben kann ein SWE fast keine Funktion berechnen. Netze aus Schwellenwertelementen sind notwendig, um die Berechnungsfähigkeiten zu erweitern. Rudolf Kruse, Alexander Dockhorn Neuronale Netze 9

20 Netze aus Schwellenwertelementen Biimplikationsproblem, Lösung durch ein Netzwerk. Idee: logische Zerlegung x x (x x ) (x x ) x x berechnet y = x x 3 berechnet y = x x berechnet y = y y y = x x Rudolf Kruse, Alexander Dockhorn Neuronale Netze

21 Netze aus Schwellenwertelementen Lösung des Biimplikationsproblems: Geometrische Interpretation x d c g g = y b ac g 3 a b d x y Die erste Schicht berechnet neue Boolesche Koordinaten für die Punkte. Nach der Koordinatentransformation ist das Problem linear separabel. Rudolf Kruse, Alexander Dockhorn Neuronale Netze

22 Darstellung beliebiger Boolescher Funktionen Sei y = f(x,...,x n ) eine Boolesche Funktion mit n Variablen. (i) Stelle f(x,...,x n ) in disjunktiver Normalform dar. D.h. bestimme D f = K... K m, wobei alle K j Konjunktionen von n Literalen sind, d.h., K j = l j... l jn mit l ji = x i (positives Literal) oder l ji = x i (negatives Literal). (ii) Lege ein Neuron für jede Konjunktion K j der disjunktiven Normalform an (mit n Eingängen ein Eingang pro Variable), wobei {, falls lji = x w ji = i, und θ, falls l ji = x i, j = n + n w ji. (iii) Lege ein Ausgabeneuron an (mit m Eingängen ein Eingang für jedes Neuron, das in Schritt (ii) angelegt wurde), wobei w (n+)k =, k =,...,m, und θ n+ =. i= Rudolf Kruse, Alexander Dockhorn Neuronale Netze

23 Trainieren von Schwellenwertelementen Rudolf Kruse, Alexander Dockhorn Neuronale Netze 3

24 Trainieren von Schwellenwertelementen Die geometrische Interpretation bietet eine Möglichkeit, SWE mit und 3 Eingängen zu konstruieren, aber: Es ist keine automatische Methode(Visualisierung und Begutachtung ist nötig). Nicht möglich für mehr als drei Eingabevariablen. Grundlegende Idee des automatischen Trainings: Beginne mit zufälligen Werten für Gewichte und Schwellenwert. Bestimme den Ausgabefehler für eine Menge von Trainingsbeispielen. Der Fehler ist eine Funktion der Gewichte und des Schwellenwerts: e = e(w,...,w n,θ). Passe Gewichte und Schwellenwert so an, dass der Fehler kleiner wird. Wiederhole diese Anpassung, bis der Fehler verschwindet. Rudolf Kruse, Alexander Dockhorn Neuronale Netze 4

25 Trainieren von Schwellenwertelementen Schwellenwertelement mit einer Eingabe für die Negation x. x w θ y x y Ausgabefehler als eine Funktion von Gewicht und Schwellenwert. w e θ Fehler für x = w e θ Fehler für x = w e θ Summe der Fehler Rudolf Kruse, Alexander Dockhorn Neuronale Netze 5

26 Trainieren von Schwellenwertelementen Die Fehlerfunktion kann nicht direkt verwendet werden, da sie aus Plateaus besteht. Lösung: Falls die berechnete Ausgabe falsch ist, dann berücksichtige, wie weit θ überschritten (für x = ) oder unterschritten ist (für x = ). anschaulich: Berechnung ist umso falscher, je weiter θ überschritten (für x = ) bzw. unterschritten ist (für x = ). Modifizierter Ausgabefehler als Funktion von w und θ. 4 e 4 e 4 e w θ Fehler für x = w θ Fehler für x = w θ Summe der Fehler Rudolf Kruse, Alexander Dockhorn Neuronale Netze 6

27 Trainieren von Schwellenwertelementen Schema der resultierenden Richtungen der Parameteränderungen. w θ Änderungen für x = w θ Änderungen für x = w θ Summe der Änderungen Beginne an zufälligem Punkt. Passe Parameter iterativ an, entsprechend der zugehörigen Richtung am aktuellen Punkt. Rudolf Kruse, Alexander Dockhorn Neuronale Netze 7

28 Trainieren von Schwellenwertelementen Beispieltrainingsprozedur: Online- und Batch-Training. w θ Online-Lernen w θ Batch-Lernen 4 w e θ Batch-Lernen x y x Rudolf Kruse, Alexander Dockhorn Neuronale Netze 8

29 Trainieren von Schwellenwertelementen: Delta-Regel Formale Trainingsregel: Sei x = (x,...,x n ) ein Eingabevektor eines Schwellenwertelements, o die gewünschte Ausgabe für diesen Eingabevektor, und y die momentane Ausgabe des Schwellenwertelements. Wenn y o, dann werden Schwellenwert θ und Gewichtsvektor w = (w,...,w n ) wie folgt angepasst, um den Fehler zu reduzieren: θ (neu) = θ (alt) + θ wobei θ = η(o y), i {,...,n} : w (neu) i = w (alt) i + w i wobei w i = η(o y)x i, wobei η ein Parameter ist, der Lernrate genannt wird. Er bestimmt die Größenordnung der Gewichtsänderungen. Diese Vorgehensweise nennt sich Delta-Regel oder Widrow Hoff Procedure [Widrow and Hoff 96]. Online-Training: Passe Parameter nach jedem Trainingsmuster an. Batch-Training: Passe Parameter am Ende jeder Epoche an, d.h. nach dem Durchlaufen aller Trainingsbeispiele. Rudolf Kruse, Alexander Dockhorn Neuronale Netze 9

30 Trainieren von Schwellenwertelementen: Delta-Regel Ändern des Schwellenwerts in ein Gewicht: = x w = θ x w x w x w θ y x w y.. w n w n x n x n n i= w i x i θ n i= w i x i θ Rudolf Kruse, Alexander Dockhorn Neuronale Netze 3

31 Trainieren von Schwellenwertelementen: Delta-Regel procedure online training (var w, var θ, L, η); var y, e; (* Ausgabe, Fehlersumme *) begin repeat e := ; (* initialisiere Fehlersumme *) for all ( x, o) L do begin (* durchlaufe Trainingsmuster*) if ( w x θ)then y := ; (* berechne Ausgabe*) else y := ; (* des Schwellenwertelements *) if (y o) then begin (* Falls Ausgabe falsch *) θ := θ η(o y); (* passe Schwellenwert *) w := w+η(o y) x; (* und Gewichte an *) end; end; until (e ); end; e := e + o y ; (* summiere die Fehler*) (* wiederhole die Berechnungen*) (* bis der Fehler verschwindet*) Rudolf Kruse, Alexander Dockhorn Neuronale Netze 3

32 Trainieren von Schwellenwertelementen: Delta-Regel procedure batch training (var w, var θ, L, η); var y, e, (* Ausgabe, Fehlersumme *) θ c, w c ; (* summierte Änderungen *) begin repeat e := ; θ c := ; w c := ; (* Initialisierungen *) for all ( x, o) L do begin (* durchlaufe Trainingsbeispiele*) if ( w x θ) then y := ; (* berechne Ausgabe *) else y := ; (* des Schwellenwertelements *) if (y o) then begin (* Falls Ausgabe falsch*) θ c := θ c η(o y); (* summiere die Änderungen von*) w c := w c +η(o y) x; (* Schwellenwert und Gewichten *) e := e + o y ; (* summiere Fehler*) end; end; θ := θ +θ c ; (* passe Schwellenwert*) w := w+ w c ; (* und Gewichte an *) until (e ); (* wiederhole Berechnungen *) end; (* bis der Fehler verschwindet*) Rudolf Kruse, Alexander Dockhorn Neuronale Netze 3

33 Trainieren von Schwellenwertelementen: Online Epoche x o x w y e θ w θ w Rudolf Kruse, Alexander Dockhorn Neuronale Netze 33

34 Trainieren von Schwellenwertelementen: Batch Epoche x o x w y e θ w θ w Rudolf Kruse, Alexander Dockhorn Neuronale Netze 34

35 Trainieren von Schwellenwertelementen: Konjunktion Schwellenwertelement mit zwei Eingängen für die Konjunktion. x w x w θ y x x y x 3 y x Rudolf Kruse, Alexander Dockhorn Neuronale Netze 35

36 Trainieren von Schwellenwertelementen: Konjunktion Epoche x x o x w y e θ w w θ w w Rudolf Kruse, Alexander Dockhorn Neuronale Netze 36

37 Trainieren von Schwellenwertelementen: Biimplikation Epoch x x o x w y e θ w w θ w w Rudolf Kruse, Alexander Dockhorn Neuronale Netze 37

38 Trainieren von Schwellenwertelementen: Konvergenz Konvergenztheorem: Sei L = {( x,o ),...( x m,o m )} eine Menge von Trainingsmustern, jedes bestehend aus einem Eingabevektor x i IR n und einer gewünschten Ausgabe o i {,}. Sei weiterhin L = {( x,o) L o = } und L = {( x,o) L o = }. Falls L und L linear separabel sind, d.h., falls w IR n und θ IR existieren, so dass ( x,) L : w x < θ und ( x,) L : w x θ, dann terminieren sowohl Online- als auch Batch-Training. Für nicht linear separable Probleme terminiert der Algorithmus nicht. Rudolf Kruse, Alexander Dockhorn Neuronale Netze 38

39 Trainieren von Netzwerken aus Schwellenwertelementen Einzelne Schwellenwertelemente haben starke Einschränkungen: Sie können nur linear separable Funktionen berechnen. Netzwerke aus Schwellenwertelementen können beliebige Boolesche Funktionen berechnen. Das Trainieren einzelner Schwellenwertelemente mit der Delta-Regel ist schnell und findet garantiert eine Lösung, falls eine existiert. Netzwerke aus Schwellenwertelementen können nicht mit der Delta-Regel trainiert werden. Rudolf Kruse, Alexander Dockhorn Neuronale Netze 39

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8

Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine Verarbeitungseinheit für Zahlen mitneingängenx,...,x n und einem

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse, Christoph Doell Neuronale Netze

Mehr

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt

Mehr

Intelligente Systeme

Intelligente Systeme Intelligente Systeme Neuronale Netze Prof. Dr. R. Kruse C. Braune {rudolf.kruse,christian.braune}@ovgu.de Institut für Intelligente Kooperierende Systeme Fakultät für Informatik Otto-von-Guericke-Universität

Mehr

Intelligente Systeme. Einführung. Christian Moewes

Intelligente Systeme. Einführung. Christian Moewes Intelligente Systeme Einführung Prof. Dr. Rudolf Kruse Christian Moewes Georg Ruß {kruse,russ,cmoewes}@iws.cs.uni-magdeburg.de Arbeitsgruppe Computational Intelligence Institut für Wissens- und Sprachverarbeitung

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches

Mehr

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)

Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) 6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese

Mehr

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134

Training von RBF-Netzen. Rudolf Kruse Neuronale Netze 134 Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches

Mehr

BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON

BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe

Mehr

Konzepte der AI Neuronale Netze

Konzepte der AI Neuronale Netze Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale

Mehr

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004

Perzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron

Mehr

Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser

Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser 11.11.2008 CSM Master: Praktikum Simulationstechnik, rs034, bz003 2 Befehlsübersicht Begriffsdefinition / Neuronale Netze: / / 11.11.2008 CSM

Mehr

Künstliche Neuronale Netze

Künstliche Neuronale Netze Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze

Mehr

Intelligente Systeme

Intelligente Systeme Intelligente Systeme Neuronale Netze Prof. Dr. R. Kruse C. Braune {kruse,cbraune}@iws.cs.uni-magdeburg.de Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität

Mehr

Aufbau und Beschreibung Neuronaler Netzwerke

Aufbau und Beschreibung Neuronaler Netzwerke Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser

Mehr

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14. Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen

Mehr

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt

Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / 2015 8. Aufgabenblatt

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale

Mehr

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg

Perzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)

Mehr

Klassifikation linear separierbarer Probleme

Klassifikation linear separierbarer Probleme Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear

Mehr

Gliederung. Biologische Motivation Künstliche neuronale Netzwerke. Anwendungsbeispiele Zusammenfassung. Das Perzeptron

Gliederung. Biologische Motivation Künstliche neuronale Netzwerke. Anwendungsbeispiele Zusammenfassung. Das Perzeptron Neuronale Netzwerke Gliederung Biologische Motivation Künstliche neuronale Netzwerke Das Perzeptron Aufbau Lernen und Verallgemeinern Anwendung Testergebnis Anwendungsbeispiele Zusammenfassung Biologische

Mehr

Neuronale Netze. Anna Wallner. 15. Mai 2007

Neuronale Netze. Anna Wallner. 15. Mai 2007 5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente

Mehr

Radiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120

Radiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120 Radiale-Basisfunktionen-Netze Rudolf Kruse Neuronale Netze 2 Radiale-Basisfunktionen-Netze Eigenschaften von Radiale-Basisfunktionen-Netzen (RBF-Netzen) RBF-Netze sind streng geschichtete, vorwärtsbetriebene

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik kruse@iws.cs.uni-magdeburg.de Rudolf Kruse Neuronale Netze Vorlesungsinhalte

Mehr

Hopfield-Netze. Rudolf Kruse Neuronale Netze 192

Hopfield-Netze. Rudolf Kruse Neuronale Netze 192 Hopfield-Netze Rudolf Kruse Neuronale Netze 192 Hopfield-Netze Ein Hopfield-Netz ist ein neuronales Netz mit einem Graphen G = (U, C), das die folgenden Bedingungen erfüllt: (i)u hidden =,U in =U out =U,

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer

Mehr

Hannah Wester Juan Jose Gonzalez

Hannah Wester Juan Jose Gonzalez Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron

Mehr

Intelligente Systeme

Intelligente Systeme Intelligente Systeme Neuronale Netze Prof. Dr. R. Kruse C. Braune C. Moewes {kruse,cbraune,cmoewes}@iws.cs.uni-magdeburg.de Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze Vorlesung Künstliche Intelligenz Wintersemester 2008/09 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der

Mehr

Was bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen

Was bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise

Mehr

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1

Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1 Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?

Mehr

Softcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003

Softcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung

Mehr

C1/4 - Modellierung und Simulation von Neuronen

C1/4 - Modellierung und Simulation von Neuronen C 1 /4 - Modellierung und Simulation von Neuronen April 25, 2013 Motivation Worum geht es? Motivation Worum geht es? Um Neuronen. Motivation Worum geht es? Um Neuronen. Da ist u.a. euer Gehirn draus Motivation

Mehr

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger

Proseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale

Mehr

Algorithmen und Datenstrukturen 2

Algorithmen und Datenstrukturen 2 Algorithmen und Datenstrukturen 2 Lerneinheit 3: Greedy Algorithmen Prof. Dr. Christoph Karg Studiengang Informatik Hochschule Aalen Sommersemester 2016 10.5.2016 Einleitung Einleitung Diese Lerneinheit

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?

Mehr

Konvergenz von Hopfield-Netzen

Konvergenz von Hopfield-Netzen Matthias Jauernig 1. August 2006 Zusammenfassung Die nachfolgende Betrachtung bezieht sich auf das diskrete Hopfield-Netz und hat das Ziel, die Konvergenz des Verfahrens zu zeigen. Leider wird dieser Beweis

Mehr

Thema 3: Radiale Basisfunktionen und RBF- Netze

Thema 3: Radiale Basisfunktionen und RBF- Netze Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung

Mehr

Praktische Optimierung

Praktische Optimierung Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze

Mehr

1. PNK-Übungsblatt. Hinweis: Verwenden Sie in den folgenden Aufgaben stets die Hesse sche Normalenform

1. PNK-Übungsblatt. Hinweis: Verwenden Sie in den folgenden Aufgaben stets die Hesse sche Normalenform 1. PNK-Übungsblatt Hinweis: Verwenden Sie in den folgenden Aufgaben stets die Hesse sche Normalenform x w 0 d = 0, um eine Hyperebene darzustellen. Hierbei ist x ein Punkt auf der Hyperebenen, w 0 der

Mehr

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.

(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform. (hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild

Mehr

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen 6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1

Mehr

Proseminar Neuronale Netze Frühjahr 2004

Proseminar Neuronale Netze Frühjahr 2004 Proseminar Neuronale Netze Frühjahr 2004 Titel: Perzeptron Autor: Julia Grebneva, jg7@informatik.uni-ulm.de Einleitung In vielen Gebieten der Wirtschaft und Forschung, stellen sich oftmals Probleme, die

Mehr

Wissensentdeckung in Datenbanken

Wissensentdeckung in Datenbanken Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse kruse@iws.cs.uni-magdeburg.de Arbeitsgruppe Computational Intelligence Institut für Wissens- und Sprachverarbeitung Fakultät für Informatik Otto-von-Guericke Universität

Mehr

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze Vorlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der

Mehr

Seminar über Neuronale Netze und Maschinelles Lernen WS 06/07

Seminar über Neuronale Netze und Maschinelles Lernen WS 06/07 Universität Regensburg Naturwissenschaftliche Informatik Seminar über Neuronale Netze und Maschinelles Lernen WS 06/07 Cluster-Algorithmen II: Neural Gas Vortragender: Matthias Klein Gliederung Motivation:

Mehr

1. Kommunikation Informationsweiterleitung und -verarbeitung

1. Kommunikation Informationsweiterleitung und -verarbeitung 1. Kommunikation Informationsweiterleitung und -verarbeitung Sinnesorgane, Nervenzellen, Rückenmark, Gehirn, Muskeln und Drüsen schaffen die Grundlage um Informationen aus der Umgebung aufnehmen, weiterleiten,

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen

Mehr

Lernen mit Queries. Hans Kleine Büning Institut für Informatik, Universität Paderborn Paderborn (Germany),

Lernen mit Queries. Hans Kleine Büning Institut für Informatik, Universität Paderborn Paderborn (Germany), Lernen mit Queries Hans Kleine Büning Institut für Informatik, Universität Paderborn 33095 Paderborn (Germany), E-mail: kbcsl @upb.de November 2007 1 Einführung In diesem Abschnitt beschreiben wir kurz,

Mehr

Adaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Mehrere Neuronen, Assoziative Speicher und Mustererkennung Prof. Dr. rer. nat. Nikolaus Wulff Modell eines Neuron x x 2 x 3. y y= k = n w k x k x n Die n binären Eingangssignale x k {,}

Mehr

Künstliche neuronale Netze

Künstliche neuronale Netze Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung

Mehr

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze. Was sind künstliche Neuronale Netze?

Teil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze. Was sind künstliche Neuronale Netze? Was sind künstliche Neuronale Netze? Vorlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Künstliche Neuronale Netze sind massiv parallel

Mehr

Kapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017

Kapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017 10.1 Sommersemester 2017 Problemstellung Welche Gerade? Gegeben sind folgende Messungen: Masse (kg) 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 Kraft (N) 1.6 2.2 3.2 3.0 4.9 5.7 7.1 7.3 8.1 Annahme: Es gibt eine Funktion

Mehr

Lernende Vektorquantisierung

Lernende Vektorquantisierung Lernende Vektorquantisierung (engl. Learning Vector Quantization) Rudolf Kruse Neuronale Netze 5 Motivation Bisher: festes Lernen, jetzt freies Lernen, d.h. es existieren keine festgelegten Klassenlabels

Mehr

03. Vektoren im R 2, R 3 und R n

03. Vektoren im R 2, R 3 und R n 03 Vektoren im R 2, R 3 und R n Unter Verwendung eines Koordinatensystems kann jedem Punkt der Ebene umkehrbar eindeutig ein Zahlenpaar (x, y) zugeordnet werden P (x, y) Man nennt x und y die kartesischen

Mehr

Einführung. Ablesen von einander zugeordneten Werten

Einführung. Ablesen von einander zugeordneten Werten Einführung Zusammenhänge zwischen Größen wie Temperatur, Geschwindigkeit, Lautstärke, Fahrstrecke, Preis, Einkommen, Steuer etc. werden mit beschrieben. Eine Zuordnung f, die jedem x A genau ein y B zuweist,

Mehr

13. Klasse TOP 10 Grundwissen 13 Geradengleichungen 01

13. Klasse TOP 10 Grundwissen 13 Geradengleichungen 01 . Klasse TOP 0 Grundwissen Geradengleichungen 0 Punkt-Richtungs-Form Geraden sind gegeben durch einen Aufpunkt A (mit Ortsvektor a) auf der Geraden und einen Richtungsvektor u: x = a + λ u, λ IR. (Interpretation:

Mehr

Allgemeine (Künstliche) Neuronale Netze. Rudolf Kruse Neuronale Netze 40

Allgemeine (Künstliche) Neuronale Netze. Rudolf Kruse Neuronale Netze 40 Allgemeine (Künstliche) Neuronale Netze Rudolf Kruse Neuronale Netze 40 Allgemeine Neuronale Netze Graphentheoretische Grundlagen Ein (gerichteter) Graph ist ein Tupel G = (V, E), bestehend aus einer (endlichen)

Mehr

03. Vektoren im R 2, R 3 und R n

03. Vektoren im R 2, R 3 und R n 03 Vektoren im R 2, R 3 und R n Unter Verwendung eines Koordinatensystems kann jedem Punkt der Ebene umkehrbar eindeutig ein Zahlenpaar (x, y) zugeordnet werden P (x, y) Man nennt x und y die kartesischen

Mehr

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?

Datenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze? Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher 0651993 Damir Dudakovic

Mehr

Algorithmen mit konstantem Platzbedarf: Die Klasse REG

Algorithmen mit konstantem Platzbedarf: Die Klasse REG Algorithmen mit konstantem Platzbedarf: Die Klasse REG Sommerakademie Rot an der Rot AG 1 Wieviel Platz brauchen Algorithmen wirklich? Daniel Alm Institut für Numerische Simulation Universität Bonn August

Mehr

Modellbildung und Simulation

Modellbildung und Simulation Modellbildung und Simulation 6. Vorlesung Wintersemester 2007/2008 Klaus Kasper Value at Risk (VaR) Gaußdichte Gaußdichte der Normalverteilung: f ( x) = 1 2π σ x e 2 2 x ( x µ ) / 2σ x Gaußdichte der Standardnormalverteilung:

Mehr

Adaptive Resonance Theory

Adaptive Resonance Theory Adaptive Resonance Theory Jonas Jacobi, Felix J. Oppermann C.v.O. Universität Oldenburg Adaptive Resonance Theory p.1/27 Gliederung 1. Neuronale Netze 2. Stabilität - Plastizität 3. ART-1 4. ART-2 5. ARTMAP

Mehr

Kapitel 1: Informationsverarbeitung durch Programme

Kapitel 1: Informationsverarbeitung durch Programme LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS Skript zur Vorlesung: Einführung in die Informatik: Systeme und Anwendungen Sommersemester 2008 Kapitel 1: Informationsverarbeitung

Mehr

Inhalt. Mathematik für Chemiker II Lineare Algebra. Vorlesung im Sommersemester Kurt Frischmuth. Rostock, April Juli 2015

Inhalt. Mathematik für Chemiker II Lineare Algebra. Vorlesung im Sommersemester Kurt Frischmuth. Rostock, April Juli 2015 Inhalt Mathematik für Chemiker II Lineare Algebra Vorlesung im Sommersemester 5 Rostock, April Juli 5 Vektoren und Matrizen Abbildungen 3 Gleichungssysteme 4 Eigenwerte 5 Funktionen mehrerer Variabler

Mehr

Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie

Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie 1. Erzeugung von Stahl im Lichtbogenofen 2. Biologische neuronale Netze 3. Künstliche neuronale Netze 4. Anwendung neuronaler

Mehr

Martin Stetter WS 03/04, 2 SWS. VL: Dienstags 8:30-10 Uhr

Martin Stetter WS 03/04, 2 SWS. VL: Dienstags 8:30-10 Uhr Statistische und neuronale Lernverfahren Martin Stetter WS 03/04, 2 SWS VL: Dienstags 8:30-0 Uhr PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren Behandelte Themen 0. Motivation

Mehr

Basistext Geraden und Ebenen

Basistext Geraden und Ebenen Basistext Geraden und Ebenen Parameterdarstellung Geraden Eine Gerade ist durch zwei Punkte P und Q, die auf der Geraden liegen, eindeutig festgelegt. Man benötigt zur Darstellung den Vektor. Dieser wird

Mehr

Kapitel 1: Informationsverarbeitung durch Programme

Kapitel 1: Informationsverarbeitung durch Programme LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS Skript zur Vorlesung: Einführung in die Informatik: Systeme und Anwendungen Sommersemester 2009 Kapitel 1: Informationsverarbeitung

Mehr

7. Vorlesung Neuronale Netze

7. Vorlesung Neuronale Netze Soft Control (AT 3, RMA) 7. Vorlesung Neuronale Netze Grundlagen 7. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation

Mehr

Informatik III. Christian Schindelhauer Wintersemester 2006/ Vorlesung

Informatik III. Christian Schindelhauer Wintersemester 2006/ Vorlesung Informatik III Christian Schindelhauer Wintersemester 2006/07 20. Vorlesung 12.01.2007 1 Komplexitätstheorie - Zeitklassen Die Komplexitätsklassen TIME DTIME, NTIME P NP Das Cook-Levin-Theorem Polynomial-Zeit-Reduktion

Mehr

Ausarbeitung zum Hauptseminar Machine Learning

Ausarbeitung zum Hauptseminar Machine Learning Ausarbeitung zum Hauptseminar Machine Learning Matthias Seidl 8. Januar 2004 Zusammenfassung single-layer networks, linear separability, least-squares techniques Inhaltsverzeichnis 1 Einführung 2 1.1 Anwendungen

Mehr

Informationsverarbeitung auf Bitebene

Informationsverarbeitung auf Bitebene Informationsverarbeitung auf Bitebene Dr. Christian Herta 5. November 2005 Einführung in die Informatik - Informationsverarbeitung auf Bitebene Dr. Christian Herta Grundlagen der Informationverarbeitung

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Übersicht Neuronale Netze Motivation Perzeptron Grundlagen für praktische Übungen

Mehr

Geometrie. Ingo Blechschmidt. 4. März 2007

Geometrie. Ingo Blechschmidt. 4. März 2007 Geometrie Ingo Blechschmidt 4. März 2007 Inhaltsverzeichnis 1 Geometrie 2 1.1 Geraden.......................... 2 1.1.1 Ursprungsgeraden in der x 1 x 2 -Ebene.... 2 1.1.2 Ursprungsgeraden im Raum..........

Mehr

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016

Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016 Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online

Mehr

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien

Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???

Mehr

5. Lernregeln für neuronale Netze

5. Lernregeln für neuronale Netze 5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1

Mehr

10.6. Implizite ebene Kurven und Tangenten

10.6. Implizite ebene Kurven und Tangenten 0.6. Implizite ebene Kurven und Tangenten Im Gegensatz zu expliziten Darstellungen sind weder implizite noch Parameterdarstellungen einer Kurve eindeutig. Der Übergang von impliziten zu expliziten Darstellungen

Mehr

Wissensbasierte Systeme

Wissensbasierte Systeme Analytisch lösbare Optimierungsaufgaben Das Chaos-Spiel gründet auf der folgenden Vorschrift: Man startet von einem beliebigen Punkt aus geht auf einer Verbindung mit einem von drei zufällig gewählten

Mehr

Linear nichtseparable Probleme

Linear nichtseparable Probleme Linear nichtseparable Probleme Mustererkennung und Klassifikation, Vorlesung No. 10 1 M. O. Franz 20.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht

Mehr

Ein selbstmodellierendes System für die Wasserwirtschaft

Ein selbstmodellierendes System für die Wasserwirtschaft Ein selbstmodellierendes System für die Wasserwirtschaft Dipl.-Ing. Dr. ANDRADE-LEAL Wien, im Juli 2001 1 Einleitung, Motivation und Voraussetzungen Künstliche Intelligenz Neuronale Netze Experte Systeme

Mehr

Pflichtteilaufgaben zu Gegenseitige Lage, Abstand, Baden-Württemberg

Pflichtteilaufgaben zu Gegenseitige Lage, Abstand, Baden-Württemberg Pflichtteilaufgaben zu Gegenseitige Lage, Abstand, Baden-Württemberg Hilfsmittel: keine allgemeinbildende Gymnasien Alexander Schwarz wwwmathe-aufgabencom September 6 Abituraufgaben (Haupttermin) Aufgabe

Mehr

Lineare Algebra. Mathematik II für Chemiker. Daniel Gerth

Lineare Algebra. Mathematik II für Chemiker. Daniel Gerth Lineare Algebra Mathematik II für Chemiker Daniel Gerth Überblick Lineare Algebra Dieses Kapitel erklärt: Was man unter Vektoren versteht Wie man einfache geometrische Sachverhalte beschreibt Was man unter

Mehr

Resolutionskalkül. wird t als eine Menge K t von Klauseln geschrieben, welche die einzelnen Maxterme repräsentieren:

Resolutionskalkül. wird t als eine Menge K t von Klauseln geschrieben, welche die einzelnen Maxterme repräsentieren: Resolutionskalkül Ein Kalkül ist eine Kollektion von syntaktischen Umformungsregeln, die unter gegebenen Voraussetzungen aus bereits vorhandenen Formeln neue Formeln erzeugen. Der Resolutionskalkül besteht

Mehr

Pflichtteilaufgaben zu Gegenseitige Lage, Abstand, Baden-Württemberg

Pflichtteilaufgaben zu Gegenseitige Lage, Abstand, Baden-Württemberg Pflichtteilaufgaben zu Gegenseitige Lage, Abstand, Baden-Württemberg Hilfsmittel: keine allgemeinbildende Gymnasien Alexander Schwarz wwwmathe-aufgabencom September 7 Abituraufgaben (Haupttermin) Aufgabe

Mehr

RL und Funktionsapproximation

RL und Funktionsapproximation RL und Funktionsapproximation Bisher sind haben wir die Funktionen V oder Q als Tabellen gespeichert. Im Allgemeinen sind die Zustandsräume und die Zahl der möglichen Aktionen sehr groß. Deshalb besteht

Mehr

Diskrete Strukturen Kapitel 5: Algebraische Strukturen (Gruppen)

Diskrete Strukturen Kapitel 5: Algebraische Strukturen (Gruppen) WS 2015/16 Diskrete Strukturen Kapitel 5: Algebraische Strukturen (Gruppen) Hans-Joachim Bungartz Lehrstuhl für wissenschaftliches Rechnen Fakultät für Informatik Technische Universität München http://www5.in.tum.de/wiki/index.php/diskrete_strukturen_-_winter_15

Mehr

Formale Grundlagen der Informatik 1 Kapitel 16 Normalformen und Hornformeln

Formale Grundlagen der Informatik 1 Kapitel 16 Normalformen und Hornformeln Formale Grundlagen der Informatik 1 Kapitel 16 Normalformen und Frank Heitmann heitmann@informatik.uni-hamburg.de 9. Juni 2015 Frank Heitmann heitmann@informatik.uni-hamburg.de 1/36 Ersetzbarkeitstheorem

Mehr

Abituraufgaben bis 2018 Baden-Württemberg. Geraden, Ebenen, Abstand

Abituraufgaben bis 2018 Baden-Württemberg. Geraden, Ebenen, Abstand Abituraufgaben bis 8 Baden-Württemberg Geraden, Ebenen, Abstand allgemeinbildende Gymnasien Alexander Schwarz www.mathe-aufgaben.com August 8 Aufgabe : (Abiturprüfung 8) Gegeben sind die Ebenen E: xx x

Mehr

Neuronale Netze (Konnektionismus)

Neuronale Netze (Konnektionismus) Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung

Mehr

4 Affine Koordinatensysteme

4 Affine Koordinatensysteme 4 Affine Koordinatensysteme Sei X φ ein affiner Raum und seien p,, p r X Definition: Nach ( c ist der Durchschnitt aller affinen Unterräume Z X, welche die Menge {p,,p r } umfassen, selbst ein affiner

Mehr

Wahrscheinlichkeitsrechnung und Statistik

Wahrscheinlichkeitsrechnung und Statistik Babeş-Bolyai Universität Fakultät für Mathematik und Informatik Oktober 2018 Im Alltag... Laut den meteorologischen Vorhersagen wird es morgen regnen. Ob ich riskiere und die Wette verlieren werde? Ich

Mehr

Boolesche Algebra (1)

Boolesche Algebra (1) Boolesche Algebra (1) Definition 1: Sei B = Σ 2 = {0,1} das Alphabet mit den Elementen 0 und 1. Seien auf B die 3 Operatoren einer Algebra wie folgt definiert für x,y aus B: x+y := Max(x,y), x y := Min(x,y),

Mehr

Adaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff

Adaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff Adaptive Systeme Neuronale Netze: Neuronen, Perzeptron und Adaline Prof. Dr. rer. nat. Nikolaus Wulff Neuronale Netze Das (menschliche) Gehirn ist ein Musterbeispiel für ein adaptives System, dass sich

Mehr