Kapitel 8. Neuronale Netze
|
|
- Monika Sofie Schräder
- vor 5 Jahren
- Abrufe
Transkript
1 Kapitel 8 Neuronale Netze
2 Ansätze zum Entwurf eines Klassifikators Es gibt zwei prinzipiell unterschiedliche Ansätze zum Entwurf eines Klassifikators:. Statistische parametrische Modellierung der Klassenverteilungen, dann MAP-Entscheidung. Lösung eines Abbildungsproblems durch Funktionsapproximation (nichtlineare Regression) der a- posteriori-wahrscheinlichkeiten { fx y } min E ( ) X Y Merkmalsraum Entscheidungsraum
3 Zu.) Die bisher beschriebene Vorgehensweise beim Entwurf eines Klassifikators beruht darauf, dass man die klassenspezifischen Verteilungsdichten p(x ω i )P(ω i ) parametrisch durch statistische Modelle annähert (durch Schätzung der Parameter, z.bsp. Einer Gauß-Verteilung) und durch eine Maximumselektion zu einer Entscheidung kommt. Lernen bedeutet hierbei: Verbesserung des Parameter-Fitting. Zu.) Es gibt nun eine zweite Möglichkeit der Herangehensweise, welche auf die Auswertung der a-posteriori-wahrscheinlichkeitsdichte P(ω i x) aufbaut und durch ein Problem der Funktionsapproximation beschrieben werden kann.
4 Die zwei Ansätze zum Klassifikatorentwurf p( x ω ) P( ω ) P( ω x) P( ω x) p( x ω ) P( ω ) Modellierung der Klassenverteilungsdichten Direkte Modellierung der A-posteriori-Verteilungsdichten P( ω x) p( x ω ) P( ω ) P( ω x) i i i i
5 Zur Gleichwertigkeit der beiden Ansätze Allgemeiner Fall: matlab-map.bat
6 Diese Funktionsapproximation kann z.bsp. durch eine nichtlineare Regression mit Polynomen oder auch mit Hilfe eines künstlichen Neuronalen Netzwerkes (NN) durchgeführt werden. Im Rahmen dieser Veranstaltung sollen die Grundlagen für beide Vorgehensweisen behandelt werden. Grundsätzlich ist die Suche nach einer besten Näherungsfunktion ein Variationsproblem, welches durch die Wahl von Basisfunktionen auf ein parametrisches Optimierungsproblem zurückgeführt werden kann. Lernen bedeutet dann auch hier: Parameterfitting. Die Gleichwertigkeit der beiden genannten Vorgehensweisen ergibt sich aus dem Bayes-Theorem: p( ω x) = i p( x ω ) P( ω ) i p( x) i unabhängig von ω Die Gleichwertigkeit ergibt sich daraus, dass der Nenner unabhängig von ω ist.
7 Im folgenden soll nun die Überführung in ein Funktionsapproximationsproblem begründet werden. Bei bekannter a-posteriori-w. P(ω x) würde für jedes kontinuierliche x bestmöglich ein ω zugeordnet werde (funktionale Zuordnung f:x ω). Gegeben sind jedoch nur Stichproben und man sucht nach einer Funktion f, welche bestmöglich die Einzelexperimente fittet und damit eine Abbildung realisert: f : Merkmalsraum Bedeutungsraum x ω Diese Aufgabenstellung kann mit Hilfe der Variationsrechnung gelöst werden. Wählt man als Gütekriterium das minimale Fehlerquadrat, so geht es um die Minimierung von: J = min E{ fx ( ) y } f( x) ω f (x i, ω k ) x
8 Dabei entstehen die Zielvektoren {y i } im Entscheidungsraum Y durch einfache Abbildung der skalaren Bedeutungswerte {ω i } Ω : = { ω, ω,, ω } K Y: = { y, y,, y } mit: y i 0 0 = i-ter Einheitsvektor 0 0 K
9 Zwei-Klassen-Problem mit Gaußverteilungsdichte p( x) = p( x ω ) P( ω ) K k k P( ω x) p( x) = p( x, ω ) = p( x ω ) P( ω ) k k k k P( ω x) p( x) p( x ω ) P( ω ) P( ω x) p( x) p( x ω ) P( ω ) 0 µ x x µ x x Merkmalsraum Entscheidungsfunktion
10 Regression mit Hilfe künstlicher Neuronaler Netze Verwendung eines mehrschichtigen Perceptrons zur Funktionsapproximation (multilayer perceptron) Motivation: Anlehnung an menschliche Vorgehensweise (?) Parallele Auswertung mit NN-Rechner (Hardware) Menschliches Gehirn: 0 Neuronen mit bis zu 0 4 Verbindungen pro Neuron
11 Modell eines Neurons (McCulloch & Pitts, 943) Synapsen x 0 x w 0 w Interne Zustandsvariable x w s f (s) y y = f( wx, b) b Axon x N w N Die neuronale Aktivität wird durch ein Skalaprodukt zwischen dem Gewichtsvektor w und den Eingangskanälen x i mit einer sich anschließenden nichtlinearen Aktivierungsfunktion f(s) beschrieben. Dabei können die Erregungen x i verstärkend oder hemmend wirken, was zu positiven oder negativen Gewichtswerten w i korrespondiert.
12 Das Multilagen-Perceptron mit 3 Schichten (Rosenblatt 958)
13 Symbolische Darstellung eines Perceptrons mit 3 Schichten erste Schicht zweite Schicht dritte Schicht x N W S N s S f y S W S S s S f y S W 3 S 3 S s 3 S 3 f y 3 S 3 b b b 3 N S S S S S 3 S 3 y =f (W xb ) y =f (W y b ) y 3 =f 3 (W 3 y b 3 ) y = f ( W f ( W f ( W x b ) b ) b )
14 Das Perceptron mit einem Neuron und zwei Eingängen (Rosenblatt, 958) In den Anfangsjahren der NN-Forschung benutzte man vorzugsweise Schwellwertlogiken. D.h. der Eingangsvektor war zweiwertig und als Aktivierungsfunktion wurde die Sprungfunktion (f(s)=σ(s)= für s 0 und σ(s)=0 für s<0). Da jede Boole sche Funktion als disjunktive oder konjunktive Normalform geschrieben werden kann, ist es möglich, mit einem zweischichtigen Perceptron jede logische Funktion zu realisieren. x w 0 s σ y x y= x x w 0 b Schwellwert y=0 y = σ( wx, b) = σ( g( x)) w x Funktionsweise bei rellwertigen Eingängen
15 Zur Funktionsweise des Perceptrons Das Neuron unterteilt den Eingansraum von x mit einer Hyperebene (hier: Gerade) in zwei Hälften. Die Hyperebene ist der geometrische Ort, auf dem alle Vektoren liegen, deren Projektion auf w konstant ist: g( x) = w, x b= 0 Orthogonale Projektion: wx, = w x cosϕ >? < b w x g(x)>0 Für zwei Punkte auf der Trennfläche gilt: x 0 = wx, b= wx, b w,( x x ) = 0 w ( x x ) g(x)<0 w x d x d = b w
16 Nichtlinearer Klassifikatorentwurf - das XOR-Problem Es ist offensichtlich, dass sich die Booleschen Funktionen AND und OR durch einen linearen Klassifikator und damit mit einem einschichtigen Perceptron lösen lassen: x (0,) AND (,) x x AND Klasse OR Klasse ω 0 ω 0 0 ω ω OR d 0 0 ω ω ω ω x w 0 x w 0 (0,0) (,0) b Schwellwert σ x y w = oder auch vereinfacht: AND OR AND: g( x) = x x = 0 3 OR: g( x) = x x = 0 b = 3 4 b = 4
17 Lösung des XOR-Problems mit einem Zwei- Lagen-Perceptron Das Exklusiv-Oder-Problem lässt sich hingegen im Gegensatz zu AND und OR nicht durch einen linearen Klassifikator lösen. Eine Lösung ergibt sich jedoch durch Kombination zweier Trennlinien. Dies führt auf ein zweilagiges Perceptron! OR NAND x x - - σ y -/ σ y -3/ σ z XOR 3/ erste Schicht zweite Schicht x x y y XOR Klasse ω 0 ω 0 ω 0 0 ω z = ( x x ) ( x x ) = y y XOR Nach der Abbildung der ersten Schicht ergibt sich ein linear trennbares Problem!! y y y = σ ( x x ) OR y = σ ( x x ) NAND 3 3 z = σ ( y y ) AND y
18 Funktionsweise der ersten Schicht: Abbildung des reellwertigen Eingangsraums auf die Eckpunkte eines Hyperwürfels In der ersten Schicht eines Perceptrons reagiert ein Neuron mit 0 oder, in Abhängigkeit davon, in welcher Hälfte der von der Hyperfläche erzeugten beiden Halbräume sich der Eingangsvektor befindet. Jedes weitere Neuron erzeugt eine zusätzliche Trennebene. Die erste Schicht eines Perceptrons bildet somit den reellwertigen Eingangsraum auf die Eckpunkte eines Hyperwürfels ab. Die sich schneidenden Trennebenen bilden linear begrenzte (konvexe) Gebiete, sogenannte Polyeder. Jedes Gebiet korrespondiert zu einem Eckpunkt des Hyperwürfels. Nachfolgend ist eine Grafik zu sehen für 3 Neuronen und einen zweidimensionalen Eingangsraum x: x x (y,y,y 3 ) = g 3 (x) 00 g (x) g (x)
19 Funktionsweise der zweiten Schicht: Abtrennung eines Eckpunktes des Hyperwürfels In der zweiten Schicht kann durch Abtrennung eines Eckpunktes des Hyperwürfels mit einer neuen Trennfläche ein eindeutiges Merkmal für ein konvexes Gebiet erzeugt werden: 0 konvexes Gebiet Eckpunkte eines Hyperwürfels
20 Optimale Trennebene zur Abtrennung eines Eckpunktes von einem Hyperwürfel Wird als nichtlineare Funktion im Neuron die Signum-Funktion verwendet, so liegt der daraus resultierende Hyperwürfel zentriert im Ursprung. Die optimale Trennebene liegt in der Mitte zwischen einem Eckpunkt und einer Ebene die von den nächsten Nachbarn aufgespannt wird. Ohne Einschränkung der Allgemeinheit, können wir den Eckpunkt entlang der ersten Raumdiagonale u betrachten. Dafür gilt: N= d x T (-,) (,) u [ ] = mit: dim( x) = e = u u = u u N N (-,-) (,-) x Eigentlich genügt es, die Trennebene in einem Abstand d=n / -ε mit einem hinreichend kleinen Abstand ε zu platzieren. Problem: über ε in Abhängigkeit von N kann keine genaue Aussage gemacht werden.
21 Die Trennebene liegt genau zwischen u und der orthogonalen Projektion eines der Nachbarecken u auf u: T N u T = u u = [ ], u eu = u N N N N und damit der Fußpunkt der Trennebene bei: u u u u N N N = ( ) u = ( ) u = u = e N N N N d u z. Bsp. N = 3 u 3 Trennebene N = 4 3 4u N = 00 0,99u u e u d Ein zu u benachbarter Eckpunkt des Würfels produziert im Skalarprodukt <u,u> genau den Wert (N-)! Die Gleichung der Trennebene ergibt sich zu: N xe, u = d = N N xu, = N N xu, =( N )
22 Das 3-Lagen-Perceptron mit Schwellwertfunktion Mit einem 3-L-S-MLPC lassen sich beliebige linear begrenzte Cluster in Merkmalsräumen klassifizieren!!. Schicht: sich schneidende Hyperebenen bilden konvexe Polyeder. Diese werden auf die Eckpunkte eines Hyperwürfels abgebildet. 0. Schicht: Durch abtrennen von Eckpunkten des Hyperwürfels werden konvexe Polyeder durch Schnittmengenbildung von Halbräumen selektiert (AND). 3. Schicht: beliebige linear begrenzte Gebiete entstehen durch Vereinigung von konvexen Gebieten (OR)
23 Perceptron mit 3 Lagen zur Realisierung eines Klassifikators für beliebig linear begrenzte Gebiete (Polyeder) erste Schicht: linear begrenzte Gebiete werden auf Hyperwürfel abgebildet zweite Schicht: Schnittmengen von Halbräumen (Polyeder) werden Booleschen Vektoren zugeordnet (AND) dritte Schicht Vereinigung von konvexen Gebieten (OR) x N W S N s S f y S W S S s S f y S W 3 S 3 S s 3 S 3 f y 3 S 3 b b b 3 N S S S S S 3 S 3 y =f (W xb ) y =f (W y b ) y 3 =f 3 (W 3 y b 3 ) y 3 =f 3 (W 3 f (W f (W xb )b )b 3 )
24 Beispiel: Selektion eines nichtkonvexen Gebietes mit einem dreilagigen Perceptron mit f(s)=sign(s) y 3 =f 3 (W 3 f (W f (W xb )b )b 3 ) Aufgabe: x g g g x - g 4 g 5 g 6 Entwurf der ersten Schicht: Definition der Hyperebenen W w, = w, = 0 g w, w, 0 g = = w = w = 0 g 4 = b = w4, = 0 w4, = g4 4 w5, = 0 w5, = g 5 w6, = 0 w6, = g6 3, 3, 3 w x = w = = 0 z.bsp.: g :, b 0 mit: b
25 Entwurf der zweiten Schicht: Aufgabe: x g g g 3 - G G G x - g 4 g 5 g 6 Entwurf der zweiten Schicht: Abtrennen von Eckpunkten des Hyperwürfels Kennzeichnung der Gebiete: G G G 3 g g g g g g W g g g 3 g 4 g 5 g 6 G 5 = 5 G b = G 3 5 Die Zeilenvektoren von W zeigen genau auf die abzutrennenden Eckpunkte; der Schwellwert hat den Wert N-
26 Entwurf der dritten Schicht: In der dritten Schicht ist die Vereinigungsmenge der Gebiete zu realisieren. Dies geschieht einfach mit einer OR-Verknüpfung. Das bedeutet, dass der Eckpunkt [ ] abgetrennt werden muss. Dies wiederum geschieht mit Hilfe von: W [ ] = b = 3 3
27 Vereinfachter Entwurf der zweiten und dritten Aufgabe: Schicht: Entwurf der zweiten Schicht: Abtrennen von Eckpunkten des Hyperwürfels x g g g 3 - G G G x - g 4 g 5 g 6 Kennzeichnung der Gebiete: die Tabelle enthält don t care -Elemente ( ). Die dazugehörigen Neuronen können unberücksichtigt bleiben (Verbindung auftrennen) g g g g g g F = G G F = G G W g g g 3 g 4 g 5 g F 3 = b = F Die Dimension des reduzierten Würfels beträgt nur N=4 (ohne don t care Elemente!) Die Zeilenvektoren von W zeigen genau auf die abzutrennenden Eckpunkte; der Schwellwert hat den Wert N- des reduzierten Würfels!
28 Vereinfachter Entwurf der dritten Schicht: In der dritten Schicht ist die Vereinigungsmenge der Gebiete zu realisieren. Dies geschieht einfach mit einer OR-Verknüpfung. Das bedeutet, dass der Eckpunkt [ ] abgetrennt werden muss. Dies wiederum geschieht mit Hilfe von: W [ ] = b = 3 3
29 Beispiel für ein nicht linear separierbares Zwei- Klassenproblem (M.T. Hagan, H.B. Demuth, M. Beale Neural Network Design, PWS Publishing Company, Boston, 995) x 3 Klassifikationsproblem Klasse ω Klasse ω x 3 Konvexe Regionen der zweiten Schicht x x x 3 Trennlinien der ersten Schicht x 3 Endgültige Entscheidungsgebiete der dritten Schicht x x
30 W b Beispiel für ein nicht linear separierbares T T Zwei-Klassenproblem Erste Schicht: es werden Geraden zur Abtrennung der Gebiete als Funktion von zwei Eingangsvariablen benötigt! = [ ] = Zweite Schicht: es werden vier konvexe Gebiete selektiert! W = b = Dritte Schicht: W [ ] = b = 3 3 3
31 Beispiel für ein nicht linear separierbares Zwei-Klassenproblem erste Schicht: linear begrenzte Gebiete werden auf Hyperwürfel abgebildet zweite Schicht: Schnittmengen von Halbräumen (Polyeder) werden Boole schen Vektoren zugeordnet (AND) dritte Schicht Vereinigung von konvexen Gebieten (OR) x W s y W 4 s 4 y 4 W 3 4 s 3 y 3 b b b y =sign(w xb ) y =sign(w y b ) y 3 =sign(w 3 y b 3 ) y 3 =sign(w 3 sign(w sign(w xb )b )b 3 )
32 Auf dem Weg zum automatischen Entwurf eines Neuronalen Netzes Die bisher skizzierte Vorgehensweise ist sehr anschaulich und im zweidimensionalen Fall noch intuitiv handhabbar, aber für höherdimensionale Fälle ist sie nicht brauchbar. Alles was wir in der Praxis zur Verfügung haben, sind die Lernstichproben. Benötigt wird ein automatischer Algorithmus, welcher davon ausgehend in einem Lernprozess die optimalen Gewichte des NN automatisch ermittelt. Will man für diese nichtlineare Optimierungsaufgabe iterative Algorithmen einsetzen, so benötigt man differenzierbare Nichtlinearitäten in den Neuronen (die Schwellwertfunktionen sind dafür nur begrenzt geeignet!).
33 Linear separierbare Klassen der Perceptron-Algorithmus Ziel ist, ein Algorithmus zur automatischen Anpassung der unbekannten Gewichtsmatrizen W i eines Perceptrons an ein Klassifikationsproblem, gegeben eine endliche Stichprobe {(x i,ω k )}. Für den Fall linear separierbarer Klassen gab Rosenblatt einen iterativen Algorithmus zur Lösung dieses Problems an. Es wird angenommen, dass eine lineare Trennfläche, definiert durch die Gleichung w* T x=0 für das Zweiklassenproblem existiert, derart dass: T w* x> 0 x ω ω T w* x< 0 x ω Dies schließt auch den Fall ein, dass die Trennfläche nicht wie hier durch den Ursprung läuft, nämlich w* T xb*=0, da dieser durch Erweiterung von x auf die obige Formulierung zurückgeführt werden kann: T T T T x =, b, x w = w T T w x = w x b Linear separierbares Problem w x ω
34 Gelöst wird das Problem durch die Wahl eines geeigneten Gütekriteriums und die Angabe eines Optimierungsalgorithmus. Das zu minimierende Perceptron- Gütemaß sei gegeben durch (Maß für Fehlklassifikation): T J ( w) = ( δ w x) = x Y x mit: δ x = für x ω und: δ = für x ω x wobei Y die Menge der Trainingsvektoren enthält, welche durch die gegebene Hyperfläche falsch klassifiziert werden. Offensichtlich ist obige Summe immer positiv und sie wird Null, wenn Y die leere Menge ist, d.h. alle Elemente richtig zugeordnet werden. Für den Fall eines falsch zugeordneten Vektors x ω erhalten wir mit w T x> 0 und δ x > 0 ein positives Produkt der beiden Terme. Das gleiche gilt für Vektoren der Klasse ω. Das Gütekriterium nimmt seinen Minimalwert Null an, falls alle Stichproben richtig klassifiziert werden. Summe der Beträge der Projektionen der falsch klassifizierten Vektoren auf den Normalenvektor der Trenngeraden w ω x i ω
35 Das Gütemaß ist stetig und stückweise linear. Falls wir den Gewichtsvektor wenig verändern, ändert sich J(w) linear bis zu dem Punkt, wo sich die Zahl der falsch zugeordneten Vektoren ändert. An dieser Stelle ist der Gradient von J nicht definiert und der Gradient von J ist unstetig. Die iterative Minimierung der Kostenfunktion geschieht durch einen Algorithmus, welcher dem Gradientenabstieg ähnlich ist: w J ( w) = w ρ w i i i w= w i Dabei ist w i der Gewichtsvektor für die i-te Iteration und ρ i eine Sequenz von positiven Zahlen. Vorsicht ist geboten an den Unstetigkeitsstellen! Aus dem Gütekriterium ergibt sich: J ( w) w, x = δ xx wegen: = x w x Y w und damit: w = w ρ δ x i i i x x Y Perceptron-Algorithmus
36 Die Iteration ist fortzusetzen bis der Algorithmus konvergiert. Das folgende Bild vermittelt einen Eindruck der Funktionsweise. Es wird angenommen, dass beim Iterationsschritt i nur ein x falsch klassifiziert wird (w T x> 0) und es sei ρ i =0,5. Der Perceptron-Algorithmus korrigiert den Gewichtsvektor in die Richtung von x. Damit dreht sich die Trennlinie und x wird korrekt zugeordnet (w T x> 0). i x i x w i x ρ i x w i
37 In dem folgenden Beispiel wird angenommen, dass wir beim vorletzten Iterationsschritt angekommen sind und lediglich noch zwei Merkmalsvektoren falsch zugeordnet werden: T w [ ] T T [ ] [ ] Trennlinie: x x 0,5 = 0 Gewichtsvektor: = 0,5 Falsch klassifizierte Vektoren: 0,4 0,05-0, 0,75 Mit dem Perceptron-Algorithmus ergibt sich der nächste Gewichtsvektor mit ρ i =0,7 zu: T 0,4 0,,4 wi = wi 0,7( ) 0,05 0,7( ) 0,75 0,5 = 0,5 Die neue Trennlinie:,4 x 0,5x 0,5 = 0 trennt alle Vektoren korrekt. Der Algorithmus terminiert.
38 Eigenschaften des Perceptron-Algorithmus Man kann beweisen, dass der Algorithmus in einer endlichen Anzahl von Iterationen zu einer Lösung konvergiert (bei geeignet gewählten Werten von ρ i, was bei Gradientenalgorithmen immer ein Problem ist), falls die Voraussetzung erfüllt ist, dass die Klassen linear trennbar sind. Die gefundene Lösung ist allerdings nicht eindeutig. Für nicht linear-separierbare Probleme erhält man keine Lösung. Die Korrektur in der Iteration hat immer von Null verschiedene Beiträge und kann somit nicht terminieren. Später werden wir Multilagen-NN kennenlernen, welche beliebige Klassifikationsprobleme (auch nichtlineare) lösen können. Der Backpropagation-Algorithmus kann verwendet werden, um solche Netzwerke zu trainieren.
Neuronale Netze. H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a 1
Kapitel 8 Neuronale Netze H. Burkhardt, Institut für Informatik, Universität Freiburg ME-I, Kap. 8a Ansätze zum Entwurf eines Klassifikators Es gibt zwei prinzipiell unterschiedliche Ansätze zum Entwurf
MehrFakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016
Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online
MehrComputational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20
Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt
MehrPraktische Optimierung
Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze
Mehrund Radiale-Basis-Funktionen-Netzwerke (RBFN) H. Burkhardt, Institut für Informatik, Universität Freiburg ME-II, Kap. 9 1
Kapitel 9 Polynomklassifikator und Radiale-Basis-Funktionen-Netzwerke (RBFN) H. Burkhardt, Institut für Informatik, Universität Freiburg ME-II, Kap. 9 Ansätze zum Entwurf eines Klassifikators Es gibt zwei
MehrFakultät für Informatik Übung zu Kognitive Systeme Sommersemester Lösungsblatt 3 Maschinelles Lernen und Klassifikation
Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Lösungsblatt 3 Maschinelles Lernen und Klassifikation Aufgabe : Zufallsexperiment
MehrKlassifikation linear separierbarer Probleme
Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear
MehrWir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
MehrLineare Klassifikatoren
Lineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 8 1 M. O. Franz 06.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht 1 Nächste-Nachbarn-
MehrNichtlineare Klassifikatoren
Nichtlineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 11 1 M. O. Franz 12.01.2008 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
MehrPerzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004
Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron
MehrNeuronale Netze. Prof. Dr. Rudolf Kruse
Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse Neuronale Netze 1 Überwachtes
MehrOptimal-trennende Hyperebenen und die Support Vector Machine. Volker Tresp
Optimal-trennende Hyperebenen und die Support Vector Machine Volker Tresp 1 (Vapnik s) Optimal-trennende Hyperebenen (Optimal Separating Hyperplanes) Wir betrachten wieder einen linearen Klassifikator
MehrLineare Klassifikatoren. Volker Tresp
Lineare Klassifikatoren Volker Tresp 1 Einführung Lineare Klassifikatoren trennen Klassen durch eine lineare Hyperebene (genauer: affine Menge) In hochdimensionalen Problemen trennt schon eine lineare
MehrMustererkennung. Support Vector Machines. R. Neubecker, WS 2018 / Support Vector Machines
Mustererkennung R. Neubecker, WS 018 / 019 (SVM) kommen aus der statistischen Lerntheorie gehören zu den optimalen Klassifikatoren = SVMs minimieren nicht nur den Trainingsfehler, sondern auch den (voraussichtlichen)
MehrAdaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Neuronale Netze: Neuronen, Perzeptron und Adaline Prof. Dr. rer. nat. Nikolaus Wulff Neuronale Netze Das (menschliche) Gehirn ist ein Musterbeispiel für ein adaptives System, dass sich
MehrDer Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1
Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?
MehrLinear nichtseparable Probleme
Linear nichtseparable Probleme Mustererkennung und Klassifikation, Vorlesung No. 10 1 M. O. Franz 20.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
MehrMustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12
Mustererkennung: Neuronale Netze D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Feed-Forward Netze y 1 y 2 y m...... x 1 x 2 x n Output Schicht i max... Zwischenschicht i... Zwischenschicht 1
MehrFunktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen
5. Klassifikation 5.6 Support Vector Maschines (SVM) übernommen von Stefan Rüping, Katharina Morik, Universität Dortmund Vorlesung Maschinelles Lernen und Data Mining, WS 2002/03 und Katharina Morik, Claus
MehrTeil I. Lineare Optimierung
Teil I Lineare Optimierung 5 Kapitel 1 Grundlagen Definition 1.1 Lineares Optimierungsproblem, lineares Programm. Eine Aufgabenstellung wird lineares Optimierungsproblem oder lineares Programm genannt,
MehrHannah Wester Juan Jose Gonzalez
Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron
MehrKlausur Numerische Mathematik (für Elektrotechniker), 24. Februar 2016
Verständnisfragen-Teil ( Punkte) Jeder der Verständnisfragenblöcke besteht aus Verständnisfragen. Werden alle Fragen in einem Verständnisfragenblock richtig beantwortet, so gibt es für diesen Block Punkte.
Mehr03. Vektoren im R 2, R 3 und R n
03 Vektoren im R 2, R 3 und R n Unter Verwendung eines Koordinatensystems kann jedem Punkt der Ebene umkehrbar eindeutig ein Zahlenpaar (x, y) zugeordnet werden P (x, y) Man nennt x und y die kartesischen
MehrÜberblick. Überblick. Bayessche Entscheidungsregel. A-posteriori-Wahrscheinlichkeit (Beispiel) Wiederholung: Bayes-Klassifikator
Überblick Grundlagen Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes-Klassifikator
Mehr03. Vektoren im R 2, R 3 und R n
03 Vektoren im R 2, R 3 und R n Unter Verwendung eines Koordinatensystems kann jedem Punkt der Ebene umkehrbar eindeutig ein Zahlenpaar (x, y) zugeordnet werden P (x, y) Man nennt x und y die kartesischen
MehrAdaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Mehrere Neuronen, Assoziative Speicher und Mustererkennung Prof. Dr. rer. nat. Nikolaus Wulff Modell eines Neuron x x 2 x 3. y y= k = n w k x k x n Die n binären Eingangssignale x k {,}
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung
MehrMustererkennung. Übersicht. Unüberwachtes Lernen. (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren Gaussian-Mixture Modelle
Mustererkennung Unüberwachtes Lernen R. Neubecker, WS 01 / 01 Übersicht (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren 1 Lernen Überwachtes Lernen Zum Training des Klassifikators
MehrKAPITEL 3. Konvexe Funktionen
KAPITEL 3 Konvexe Funktionen Sei F R n ein Definitionsbereich und f : F R eine Funktion. Unter dem Epigraphen von f versteht man die Menge epif = {(x, z) R n+1 x F, z R, z f(x)}. Man nennt f konvex, wenn
Mehr5. Klassifikation. 5.6 Support Vector Maschines (SVM)
5. Klassifikation 5.6 Support Vector Maschines (SVM) übernommen von Stefan Rüping, Katharina Morik, Universität Dortmund Vorlesung Maschinelles Lernen und Data Mining, WS 2002/03 und Katharina Morik, Claus
MehrWichtige Definitionen und Aussagen
Wichtige Definitionen und Aussagen Zufallsexperiment, Ergebnis, Ereignis: Unter einem Zufallsexperiment verstehen wir einen Vorgang, dessen Ausgänge sich nicht vorhersagen lassen Die möglichen Ausgänge
MehrPerzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg
Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)
MehrSignalentdeckungstheorie, Dichteschätzung
Signalentdeckungstheorie, Dichteschätzung Mustererkennung und Klassifikation, Vorlesung No. 6 1 M. O. Franz 15.11.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001.
MehrBlatt 10 Lösungshinweise
Lineare Algebra und Geometrie I SS 05 Akad. Rätin Dr. Cynthia Hog-Angeloni Dr. Anton Malevich Blatt 0 Lösungshinweise 0 0 Aufgabe 0. Es seien die Vektoren u =, v = und w = in R gegeben. a # Finden Sie
MehrOptimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum
MehrÜberblick. Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung
Grundlagen Überblick Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes-Klassifikator
Mehr5 Lineare Algebra (Teil 3): Skalarprodukt
5 Lineare Algebra (Teil 3): Skalarprodukt Der Begriff der linearen Abhängigkeit ermöglicht die Definition, wann zwei Vektoren parallel sind und wann drei Vektoren in einer Ebene liegen. Daß aber reale
MehrVorlesung Wissensentdeckung
Vorlesung Wissensentdeckung Stützvektormethode Katharina Morik, Uwe Ligges 10.6.2010 1 von 40 Gliederung 1 Hinführungen zur SVM 2 Maximum Margin Methode Lagrange-Optimierung 3 Weich trennende SVM 2 von
MehrHolomorphe Funktionen
1 Kapitel 1 Holomorphe Funktionen 1 Komplexe Differenzierbarkeit Ist z = (z 1,..., z n ) ein Element des C n und z ν = x ν + i y ν, so können wir auch schreiben: z = x + i y, mit x = (x 1,..., x n ) und
MehrKurzskript zur Vorlesung Mathematik I für MB, WI/MB und andere Prof. Dr. Ulrich Reif
14 Oktober 2008 1 Kurzskript zur Vorlesung Mathematik I für MB, WI/MB und andere Prof Dr Ulrich Reif Inhalt: 1 Vektorrechnung 2 Lineare Gleichungssysteme 3 Matrizenrechnung 4 Lineare Abbildungen 5 Eigenwerte
MehrMustererkennung. Bayes-Klassifikator. R. Neubecker, WS 2016 / Bayes-Klassifikator
Mustererkennung Bayes-Klassifikator R. Neubecker, WS 2016 / 2017 Bayes-Klassifikator 2 Kontext Ziel: Optimaler Klassifikator ( = minimaler Klassifikationsfehler), basierend auf Wahrscheinlichkeitsverteilungen
MehrLineare Regression. Volker Tresp
Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M
MehrMathematik für Naturwissenschaftler II SS 2010
Mathematik für Naturwissenschaftler II SS 2010 Lektion 8 18. Mai 2010 Kapitel 8. Vektoren (Fortsetzung) Lineare Unabhängigkeit (Fortsetzung) Basis und Dimension Definition 80. (Lineare (Un-)Abhängigkeit)
MehrLernstrategien für Neuronale Netze - Der Backpropagation-Algorithmus
Lernstrategien für Neuronale Netze - Der Backpropagation-Algorithmus Im Unterschied zu den bisher behandelten NNs mit Schwellwertfunktionen sind die NNe mit stetig differenzierbaren nichtlinearen Aktivierungsfunktionen
MehrVorlesung Wissensentdeckung
Gliederung Vorlesung Wissensentdeckung Stützvektormethode 1 Hinführungen zur SVM Katharina Morik, Claus Weihs 26.5.2009 2 Maximum Margin Methode Lagrange-Optimierung 3 Weich trennende SVM 1 von 40 2 von
MehrProseminar Neuronale Netze Frühjahr 2004
Proseminar Neuronale Netze Frühjahr 2004 Titel: Perzeptron Autor: Julia Grebneva, jg7@informatik.uni-ulm.de Einleitung In vielen Gebieten der Wirtschaft und Forschung, stellen sich oftmals Probleme, die
MehrDie Datenmatrix für Überwachtes Lernen
Die Datenmatrix für Überwachtes Lernen X j j-te Eingangsvariable X = (X 0,..., X M 1 ) T Vektor von Eingangsvariablen M Anzahl der Eingangsvariablen N Anzahl der Datenpunkte Y Ausgangsvariable x i = (x
MehrKonzepte der AI Neuronale Netze
Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale
Mehr7. Vorlesung Neuronale Netze
Soft Control (AT 3, RMA) 7. Vorlesung Neuronale Netze Grundlagen 7. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
MehrNeuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.
Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen
MehrDonnerstag, 11. Dezember 03 Satz 2.2 Der Name Unterraum ist gerechtfertigt, denn jeder Unterraum U von V ist bzgl.
Unterräume und Lineare Hülle 59 3. Unterräume und Lineare Hülle Definition.1 Eine Teilmenge U eines R-Vektorraums V heißt von V, wenn gilt: Unterraum (U 1) 0 U. (U ) U + U U, d.h. x, y U x + y U. (U )
MehrDer Begriff der konvexen Menge ist bereits aus Definition 1.4, Teil I, bekannt.
Kapitel 3 Konvexität 3.1 Konvexe Mengen Der Begriff der konvexen Menge ist bereits aus Definition 1.4, Teil I, bekannt. Definition 3.1 Konvexer Kegel. Eine Menge Ω R n heißt konvexer Kegel, wenn mit x
MehrKapitel II. Vektorräume
Inhalt der Vorlesung LAAG I Prof. Dr. Arno Fehm TU Dresden WS2017/18 Kapitel II. Vektorräume In diesem ganzen Kapitel sei K ein Körper. 1 Definition und Beispiele 1.1 Beispiel. Ist K = R, so haben wir
Mehrx, y 2 f(x)g(x) dµ(x). Es ist leicht nachzuprüfen, dass die x 2 setzen. Dann liefert (5.1) n=1 x ny n bzw. f, g = Ω
5. Hilberträume Definition 5.1. Sei H ein komplexer Vektorraum. Eine Abbildung, : H H C heißt Skalarprodukt (oder inneres Produkt) auf H, wenn für alle x, y, z H, α C 1) x, x 0 und x, x = 0 x = 0; ) x,
MehrNeuronale Netze (Konnektionismus)
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
Mehr53 Die Parsevalsche Gleichung
53 Die Parsevalsche Gleichung 53 Die Parsevalsche Gleichung 5 53. Skalarprodukte auf Räumen quadratintegrierbarer Funktionen. a) Die Orthogonalitätsrelationen (5.5) legen die Interpretation des Ausdrucks
Mehr13 Mehrdimensionale Zufallsvariablen Zufallsvektoren
3 Mehrdimensionale Zufallsvariablen Zufallsvektoren Bisher haben wir uns ausschließlich mit Zufallsexperimenten beschäftigt, bei denen die Beobachtung eines einzigen Merkmals im Vordergrund stand. In diesem
MehrSchwellenwertelemente. Rudolf Kruse Neuronale Netze 8
Schwellenwertelemente Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine Verarbeitungseinheit für Zahlen mitneingängenx,...,x n und einem
MehrKapitel VI. Euklidische Geometrie
Kapitel VI. Euklidische Geometrie 1 Abstände und Lote Wiederholung aus Kapitel IV. Wir versehen R n mit dem Standard Skalarprodukt x 1 y 1.,. := x 1 y 1 +... + x n y n x n y n Es gilt für u, v, w R n und
MehrWas bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen
Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise
Mehr6.6. Abstandsbestimmungen
6.6. Abstandsbestimmungen 6. Geraden und Ebenen im Raum In diesem Kapitel werden folgende Fälle vorgestellt:. Abstand zweier Punkte. Abstand zweier paralleler Geraden 3. Abstand einer Ebene zu einer zur
Mehr1 Einleitung Definitionen, Begriffe Grundsätzliche Vorgehensweise... 3
Inhaltsverzeichnis 1 Einleitung 1 1.1 Definitionen, Begriffe........................... 1 1.2 Grundsätzliche Vorgehensweise.................... 3 2 Intuitive Klassifikation 6 2.1 Abstandsmessung zur Klassifikation..................
MehrÜberwachtes Lernen / Support Vector Machines. Rudolf Kruse Neuronale Netze 246
Überwachtes Lernen / Support Vector Machines Rudolf Kruse Neuronale Netze 246 Überwachtes Lernen, Diagnosesystem für Krankheiten Trainingsdaten: Expressionsprofile von Patienten mit bekannter Diagnose
MehrVortrag 20: Kurze Vektoren in Gittern
Seminar: Wie genau ist ungefähr Vortrag 20: Kurze Vektoren in Gittern Kerstin Bauer Sommerakademie Görlitz, 2007 Definition und Problembeschreibung Definition: Gitter Seien b 1,,b k Q n. Dann heißt die
MehrStatistical Learning
Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in
Mehr2.2 Kollineare und koplanare Vektoren
. Kollineare und koplanare Vektoren Wie wir schon gelernt haben, können wir einen Vektor durch Multiplikation mit einem Skalar verlängern oder verkürzen. In Abbildung 9 haben u und v die gleiche Richtung,
Mehr5 Vektorräume. (V1) für alle x, y V : x + y = y + x; (V2) für alle x, y, z V : (x + y) + z = x + (y + z);
5 Vektorräume Was wir in den vorangegangenen Kapiteln an Matrizen und Vektoren gesehen haben, wollen wir nun mathematisch abstrahieren. Das führt auf den Begriff des Vektorraumes, den zentralen Begriff
MehrÜbungen p-adische Zahlen
Blatt 1 Aufgabe 1. Berechnen Sie die ersten fünf Ziffern a 0,..., a 4 der ganzen p- adischen Zahl 1 + p + p 2 = a i p i Z p, p 1 i 0 für die Primzahlen p = 2, 3, 5. Aufgabe 2. Sei a = i 0 a ip i Z p eine
MehrGeometrie. Ingo Blechschmidt. 4. März 2007
Geometrie Ingo Blechschmidt 4. März 2007 Inhaltsverzeichnis 1 Geometrie 2 1.1 Geraden.......................... 2 1.1.1 Ursprungsgeraden in der x 1 x 2 -Ebene.... 2 1.1.2 Ursprungsgeraden im Raum..........
MehrMehrdimensionale Zufallsvariablen
Mehrdimensionale Zufallsvariablen Im Folgenden Beschränkung auf den diskreten Fall und zweidimensionale Zufallsvariablen. Vorstellung: Auswerten eines mehrdimensionalen Merkmals ( ) X Ỹ also z.b. ω Ω,
MehrAlgebra und Zahlentheorie WS 13/14
Algebra und Zahlentheorie WS 13/14 FU Berlin David Müßig http://page.mi.fu-berlin.de/def/auz14/ muessig@mi.fu-berlin.de 21.01.2014 1 Hintergrund: Basen & Vektorräume 1.1 Grundlegende Begriffe Da einige
MehrInhalt. Mathematik für Chemiker II Lineare Algebra. Vorlesung im Sommersemester Kurt Frischmuth. Rostock, April Juli 2015
Inhalt Mathematik für Chemiker II Lineare Algebra Vorlesung im Sommersemester 5 Rostock, April Juli 5 Vektoren und Matrizen Abbildungen 3 Gleichungssysteme 4 Eigenwerte 5 Funktionen mehrerer Variabler
MehrWenn PCA in der Gesichtserkennung eingesetzt wird heißen die Eigenvektoren oft: Eigenfaces
EFME-Zusammenfassusng WS11 Kurze Fragen: Wenn PCA in der Gesichtserkennung eingesetzt wird heißen die Eigenvektoren oft: Eigenfaces Unter welcher Bedingung konvergiert der Online Perceptron Algorithmus?
MehrElemente der Analysis II
Elemente der Analysis II Informationen zur Vorlesung: http://www.mathematik.uni-trier.de/ wengenroth/ J. Wengenroth () 8. Mai 2009 1 / 29 Bemerkung In der Vorlesung Elemente der Analysis I wurden Funktionen
MehrInexakte Newton Verfahren
Kapitel 3 Inexakte Newton Verfahren 3.1 Idee inexakter Newton Verfahren Wir betrachten weiterhin das nichtlineare Gleichungssystem F (x) = mit einer zumindest stetig differenzierbaren Funktion F : R n
Mehr3 Vektorräume abstrakt
Mathematik I für inf/swt Wintersemester / Seite 7 Vektorräume abstrakt Lineare Unabhängigkeit Definition: Sei V Vektorraum W V Dann heißt W := LH(W := Menge aller Linearkombinationen aus W die lineare
MehrDidaktik der Analysis und der Analytischen Geometrie/ Linearen Algebra
A. Filler[-3mm] Didaktik der Analysis und der Analytischen Geometrie/ Linearen Algebra, Teil 8 Folie 1 /27 Didaktik der Analysis und der Analytischen Geometrie/ Linearen Algebra 8. Das Skalarprodukt, metrische
MehrLernstrategien für Neuronale Netze - Der Backpropagation-Algorithmus
Lernstrategien für Neuronale Netze - Der Backpropagation-Algorithmus Im Unterschied zu den bisher behandelten NNs mit Schwellwertfunktionen sind die NNs mit stetig differenzierbaren nichtlinearen Aktivierungsfunktionen
MehrProseminar über multimediale Lineare Algebra und Analytische Geometrie
Proseminar über multimediale Lineare Algebra und Analytische Geometrie Aufgabensteller: Dr. M. Kaplan Josef Lichtinger Montag, 1. Dezember 008 Proseminar WS0809 Inhaltsverzeichnis 1 Aufgabenstellung 3
MehrLineare Optimierung und Simplex-Algorithmus
Lineare Optimierung und Simplex-Algorithmus Problemstellung Beispiel : Unser Unternehmen verfügt über drei Maschinen A, B, C, mit denen zwei verschiedene Produkte P, P2 hergestellt werden. Die Maschinen
Mehr00. Einiges zum Vektorraum R n
00. Einiges zum Vektorraum R n In diesem einleitenden Kapitel werden die in der LV Einführung in die mathematischen Methoden erwähnten Konzepte über Vektoren (im R 2 und R 3 ) im Rahmen des n-dimensionalen
Mehr12. Trennungssätze für konvexe Mengen 83
12. Trennungssätze für konvexe Mengen 83 C_1 C_2 a Abbildung 12.4. Trennung konvexer Mengen durch eine Hyperebene mit Normalenvektor a Dann ist int(c) nicht leer (warum?) und [als Minkowski-Summe von C
MehrDas Perzeptron. Volker Tresp
Das Perzeptron Volker Tresp 1 Einführung Das Perzeptron war eines der ersten ernstzunehmenden Lernmaschinen Die wichtigsten Elemente Sammlung und Vorverarbeitung der Trainingsdaten Wahl einer Klasse von
Mehr, v 3 = und v 4 =, v 2 = V 1 = { c v 1 c R }.
154 e Gegeben sind die Vektoren v 1 = ( 10 1, v = ( 10 1. Sei V 1 = v 1 der von v 1 aufgespannte Vektorraum in R 3. 1 Dann besteht V 1 aus allen Vielfachen von v 1, V 1 = { c v 1 c R }. ( 0 ( 01, v 3 =
MehrTeil II. Geometrie 19
Teil II. Geometrie 9 5. Dreidimensionales Koordinatensystem Im dreidimensionalen Koordinatensystem gibt es acht Oktanten, oben I bis VI und unten VI bis VIII. Die Koordinatenachsen,x 2 und stehen jeweils
MehrKAPITEL 5. Damit wird F n (B) selbst zu einer Booleschen Algebra und es gilt f(x) := f(x) 0(x) := 0 B 1(x) := 1 B
KAPITEL 5 Boolesche Polynome Polynome über R, d.h. reelle Funktionen der Form p(x) = a 0 + a 1 x + + a n x n, x R, sind schon aus der Schulmathematik bekannt. Wir beschäftigen uns nun mit Booleschen Polynomen,
Mehr13 Grenzwertsätze Das Gesetz der großen Zahlen
13 Grenzwertsätze 13.1 Das Gesetz der großen Zahlen Der Erwartungswert einer zufälligen Variablen X ist in der Praxis meist nicht bekannt. Um ihn zu bestimmen, sammelt man Beobachtungen X 1,X 2,...,X n
Mehr4.1. Vektorräume und lineare Abbildungen
4.1. Vektorräume und lineare Abbildungen Mengen von Abbildungen Für beliebige Mengen X und Y bezeichnet Y X die Menge aller Abbildungen von X nach Y (Reihenfolge beachten!) Die Bezeichnungsweise erklärt
MehrKonvexe Optimierungsprobleme
von: Veronika Kühl 1 Konvexe Optimierungsprobleme Betrachtet werden Probleme der Form (P) min x C f(x) wobei f : C R eine auf C konvexe, aber nicht notwendigerweise differenzierbare Funktion ist. Ziel
Mehr1. Lineare Optimierungsaufgaben (LOA) als Teilklasse konvexer Optimierungsprobleme. f(x) min, x G (1.1) (Legende)
. Lineare Optimierungsaufgaben (LOA) als Teilklasse konvexer Optimierungsprobleme X Banachraum, wobei X = R n G zulässige Menge des Optimierungsproblems f: G R Zielfunktion f(x) min, x G (.) (Legende)
MehrPraktikum Simulationstechnik Rene Schneider, Benjamin Zaiser
Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser 11.11.2008 CSM Master: Praktikum Simulationstechnik, rs034, bz003 2 Befehlsübersicht Begriffsdefinition / Neuronale Netze: / / 11.11.2008 CSM
MehrLösungen zur Prüfung Lineare Algebra I/II für D-MAVT
Prof. N. Hungerbühler ETH Zürich, Winter 6 Lösungen zur Prüfung Lineare Algebra I/II für D-MAVT. Hinweise zur Bewertung: Jede Aussage ist entweder wahr oder falsch; machen Sie ein Kreuzchen in das entsprechende
MehrVektoren, Vektorräume
Vektoren, Vektorräume Roman Wienands Sommersemester 2010 Mathematisches Institut der Universität zu Köln Roman Wienands (Universität zu Köln) Mathematik II für Studierende der Chemie Sommersemester 2010
Mehrk-nächste-nachbarn-schätzung
k-nächste-nachbarn-schätzung Mustererkennung und Klassifikation, Vorlesung No. 7 1 M. O. Franz 29.11.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
Mehr