10. Neuronale Netze 1
|
|
- Helga Fried
- vor 5 Jahren
- Abrufe
Transkript
1 10. Neuronale Netze 1
2 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form die Vorgänge im biologischen Vorbild, unserem Gehirn, nachahmen. Wichtige Eigenschaften sind: Lernfähigkeit, Parallelität, Verteilte Wissensrepräsentation, Hohe Fehlertoleranz, Assoziative Speicherung, Robustheit gegen Störungen oder verrauschten Daten, 2
3 Einführung (2) Der Preis für diese Eigenschaften ist: Wissenserwerb ist nur durch Lernen möglich. Logisches (sequenzielles) Schließen ist schwer. Sie sind oft langsam und nicht immer erfolgreich beim Lernen. Aus diesem Grunde werden Neuronale Netze nur dort angewandt, wo genügend Zeit für ein Lernen zur Verfügung steht. Sie stehen in Konkurrenz z.b. zu Vektorraum-Modellen oder probabilistischen Modellen. Es gibt viele fertige Softwarepakete für Neuronale Netze, siehe z.b. Liste unter 3
4 Einführung (3) Ein Neuronales Netz besteht aus verbundenen Neuronen (ca Neuronen bei einem Menschen mit ca Verbindungen). Abbildung aus Wikipedia: de.wikipedia.org/wiki/neuronales Netz 4
5 Einführung (4) Ein Neuron hat Dendriten, die die Eingaben einsammeln Soma, der Zellkörper Axon, welches die Ausgabe der Zelle weiterleitet, sich verzweigt und mit den Dendriten nachfolgender Neuronen über Synapsen in Kontakt tritt. Synapsen schütten Neurotransmitter aus, die anregend oder dämpfend wirken. 5
6 Einführung (5) Ein Modell eines Neurons: Eingabe X 1 ω 1j Übertragungsfunktion Aktivierungsfunktion Ausgabefunktion Ausgabe X i ω ij f prop net f act a f out o j j j X n ω nj Schwellwert Gewichte Die Ausgabe führt zur Ausschüttung von Neurotransmittern und damit zu einer Eingabe der nachfolgenden Zellen bzw. Neuronen. In den Aktivitäten der Neuronen ist die Information codiert. 6
7 Einführung (6) Vereinfacht: Ein Neuron i mit n Eingängen (Dendriten) bekommt einen Gesamtinput von net i und erhält damit einem Aktivitätswert a i. Daraus folgt ein Ausgangswert o i (Axon), der über eine synaptische Koppelung w i,j an das Neuron j koppelt. net i a i net j o w i i,j o a j j Neuronale Netze waren für längere Zeit auf Grund der Lernprobleme aus der Mode gekommen. Seit ca erleben neuronale Netzwerke eine Wiedergeburt, da sie bei herausfordernden Anwendungen oft bessere Ergebnisse als konkurrierende Verfahren liefern. 7
8 Einführung (7) Eine andere Sichtweise auf Neuronale Netze besteht darin, dass es sich schlicht und einfach um eine Darstellung eines Rechengraphen handelt, bei dem sich auf bestimmte Operationen beschränkt wurde, die anschließend nicht explizit notiert wurden. Zwei Beispiele von Rechengraphen x z x y a dot o + σ b x y z 8
9 Einführung (8) 1. Klassische künstliche Neuronale Netze Grundlage sind biologische Neuronen, jedoch in einer starken Vereinfachung, so dass sie mathematisch einfach und schnell zu behandeln sind. Heute werden sogenannte tiefe Netze (deep neural networks) verwendet, bei denen Neuronen über viele Schichten verbunden sind (siehe z.b. Sie werden z.b. von Google, Apple, Facebook, NSA, BND und vielen anderen verwendet z.b. zur Bild- und Spracherkennung, in der Robotik, für Optimierungsprobleme usw. Fast täglich gibt es neue Meldungen über neue Anwendungen. 9
10 Einführung (9) Anwendungsgebiete nach Wikipedia (Stand 2016): Regelung und Analyse von komplexen Prozessen Frühwarnsysteme Optimierung Zeitreihenanalyse (Wetter, Aktien etc.) Sprachgenerierung Bildverarbeitung und Mustererkennung * Schrifterkennung (OCR), Spracherkennung, Data-Mining Informatik: Bei Robotik, virtuellen Agenten und KI-Modulen in Spielen und Simulationen. Medizinische Diagnostik, Epidemiologie und Biometrie Klangsynthese Strukturgleichungsmodell zum Modellieren von sozialen oder betriebswirtschaftlichen Zusammenhängen 10
11 Einführung (10) Weitere aktuelle Anwendungsbeispiele (2016) Mit zwei tiefen Netzen, eins für die Vorhersage guter Züge und eins für den Wert einer Stellung, ist es im März 2016 gelungen, einen Go-Meister zu schlagen. Hardware: 1202 CPUs mit 176 GPUs. Facebook sagt, das neue System Deep Text versteht Texte genauso gut wie Menschen. Google Photo oder die Translater-App, auf Clustern trainiert, laufen jetzt auf dem Smartphone. Immer mehr Firmen entwickeln Empathiemodule. Google hat gerade für Neuronale Netze eine Tensor Processing Unit (TPU) entwickelt. In der MKL (Mathematical Kernel Library) von Intel gibt es jetzt ein Modul DNN (Deep Neural Network). 11
12 Einführung (11) 2. Neuronale Netze, nahe an der Biologie Größtes Beispiel in der EU: Das Human Brain Project Gestartet in 2013, Fördersumme 1,2 Milliarden Euro 6 Segmente: Neuroinformatik, Medizinische Informatik, Gehirnsimulation, Supercomputing, Neuronales Rechnen und Neurorobotik. Beispiel BrainScaleS-System, Heidelberg. 20 Silizium-Wafer mit je knapp Neuronen, ca. 58 Millionen Synapsen. 12
13 Einführung (12) Beispiel SpiNNaker-Projekt, Manchester Arm9-Kerne Jeder Kern simuliert Neuronen und 6 Synapsen. In Betriebnahme Parallele Kommunikationsarchitektur, dem Gehirns nachgebildet. Der Computer verteilt Millionen kleiner Informationspakete gleichzeitig. Unabhängig von diesem Projekt gibt es jede Menge kleine Arbeiten, z.b. unsere hier. Im folgenden werden diese Projekte nicht weiter betrachtet. 13
14 Mathematisches Modell (1) Mathematisches Modell von neuronalen Netzen Die klassischen künstlichen Neuronalen Netze vereinfachen das biologische Vorbild so stark, dass viele biologische Eigenschaften verloren gehen, aber die Grundidee erhalten bleibt und eine schnelle Berechnung möglich ist. Mathematisch heißt das, der Weg von der Eingabe eines Neurons zur Eingabe des damit verbundenen Neurons wird durch sehr einfache Funktionen beschrieben. 14
15 Mathematisches Modell (2) Ein künstliches neuronales Netz besteht aus folgenden Komponenten 1. Neuronen mit einem Aktivierungszustand a i (t) zum Zeitpunkt t. 2. Eine Aktivierungsfunktion f act, die angibt, wie sich die Aktivierung in Abhängigkeit der alten Aktivierung a i (t), des Inputs net i und eines Schwellwerts Θ i mit der Zeit ändert. a i (t+1) = f act (a i (t),net i (t),θ i ). 3. Eine Ausgabefunktion f out, die aus der Aktivierung des Neurons den Output berechnet o i = f out (a i ). 15
16 Mathematisches Modell (3) 4. Ein Verbindungsnetzwerk mit den Koppelungen w i,j (Gewichtsmatrix). 5. Eine Propagierungsfunktion, die angibt, wie sich die Netzeingabe aus den Ausgaben der anderen Neuronen berechnet, meist einfach net j (t) = i o i (t)w i,j 6. Eine Lernregel, die angibt, wie aus einer vorgegebenen Eingabe eine gewünschte Ausgabe produziert wird. Dies erfolgt meist über eine Modifikation der Stärke der Verbindungen als Ergebnis wiederholter Präsentation von Trainingsmustern. Auf diese Weise werden die Zustände geändert, bis ein stabiler (und hoffentlich erwünschter) Endzustand eintritt, welcher in gewisser Weise das Ergebnis der Berechnungen eines neuronales Netzes darstellt. 16
17 Mathematisches Modell (4) In vielen Anwendungen wird die Zeitabhängigkeit, z.b. bei der Objekterkennung weggelassen und es werden ganz einfache Funktionen verwendet: Die Ausgabefunktion ist einfach Propagierungsfunktion lautet o j = f out (a j ) = a j net j = i o i w i,j Die Ausgabe berechnet sich dann über o j = a j = f act (net j,θ j ) 17
18 wobei für f act eine Stufenfunktion, der Tangens Hyperbolicus, die logistische Funktion oder zur Zeit besonders die ReLU-Funktion (rectified linear unit) populär sind.
19 Mathematisches Modell (5) Stufenfunktion: o j = f act (net j,θ j ) == { 1 falls netj Θ j 0 sonst Tangens Hyperbolicus o i = tanh(c(net i Θ i )). Logistische Funktion oder Sigmoidfunktion o i = 1/(1+exp( c(net i Θ i ))) Die Konstante c beeinflusst die Steigung der Funktionen. 18
20 Mathematisches Modell (6) Aktivierungsfunktionen Stufenfunktion Tangens Hyperbolicus Logistische Funktion 0.5 output input Hier wurde c = 5 und Θ = 1 verwendet. Meist wird aber c = 1 gesetzt. 19
21 Mathematisches Modell (7) Die ReLU-Funktion, oder leaky ReLU-Funktion ist einfach Aktivierungsfunktion Leaky ReLU f(x) = x if x > 0 a otherwise output input Hier wurde a = 0.02 und Θ = 0 verwendet. Die Funktion ist absolut unbiologisch, aber sie funktioniert häufig sehr gut, z.b. bei Netzen zur Objekterkennung, und ist extrem schnell zu berechnen! 20
22 Mathematisches Modell (8) Beispiel: Ein nettes kleines bekanntes Netz mit wenigen Verbindungen und welches im Kopf nachzurechnen ist, ist das XOR-Netzwerk mit 4 Neuronen. n n Die Neuronen beinhalten die Schwellwerte, die Verbindungen sind mit den Gewichten beschriftet. n1 n2 Als Aktivitätsfunktion bzw. für die Ausgabe wird eine Stufenfunktion gewählt 21
23 Mathematisches Modell (9) Weiterhin wird die standardmäßige Propagierungsfunktion verwendet net j = i o i w i,j also gilt o j = { 1 falls io i w i,j Θ j 0 sonst. Aus der folgenden Tabelle ist die Funktionsweise des Netzes ersichtlich: o 1 o 2 net 3 Θ 3 o 3 net 4 Θ 4 o
24 Mathematisches Modell (10) Beschränkt man sich auf ebenenweise verbundene feedforward-netze, so wird für die XOR-Funktion ein weiterer verdeckter Knoten benötigt. n n3 0.5 n n1 n2 Eine kleine Übungsaufgabe: Wie sieht die zugehörige Tabelle von Eingabe zur Ausgabe aus? 23
25 Mathematisches Modell (11) Eingabeschicht: o 1,o 2 Aktivierungsfunktion: tanh(x) net 1 = o 1 w 11 +o 2 w 21 +Θ 1 n_o w_1o θ_ο net 2 = o 1 w 12 +o 2 w 22 +Θ 2 o 1 = tanh(net 1) n_1 θ_1 n_2 o 2 = tanh(net 2) net o = o 1 w 1o +o 2 w w_11 2o +Θ o o o = tanh(net o ) n_1 n_2 w_2o θ_2 w_12 w_21 w_22 Insgesamt ergibt sich die Funktion o o = tanh( ( tanh(o 1 w 11 +o 2 w 21 +Θ 1 ) w 1o + ( tanh(o 1 w 12 +o 2 w 22 +Θ 2 ) w 2o + Θ o Aufgabe des Lernens : Bestimmung der 9 Parameter w 11,w 12,w 21,w 22, w 1o,w 2o,Θ 1,Θ 2,Θ o, so dass sich für alle möglichen Werten o 1,o 2 die gewünschten o o ergeben. 24
26 Darstellung von neuronalen Netzen (1) Ein neuronales Netz ist ein Graph mit Kanten und Knoten. Neuronen bzw. Zellen sind aktive Knoten oder Berechnungseinheiten, die lokal auf Eingaben reagieren und Ausgaben produzieren, die über die Kanten weiter gegeben werden. Eine andere Darstellung besteht aus Matrizen oder allgemeiner aus Feldern mit mehreren Indices oder Tensoren: Verbindungsmatrix w[ebene][ausgangsneuron][eingangsneuron] Schwellwertmatrix Θ[Ebene][N euron] Eingangsmatrix net[[ebene][n euron] Rechnungen erfolgen durch Neuberechnung der Ausgabematrix o[ebene][n euron]. Oft kommt bei ein weiterer Index für das Eingabemuster hinzu. 25
27 Darstellung von neuronalen Netzen (2) Tensoren: Tensoren sind Größen aus der linearen Algebra, um Objekte aus der linearen Algebra in ein einheitliches Schema einzuordnen. Tensoren haben Indizes. Die Anzahl der Indizes gibt den Rang oder die Stufe des Tensors an. Tensoren nullter Stufe sind Skalare Tensoren erster Stufe sind Vektoren Tensoren zweiter Stufe sind Matrizen Neuronale Netze werden durch Tensoren beschrieben, deshalb nennt Google seine Softwarebibliothek Tensorflow und seinen Spezialprozessor Tensorprozessor. Arten von Verbindungsnetzwerken: Je nach Netztopologie und der Art der Verarbeitung der Aktivitätswerte werden verschiedene neuronale Netze unterschieden. 26
28 Darstellung von neuronalen Netzen (3) Eine Einteilung nach Rückkopplung: 1. Netze ohne Rückkopplung (feedforward-netze), Ebenenweise verbundene feedforward-netze Allgemeine feedforward-netze 2. Netze mit Rückkopplung, Netze mit direkter Rückkopplung (direct feedback, zurück zu Eingabeknoten), Netze mit indirekter Rückkopplung (indirect feedback, zurück zu Zwischenknoten), Netze mit Rückkopplung innerhalb einer Schicht (lateral feedback), Vollständig verbundene Netze (lateral feedback). 27
29 Darstellung von neuronalen Netzen (4) 2 Beispiel-Topologien und ihre Verbindungsmatrizen: feedforward, ebenenweise verbunden 1 2 vollständig verbunden, ohne direkte Rückkopplung 28
30 Darstellung von neuronalen Netzen (5) Zwei zur Zeit häufig angewendete Architekturen Feedforward Networks (FFN), meist in der Form sogenannter Multilayer Perceptrons (MLP) oder in der Form von Convolution Neural Networks (CNN) (Faltungsnetze, überlappende Teilbereiche), z.b. in der Bildverarbeitung. Rekurrent Neuronal Networks (RNN), also solche mit Rückwärtsverbindungen, z.b. in der Form von Long Short Term Memory Networks (LSTM) für handgeschriebene Texte oder in der Spracherkennung. Diese Architekturen und deren Anwendung werden in den letzten Jahren fast überall diskutiert, z.b. seit ein paar Jahren auch in Zeitschriften wie C t 29
31 Darstellung von neuronalen Netzen (6) Beispiel eines feedforward Netzes, ein multiplayer Perceptron für eine Klassifizierung: Eingabe x 1 ω 11 x i ω 1i Ausgabe o 1 Eingabe z.b. Pixel eines Bildes (Gesicht, Zahl, Tier... x n ω 1n o m Ausgabe ein Neuron pro Name, pro Zahl, Art des Tiers... 30
32 Darstellung von neuronalen Netzen (7) Das Schöne an einem solchen Netz ist folgendes: Wenn die Parameter, also die Gewichte w i,j und die Schwellwerte Θ i gut bestimmt wurden, gilt: kleine Änderungen des Netzes (Verbindungen defekt) oder kleine Eingabeänderungen (Bild verrauscht) kleine Änderung der Ausgabewerte Bild wird höchst wahrscheinlich trotzdem erkannt, da das gleiche Neuron den größten Wert haben wird. 31
33 Lernen (1) Wie werden gute Parameter bestimmt oder woher weiß ein Netz, welches Neuron bei welchem Bild aktiv sein soll? Mögliche Arten des Lernens 1. Entwicklung neuer Verbindungen 2. Löschen existierender Verbindungen 3. Modifikation der Stärke von Verbindungen 4. Modifikation der Schwellwerte der Neuronen 5. Modifikation der Aktivierungs-, Propagierungs- oder Ausgabefunktion 6. Entwicklung neuer Neuronen 7. Löschen von Neuronen 32
34 Lernen (2) Lernverfahren Meist wird die Modifikation der Stärke von Verbindungen w i,j verwendet, da diese Verfahren am einfachsten sind und die Entwicklung bzw. das Löschen von Verbindungen mit eingeschlossen werden kann. Prinzipiell werden 3 Arten von Lernverfahren unterschieden: 1. Überwachtes Lernen, bei dem einem Netzwerk zu einem Input ein gewünschter Output gegeben wird, nach dem es sich einstellt. 2. Bestärkendes Lernen, bei dem zu einem Input die Information, ob der Output richtig oder falsch ist, in das Netz zurückgegeben wird. 3. Unüberwachtes Lernen, bei dem sich das Netz selbst organisiert. Am häufigsten ist das überwachte Lernen. Von den verschiedenen Lernmethoden wird hier nur das klassische Backpropagation-Verfahren vorgestellt. 33
35 Lernen (3) Hebbsche Lernregel Die einfachste Lernregel, die heute noch Grundlage der meisten Lernregeln ist, wurde 1949 von Donald O.Hebb entwickelt. Wenn Neuron j eine Eingabe von Neuron i erhält und beide gleichzeitig stark aktiviert sind, dann erhöhe das Gewicht w ij, die Stärke der Verbindung von i nach j. w ij = ηo i a j Die Konstante η wird als Lernrate bezeichnet. Verallgemeinert lautet die Hebbsche Regel w ij = ηh(o i,w ij )g(a j,t j ) t j ist die erwartete Aktivierung (teaching input), ein Parameter der Funktion g. Fast alle Lernregeln sind Spezialisierungen der Funktionen h und g. 34
36 Perzeptron (1) Im folgenden werden wir uns aus Zeitgründen nur eine Art von Netz mit einer Lernregel genauer ansehen, ein feedforward Netz in der Art des multiplayer Perzeptrons mit der Backpropagation-Lernregel. Ursprung hat das Perzeptron aus der Analogie zum Auge, bei dem die Retina die Input-Neuronen beinhaltet, von der über eine Zwischenschicht eine Klassifikation der einzelnen Bilder in der Ausgabeschicht erfolgt. Dementsprechend werden solche Netze z.b. in der Steuerung autonomer Fahrzeuge eingesetzt. Ausgabeneuron (Lenkung) Eingabeneuronen (Straßenbild+entfernungen) 35
37 Perzeptron (2) Aufbau: Es gibt eine Input-Schicht Es gibt keine, eine oder mehrere verborgene Schichten (hidden layer) Es gibt eine Ausgabe-Schicht Die Kanten verbinden die Schichten eine nach der anderen in der gleichen Richtung untereinander, d.h. die Informationen aller Knoten der Input-Schicht laufen in die selbe Richtung, nicht zurück und nicht zwischen den Knoten einer Schicht. In einigen Fällen wird der Begriff Perzeptron enger als feedforward- Netz mit keiner oder einer verborgenen Schicht verwendet. 36
38 Backpropagation-Regel (1) Gegeben sind Eingabewerte, z.b. der MNIST-Datensatz mit Bilder der Größe 28x28 Pixel, auf denen handgeschriebene Ziffern abgebildet sind, ein Standard-Benchmark für Neuronale Netze. Das ergeben 784 Eingabeknoten und 10 Ausgabeknoten, für jede Ziffer einer. Ziel ist es, für ein gegebenes Bild p die Funktionen, die die Ausgabe o p des Netzes berechnen, so zu bestimmen, dass z.b. nur der Knoten, der der dem Bild entsprechenden Ziffer zugeordnet ist, einen Wert 1 hat und alle anderen Ausgabeknoten einen Wert 0 haben, was dann die gewünschten Ausgabewerte t p für dieses Bild wären (es gibt auch andere Zuordnungen). 37
39 Backpropagation-Regel (2) Ein Maß für die Abweichung des berechneten von dem gewünschten Ergebnis ist die Summe der quadratischen Abweichungen über alle Bilder p und alle Ausgabeneuronen j: das Fehlerfunktional E = P p=1e p E p = 1 2 n out j ( op,j t p,j ) 2 Die Funktionen, die die Ausgaben o p,j berechnen, hängen von den Gewichten der Verbindungen zwischen den Knoten und den Schwellwerten der einzelnen Knoten ab. Backpropagation ist ein Gradientenabstiegsverfahren, bei dem die Gewichte und Schwellwerte so geändert werden, dass das Fehlerfunktional (oder die Energiefunktion) minimiert wird. 38
40 Backpropagation-Regel (3) Numerik bei mir: lineare Ausgleichsrechnung Definition (Ausgleichsproblem) Gegeben sind n Wertepaare (x i,y i ), i = 1,...,n mit x i x j für i j. Gesucht ist eine stetige Funktion f, die in einem gewissen Sinne bestmöglich die Wertepaare annähert, d.h. dass möglichst genau gilt: f(x i ) y i für i = 1,...,n. 39
41 Backpropagation-Regel (4) Numerik bei mir: lineare Ausgleichsrechnung Statistik, 3. Semester: Methode der kleinsten Quadrate Definition (Fehlerfunktional) Gegeben sei eine Menge F von stetigen Funktionen sowie n Wertepaare (x i,y i ), i = 1,...,n. Ein Element von f F heißt Ausgleichsfunktion von F zu den gegebenen Wertepaaren, falls das Fehlerfunktional E(f) = n i=1 (f(x i ) y i ) 2 für f minimal wird, d.h. E(f) = min{e(g) g F}. Die Menge F nennt man auch die Menge der Ansatzfunktionen. Es werden also die Parameter der Funktion f(x) so bestimmt, so dass die Funktion möglichst dicht an den Punkten liegt. 40
42 Backpropagation-Regel (4) Ist die Funktion f(x i ) linear in den Parametern, also f(x) = p k=1 a kg k (x), so lässt sich das Minimum des Fehlerfunktionals über die Nullstelle der Ableitungen von E(f) durch Lösen einer linearen Gleichung für die Parameter a k bestimmen. Jetzt: Jedem x-wert entspricht einem Satz von Eingabewerten bzw. ein Eingabe- Pattern in p,i mit i 1 n in Werten. Jedem y-wert entspricht einem Satz von Ausgabewerten bzw. Ausgabe- Pattern t p,j mit j 1 n out Werten. Die Ausgleichsfunktion f(x) ist jetzt ein Satz von nicht-linearen Funktionen in einer Anzahl von Parameter, z.b. in den Gewichten des neuronalen Netzes: f i,j (in p,i,w i,j ) = o p,j. 41
43 Backpropagation-Regel (5) Dann lautet das Fehlerfunktional, die Summe der quadratischen Abweichungen anstatt jetzt E = n i=1 E i E i = (f(x i ) y i ) 2 n out ( op,j t p,j ) 2 E = p E p E p = 1 2 j Gesucht in dem nicht-linearen Ausgleichsproblem: das Minimum von E als Funktion der nicht-linearen Parameter. Hinweis: Häufig werden auch andere Fehlerfunktion verwendet. Das Minimum kann nicht exakt bestimmt werden, sondern es wird gesucht, in dem z.b. die Parameter entlang der negativen Steigung des Fehlerfunktionals geändert wird Backpropagation oder Gradientenabstiegsverfahren. 42
44 Backpropagation-Regel (6) 8 Fehlerfunktion fuer ein Gewicht w i,j error w i,j Die Aufgabe ist es ein möglichst gutes Minimum zu finden. Problem: Das funktioniert nur gut, wenn die Startwerte in der Nähe eines guten Minimums sind. 43
45 Backpropagation-Regel (7) Vor der Ableitung des Algorithmus ist eine Vereinheitlichung der Notation von Vorteil: Der Schwellwert-Wert eines Knotens wird interpretiert als eine Verbindung zu dem Knoten von einem Konten mit dem Ausgabewert 1 und einem Gewicht. Mit w n+1,j = Θ j und o n+1 = 1 gilt n i=1 o i w i,j Θ j = n+1 i=1 o i w i,j net j (t) 44
46 Backpropagation-Regel (8) Der Backpropagation-Algorithmus ändert die Gewichte w i,j von einem Knoten i zu einem Knoten j entlang des negativen Gradienten der Fehlerfunktion, bis diese (hoffentlich) minimal ist. w ij = η p E p w ij. Zur Berechnung der Ableitungen nochmal die Formal für das XOR- Problem mit 2 versteckten Knoten (Schwellwerte werden Bias- Konten und die Aktivierungsfunktion f act (x) = tanh(x) wird allgemein geschrieben). Eingabeschicht: o 1,o 2 net 1 = o 1 w 11 +o 2 w 21 +w 31 net 2 = o 1 w 12 +o 2 w 22 +w 23 o 1 = f act(net 1 ) o 2 = f act(net 2 ) net o = o 1 w 1o +o 2 w 2o +w 3o o o = f act (net o ) 45
47 Backpropagation-Regel (8) Zerlege die Ableitung des Fehlerfunktionals nach den Gewichten in einzelne Schritte: Ableitung nach den Gewichten zur Ausgabeschicht: Der Fehler hängt ab o o, das wiederum von net o, das wiederum von w io ab. Ableitung nach den Gewichten zur verdeckten Schicht: Der Fehler hängt ab o o, das wiederum von net o, das wiederum von o 1,o 2, das wiederum von net 1,net 2 und das von w i1 Verwende die Kettenregel, zuerst für den letzten Schritt: E p w ij = E p net pj net pj w ij. 46
48 Backpropagation-Regel (8) Der erste Faktor wird als Fehlersignal bezeichnet und der zweite Faktor ist δ pj = E p net pj net pj w ij = w ij k o pk w kj = o pi. Die Änderung der Gewichte berechnet sich dann durch w ij = η p o pi δ pj Bei der Berechnung von δ pj geht die konkrete Aktivierungsfunktion ein, also wie das Neuron j den Input in einen Output verwandelt. δ pj = E p net pj = E p o pj o pj net pj = E p o pj f act (net pj ) net pj = E p o pj f act(net pj ). 47
49 Backpropagation-Regel (9) Für den ersten Faktor muss zwischen den Ebenen, in denen sich die Knoten befinden, unterschieden werden. 1. j ist Index eines Ausgabeneurons. Dann gilt E p o pj = 1 2 o pj n out Der Gesamtfehler ist in diesem Fall k ( op,k t p,k ) 2 = (tpj o oj ). δ pj = f act (net pj) (t pj o oj ) 2. j ist Index eines Neurons der verdeckten Ebenen. Die Fehlerfunktion hängt von den Output o j indirekt über die Zwischenzellen k ab, denn der Output o j geht in den Input net pk von allen Knoten k eine Schicht höher ein. 48
50 Backpropagation-Regel (10) E p = o pj k = k E p net pk net pk o pj δ pk o pj i o pi w ik = k δ pk w jk Das bedeutet, dass man den Gesamtfehler des Neurons j für ein Muster p aus den gewichteten Fehlern δ pk aller Nachfolgezellen k und der Gewichte der Verbindungen von j zu diesen k berechnen kann. δ pj = f act(net pj ) δ pk w jk Zusammengefasst w i,j = η p o p,i f act(net pj ) k (t pj o oj ) falls j Ausgabeneuron kδ pk w jk falls j verdecktes Neuron 49
51 Backpropagation-Regel (11) Meist wird als Aktivierungsfunktion die logistische Funktion verwendet mit der Ableitung d dx f log(x) = d dx 1 1+e x = f log(x) (1 f log (x)) Damit ergibt sich eine vereinfachte Formel für den Backpropagation Algorithmus mit dem Fehlersignal p w ij = ηo pi δ pj δ pj = { opj (1 o pj )(t pj o pj ) falls j Ausgabeneuron o pj (1 o pj ) kδ pk w jk falls j verdecktes Neuron } 50
52 Backpropagation-Regel (12) Beispiel: Netz mit 3 Ausgabeknoten n 1,n 2 und n 3 n1 n2 n3 W 42 n4 W 74 n7 w 4j = ηo 4 δ j = ηo 4 (t j o j ) f (net j ), j = 1,2,3 w 74 = ηo 7 δ 4 = ηo 7 ( 3 j=1 δ j w 4j )f (net 4 ) 51
53 Backpropagation-Regel (13) Das Verfahren zusammengefasst 1. Berechne bei einem gegebenem Input den Output oder Propagierung ein Signales über die Schichten: Die Ausgaben der Neuronen i (oder die Werte der Inputneuron i) einer Schicht werden an die Eingaben der Knoten j der nächsten Schicht weitergeleitet über net j (t) = n+1 i=1 o i w i,j Die Knoten j berechnen die Ausgabe, die eventuell an die nächste Schicht weiter geleitet wird, über o j = f act (net j ) Ist man an der Ausgabeschicht angekommen, überprüfe, ob das Eingabesignal erkannt wird, also berechne den Fehler bzw. das Fehlerfunktional. 52
54 Backpropagation-Regel (14) 2. Ist der Fehler zu groß, führe eine Rückpropagierung durch. Berechne das Fehlersignal, von der Ausgabeschicht beginnend rückwärts bis zur Eingabeschicht. Berechne die Korrektur der Gewichte gemäß p w ij = ηo pi δ pj 3. Beginne mit der Prozedur von vorne, bis der Fehler (hoffentlich) klein geworden ist, also die Eingaben gelernt wurden. 53
55 Backpropagation-Regel (15) Das Beispiel vom Anfang: o o = tanh( ( tanh(o 1 w 11 +o 2 w 21 +Θ 1 ) w 1o + ( tanh(o 1 w 12 +o 2 w 22 +Θ 2 ) w 2o +Θ o Ableitung der Aktivierungsfunktion: tanh = (1 tanh 2 ) Fehler bei der Ausgabe: t o o o Fehlersignal am Ausgabeknoten n o : δ o = (1 o 2 o )(t o o o ) Korrektur der Gewichte vom verdeckten Konten n i zum Ausgabeknoten n o : w i,o = ηo i δ o Fehler beim verdeckten Knoten n j : δ o w j,o Fehlersignal am verdeckten Knoten n j : δ j = (1 o 2 j )δ ow j,o Korrektur der Gewichte vom Eingangkonten n i zum verdeckten Knoten n j : w i,j = ηo i δ j 54
56 Backpropagation-Regel (16) Probleme: a) Bei zu kleinen Lernraten geht der Algorithmus nicht über das lokale Minimum hinaus. b) Kleine Gradienten wie bei Plateaus sorgen für eine erhebliche Mehrzahl an notwendigen Iterationsschritten. c) Ungeeignete Wahl einer Lernrate bei zu großen Gradienten bewirkt Oszillation des Lernprozesses d) oder unter Umständen ein Überspringen des globalen Minimums hin zu einem lokalen. 55
57 Backpropagation-Regel (17) Noch zu beachten: Werden für jede Eingabe einzeln neue Gewichte berechnet, spricht man von online-learning. Werden erst die Fehler für alle Eingaben aufsummeriert (so wie in der Herleitung), heißt das batch-learning. Meist werden die Fehler für Blöcke von Eingaben und damit Korrekturen für die Gewichte berechnet. Für die Initialisierung der Gewichte gibt es verschiedene Methoden, am einfachsten sind gleichverteilte oder Gauß-verteilte Zufallszahlen. Die Lernrate sollte kleiner werden mit kleiner werdendem Fehler.... und vieles mehr. 56
58 CNN (1) Neben den Multilayer Perceptrons sind heute die meist verwendeten Netze Faltungsnetze bzw. Convolution Neural Networks (CNN). Die meisten Daten liegen in Gittern vor (Bilder bei der Bilderkennung, 2 Dimensionen, Pixel, oder Töne bei der Spracherkennung, diskrete Zeitabstände, Frequenzen, 1 Dimension) Die Daten sind translationsinvariant, d.h. eine Katze unten rechts im Bild muss genauso erkannt werden wie oben links im Bild. Ein Gesamtbild setzt sich aus lauter benachbarten Einzelteilen zusammen, mehrere benachbarte Töne werden zu einem Wort, mehrere benachbarte Ausschnitte eines Bildes werden zu einem Objekt. 57
59 CNN (2) Idee: Betrachte nicht von einem Punkt (Neuron) Verbindungen zu allen anderen (Neuronen der darüber liegenden Schicht), sondern nur lokale Gruppen. Verwende die gleiche Gewichtsmatrix von allen Punkten aus (Faltung) a b c a b c a b c a b c a b c 58
60 CNN (3) Die Gewichtsmatrizen werden als Filter oder Kernel bezeichnet und es werden mehrere unterschiedliche Filter verwendet, die jeweils zu einer eigenen darüber liegenden Schicht führen a b *a+6*b+ 1*c+5*d *a+3*b+ 5*c+5*d 3*a+8*b+ 5*c+5*d c d 4 3 Eingangsbild, ein 2 2 CNN- Kernels mit den Parametern a,b,c,d, die gelernt werden. 3 2 Ausgaben. 1*a+5*b+ 3*c+7*d 5*a+5*b+ 7*c+1*d 5*a+5*b+ 1*c+2*d 59
61 CNN (4) Werden mehrere dieser Faltungsschichten hintereinander gehängt, vergrößert sich der Bereich immer weiter, der Einfluss auf das Ergebnis hat. Nützlich ist es sogenannte Pooling-Schichten zu verwenden, die die Ergebnisse von benachbarten Neuronen zusammenfassen, z.b. den Mittelwert oder den maximalen Wert nehmen und weiter leiten Eingangsbild, Max-Pooling Schicht, Filtermaske 2 und Schrittgröße Ausgaben. 60
62 CNN (5) Am Ende gibt es dann bei einem Klassifizierungsproblem für jedes Objekt ein Output- Neuron oder z.b. bei einem Segmentierungsproblem, also welches Pixel eines Bildes gehört zu welchem Objekt für jedes Pixel so viele Output-Neuronen, wie es Klassen gibt. Viele weitere Details sind für ein sinnvolles Netz notwendig, aber diese Netze machen auch nichts anderes als eine Kurve an Daten anzupassen. 61
63 Ausblick (1) Verbesserungen: Intelligentere Netze und Algorithmen + schnelle Hardware. weitere Formen von Faltungsnetzen / rekurrente Netze (mit Zeitabhängingkeit)/ Deep Belief Netze und viele mehr Stochastische Modelle Verbesserte Gradientenverfahren Genetische Algorithmen und anderes zur Netzverbesserung... Graphikkarten Frage: Was lernt das Netz? Ansatz: Rückverfolgung des Gelernten über die Schichten. Bei diesen Versuchen hat Google direkt eine neue Kunstrichtung ins Leben gerufen: Inceptionism Computer-Halluzinationen, Spektrum der Wissenschaft, 12/2015, Brian Hayes. 62
64 Ausblick (2) Es fehlen viele Kleinigkeiten, die als nächstes wichtig für eine aktuelle Anwendung, z.b. in der Objekterkennung wären, z.b.: Wie sind Faltungsnetze (CNN) in Detail aufgebaut? Welche Aktivierungsfunktion ist die geeignetste (LeakyReLU)? Welche Fehlerfunktion sollte gewählt werden (cross entropy)? Welchen Lernalgorithmus sollte man nehmen (Adam Algorithmus)? Was ist eine gute Initialisierung der Gewichte (Gauß-Verteilung)? Wie wird overfitting vermieden (Dropout/L2-Regularisierung/Batch- Norm)?... Das Anpassen von Kurven an Daten ist nicht trivial, wenn nur wenige Informationen über die Daten vorliegen, aber meist sehr erfolgreich, wenn viele Daten zur Verfügung stehen! 63
11. Neuronale Netze 1
11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form
Mehr10. Neuronale Netze 1
10. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form
MehrDatenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?
Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher 0651993 Damir Dudakovic
MehrDer Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1
Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen
MehrNeuronale Netze. Anna Wallner. 15. Mai 2007
5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente
MehrProseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger
Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale
MehrGrundlagen neuronaler Netzwerke
AUFBAU DES NEURONALEN NETZWERKS Enrico Biermann enrico@cs.tu-berlin.de) WS 00/03 Timo Glaser timog@cs.tu-berlin.de) 0.. 003 Marco Kunze makunze@cs.tu-berlin.de) Sebastian Nowozin nowozin@cs.tu-berlin.de)
MehrKonzepte der AI Neuronale Netze
Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale
MehrAufbau und Beschreibung Neuronaler Netzwerke
Aufbau und Beschreibung r 1 Inhalt Biologisches Vorbild Mathematisches Modell Grundmodelle 2 Biologisches Vorbild Das Neuron Grundkomponenten: Zellkörper (Soma) Zellkern (Nukleus) Dendriten Nervenfaser
MehrHannah Wester Juan Jose Gonzalez
Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron
MehrPraktische Optimierung
Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung
MehrBACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON
BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe
MehrNeuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien
in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???
MehrMustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12
Mustererkennung: Neuronale Netze D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Feed-Forward Netze y 1 y 2 y m...... x 1 x 2 x n Output Schicht i max... Zwischenschicht i... Zwischenschicht 1
MehrAdaptive Systeme. Mehrere Neuronen, Assoziative Speicher und Mustererkennung. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Mehrere Neuronen, Assoziative Speicher und Mustererkennung Prof. Dr. rer. nat. Nikolaus Wulff Modell eines Neuron x x 2 x 3. y y= k = n w k x k x n Die n binären Eingangssignale x k {,}
MehrKünstliche Neuronale Netze
Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial
MehrThema 3: Radiale Basisfunktionen und RBF- Netze
Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung
MehrKünstliche Neuronale Netze
Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Künstliche Neuronale Netze Hauptseminar Martin Knöfel Dresden, 16.11.2017 Gliederung
MehrNeuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrWir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
MehrLernverfahren von Künstlichen Neuronalen Netzwerken
Lernverfahren von Künstlichen Neuronalen Netzwerken Untersuchung und Vergleich der bekanntesten Lernverfahren und eine Übersicht über Anwendung und Forschung im Bereich der künstlichen neuronalen Netzen.
MehrNeuronale Netze. Christian Böhm.
Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch
MehrNeural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 02 Julia Kreutzer 8. November 2016 Institut für Computerlinguistik, Heidelberg 1 Overview 1. Recap 2. Backpropagation 3. Ausblick 2 Recap
MehrRekurrente / rückgekoppelte neuronale Netzwerke
Rekurrente / rückgekoppelte neuronale Netzwerke Forschungsseminar Deep Learning 2018 Universität Leipzig 12.01.2018 Vortragender: Andreas Haselhuhn Neuronale Netzwerke Neuron besteht aus: Eingängen Summenfunktion
MehrNeuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.
Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen
MehrNeuronale Netze (Konnektionismus)
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale
MehrEinführung in die Computerlinguistik
Einführung in die Computerlinguistik Neuronale Netze WS 2014/2015 Vera Demberg Neuronale Netze Was ist das? Einer der größten Fortschritte in der Sprachverarbeitung und Bildverarbeitung der letzten Jahre:
MehrGrundlagen zu neuronalen Netzen. Kristina Tesch
Grundlagen zu neuronalen Netzen Kristina Tesch 03.05.2018 Gliederung 1. Funktionsprinzip von neuronalen Netzen 2. Das XOR-Beispiel 3. Training des neuronalen Netzes 4. Weitere Aspekte Kristina Tesch Grundlagen
MehrIntelligente Algorithmen Einführung in die Technologie
Intelligente Algorithmen Einführung in die Technologie Dr. KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Natürlich sprachliche
MehrKünstliche Neuronale Netze
Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze
Mehr3. Lineare Ausgleichsrechnung
3 Lineare Ausgleichsrechnung 1 Ausgleichsrechnung (1) Definition 31 (Ausgleichsproblem) Gegeben sind n Wertepaare (x i,y i ), i = 1,,n mit x i x j für i j Gesucht ist eine stetige Funktion f, die in einem
MehrTechnische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt
Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / 2015 8. Aufgabenblatt
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer
MehrNeuroinformatik. Übung 1
Neuroinformatik Übung 1 Fabian Bürger Raum: BC419, Tel.: 0203-379 - 3124, E-Mail: fabian.buerger@uni-due.de Fabian Bürger (fabian.buerger@uni-due.de) Neuroinformatik: Übung 1 1 / 27 Organisatorisches Neuroinformatik:
Mehr6.4 Neuronale Netze zur Verarbeitung von Zeitreihen
6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1
MehrNeuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)
29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein
MehrMULTILAYER-PERZEPTRON
Einleitung MULTILAYER-PERZEPTRON Die Ausarbeitung befasst sich mit den Grundlagen von Multilayer-Perzeptronen, gibt ein Beispiel für deren Anwendung und zeigt eine Möglichkeit auf, sie zu trainieren. Dabei
Mehr(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.
(hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild
MehrWie fängt eine Eule eine Maus in der Nacht: eine biologisch motivierte Simulation
Wie fängt eine Eule eine Maus in der Nacht: eine biologisch motivierte Simulation Peer Ueberholz, Philipp Pricken IMH - Institut für Modellbildung und Hochleistungsrechnen FB03 30. Juni 2016 1 Einführung
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?
MehrComputational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20
Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt
MehrEinführung in neuronale Netze
Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze
MehrKlassifikation linear separierbarer Probleme
Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear
MehrEinige überwachte Lernverfahren. Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel
Einige überwachte Lernverfahren Perzeptron, Mehrschicht-Perzeptronen und die Backpropagation-Lernregel Funktionsweise eines künstlichen Neurons x w k Neuron k x 2 w 2k net k f y k x n- w n-,k x n w n,k
MehrPerzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004
Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron
MehrWas bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und
Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion
MehrWas bisher geschah. Lernen: überwachtes Lernen. biologisches Vorbild neuronaler Netze: unüberwachtes Lernen
Was bisher geschah Lernen: überwachtes Lernen korrigierendes Lernen bestärkendes Lernen unüberwachtes Lernen biologisches Vorbild neuronaler Netze: Neuron (Zellkörper, Synapsen, Axon) und Funktionsweise
MehrWas sind Neuronale Netze?
Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk
MehrPraktikum Simulationstechnik Rene Schneider, Benjamin Zaiser
Praktikum Simulationstechnik Rene Schneider, Benjamin Zaiser 11.11.2008 CSM Master: Praktikum Simulationstechnik, rs034, bz003 2 Befehlsübersicht Begriffsdefinition / Neuronale Netze: / / 11.11.2008 CSM
MehrEinführung in die Neuroinformatik Lösungen zum 5. Aufgabenblatt
Einführung in die Neuroinformatik Lösungen zum 5. Aufgabenblatt 7. Aufgabe : Summe {} Man sieht leicht ein, dass ein einzelnes Perzeptron mit Gewichten c, c 2, c 3 und Schwelle θ das Problem nicht lösen
Mehrauch: Konnektionismus; subsymbolische Wissensverarbeitung
10. Künstliche Neuronale Netze auch: Konnektionismus; subsymbolische Wissensverarbeitung informationsverarbeitende Systeme, bestehen aus meist großer Zahl einfacher Einheiten (Neuronen, Zellen) einfache
MehrPerzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg
Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen
MehrNeuronale Netze mit mehreren Schichten
Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren
MehrAndreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg
Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale
MehrStatistical Learning
Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in
MehrEin selbstmodellierendes System für die Wasserwirtschaft
Ein selbstmodellierendes System für die Wasserwirtschaft Dipl.-Ing. Dr. ANDRADE-LEAL Wien, im Juli 2001 1 Einleitung, Motivation und Voraussetzungen Künstliche Intelligenz Neuronale Netze Experte Systeme
Mehr6.2 Feed-Forward Netze
6.2 Feed-Forward Netze Wir haben gesehen, dass wir mit neuronalen Netzen bestehend aus einer oder mehreren Schichten von Perzeptren beispielsweise logische Funktionen darstellen können Nun betrachten wir
Mehr5. Lernregeln für neuronale Netze
5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1
MehrUniversität Leipzig. Fakultät für Mathematik und Informatik. Forschungsseminar Deep Learning. Prof. Dr. Erhard Rahm. Wintersemester 2017/18
Universität Leipzig Fakultät für Mathematik und Informatik Forschungsseminar Deep Learning Prof. Dr. Erhard Rahm Wintersemester 2017/18 Rekurrente / rückgekoppelte neuronale Netze Hausarbeit Vorgelegt
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?
MehrRekurrente Neuronale Netze
Rekurrente Neuronale Netze Gregor Mitscha-Baude May 9, 2016 Motivation Standard neuronales Netz: Fixe Dimensionen von Input und Output! Motivation In viele Anwendungen variable Input/Output-Länge. Spracherkennung
MehrDer Sprung in die Zukunft! Einführung in neuronale Netzwerke
Der Sprung in die Zukunft! Einführung in neuronale Netzwerke Inhalt 1. Warum auf einmal doch? 2. Welche Einsatzgebiete gibt es? 3. Was sind neuronale Netze und wie funktionieren sie? 4. Wie lernen neuronale
Mehr2.4.4 Die Fraktale Dimension
2.4.4 Die Fraktale Dimension Ausgehend vom euklidischen Dimensionsbegriff (Punkt = 0, Linie = 1, Fläche = 2...) lässt sich einem fraktalen Gebilde eine fraktale Dimension d f zuordnen. Wir verwenden die
MehrDEEP LEARNING MACHINE LEARNING WITH DEEP NEURAL NETWORKS 8. NOVEMBER 2016, SEBASTIAN LEMBCKE
DEEP LEARNING MACHINE LEARNING WITH DEEP NEURAL NETWORKS 8. NOVEMBER 2016, SEBASTIAN LEMBCKE INHALT Einführung Künstliche neuronale Netze Die Natur als Vorbild Mathematisches Modell Optimierung Deep Learning
MehrAdaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Neuronale Netze: Neuronen, Perzeptron und Adaline Prof. Dr. rer. nat. Nikolaus Wulff Neuronale Netze Das (menschliche) Gehirn ist ein Musterbeispiel für ein adaptives System, dass sich
MehrRadiale-Basisfunktionen-Netze. Rudolf Kruse Neuronale Netze 120
Radiale-Basisfunktionen-Netze Rudolf Kruse Neuronale Netze 2 Radiale-Basisfunktionen-Netze Eigenschaften von Radiale-Basisfunktionen-Netzen (RBF-Netzen) RBF-Netze sind streng geschichtete, vorwärtsbetriebene
MehrKönnen neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie
Können neuronale Netze Vorhersagen treffen? Eine Anwendung aus der Stahlindustrie 1. Erzeugung von Stahl im Lichtbogenofen 2. Biologische neuronale Netze 3. Künstliche neuronale Netze 4. Anwendung neuronaler
MehrObjekt Attributwerte Klassifizierung X Y
AUFGABE : Entscheidungsbäume Betrachten Sie das folgende Klassifizierungsproblem: bjekt Attributwerte Klassifizierung X Y A 3 B 2 3 + C 2 D 3 3 + E 2 2 + F 3 G H 4 3 + I 3 2 J 4 K 2 L 4 2 ) Bestimmen Sie
MehrAusgleichsproblem. Definition (1.0.3)
Ausgleichsproblem Definition (1.0.3) Gegeben sind n Wertepaare (x i, y i ), i = 1,..., n mit x i x j für i j. Gesucht ist eine stetige Funktion f, die die Wertepaare bestmöglich annähert, d.h. dass möglichst
MehrKlassifikationsverfahren und Neuronale Netze
Klassifikationsverfahren und Neuronale Netze Hauptseminar - Methoden der experimentellen Teilchenphysik Thomas Keck 9.12.2011 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum
Mehr7. Vorlesung Neuronale Netze
Soft Control (AT 3, RMA) 7. Vorlesung Neuronale Netze Grundlagen 7. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
MehrNeuronale Netze I. Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München
Neuronale Netze I Proseminar Data Mining Florian Zipperle Fakultät für Informatik Technische Universität München Email: florian.zipperle@tum.de Zusammenfassung Neuronale Netze werden im Bereich Data Mining
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Sebastian Morr 4. Juni 2008 Worum geht es? Die Natur hat uns 3,7 Milliarden Jahre Forschungszeit voraus. Toby Simpson Vorbild: Strukturen des Gehirns Ziel: Lernfähige Künstliche
MehrKonvergenz von Hopfield-Netzen
Matthias Jauernig 1. August 2006 Zusammenfassung Die nachfolgende Betrachtung bezieht sich auf das diskrete Hopfield-Netz und hat das Ziel, die Konvergenz des Verfahrens zu zeigen. Leider wird dieser Beweis
MehrKlausur Modellbildung und Simulation (Prof. Bungartz) SS 2007 Seite 1/7
Klausur Modellbildung und Simulation (Prof. Bungartz) SS 2007 Seite /7 Matrikelnummer: Systeme gewöhnlicher Differentialgleichungen (3 + 3 = 6 Pkt.) Die Abbildung zeigt die Richtungsfelder von drei Differentialgleichungssystemen
MehrPraktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider
Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training eines Künstlich Neuronalen Netzes (KNN) zur Approximation einer Kennlinie in JavaNNS 28.01.2008
MehrWir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
MehrKurvenanpassung mit dem SOLVER
1 Iterative Verfahren (SOLVER) Bei einem iterativen Verfahren wird eine Lösung durch schrittweise Annäherung gefunden. Der Vorteil liegt in der Verwendung einfacher Rechenoperationen und darin, dass der
MehrKNN für XOR-Funktion. 6. April 2009
KNN für XOR-Funktion G.Döben-Henisch Fachbereich Informatik und Ingenieurswissenschaften FH Frankfurt am Main University of Applied Sciences D-60318 Frankfurt am Main Germany Email: doeben at fb2.fh-frankfurt.de
MehrEinführung in Neuronale Netze
Wintersemester 2005/2006 VO 181.138 Einführung in die Artificial Intelligence Einführung in Neuronale Netze Oliver Frölich Abteilung für Datenbanken und Artificial Intelligence Institut für Informationssysteme
MehrUniversität Klagenfurt
Universität Klagenfurt Neuronale Netze Carmen Hafner Elisabeth Stefan Raphael Wigoutschnigg Seminar in Intelligent Management Models in Transportation und Logistics 623.900, WS 05 Univ.-Prof. Dr.-Ing.
MehrAdaptive Systeme. Neuronale Netze: der Backward Propagation Algorithmus. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Neuronale Netze: der Backward Propagation Algorithmus Prof. Dr. rer. nat. Nikolaus Wulff Neuronen Schicht x 1 x 2 x 3.. θ 1 θ 2. y 1 y 2 n y j = k =1 w jk x k j y j = n k =0 w jk x k x
MehrComputational Intelligence I Künstliche Neuronale Netze
Computational Intelligence I Künstliche Neuronale Nete Universität Dortmund, Informatik I Otto-Hahn-Str. 6, 44227 Dortmund lars.hildebrand@uni-dortmund.de Inhalt der Vorlesung 0. Organisatorisches & Vorbemerkungen.
MehrUniversität des Saarlandes
Universität des Saarlandes FR 6.2 Informatik Prof. Dr. Kurt Mehlhorn Dr. Antonios Antoniadis André Nusser WiSe 2017/18 Übungen zu Ideen der Informatik http://www.mpi-inf.mpg.de/departments/algorithms-complexity/teaching/winter17/ideen/
MehrNichtlineare Klassifikatoren
Nichtlineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 11 1 M. O. Franz 12.01.2008 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
MehrAufgabe 1 Probabilistische Inferenz
Seite 1 von 8 Aufgabe 1 Probabilistische Inferenz (32 Punkte) In einer medizinischen Studie werden zwei Tests zur Diagnose von Leberschäden verglichen. Dabei wurde folgendes festgestellt: Test 1 erkennt
MehrTeil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze
Vorlesung Künstliche Intelligenz Wintersemester 2008/09 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der
MehrLernregeln. Künstliche neuronale Netze. Professur Psychologie digitaler Lernmedien. Institut für Medienforschung Philosophische Fakultät
Professur Psychologie digitaler Lernmedien Institut für Medienforschung Philosophische Fakultät Künstliche neuronale Netze Lernregeln Überblick Definition Lernregeln Hebb-Regel Delta-Regel Gradientenabstiegsverfahren
MehrEinführung in. Neuronale Netze
Grundlagen Neuronale Netze Einführung in Neuronale Netze Grundlagen Neuronale Netze Zusammengestellt aus: Universität Münster: Multimediales Skript Internetpräsentation der MFH Iserlohn (000) U. Winkler:
MehrGliederung. Biologische Motivation Künstliche neuronale Netzwerke. Anwendungsbeispiele Zusammenfassung. Das Perzeptron
Neuronale Netzwerke Gliederung Biologische Motivation Künstliche neuronale Netzwerke Das Perzeptron Aufbau Lernen und Verallgemeinern Anwendung Testergebnis Anwendungsbeispiele Zusammenfassung Biologische
MehrNeuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation
Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2012 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für
MehrFaltungsnetzwerke. (Convolutional Neural Networks) Maximilian Schmidt. Faltungsnetzwerke
(Convolutional Neural Networks) Maximilian Schmidt 1 Inhalt Deconvolution ConvNet Architektur History Convolution layer Layers ReLu layer Pooling layer Beispiele Feature Engineering 2 Das Ziel Klassifizierung
MehrImplementationsaspekte
Implementationsaspekte Überlegungen zur Programmierung Neuronaler Netzwerke Implementationsprinzipien Trennung der Aspekte: Datenhaltung numerische Eigenschaften der Objekte Funktionalität Methoden der
Mehr