Lösungen zur letzten Stunde & Vorbereitung

Größe: px

Ab Seite anzeigen:

Download "Lösungen zur letzten Stunde & Vorbereitung"

Oskar Lenz
vor 5 Jahren
Abrufe

1 Wiederholung und Vorbereitung: Lösungen zur letzten Stunde & Vorbereitung (0721)

2 Besprechung XOR-Aufgabe Übersicht Besprechung 3-Klassen-Aufgabe Framework für Perzeptron-Lernen MLNNs in Flood3 2

3 AUFGABEN DER LETZTEN STUNDE 3

4 XOR-Aufgabe (Aufgabe 2: Perzeptronen) c) Für den Fall von genau 2 Eingängen: Realisiere einen XOR-Operator unter Einsatz mehrerer Perzeptronen. Lösung: Mind. 2 Perzeptronen zur Erkennung von Teillösungen, mind. 1 Perzeptron zur Kombination der Teillösungen. 4

5 Lösung XOR-Aufgabe (1) namespace FL = Flood; FL::Perceptron xorupperleft(2), xorlowerright(2), xorout(2); void initxorperceptrons() { xorupperleft.set_activation_function(fl::perceptron::threshold); xorlowerright.set_activation_function(fl::perceptron::threshold); xorout.set_activation_function(fl::perceptron::threshold); // init upper left perceptron xorupperleft.set_bias(-0.25); FL::Vector<double> xulweights(2); xulweights[0] = 0.5; xulweights[1] = -0.5; xorupperleft.set_synaptic_weights(xulweights); // init lower right perceptron xorlowerright.set_bias(-0.25); FL::Vector<double> xlrweights(2); xlrweights[0] = -0.5; xlrweights[1] = 0.5; xorlowerright.set_synaptic_weights(xlrweights); // init out perceptron xorout.set_bias(-0.25); FL::Vector<double> xoweights(2); xoweights[0] = 0.5; xoweights[1] = 0.5; xorout.set_synaptic_weights(xoweights); } 5

6 double calculatexor(double* signals) { FL::Vector<double> inputsignal(2); Lösung XOR-Aufgabe (2) inputsignal[0] = signals[0]; inputsignal[1] = signals[1]; double upperleftsignal = xorupperleft.calculate_output (inputsignal); inputsignal[0] = signals[0]; inputsignal[1] = signals[1]; double lowerrightsignal = xorlowerright.calculate_output (inputsignal); inputsignal[0] = upperleftsignal; inputsignal[1] = lowerrightsignal; double outputsignal = xorout.calculate_output (inputsignal); return outputsignal; } bool thresholdwithnull(double value) { return (value > 0.0); } in main(): double xorresult = calculatexor(inputdata); cout << "Result of perceptron-xor: " << (thresholdwithnull(xorresult)?"true":"false") << " (" << xorresult << ")" << endl; 6

Aufgabe 3: Netz von Perzeptronen Die Verknüpfung mehrerer Perzeptronen zu einem Netz erlaubt die Lösung auch komplexerer Probleme als nur die linear separierbaren.

7 Aufgabe 3: Netz von Perzeptronen Die Verknüpfung mehrerer Perzeptronen zu einem Netz erlaubt die Lösung auch komplexerer Probleme als nur die linear separierbaren. Löse mit Hilfe eines Netzes von mehreren Perzeptronen das dargestellte Klassifikationsproblem (2 diskrete Eingänge, mögliche Werte: {0, 1, 2, 3}). Aufbau der Lösung: 2 Eingaben, das eigentliche Netz von Perzeptronen, pro zu erkennender Klasse je ein x 1 Ausgabe-Perzeptron. x 2 Aufgabe 7

8 Lösung Aufgabe 3 (1) namespace FL = Flood; FL::Perceptron ex3horiz(2), ex3diag(2), ex3blackcross(2), ex3greencircle(2), ex3bluesquare(2); void initexercise3perceptrons() { ex3horiz.set_activation_function(fl::perceptron::linear); [...] ex3horiz.set_bias(1.5); FL::Vector<double> ex3hweights(2); ex3hweights[0] = 0.0; ex3hweights[1] = -1.0; ex3horiz.set_synaptic_weights(ex3hweights); ex3diag.set_bias(-2.25); FL::Vector<double> ex3dweights(2); ex3dweights[0] = 0.5; ex3dweights[1] = 0.5; ex3diag.set_synaptic_weights(ex3dweights); ex3blackcross.set_bias(-0.5); FL::Vector<double> ex3bcweights(2); ex3bcweights[0] = 1.0; ex3bcweights[1] = 0.0; ex3blackcross.set_synaptic_weights(ex3bcweights); ex3greencircle.set_bias(0.25); FL::Vector<double> ex3gcweights(2); ex3gcweights[0] = -0.5; ex3gcweights[1] = -0.5; ex3greencircle.set_synaptic_weights(ex3gcweights); ex3bluesquare.set_bias(-0.5); FL::Vector<double> ex3bsweights(2); ex3bsweights[0] = 0.0; ex3bsweights[1] = 1.0; ex3bluesquare.set_synaptic_weights(ex3bsweights); } 8

9 Lösung Aufgabe 3 (1) void calculateexercise3(double* signals) { FL::Vector<double> inputsignals(2); inputsignals[0] = signals[0]; inputsignals[1] = signals[1]; double horizres = ex3horiz.calculate_output (inputsignals); inputsignals[0] = signals[0]; inputsignals[1] = signals[1]; double diagres = ex3diag.calculate_output (inputsignals); inputsignals[0] = horizres; inputsignals[1] = diagres; double bcres = ex3blackcross.calculate_output (inputsignals); inputsignals[0] = horizres; inputsignals[1] = diagres; double gcres = ex3greencircle.calculate_output (inputsignals); inputsignals[0] = horizres; inputsignals[1] = diagres; double bsres = ex3bluesquare.calculate_output (inputsignals); cout << "Exercise 3: BlackCross=" << (thresholdwithnull(bcres)?"true":"false ) << " GreenCircle=" << (thresholdwithnull(gcres)?"true":"false ) << " BlueSquare=" << (thresholdwithnull(bsres)?"true":"false") << endl; } 9

10 FRAMEWORK FÜR PERZEPTRON-LERNEN 10

11 Lernen - Geometrische Interpretation Hilfsmenge { } N = x x = x, x N Neues Lernproblem xw > 0, x N P Im Beispiel: alle x i aus P

12 Perzeptron Lernalgorithmus Start: Gegeben Lerndatenmenge P N Der Gewichtsvektor w(0) wird zufällig generiert. Setze t:=0. Testen: Ein Punkt x in P N wird zufällig gewählt. Falls x P und w(t) x > 0 gehe zu Testen Falls x P und w(t) x 0 gehe zu Addieren Falls x N und w(t) x < 0 gehe zu Testen Falls x N und w(t) x 0 gehe zu Subtrahieren Addieren: Setze w(t+1) = w(t)+x. Setze t:= t+1. Gehe zu Testen. Subtrahieren: Setze w(t+1) = w(t)-x. Setze t:=t+1. Gehe zu Testen.

Vorgegebener Ablauf: Framework-Quelldatei Daten laden

Perzeptron* trainnewperceptron(traindata) MUSS

13 Vorgegebener Ablauf: Framework-Quelldatei Daten laden Perzeptron trainieren Perzeptron verwenden Trainingsdaten werden aus Datei geladen: TrainingData* loaddatafromfile(filename) Perzeptron wird trainiert: Perzeptron* trainnewperceptron(traindata) MUSS IMPLEMENTIERT WERDEN! Perzeptron wird verwendet/getestet: void runperceptron(perceptron* neuron) 13

14 Anzahl der Eingänge Eine Instanz pro Zeile Komma-separierte Werte Daten-Dateiformat Letzer Wert: Klasse der Instanz Beispiele: anddata.txt 2 0,0,- 0,1,- 1,0,- 1,1,+ ordata.txt 2 0,0,- 0,1,+ 1,0,+ 1,1,+ xordata.txt 2 0,0,- 0,1,+ 1,0,+ 1,1,- 14

15 MLNN IN FLOOD3 15

16 Multi Layer Neural Network (MLNN) Netzaufbau: mehrere versteckte (innere) Schichten Lernverfahren: Backpropagation-Algorithmus [Rumelhart86, Werbos74] Neuronenaufbau: nichtlineare Aktivierungsfunktion -1-1 i1-1 i2 i3 i4 i5 16

17 MLNN anlegen: MLNN in Flood3 anlegen FL::MultilayerPerceptron mlnn(#inputs,hiddenl,#outputs); #inputs : Anzahl der Eingabekanäle hiddenl : Konfiguration der Hidden Layers FL::Vector<int> mit Anzahl der Hidden Neurons pro Layer #outputs : Anzahl der Ausgabekanäle Aktivierungsfunktionen per Default Hidden Layers: Hyperbolic Tangent ([-1,+1]) Output Neurons: Linear 17

18 Topologieauswahl Zusammenhang zwischen Anzahl der (hidden) layer und Zielfunktion? 3 Layer (1 hidden Layer - sigmoid): jede Boolsche Funktion jede kontinuierliche beschränkte Funktion [Cybenko 1989, Hornik et al. 1989] 4 Layer (2 hidden Layer -sigmoid) beliebige Funktionen mit beliebiger Genauigkeit [Cybenko 1988] Schon eine geringe Tiefe ist ausreichend 18

19 Lernverhalten - Topologieauswahl Anzahl der Neuronen pro Schicht im Bezug zu der Anzahl von (stochastisch unabhängigen) Lerndaten ist wichtig Aber: allgemeine Aussage nicht möglich Beispiel: gestrichelte Kurve soll eingelernt werden wenig Neuronen viele Neuronen wenig Lerndaten 19

20 Fehlermaß benötigt, z.b. Trainieren in Flood3 FL::SumSquaredError errormeasure(mlnn, traindata); mlnn : MLNN das trainiert werden soll traindata : benutzte Trainingsdaten (s.u.) Lerner benötigt, z.b. FL::GradientDescent learner(errormeasure); evtl. interessante Parameter: maximum_epochs_number, display_period, minimum_evaluation_improvement trainieren: learner.train(); 20

21 Overfitting Fehler auf Verifikationsdaten steigt ab einer Anzahl von Lernzyklen Mögliches Abbruchkriterium für Lernvorgang 21

22 Trainingsdaten in Flood3 Hauptcontainer InputTargetDataSet FL::InputTargetDataSet samples(#inst, #in, #out) #inst : Anzahl der Trainingsbeispiele #in : Anzahl Eingaben/Beispiel #out : Anzahl Ausgaben/Beispiel Befüllen mittels samples.set_data(datamatrix) Datensatz jeweils: Matrix FL::Matrix<double> matrix(rows, columns) Zeile setzen mittels matrix.set_row(i, vec) Zeilen : FL::Vector<double> (Inhalt: [Input 0,, Output 0, ]) 22

Auswahl repräsentativer Trainingsbeispiele Lerndaten für die Anpassung der Gewichte Verifikationsdaten für das Testen der Generalisierung gute Verteilung der Beispiele Klassifikation:

23 Auswahl repräsentativer Trainingsbeispiele Lerndaten für die Anpassung der Gewichte Verifikationsdaten für das Testen der Generalisierung gute Verteilung der Beispiele Klassifikation: Daten aus allen Klassen Regression: gesamter Definitionsbereich Beispiele insbesondere aus komplexen Regionen Klassifikation: Randregionen zwischen Klassen Regression: Verlaufsänderungen 23

24 Fragen? 24

25 Literatur Tom Mitchell: Machine Learning. McGraw-Hill, New York, M. Berthold, D.J. Hand: Intelligent Data Analysis. P. Rojas: Theorie der Neuronalen Netze Eine systematische Einführung. Springer Verlag, C. Bishop: Neural Networks for Pattern Recognition. Oxford University Press, Vorlesung 2006 : siehe auch Skriptum Ein kleiner Überblick über :

Ähnliche Dokumente

Neuronale Netze Aufgaben 2

Neuronale Netze Aufgaben 2 martin.loesch@kit.edu (0721) 608 45944 Aufgabe 3: Netz von Perzeptronen Die Verknüpfung mehrerer Perzeptronen zu einem Netz erlaubt die Lösung auch komplexerer Probleme als nur