Neuronale Netze Aufgaben

Transkript

1 Neuronale Netze Aufgaben (0721)

2 C++-Library Flood Open Source Neural Networks Library in C++ verfügbar unter Bietet Perzeptronen Multi-layer Netzwerke verschiedene Trainingsalgorithmen weitere Utilities Verwendbar zur Lösung der folgenden Aufgaben 2

3 Aufgabe 1: Einrichtung Einrichtung der Library für die weitere Verwendung Download Entpacken in Entwicklungsumgebung geeignet einbinden 3

4 Wichtige Vorüberlegungen zu Flood 3 Wie werden Perzeptronen in Flood 3 repräsentiert? Welche Klasse(n)? Wie werden Gewichte gesetzt? Wie wird die Übertragungsfunktion gewählt? Wie wird ein Ergebnis berechnet? Wie werden Daten repräsentiert? Wofür werden Daten benötigt? 4

5 Lösung der Vorüberlegungen Klassen FL::Perceptron repräsentiert Perzeptron p = new Flood::Perceptron(ANZAHLEINGÄNGE); Flood::Vector<double> für Gewichte, Abfragen Zugriff mittels []-Operator Parameter des Perzeptrons setzen: Übertragungsfunktion p.set_activation_function(flood::perceptron::typ); Wert für Typ: Flood::Perceptron::Threshold Gewichte der Eingänge p.set_synaptic_weights(gewichtsvektor); Threshold (Bias) p.set_bias(wert); Berechnung des Ergebnisses double result = p.calculate_output(eingabevektor); 5

6 Aufgabe 2: Perzeptronen a) Verwende die Klasse Perceptron der Flood-Library, um von Hand einen logischen AND-Operator zu programmieren. (2 Eingänge, 1 Ausgang, 1&1=1, 1&0=0, 0&1=0, 0&0=0). 1 x 2 1 x 1 x 1 AND x 2 : 0.5x x 2 > 0.8 6

7 Aufgabe 2: Perzeptronen b) Erweitere die Lösung von Teilaufgabe a), so dass der Benutzer die Anzahl der Eingaben auswählen kann und neben dem AND-Operator auch ein OR-Operator realisiert wird. c) Für den Fall von genau 2 Eingängen: Realisiere einen XOR-Operator unter Einsatz mehrerer Perzeptronen. x 2 x x 1 1 x 1 x 1 OR x 2 : 0.5x x 2 > 0.3 XOR 7

8 Aufgabe 2: Perzeptronen (1) a) Verwende die Klasse Perceptron der Flood-Library, um von Hand einen logischen AND-Operator zu programmieren (2 Eingänge, 1 Ausgang, 1&1=1, 1&0=0, 0&1=0, 0&0=0). von allen erfolgreich beendet? mögliche Lösung: AndOp = new FL::Perceptron(2); FL::Vector<double> weights(2); AndOp.set_activation_function(FL::Perceptron::Threshold); AndOp->set_bias(-0.75); weights[0] = 0.5; weights[1] = 0.5; AndOp->set_synaptic_weights(weights); FL::Vector<double> inputs(2); inputs[0] = INPUT1; inputs[1] = INPUT2; double outputsignal = AndOp->calculate_output(inputs); 8

9 Aufgabe 2: Perzeptronen (2) Wie kommt man zu den Parametern? Ausprobieren Grafisch überlegen (Gewichtsvektor = Normalenvektor) Gleichungssystem aufstellen: 1 w 1 +1 w 2 = w 1 + w 2 > θ 0 w 1 +1 w 2 = w 2 < θ 1 w 1 +0 w 2 = w 1 < θ 9

10 Aufgabe 2: Perzeptronen (3) b) Erweitere die Lösung von Teilaufgabe a), so dass der Benutzer die Anzahl der Eingaben auswählen kann und neben dem AND-Operator auch ein OR-Operator realisiert wird. alle erfolgreich? mögliche Lösung für AND: AndOp = new FL::Perceptron(numberOfInputSignals); FL::Vector<double> weights(numberofinputsignals); double andinputweight = 1.0 / numberofinputsignals; double andthreshold = 1.0 (andinputweight / 2.0); AndOp->set_bias(-andThreshold); for (int i=0; i<numberofinputsignals; i++){ weights[i] = andinputweight; } AndOp->set_synaptic_weights(weights); 10

11 Aufgabe 2: Perzeptronen (4) mögliche Lösung für AND: AndOp = new FL::Perceptron(numberOfInputSignals); FL::Vector<double> weights(numberofinputsignals); double andinputweight = 1.0 / numberofinputsignals; double andthreshold = 1.0 (andinputweight / 2.0); AndOp->set_bias(-andThreshold); for (int i=0; i<numberofinputsignals; i++){ weights[i] = andinputweight; } AndOp->set_synaptic_weights(weights); mögliche Lösung für OR: double orinputweight = 1.0 / numberofinputsignals; double orthreshold = orinputweight / 2.0); OrOp->set_bias(-orThreshold); for (int i=0; i<numberofinputsignals; i++){ weights[i] = orinputweight; } OrOp->set_synaptic_weights(weights); 11

12 XOR-Aufgabe (Aufgabe 2: Perzeptronen) c) Für den Fall von genau 2 Eingängen: Realisiere einen XOR-Operator unter Einsatz mehrerer Perzeptronen. Lösung: Mind. 2 Perzeptronen zur Erkennung von Teillösungen, mind. 1 Perzeptron zur Kombination der Teillösungen. 12

13 Lösung XOR-Aufgabe (1) namespace FL = Flood; FL::Perceptron xorupperleft(2), xorlowerright(2), xorout(2); void initxorperceptrons() { xorupperleft.set_activation_function(fl::perceptron::threshold); xorlowerright.set_activation_function(fl::perceptron::threshold); xorout.set_activation_function(fl::perceptron::threshold); // init upper left perceptron xorupperleft.set_bias(-0.25); FL::Vector<double> xulweights(2); xulweights[0] = 0.5; xulweights[1] = -0.5; xorupperleft.set_synaptic_weights(xulweights); // init lower right perceptron xorlowerright.set_bias(-0.25); FL::Vector<double> xlrweights(2); xlrweights[0] = -0.5; xlrweights[1] = 0.5; xorlowerright.set_synaptic_weights(xlrweights); // init out perceptron xorout.set_bias(-0.25); FL::Vector<double> xoweights(2); xoweights[0] = 0.5; xoweights[1] = 0.5; xorout.set_synaptic_weights(xoweights); } 13

14 double calculatexor(double* signals) { FL::Vector<double> inputsignal(2); Lösung XOR-Aufgabe (2) inputsignal[0] = signals[0]; inputsignal[1] = signals[1]; double upperleftsignal = xorupperleft.calculate_output (inputsignal); inputsignal[0] = signals[0]; inputsignal[1] = signals[1]; double lowerrightsignal = xorlowerright.calculate_output (inputsignal); inputsignal[0] = upperleftsignal; inputsignal[1] = lowerrightsignal; double outputsignal = xorout.calculate_output (inputsignal); return outputsignal; } bool thresholdwithnull(double value) { return (value > 0.0); } in main(): double xorresult = calculatexor(inputdata); cout << "Result of perceptron-xor: " << (thresholdwithnull(xorresult)?"true":"false") << " (" << xorresult << ")" << endl; 14

15 Aufgabe 3: Netz von Perzeptronen Die Verknüpfung mehrerer Perzeptronen zu einem Netz erlaubt die Lösung auch komplexerer Probleme als nur die linear separierbaren. Löse mit Hilfe eines Netzes von mehreren Perzeptronen das dargestellte Klassifikationsproblem (2 diskrete Eingänge, mögliche Werte: {0, 1, 2, 3}). Aufbau der Lösung: 2 Eingaben, das eigentliche Netz von Perzeptronen, pro zu erkennender Klasse je ein x 1 Ausgabe-Perzeptron. x 2 Aufgabe 15

16 Lösung Aufgabe 3 (1) namespace FL = Flood; FL::Perceptron ex3horiz(2), ex3diag(2), ex3blackcross(2), ex3greencircle(2), ex3bluesquare(2); void initexercise3perceptrons() { ex3horiz.set_activation_function(fl::perceptron::linear); [...] ex3horiz.set_bias(1.5); FL::Vector<double> ex3hweights(2); ex3hweights[0] = 0.0; ex3hweights[1] = -1.0; ex3horiz.set_synaptic_weights(ex3hweights); ex3diag.set_bias(-2.25); FL::Vector<double> ex3dweights(2); ex3dweights[0] = 0.5; ex3dweights[1] = 0.5; ex3diag.set_synaptic_weights(ex3dweights); ex3blackcross.set_bias(-0.5); FL::Vector<double> ex3bcweights(2); ex3bcweights[0] = 1.0; ex3bcweights[1] = 0.0; ex3blackcross.set_synaptic_weights(ex3bcweights); ex3greencircle.set_bias(0.25); FL::Vector<double> ex3gcweights(2); ex3gcweights[0] = -0.5; ex3gcweights[1] = -0.5; ex3greencircle.set_synaptic_weights(ex3gcweights); ex3bluesquare.set_bias(-0.5); FL::Vector<double> ex3bsweights(2); ex3bsweights[0] = 0.0; ex3bsweights[1] = 1.0; ex3bluesquare.set_synaptic_weights(ex3bsweights); } 16

17 Lösung Aufgabe 3 (1) void calculateexercise3(double* signals) { FL::Vector<double> inputsignals(2); inputsignals[0] = signals[0]; inputsignals[1] = signals[1]; double horizres = ex3horiz.calculate_output (inputsignals); inputsignals[0] = signals[0]; inputsignals[1] = signals[1]; double diagres = ex3diag.calculate_output (inputsignals); inputsignals[0] = horizres; inputsignals[1] = diagres; double bcres = ex3blackcross.calculate_output (inputsignals); inputsignals[0] = horizres; inputsignals[1] = diagres; double gcres = ex3greencircle.calculate_output (inputsignals); inputsignals[0] = horizres; inputsignals[1] = diagres; double bsres = ex3bluesquare.calculate_output (inputsignals); cout << "Exercise 3: BlackCross=" << (thresholdwithnull(bcres)?"true":"false ) << " GreenCircle=" << (thresholdwithnull(gcres)?"true":"false ) << " BlueSquare=" << (thresholdwithnull(bsres)?"true":"false") << endl; } 17