Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt

Transkript

1 Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / Aufgabenblatt Abgabetermin: (2 Wochen Bearbeitungszeit!) Musterlösung Aufgabe 1 Neuronales Netz (40%) Ein neuronales Netz soll die XOR-Funktion y = x 1 x 2 lernen, wobei die Wahrheitswerte durch (wahr) und 1 (falsch) dargestellt werden: x x y = x 1 x Die Neuronen haben je zwei Eingänge e k1, e k2 mit den Gewichten w k1, w k2 und dem Bias w k0. Sie verwenden die Schwellwert-Aktivierungsfunktion { für hk > 0 a k = sgn(h k ) = 1 für h k 0 mit h k = w k1 e k1 + w k2 e k2 w k0 zur Berechnung der eigenen Ausgabe a k. (a) Ein Perzetron (einzelnes Neuron) startet mit w 11 = w 12 = 1 und w 10 = 1. Berechnen Sie die Gewichte nach einmaligem Training mit jedem der vier Beisiele, wenn die Perzetron-Lernregel mit Schrittweite λ = 0.6 verwendet wird! Vergessen Sie nicht, beim Lernen auch den Bias w 10 anzuassen. (1) x 1 = 1, x 2 = 1, y = 1 a = sgn(1 ( 1) + 1 ( 1) ( 1)) = sgn( 1) = 1 = y (2) x 1 =, x 2 = 1, y = 1 a = sgn(1 () + 1 ( 1) ( 1)) = sgn() = = y

2 (3) x 1 = 1, x 2 =, y = 1 a = sgn(1 ( 1) + 1 () ( 1)) = sgn() = = y (4) x 1 =, x 2 =, y = 1 a = sgn(1 () + 1 () ( 1)) = sgn(+3) = y Anassung der Gewichte erforderlich: w + 10 = w 10 + λ y e 10 = ( 1) ( 1) = 0.4 w + 11 = w 11 + λ y e 11 = ( 1) () = 0.4 w + 12 = w 12 + λ y e 12 = ( 1) () = 0.4 (b) Kann ein Perzetron die oben angegebene XOR-Funktion überhaut so lernen, dass alle vier Beisiele korrekt wiedergegeben werden? Begründen Sie ihre Antwort! Da die Beisiele nicht linear searabel sind, kann ein Perzetron diese nicht vollständig lernen. Es wird immer mindestens ein Beisiel geben, das falsch klassifiziert wird. (c) Konstruieren Sie ein neuronales Netz aus mehreren Neuronen, dass die XOR-Funktion richtig berechnet! Welche booleschen Funktionen berechnen die einzelnen Neuronen in diesem Netz? e1 OR 1 e0= 1 AND a 1 e2 AND

3 Aufgabe 2 Lineare Aktivierungsfunktion (20%) Betrachten Sie ein neuronales Netzwerk mit N Eingaben e j, einer verborgenen Schicht mit K Neuronen und einem Ausgabeneuron. Da alle Neuronen eine lineare Aktivierungsfunktion haben, ist die Ausgabe des i-ten Neurons in der Zwischenschicht durch z i = α i0 + α ij e j und die Gesamtausgabe des Netzwerks durch a = β 0 + β i z i gegeben. Zeigen Sie, dass es ein neuronales Netz ohne verborgene Einheiten gibt, das dieselbe Funktion berechnet! a = β 0 + β i α i0 + α ij e j ( ) ( K ) = β 0 + β i α i0 + β i α ij e j = w 0 + w j e j Neue Gewichte für das Einschicht-Netz: w 0 = β 0 + β i α i0 w j = β i α ij Aufgabe 3 Nichtdeterministische Beisiele (40%) Der Trainingsdatensatz für ein neuronales Netz besteht aus N Beisielen, die jeweils aus derselben Eingabe x und einer zufällig gewählte Soll-Ausgabe y i { 1, 1} bestehen. Der Lernalgorithmus des Netzwerkes wählt die Gewichte so, dass die tatsächlichen Ausgaben a(x) [ 1; 1] die Fehlerfunktion E n = y i a(x i ) n

4 minimieren. Für die relative Häufigkeit ositiver Beisiele gilt: = 1 N 1 + y i 2 (a) Welche Ausgabe a(x) ordnet ein otimal trainiertes neuronales Netz den Beisielen zu, wenn der absolute Fehler E 1 minimiert wird? Da alle Beisiele die gleiche Eingabe aufweisen, ist auch die Ausgabe konstant a i = a. E 1 = y i a = N 1 a + N(1 ) 1 a = N(1 a) + N(1 )(1 + a) a E 1 = N(1 ) N = N(1 2) Nur für = 0.5 wird die Ableitung im Inneren des Wertebereichs Null. Das Minimum liegt sonst am Rand. { 1 für > 0.5 a = 1 für < 0.5 (b) Welche Fehlerfunktion E n sollte für den Lernalgorithmus gewählt werden, damit für die Beisielseingabe a(x) = 2 1 erreicht wird? Zeigen Sie, dass es genau ein n mit dieser Eigenschaft gibt! E n = y i a n = N 1 a n + N(1 ) 1 a n = N(1 a) n + N(1 )(1 + a) n a E n = nn(1 a) n 1 + nn(1 )(1 + a) n 1 Notwendige Bedingung für ein Minimum: a E n = a n 1 1 = 1 a Einsetzen der Bedingung a = 2 1 führt zu: a E n = 0 n 1 1 = 1

5 log = (n 1) log 1 1 (n 2)[log log(1 )] = 0 n = 2 {0, 0.5, 1} Damit a = 2 1 erreicht wird, muss für den Lernalgorithmus die quadratische Fehlerfunktion E 2 verwendet werden. (c) Berechnen Sie für = 0.9 und N = 100 das Minimum der quadratischen Fehlerfunktion E 2 und der kubischen Fehlerfunktion E 3! Für E 2 gilt: Für E 3 gilt: a = 2 1 = = a 2 1 = 1 + a a 1 a = (1 + a) = 9(1 a) 4a = 2 a = 1 2 = 0.5