Objekt Attributwerte Klassifizierung X Y

Transkript

1 AUFGABE : Entscheidungsbäume Betrachten Sie das folgende Klassifizierungsproblem: bjekt Attributwerte Klassifizierung X Y A 3 B C 2 D E F 3 G H I 3 2 J 4 K 2 L 4 2 ) Bestimmen Sie die zwei möglichen Entscheidungsbäume für die Klassifizierung der bjekte A bis I. 2) Wie klassifizieren diese Entscheidungsbäume die bjekte J, K und L? Welcher Klassifizierung geben Sie den Vorzug, und warum? 3) Welcher der beiden Bäume wird durch das ID3-Verfahren gewählt? [Berechnung der Entropieabnahme für den ersten Entscheidungsschritt!] Prüfung Neuronale Netzwerke 0. ktober 200 Seite

2 AUFGABE 2: Perceptron Betrachten Sie ein Perceptron mit 2 Inputneuronen, einer Schwelle und einem utputneuron, W 0 W 2 W I 0 I I 2 = sign (W0 I0 + W I + W2 I2 ), + sign(x) = falls falls x 0 x < 0 und die folgenden 3 Lernbeispiele (D = gewünschter utput): Lernbeispiel I I 2 D a + + b 0 c 0 + ) Wählen Sie als Anfangsgewichte W 0 =, W =.5 und W 2 = 3. Präsentieren Sie dann die 3 Lernbeispiele je einmal [Reihenfolge a, b, c], und ändern Sie die Gewichte jedesmal gemäss dem Perceptron-Lernverfahren [mit η = ¼]. 2) Klassifiziert der so erhaltene Satz von Gewichten bereits alle Lernbeispiele richtig? 3) Stellen Sie die Klassifizierung des entsprechenden Perceptrons in der (I, I 2 ) Ebene graphisch dar. Prüfung Neuronale Netzwerke 0. ktober 200 Seite 2

3 AUFGABE 3: Feedforward-Netzwerk Betrachten Sie das folgende Feedforward-Netzwerk: = sign( ) - -2 S S = sign( ) - I 0 I I 2 ) Zeigen Sie, dass dieses Netzwerk das XR-Problem löst. [D = gewünschter utput] XR: I I 2 D ) Bestimmen Sie die Bereiche im Inputraum [ < I, I 2 < + ], in denen der utput den Wert + annimmt, und stellen Sie diese auch graphisch dar. Prüfung Neuronale Netzwerke 0. ktober 200 Seite 3

4 AUFGABE 4: Error-Backpropagation Gegeben sei das folgende Feedforward-Netzwerk: = f (W 3 I + W 4 S) f(v) W 3 W 4 S S = f (W I + W 2 I 2 ) f(u) W W 2 f(x) = + e x I I 2 ) Bestimmen Sie mit Hilfe des Backpropagation-Algorithmus und der Fehlerfunktion F = D ln D D + ( D) ln [ D = gewünschter utput] einen analytischen Ausdruck für die Gewichtsänderung W. df =, dx Hinweis: Beachten Sie, dass f(x) [ f(x) ] d ds d.h.: = ( ), = S ( S). dv du ) Vergleichen Sie diesen Ausdruck für W mit demjenigen, den Sie bei Verwendung der üblichen quadratischen Fehlerfunktion erhalten, d.h. wenn F = (D ) 2 2. Prüfung Neuronale Netzwerke 0. ktober 200 Seite 4

5 AUFGABE 5: Hopfield-Netzwerk Betrachten Sie das folgende Hopfield-Netzwerk: S S 2 S 3 S 4 Benutzen Sie die Hebb sche Lernregel, um in diesem Netzwerk die drei Muster A, B und C zu speichern: A B C ( wobei: : S i =, : S i = - ) ) Welche Werte ergeben sich für die Gewichte der 6 Verbindungen? 2) Zeigen Sie, dass mit diesen Gewichtswerten die Muster B und C keine stabilen Zustände des Netzwerks sind. 3) Vergleichen Sie die Energien dieser Muster mit der Energie des stabilen Musters A. Prüfung Neuronale Netzwerke 0. ktober 200 Seite 5

6 AUFGABE 6: Stochastische Neuronen Im folgenden Feedforward-Netzwerk 2W S W W W X 0 X bezeichnen und S die Zustandsvariablen von stochastischen Neuronen, welche die Werte oder 0 annehmen können: bzw. S = 0 mit mit Wahrscheinlichkeit Wahrscheinlichkeit p p wobei p = + exp( Input) ) Bestimmen Sie P( = ), d.h. die Wahrscheinlichkeit, dass den Wert annimmt, als Funktion von X und W. 2) Skizzieren Sie den Verlauf von P( = ) als Funktion von X ( < X < + ) im Limes W +. Prüfung Neuronale Netzwerke 0. ktober 200 Seite 6

7 AUFGABE 7: Winner-Take-All Netzwerke ) Wie werden in einem sogenannten Winner-Take-All Netzwerk die Werte der utput-neuronen berechnet? 2) Wie werden bei einem (einfachen!) kompetitiven Lernverfahren die Gewichte eines Winner-Take-All Netzwerks verändert? 3) Betrachten Sie das folgende Winner-Take-All Netzwerk, S S 2 S 3 S 4 S 5 W W 52 X X 2 W = 0. W 2 = 0. W 3 = 0.5 W 4 = 0.9 W 5 = 0.9 W 2 = 0.9 W 22 = 0.3 W 32 = 0.7 W 42 = 0.3 W 52 = 0.9 und bestimmen Sie (graphisch) die Winner-Gebiete der 5 utputneuronen im Inputraum [0 < X, X 2 <]. Prüfung Neuronale Netzwerke 0. ktober 200 Seite 7

8 AUFGABE 8: Design eines neuronalen Netzwerks Ein Spital will für den Entscheid über die Behandlung von Patienten mit Bauchschmerzen ein neuronales Netzwerk einsetzen. Es wird ein Feedforward-Netzwerk gewählt, das mit dem Backpropagation-Lernalgorithmus trainiert werden soll. Jedes Trainingsbeispiel (existierende Patientendaten) enthält die folgenden Informationen: Input-Daten: Körpertemperatur ( C) Blutdruck ( ) Anzahl Leucozyten ( pro µl) Stärke der Schmerzen (stark, mittel, schwach) rt der Schmerzen (links, Mitte, rechts) Behandlungsentscheid: 3 Möglichkeiten: operieren medikamentöse Behandlung keine Behandlung Diskutieren Sie die folgenden Aspekte beim Design des neuronalen Netzwerks: ) Vorverarbeitung der kontinuierlichen Inputdaten (Körpertemperatur, Blutdruck, Anzahl Leucozyten). 2) Codierung der diskreten Inputdaten (Stärke und rt der Schmerzen): Anzahl Inputneuronen?, Vor- und Nachteile verschiedener Alternativen? 3) Der Behandlungsentscheid wird durch 3 kontinuierliche utputneuronen dargestellt [0, 2, 3 ]. Wie interpretieren Sie die folgenden utput-beispiele? Machen Sie einen Vorschlag für die Interpretation der utputdaten, bei dem auch ein Nullentscheid ( weitere Untersuchungen ) zugelassen ist, z.b. operieren falls Regel (, 2, 3 ), etc. Prüfung Neuronale Netzwerke 0. ktober 200 Seite 8