Schwellenwertelemente. Rudolf Kruse Neuronale Netze 8

Transkript

1 Schwellenwertelemente Rudolf Kruse Neuronale Netze 8

2 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine Verarbeitungseinheit für Zahlen mitneingängenx,...,x n und einem Ausgang y. Das Element hat einen Schwellenwertθ und jeder Eingangx i ist mit einem Gewichtw i versehen. Ein Schwellenwertelement berechnet die Funktion y =, falls xw = n w ix i θ, i=, sonst. x w.. θ y x n w n Rudolf Kruse Neuronale Netze 9

3 Schwellenwertelemente: Beispiele Schwellenwertelement für die Konjunktionx x. x 3 x 4 y x x 3x + x y 3 5 Schwellenwertelement für die Implikationx x. x x y x x x x y Rudolf Kruse Neuronale Netze

4 Schwellenwertelemente: Beispiele Schwellenwertelement für (x x ) (x x 3 ) (x x 3 ). x x x 3 y x x x 3 i w i x i y 4 Rudolf Kruse Neuronale Netze

5 Schwellenwertelemente: Geometrische Interpretation Rückblick: Geradendarstellungen Geraden werden typischerweise in einer der folgenden Formen dargestellt: Explizite Form: g x =bx +c Implizite Form: g a x +a x +d = Punkt-Richtungs-Form: g x =p +kr Normalform g (x p)n = mit den Parametern b : c : p : r : n : Anstieg der Geraden Abschnitt derx -Achse Vektor zu einem Punkt auf der Gerade (Ortsvektor) Richtungsvektor der Gerade Normalenvektor der Gerade Rudolf Kruse Neuronale Netze

6 Schwellenwertelemente: Geometrische Interpretation Eine Gerade und ihre definierenden Eigenschaften. c x b = r r r n = (a,a ) q = d n n n g ϕ p d = pn x O Rudolf Kruse Neuronale Netze 3

7 Schwellenwertelemente: Geometrische Interpretation Bestimmung, auf welcher Seite ein Punkt x liegt. x z z = xn n n n q = d n n n g ϕ x x O Rudolf Kruse Neuronale Netze 4

8 Schwellenwertelemente: Geometrische Interpretation Schwellenwertelement fürx x. x 3 4 y x Ein Schwellenwertelement fürx x. x x x x y x x Rudolf Kruse Neuronale Netze 5

9 Schwellenwertelemente: Geometrische Interpretation Darstellung 3-dimensionaler Boolescher Funktionen: x 3 x (,, ) x (,, ) Schwellenwertelement für (x x ) (x x 3 ) (x x 3 ). x x y x 3 x x 3 x Rudolf Kruse Neuronale Netze 6

10 Schwellenwertelemente: lineare Separabilität Zwei Punktmengen in einem n-dimensionalen Raum heißen linear separabel, wenn sie durch eine (n-)-dimensionale Hyperebene getrennt werden können. Die Punkte der einen Menge dürfen dabei auch auf der Hyperebene liegen. Eine Boolesche Funktion heißt linear separabel, falls die Menge der Urbilder von und die Menge der Urbilder von linear separabel sind. Rudolf Kruse Neuronale Netze 7

11 Schwellenwertelemente: Grenzen Das Biimplikationsproblemx x : Es gibt keine Trenngerade. x x y Formaler Beweis durch reductio ad absurdum: x x da (, ) : θ, () da (, ) : w <θ, () da (, ) : w <θ, (3) da (, ) : w +w θ. (4) () und (3):w +w < θ. Mit (4): θ>θ, oderθ>. Widerspruch zu (). Rudolf Kruse Neuronale Netze 8

12 Schwellenwertelemente: Grenzen Vergleich zwischen absoluter Anzahl und der Anzahl linear separabler Boolescher Funktionen. ([Widner 96] zitiert in [Zell 994]) Eingaben Boolesche Funktionen linear separable Funktionen Für viele Eingaben kann ein SWE fast keine Funktion berechnen. Netze aus Schwellenwertelementen sind notwendig, um die Berechnungsfähigkeiten zu erweitern. Rudolf Kruse Neuronale Netze 9

13 Netze aus Schwellenwertelementen Biimplikationsproblem, Lösung durch ein Netzwerk. Idee: logische Zerlegung x x (x x ) (x x ) x x berechnety =x x berechnety=y y 3 berechnety =x x y =x x Rudolf Kruse Neuronale Netze

14 Netze aus Schwellenwertelementen Lösung des Biimplikationsproblems: Geometrische Interpretation x d c g g = y b ac g 3 a b d x y Die erste Schicht berechnet neue Boolesche Koordinaten für die Punkte. Nach der Koordinatentransformation ist das Problem linear separabel. Rudolf Kruse Neuronale Netze

15 Darstellung beliebiger Boolescher Funktionen Seiy=f(x,...,x n ) eine Boolesche Funktion mitnvariablen. (i) Stelle f(x,...,x n ) in disjunktiver Normalform dar. D.h. bestimme D f =K... K m, wobei allek j Konjunktionen vonnliteralen sind, d.h., K j =l j... l jn mitl ji =x i (positives Literal) oderl ji = x i (negatives Literal). (ii) Lege ein Neuron für jede KonjunktionK j der disjunktiven Normalform an (mit n Eingängen ein Eingang pro Variable), wobei w ji =, fallsl ji = x i,, fallsl ji = x i, und θ j =n + n i= w ji. (iii) Lege ein Ausgabeneuron an (mit m Eingängen ein Eingang für jedes Neuron, das in Schritt (ii) angelegt wurde), wobei w (n+)k =, k =,...,m, und θ n+ =. Rudolf Kruse Neuronale Netze

16 Trainieren von Schwellenwertelementen Rudolf Kruse Neuronale Netze 3

17 Trainieren von Schwellenwertelementen Die geometrische Interpretation bietet eine Möglichkeit, SWE mit und 3 Eingängen zu konstruieren, aber: Es ist keine automatische Methode (Visualisierung und Begutachtung ist nötig). Nicht möglich für mehr als drei Eingabevariablen. Grundlegende Idee des automatischen Trainings: Beginne mit zufälligen Werten für Gewichte und Schwellenwert. Bestimme den Ausgabefehler für eine Menge von Trainingsbeispielen. Der Fehler ist eine Funktion der Gewichte und des Schwellenwerts: e = e(w,...,w n,θ). Passe Gewichte und Schwellenwert so an, dass der Fehler kleiner wird. Wiederhole diese Anpassung, bis der Fehler verschwindet. Rudolf Kruse Neuronale Netze 4

18 Trainieren von Schwellenwertelementen Schwellenwertelement mit einer Eingabe für die Negation x. x w θ y x y Ausgabefehler als eine Funktion von Gewicht und Schwellenwert. w e θ Fehler fürx= w e θ Fehler fürx = w e θ Summe der Fehler Rudolf Kruse Neuronale Netze 5

19 Trainieren von Schwellenwertelementen Die Fehlerfunktion kann nicht direkt verwendet werden, da sie aus Plateaus besteht. Lösung: Falls die berechnete Ausgabe falsch ist, berücksichtige, wie weit die gewichtete Summe vom Schwellenwert entfernt ist. Modifizierter Ausgabefehler als Funktion von Gewichten und Schwellenwert. 4 e 4 e 4 e w θ Fehler fürx= w θ Fehler fürx = w θ Summe der Fehler Rudolf Kruse Neuronale Netze 6

20 Trainieren von Schwellenwertelementen Schema der resultierenden Richtungen der Parameteränderungen. w w w θ Änderungen für x = θ Änderungen für x = θ Summe der Änderungen Beginne an zufälligem Punkt. Passe Parameter iterativ an, entsprechend der zugehörigen Richtung am aktuellen Punkt. Rudolf Kruse Neuronale Netze 7

21 Trainieren von Schwellenwertelementen Beispieltrainingsprozedur: Online- und Batch-Training. w θ Online-Lernen w θ Batch-Lernen 4 w e θ Batch-Lernen x y x Rudolf Kruse Neuronale Netze 8

22 Trainieren von Schwellenwertelementen: Delta-Regel Formale Trainingsregel: Seix=(x,...,x n ) ein Eingabevektor eines Schwellenwertelements, o die gewünschte Ausgabe für diesen Eingabevektor, und y die momentane Ausgabe des Schwellenwertelements. Wenn y o, dann werden Schwellenwert θ und Gewichtsvektorw = (w,...,w n ) wie folgt angepasst, um den Fehler zu reduzieren: θ (neu) =θ (alt) + θ wobei θ = η(o y), i {,...,n} : w i (neu) =w i (alt) + w i wobei w i = η(o y)x i, wobei η ein Parameter ist, der Lernrate genannt wird. Er bestimmt die Größenordnung der Gewichtsänderungen. Diese Vorgehensweise nennt sich Delta-Regel oder Widrow Hoff Procedure [Widrow and Hoff 96]. Online-Training: Passe Parameter nach jedem Trainingsmuster an. Batch-Training: Passe Parameter am Ende jeder Epoche an, d.h. nach dem Durchlaufen aller Trainingsbeispiele. Rudolf Kruse Neuronale Netze 9

23 Trainieren von Schwellenwertelementen: Delta-Regel Ändern des Schwellenwerts in ein Gewicht: =x w = θ x w x w x w θ y x w y.. x n w n x n w n n i= w ix i θ n i= w ix i θ Rudolf Kruse Neuronale Netze 3

24 Trainieren von Schwellenwertelementen: Delta-Regel procedure online_training (var w, var θ, L, η); var y, e; (* Ausgabe, Fehlersumme *) begin repeat e := ; (* initialisiere Fehlersumme *) for all (x, o) L do begin (* durchlaufe Trainingsmuster*) if (wx θ) then y := ; (* berechne Ausgabe*) else y := ; (* des Schwellenwertelements *) if (y o) then begin (* Falls Ausgabe falsch *) θ :=θ η(o y); (* passe Schwellenwert *) w :=w +η(o y)x; (* und Gewichte an *) end; end; until (e ); end; e :=e + o y ; (* summiere die Fehler*) (* wiederhole die Berechnungen*) (* bis der Fehler verschwindet*) Rudolf Kruse Neuronale Netze 3

25 Trainieren von Schwellenwertelementen: Delta-Regel procedure batch_training (var w, var θ, L, η); var y, e, (* Ausgabe, Fehlersumme *) θ c,w c ; (* summierte Änderungen *) begin repeat e := ;θ c := ;w c := ; (* Initialisierungen *) for all (x, o) L do begin (* durchlaufe Trainingsbeispiele*) if (wx θ) then y := ; (* berechne Ausgabe *) else y := ; (* des Schwellenwertelements *) if (y o) then begin (* Falls Ausgabe falsch*) θ c :=θ c η(o y); (* summiere die Änderungen von*) w c :=w c +η(o y)x; (* Schwellenwert und Gewichten *) e :=e + o y ; (* summiere Fehler*) end; end; θ :=θ +θ c ; (* passe Schwellenwert*) w :=w+w c ; (* und Gewichte an *) until (e ); (* wiederhole Berechnungen *) end; (* bis der Fehler verschwindet*) Rudolf Kruse Neuronale Netze 3

26 Trainieren von Schwellenwertelementen: Online Epoche x o xw y e θ w θ w Rudolf Kruse Neuronale Netze 33

27 Trainieren von Schwellenwertelementen: Batch Epoche x o xw y e θ w θ w Rudolf Kruse Neuronale Netze 34

28 Trainieren von Schwellenwertelementen: Konjunktion Schwellenwertelement mit zwei Eingängen für die Konjunktion. x w x w θ y x x y x 3 y x Rudolf Kruse Neuronale Netze 35

29 Trainieren von Schwellenwertelementen: Konjunktion Epoche x x o xw y e θ w w θ w w Rudolf Kruse Neuronale Netze 36

30 Trainieren von Schwellenwertelementen: Biimplikation Epoch x x o xw y e θ w w θ w w Rudolf Kruse Neuronale Netze 37

31 Trainieren von Schwellenwertelementen: Konvergenz Konvergenztheorem: SeiL ={(x,o ),...(x m,o m )} eine Menge von Trainingsmustern, jedes bestehend aus einem Eingabevektorx i IR n und einer gewünschten Ausgabeo i {, }. Sei weiterhinl ={(x,o) L o=} und L ={(x,o) L o=}. FallsL undl linear separabel sind, d.h., fallsw IR n undθ IR existieren, so dass (x, ) L : (x, ) L : wx<θ und wx θ, dann terminieren sowohl Online- als auch Batch-Training. Für nicht linear separable Probleme terminiert der Algorithmus nicht. Rudolf Kruse Neuronale Netze 38

32 Trainieren von Netzwerken aus Schwellenwertelementen Einzelne Schwellenwertelemente haben starke Einschränkungen: Sie können nur linear separable Funktionen berechnen. Netzwerke aus Schwellenwertelemente können beliebige Boolesche Funktionen berechnen. Das Trainieren einzelner Schwellenwertelemente mit der Delta-Regel ist schnell und findet garantiert eine Lösung, falls eine existiert. Netzwerke aus Schwellenwertelementen können nicht mit der Delta-Regel trainiert werden. Rudolf Kruse Neuronale Netze 39