Neuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer. Lehrbrief Nr. 2: Perzeptron

Transkript

1 Neuonale Netze, Fuzz Contol, Genetische Algoithmen Pof. Jügen Saue Lehbief N. : Pezepton Pecepton - Das Pezepton ist das einfachste Modell fü Neuonale Netze. Dieses Modell gehöt zu Klasse de sog. Musteassoziatoen. - Man vebindet mit dem Begiff Pecepton meistens ein einstufiges, lenfähiges Netz 3. pecepton convegence pocedue Mit Hilfe diese Lenegel können duch wiedeholtes Anlegen de Eingabedaten und Vegleich de eechneten und ewateten Ausgaben die einzelnen Gewichte und Schwellwete so geändet weden, dass das Netz die gefodeten Ausgaben beechnen kann, sofen dies übehaupt möglich ist 4. Neuonenmodell: w o = θ (Schwellenwet) x w x w Σ = = w i x i θ i= x n w n Falls de Schwellwet als weitees Gewicht intepetiet wid, gilt - fü den eweiteten Gewichtsvekto: ( wo, w, w,..., wn ) = ( θ, w, w,..., wn) - fü den eweiteten Eingabevekto: ( x o, x, x,..., xn ) = (, x, x,..., xn) Bias-Unit: Sie 5 selbst enthält keinen Input, ih Aktivitätslevel betägt imme. Das Gewicht von de Bias-Unit 6 zu eine andeen Unit kann positiv ode negativ sein. Falls keine stake Eingabe von de Bias-Unit zu eine andeen Einheiten efolgt, dann stellt die Bias-Unit siche, dass die Einheit mit dem positiven Gewicht aktiv bleibt. Bei negativem Gewicht sogt die Bias-Einheit dafü, dass die Unit in ihem Zustand vehat i n Vgl. Entwickelt von F. Rosenblatt, vgl. Skiptum vgl. Skiptum.., 6 Bias-Neuon

2 Ein seh einfaches Beispiel: 7 x. x. kann folgendemaßen dagestellt weden: x x + x > = x + x x + x < = x = Lineae Tennbakeit bedeutet: Zwei Mengen P und N von Punkten in einem n- dimensionalen Eingabeaum sind linea tennba, falls n+ eelle Zahlen θ, w, w,...,w n existieen, so dass fü jeden Punkt x n P gilt: w i x i θ und fü jeden Punkt x N gilt: n i= w i x i < θ. w Die Tennfunktion w x + w x = θ entspicht eine Geadengleichung: x = θ x. Die w w Tenngeade steht senkecht zum Gewichsvekto. x i= h 8 x w x T θ = w (Distanz vom Punkt x von H w d = θ w H w T : x = θ x Pojektion von x auf w

3 De Vekto de Tenngeaden ist mit θ θ = w w θ θ w w x θ = x = und w x θ = x = : w Das Skalapodukt des Vektos w θ θ mit de Tenngeaden ist w w =. w ist w w imme die Nomale zu Hpeebene. Intepetation des Skalapodukts: T w x = w x cosϕ 443 h Fü einen beliebigen Punkt auf de Tenngeaden gilt (h=d): T θ = w x = w x cos ϕ und 443 θ d = 9. w Die lineae Tennfunktion ist die (n-)-dimensionale Hpeebene des n-dimensionalen Eingabeaums. Eine Pezepton-Definition mit spezielle Eingabekomponente x = und Gewicht w = θ bedeutet, dass die Tennfunktion duch w T x = gegeben ist. Diese geht wegen d = duch den Uspung des um eine Dimension ehöhten Eingabeaums. Einschichtige Pezeptone (SLP) und Bool sche Funktionen. Da jede Boole sche Funktion als disjunktive und konjunktive Nomalfom geschieben weden kann, ist es möglich, mit einem einschichtigen Pezepton (Singlelae-Pecepton, SLP) logische Funktionen zu ealisieen. So ist es offensichtlich, daß sich die Bool sche Funktion AND und OR duch einen lineaen Klassifikato und damit einschichtigem Pezepton lösen lassen x x AND OR h= d n 9 w = w i i= vgl. Neual Netwok Design: Decision Boundaies, Pecepton Rule 3

4 (,) x w + w OR AND x b (Schwellwet).5.5 Hpeebenen: AND x + x 3/ =, d = 3 / = 3 4 OR x + x / =, d = / = 4 Neuonale Netze können die Tenngeaden duch Tainieen emitteln. Fü das XOR-Poblem (vgl. Wetetafel) existiet bspw. keine deatige Tennfäche (Geade). Eingabe Eingabe Ausgabe Die folgende 4 Ungleichungen w+ w < Θ w+ w > Θ w+ w > Θ w + w < Θ zeigen: w und w können allein fü sich allein betachtet nicht göße sein als ihe Summe, d.h. Das XOR-Poblem ist mit einem Pezepton nicht lösba. Das zeigt die folgende gafische Dastellung: i (,) i vgl. nnpez.m im Vezeichnis lehbief 4

5 Eine Lösung egibt sich duch Kombination e Tennlilinien. Dies füht auf ein ein lagiges Pezepton. -/ (,) x + OR + -3/ NAND x XOR 3/ x x Este Schicht Zweite Schicht XOR In de esten Schicht eines Pezeptons eagiet ein Neuon mit ode in Abhängigkeit davon, in welche Hälfte de von de Hpefläche ezeugten beiden Halbäume sich de Eingangsvekto befindet. Jedes weitee Neuon ezeugt eine zusätzliche Tennebene. Die etse Schicht eines Pezeptons bildet somit den eelwetigen Eingangsaum auf die Eckpunkte eines Hpewüfels ab. Die sich schneidenden Tennebenen bilden linea begenzte (konvexe Gebiete), sog. Polede. Jedes Gebiet koespondiet zu einem Exkpunkt des Hpewüfels. Nach de Abbildung de esten Schicht egibt sich ein linea tennbaes Poblem. (,) (,) (,) Abb. Abtennen vom Eckpunkt des Hpewüfels ( x x ) ( x x ) = = Das 3-Lagen-Pezepton mit Schwellwetfunktion. Mit einem 3-lagigen MLP lassen sich beliebig begenzte Cluste in Mekmalsäumen klassifizien:. Schicht: sich schneidende Hpeebenen bilden konvexe Polede. Diese weden auf die Eckpunkte eines Hpewüfels abgebildet. 5

6 . Schicht Duch Abtennen von Eckpunkten des Hpewüfels weden konvexe Polede duch Schnittmengenbildung von Halbäumen selektiet (AND). 3. Schicht: Beliebig linea begenzte Gebiete entstehen duch Veeinigung von konvexen Gebieten. (OR) Abb.: Beliebig konvexe Gebiete Ein einfaches Pecepton (keine inneen, vedeckten Knoten) kann nu linea sepaieende Klassifikatoen lenen. Linea sepaabel nicht linea sepaabel Bsp.: Connectivit-Poblem φ φ Kein Duchmesse beschänktes Pezepton kann beechnen, ob alle Teile eine Figu zusammenhängend sind. vgl. Abb. 6

7 Beweis: Das Poblem kann auf das XOR-Poblem eduziet weden, das nicht sepaabel ist. Damit egibt sich folgende Wahheitstabelle fü die beiden Vektoen: φ φ Dualität zwischen Eingabe- und Gewichtsklassen Fü ein gegebenes x P (n-dimensional) wid duch die Fodeung w + w x w n xn > im Gewichtsaum (n+-dimensional) ein positive Halbaum definiet. Dual dazu: Duch gegebenes w (n+-dimensional) wid im Eingabeaum ein positive Halbaum definiet. x w x w Ebene duch den Punkt im Gewichtsaum Eingabeaum w Gewichtsaum Lösungen fü nichtlineae Tennbakeit und Funktionsappoximation. Mehee Schichten von Neuonen: Multi-Lae Pezepton (MLP) ode Multi-Adaline (Madaline) 3 Bsp.: Duch Kombination von 3 lineaen Tennfunktionen kann das XOR ealisiet weden A B C 3 vgl. Skiptum

8 Die Tennung efolgt mit Hilfe von geeigneten Boolschen Funtionen. Zweistellige Boolsche Funktion lassen sich folgendemaßen zusammenstellen: x x f f f 3 f 4 XOR f 5 f 6 A, B und C lassen sich mit Hilfe de Boolschen Funktionen folgendemaßen kodieen: f 3 f 4 A B C f 3 f 4 Duch die este Schicht von 4 Peceptons entstehen aus 4 Stichpobeelementen {(,), (, ), (,),(, )} dann 3 Elemente {(,), (,),(, )}, die duch ein Pezepton in de zweiten Schicht beliebig tennba sind. 8

9 . Voveabeitung, so dass das Poblem linea wid.. Bsp.: Nicht lineae Funktion de Eingabe duch Koodinatentansfomation sowie Adaline 4 P N P N x Katesische Koodinaten w = w x φ w = x 4 vgl. Skiptum

10 . Bsp.: Nicht lineae Funktion de Eingabe duch Dimensionsehöhung sowie Adaline Im Falle XOR nicht lineae (elliptische) Tennfunktion im D-Oiginalaum. Allgemeine Gleichung fü Ellipse: w o + w x + + w x + w3x x + w4 x w5 x Dies entspicht eine lineaen Tennfunktion im 5D-Raum duch 4D-Hpefläche squae w w x w x w 3 x w 4 squae w 5