Neuronale Netze, Fuzzy Control, Genetische Algorithmen. Prof. Jürgen Sauer

Transkript

1 Neunale Netze, Fuzzy Cntl und Genetsche Algthmen Neunale Netze, Fuzzy Cntl, Genetsche Algthmen Pf. Jügen Saue Lehbef N. 3: Musteasszaten, Klassfkaten, Suppt Vect Machnes Musteasszaten Musteasszaten snd n de egel Netzweke mt ene Engabe- und Ausgabeschcht. Neunen dese Schchten snd duch feedfwad-vebndungen veknüpft. Zwe Muste snd mtenande asszet, wenn das Engabemuste (nput patten) das Ausgabemuste (taget patten) hevuft. Mt dese Vstellung gehöen vwätsgechtete Neunale Netze z.b. auch Pezeptn-Netze zu den Musteasszaten, bwhl se steng genmmen nu Klassfkatnsaufgaben lösen. En Musteasszat sll ncht nu enen Vekt auf enen Vekt y abblden, snden es sll auch de Umgebung vn auf y abgebldet weden. Musteasszaten können heteasszatv und autasszatv sen 3. In beden Fällen eflgt das Tanng nach de Hebb'schen bzw. nach de Delta-egel. Asszatnsfähg, d.h. lenfähg können nach de Hebb'schen egel nu Muste sen, wenn de Engaben thgnal zuenande snd. Im Falle de Delta-egel müssen Engabevekten lnea unabhängg sen 4. Autasszaten kennen nu ene Schcht, jede Enhet (d.h. jedes Neun) st swhl Engabe- aus auch Ausgabeenhet 5. Auch Hpfeld-Netze kennen nu ene Schcht mt veabetenden Enheten. Se zählen deshalb zu Klasse de "Feedbackwad"-Netze und weden n de egel nach de Hebbschen egel tanet. Geneell eflgt das Tanng vn Musteasszaten nach Hebb'sche-egel 6 de nach de Delta-egel 7. Enge Asszatvspeche vewenden bnäe Vekten, d.h. Vekten dnen jede Kmpnente 0 de zu. Bplavekten vewenden de. De Vektdastellungen snd zuenande äquvalent. Ene bplae Dastellung hat den Vtel, dass de Wahschenlchket fü de Othgnaltät zwee Vekten göße st als n de bnäen Dastellung 8. Vgl. Skptum.3.4.7,.3.4.8, Dese Kaptel wuden gegenübe dem Skptum aus WS 005/006 vllständg neu gestaltet und snd als Anlage zu desem Lehbef begefügt. Vgl. Skptum.3. bs vgl. Skptum.5 4 vgl. Skptum..4 5 vgl. Skptum.5. 6 vgl. Skptum vgl. Skptum vgl. Skptum.3.

2 Neunale Netze, Fuzzy Cntl und Genetsche Algthmen Neunale Netze zu Klassfkatn Das Pezeptn-Mdell st das enfachste Mdell 9 zu Lösung lnea tennbae Pbleme 0. SVMs (vgl. Skptum.3.4.9) Zu enem lnea sepaebaen Pblem gbt es unendlch vele Möglchketen lneae Auftelungen vzunehmen hne dabe enen Fehle zu machen. Wähle ene Auftelung, de enen möglchst beten Tennstefen "magn" zwschen den Klassen ealset. magn suppt vect suppt vect We kann dese Tennstefen ealset weden? Es genügen Tennstefen, de am dchtesten zum Tennstefen legen. Dese weden "suppt vects" genannt. Ene Auftelung kann je nach Göße des Mekmalaums als Punkt, Lne de Hypeebene dagestellt weden. Se st vllständg bescheben duch enen chtungsvekt w und enen bas (bzw. Offset) b. w Ene Hypeeben st vllständg bescheben duch w T = vgl. Skptum vgl. Skptum.3.4.4,.3.5 vgl. Skptum vgl. Skptum.3.4.3

3 Neunale Netze, Fuzzy Cntl und Genetsche Algthmen Vhesage de Klasse enes neuen Punkts: Tanng: Wähle w und b s, dass de Hypeebene de Tanngsdaten tennt Vhesage: Aus welche Sete de Hypeeben legt de neue Punkt? w Punkte n chtung des Nmalenvekts dagnstzet man als pstv Punkte auf de andeen Sete dagnstzet man als negatv. Tenne de Tanngsdaten mt mamale Tennspanne Be ncht-tennbaen Tanngsdaten - Vesuche ene lneae Tennung, abe lass Fehle zu - Stafe fü Fehle: Abstand zu Hypeebene multplzet mt Fehlegewcht C Muste können anhand de (Hype-) Ebenenbeschebung klassfzet weden: w T w T 0 0 fü alle fü alle w und b weden duch en Lenvefahen bestmmt. Nahelegend st auch de Anwendung enes Optmeungsvefahens. Den and (magn) zu mameen, st dentsch mt "de Ebenenlänge zu mnmeen": w T w Mnmee w bzw. unte den Nebenbedngungen w b fü y = und w b fü y = Ene Lösungsmöglchket besteht nach Enfühen sg. Lagange-Multplkaten 4. In hhen Dmensnen kann man enfache lenen vgl. Skptum.3.5 3

4 Neunale Netze, Fuzzy Cntl und Genetsche Algthmen Featue Space Man beabetet de Daten zuest mt ene Funktn Φ (featue map) zu enem höhedmensneten featue space und dann tennt man de Punkte Φ (), z.b. 3 Φ : ( g, g ) z, z, z : = g, g g g ( ) ( ) 3, Falls de Klassfkatn n hch dmensnalen äumen wklch enfache st, dann wd man de Hypebenen dt knstueen. Φ 3 : w w 3 f () featue space f ( ) = sgn( w w w3 w b ) 3 nchtlneae Entschedungdfläche m uspünglchen aum Dazu muß man de Skalapdukte de Fm Φ ( p) Φ( ausechnen. Das kann seh schweg (unmöglch) weden, fall de featue space zu gß st. Ausweg: Statt des Skalapdukts benutzt man ene sg. Kenel-Kunktn: K( p, p) Φ( Kenel Tck 5 Pjzee de Daten n enen hchdmensnalen aum Z. In desem aum snd de Daten entspechend de VC-Dmensn enes lneaen Klassfkats tennba. De Pjektn Φ muß ncht enmal bekannt sen z( n) n)), wenn man enen Kenel fnden kann, fü den glt: 5 vgl. Skptum.3.6 4

5 T v K( n)) Φ( Bsp. fü Kenel-Funktnen. Neunale Netze, Fuzzy Cntl und Genetsche Algthmen Gaußsche Kenel: K( ep( n) m) / σ ) = 6 T Plynmale Kenel: K ( = ( n) m) ) d. Fü d = ehält man ene lneae SVM. Wann st ene Funktn ene Kenel-Funktn. De Antwt gbt das Theem vn Mece 7. Waum st das en (Kenel-) Tck? Man baucht ncht zu wssen, we de Featue Space wklch ausseht. Man baucht nu de Kenel Funktn als en Maß fü de Ähnlchket 8. Ttzdem hat man de gemetsche Intepetatn de tennenden Hypeebene. SVMs snd tanspaente als künstlche NN. Ene Suppt Vect Maschne 9 st. ene Hypeebene mt mamale Tennspanne m featue space. knstuet m geneeendem aum duch ene Kenel-Funktn 6 SVMs mt Gauß-Kenel wesen vn de Veabetungswese ene gewsse Ähnlchket mt selbstganseenden Netzen auf: Auf enen Engabevekt eageen de Neunen de Mekmalsschcht ums stäke, je nähe se sch an befnden. Es wd alledngs ken Gewnne emttelt. Netze dese At heßen adal-bass-functn Netze (vgl. Skptum.9 bzw. Lehbef N. 8) 7 vgl. Skptum vgl. Skptum vgl. Skptum.3.7 5