Wie Künstliche Neuronale Netze lernen: Ein Blick in die Black Box der Backpropagation Netzwerke

Transkript

1 We Künstlche Neuronale Netze lernen: En Blc n de Blac Box der Bacpropagaton Netzwere von Walter Oberhofer und Thomas Zmmerer November 996 Regensburger Dsussonsbeträge Nr 87 Anschrft der Autoren: Prof Dr Walter Oberhofer / Dpl-Kfm Thomas Zmmerer Unverstät Regensburg Insttut für Volswrtschaftslehre enschleßlch Öonometre Unverstätsstraße D-9040 Regensburg

2 We Künstlche Neuronale Netze lernen Sete INHALTSVERZEICHNIS: EINFÜHRUNG: DEFINITION VON KÜNSTLICHEN NEURONALEN NETZEN 4 AUFBAU UND FUNKTIONSWEISE VON KÜNSTLICHEN NEURONALEN NETZEN 5 DAS LERNPROBLE4 4 DER BACKPROPAGATION ALGORITHUS6 4 Zwestufges Netz ohne verdecte Schcht 0 4 Darstellung und Notaton 0 4 De Zelfunton 4 Das nmerungsalül 44 De Berechnung der Abletungen 45 Schrttwese Anpassung der Gewchte 4 4 Drestufges Netz mt ener verdecten Schcht 5 4 Darstellung und Notaton 5 4 De Zelfunton 6 4 Das nmerungsalül 6 44 De Berechnung der Abletungen 7 45 Schrttwese Gewchtsanpassung 0 4 ehrstufges Netz mt mehreren verdecten Schchten 4 Darstellung und Notaton 4 De Zelfunton 4 Das nmerungsalül 4 44 De Berechnung der Abletungen 5 45 Schrttwese Gewchtsanpassung 9 44 Zusammenfassender Überblc 40 5 SCHLUßBETRACHTUNGEN4 LITERATUR: 44

3 We Künstlche Neuronale Netze lernen Sete Enführung: Künstlche Neuronale Netze (KNN) entwcelten sch n den letzten Jahren zu enem wssenschaftlchen ode- und Rezthema glechermaßen Dementsprechend ntensv werden KNN n der wssenschaftlchen Lteratur dsutert Neben der verstärten Betrachtung n der jüngeren wssenschaftlchen Lteratur zechnet sch das Forschungsgebet der KNN durch en außergewöhnlch umfangreches Anwendungsspetrum aus Als en Segment der Künstlchen Intellgenz st das Hauptanwendungsgebet der Neuronalen Netze - de ustererennung - längst ncht mehr auf technsche Fachgebete, we zb de Bereche der Sprach- und Bldverarbetung, der Steuer- und Regelungstechn, sowe des Operatons Research beschränt, sondern nzwschen auch auf öonomsche Fragestellungen we de Prognose von Kursverläufen an den Fnanzmärten erwetert Neuronale Netze snd der Arbetswese des menschlchen Gehrns nachempfunden Se snd lernfähg und önnen durch geschctes Tranng und Desgn selbständg omplzerte Zusammenhänge und verdecte Abhänggeten anhand von hstorschen Bespelmustern erennen und dese Informatonen für ene Prognose nutzen Der Hauptuntersched und zuglech größte Vortel des odells Neuronaler Netze gegenüber statstschen Verfahren wrd darn gesehen, daß vom Prognoster de genaue funtonale Strutur zwschen Input- und Outputvarablen ncht vorgegeben werden muß, sondern dese vom System mt bestmmten Lernalgorthmen unter Ensatz ener Art Schwellenwertlog gelernt wrd Zel des Lernverfahrens st es, während der Tranngsphase dejengen Parameter des Netzes zu defneren, mt Hlfe derer das Netz en problemadäquates Verhalten aufwest athematsch stellt de Tranngsphase enen teratven, gegen enen nmalfehlerwert onvergerenden Prozeß dar Gesucht werden dabe de Prozessoren des Netzes, de den Gesamtfehler mnmeren Der derzet populärste und für betrebswrtschaftlche Anwendungen wetverbreteste Algorthmus st der Bacpropagaton Algorthmus Der vorlegende Betrag öffnet de Blac Box der Bacpropagaton-Netzwere und macht den Optmerungsprozeß m Netz zetlch und loal nachvollzehbar Der Betrag st we folgt aufgebaut: Nach ener allgemenen Defnton Künstlcher Neuronaler Netze n hren Bestandtelen und hrer Funtonswese erfolgt de Herletung und formale Darstellung des Bacpropagaton Algorthmus De Notaton wurde dabe n Anlehnung an de neuronale Lteratur weter verfenert, um genau spezfzeren zu önnen, wann und wo man sch gerade m Bacpropagaton-Netz befndet Dadurch st es möglch, das Optmerungsverfahren auch für den omplexen Fall, dh für mehrschchtge Bacpropagaton-Netze mt mehreren verdecten Schchten mathematsch darzustellen

4 We Künstlche Neuronale Netze lernen Sete 4 Defnton von Künstlchen Neuronalen Netzen Neuronale Netze snd lernfähge, nformatonsverarbetende Systeme, de aus ener großen Anzahl von enfachen Enheten (Zellen, Neuronen oder Unts ) bestehen, de sch Informatonen n Form der Atverung der Zellen über hre Verbndungen ( Connectons, Lns ) zusenden an unterschedet generell zwschen bologschen und ünstlchen Netzen Im Falle enes bologschen oder natürlchen neuronalen Netzweres repräsenteren de Neuronen Nervenzellen und das Netzwer st Tel des Nervensystems enes bologschen Organsmus Be den verarbeteten Informatonen handelt es sch um bologsche Informatonen, de m wesentlchen aus Nervenmpulsen bestehen In enem Künstlchen Neuronalen Netz snd de Neuronen als mathematsche odelle realsert, deren formalsertes Verhalten prnzpell dem der bologschen Nervenzellen entsprcht De her verarbeteten Informatonen ann man als uster ( Pattern ) bezechnen De Informatonsverarbetung selbst gescheht durch Wechselwrung zwschen den enzelnen Unts, de sch postv (exctatorsch) oder negatv (nhbtorsch) rezende Sgnale zusenden, falls bestmmte Schwellenwerte über- bzw unterschrtten werden De Unts stehen über Verbndungen mtenander n Kontat, welche de Sgnale verstären oder abschwächen De Verbndungen enthalten am Engang ener Unt jewels en Gewcht, das de Stäre der Verbndung festlegt De Gewchte der Verbndungen werden aufgrund bestmmter Vorschrften (Algorthmen) verändert Desen Vorgang nennt man Traneren, Lernen oder Selbstadapton der Gewchte 4 Das Wssen enes KNN stect also n den Gewchten und st über das gesamte Netz vertelt (vertelte Wssensrepräsentaton) 5 De omplexe und ntensve Vernüpfung der enzelnen Neuronen unterenander bestmmt letztendlch den Begrff des Konnetonsmus Im Gegensatz zu tradtonellen Informatonsverarbetungssystemen, de sch durch ene zentrale Informatonsspecherung und -verarbetung auszechnen, erfolgt n KNN ene dezentrale, hochparallele Datenverarbetung 6 Der onnetonstsche Ansatz stellt ene Form der Informatonsverarbetung dar, de sch an Aufbau und Funtonswese des menschlchen Gehrns orentert Neuronale Netze snd computermplementerte Versuche, de Lern- und Assozatonsfähget des enschen auf omplzerte, nchtlneare Wrungszusammenhänge zu übertragen 7 Funtonale Struturen werden ncht mehr explzt vorgegeben und programmert, sondern anhand der En- und Ausgabemuster gelernt (Traneren der KNN) Das Paradgma des Konnetonsmus - de Infomatonsverarbetung als Interaton ener großen Zahl mtenander n Verbndung stehender enfacher Enheten - ermöglcht anstatt ener sequentellen Verarbetung ene massve parallele Arbetswese durch de glechzetge Atvtät veler Elemente und dadurch ene sgnfante Erhöhung der Arbetsgeschwndget Vgl Zell, A, 994, S Vgl Rgoll, G, 994, S Vgl Köhle,, 990, S 0 Vgl Köhle,, 990, S 9 Vgl Zell, A, 994, S7 Vgl Rehugler, H/Kerlng,, 995, S 07 Vgl Hllmer, /Graf, J, 994, S 50

5 We Künstlche Neuronale Netze lernen Sete 5 De Lernfähget von Neuronalen Netzen, ombnert mt ener flexblen und weng nhaltlch-theoretsches Vorwssen erforderlchen odellerung n Gestalt ener Blac Box, machen den Erfolg der neuen Technologe aus 8 Da de vorlegende Arbet Künstlche Neuronale Netze untersuchen wll, snd m Folgenden mt dem Begrff Neuronale Netze mmer Künstlche Neuronale Netze gement, ohne dabe ausdrüclch das Attrbut Künstlch zu verwenden Für en genaues Verständns der Funton von Neuronalen Netzen sollen nun deren wchtgsten Bauelemente erläutert werden und anschleßend ene formale Beschrebung der prnzpellen Arbetswese und Lernfähget erfolgen Aufbau und Funtonswese von Künstlchen Neuronalen Netzen Betrachtet man en Neuronales Netz verenfacht als Blac Box, also als en geschlossenes undurchschtges System, so unterscheden wr zunächst n Engangssgnale x und m Ausgangssgnale y j, de wr jewels zu enem n-dmensonalen Inputvetor x r = ( x, x,, x n ) und enem m-dmensonalen Outputvetor y r = ( y, y,, y m ) zusammenfassen önnen (sehe Abb ) Inputsgnale x x x x4 x n Neuronales Netz Outputsgnale y y y y4 y m Quelle: egene Darstellung Abb : Neuronales Netz mt Input- und Outputvetor Das Neuronale Netz berechnet aufgrund des Engangsvetors x r und senes nternen Zustandes den Ausgangsvetor y 9 Je nach Problemstellung ann sch de Anzahl der Engangs- r sgnale von der der Ausgangssgnale unterscheden Elementare Bestandtele enes KNN snd de ünstlchen Neuronen Jedes Neuron bestzt ene Velzahl von Verbndungen mt anderen Neuronen und eventuell nach außen Über de Verbndungen empfängt das Neuron Sgnale von anderen Neuronen oder von der Außenwelt, es verarbetet de empfangenen Sgnale und gbt dese an andere Neuronen oder nach außen ab 8 9 Vgl Hllmer, /Graf, J, 994, S 50 Vgl Sauerburger, H, 99, S 0

6 We Künstlche Neuronale Netze lernen Sete 6 Bologsches Vorbld der Verarbetungsenheten enes Künstlchen Neuronalen Netzes st de Nervenzelle des Zentralen Nervensystems (ZNS) Das bologsche Neuron st grundsätzlch we folgt aufgebaut: Dendrten Zellörper Axon Synapsen Quelle: egene Darstellung Abb : Natürlches Neuron De wchtgsten Elemente ener natürlchen Nervenzelle snd der Zellörper (Soma), das A- xon, de Dendrten und de Synapsen 0 De Dendrten snd verzwegte Ausläufer des Zellörpers Se stellen m funtonalen Snne Engangsanäle dar und snd für de Aufnahme von Sgnalen verantwortlch Das Axon (de Nervenfaser) dent als Letungsbahn für de von der Nervenzelle selbst produzerten Sgnale Der Zellörper mt dem Zellern st m wesentlchen für den Zellstoffwechsel und de Erhaltung der Zellfuntonen zuständg De Erregungsübertragung zwschen Neuronen erfolgt nach dem Alles-oder-Nchts-Gesetz: de an den Dendrten engehenden Sgnale werden m Zellörper aufaddert Falls der empfangene Rez groß genug st, dh onret, überstegt er enen gewssen Schwellenwert, wrd en eletrscher Impuls über das Axon fortgeletet und an spezfschen Kontatstellen (Synapsen) auf nachgeschaltete Neuronen übertragen De velen enlaufenden Sgnale enes Neurons werden fatsch zu enem Netto-Engangssgnal ntegrert, dessen Stäre n Relaton zum Schwellenwert zur Konsequenz hat, ob de Nervenzelle selbst en Sgnal abgbt oder natv blebt De Übertragung des Sgnals ann sch dabe atvtätsstegernd oder -hemmend auf das folgende Neuron auswren 4 De Intenstät der Rezweterletung ann be den enzelnen Synapsen sehr unterschedlch sen und sch m Zetablauf durch Lernprozesse ändern 5 Das Wssen st m ZNS über de synaptschen Verbndungsstären der Nervenzellen m gesamten System vertelt Das menschlche Gehrn besteht aus ca 0-00 rd Neuronen, de über jewels Verbndungen mt anderen Nervenzellen n Kontat stehen önnen Vgl Stanley, J/Ba, E, 99, S 0 Vgl Poddg, T, 99, S 88 Vgl Keme, C, 988, S 45 Vgl Poddg, T, 99, S 89 Vgl Krause, C, 99, S 8 Vgl Krause, C, 99, S 8 Vgl Knnebroc, W, 994, S -4

7 We Künstlche Neuronale Netze lernen Sete 7 Durch das hohe Ausmaß der Konnetvtät bestzt berets en enzges Neuron de Verarbetungsapaztät enes mttleren Personal Computers Da aber en Großtel der Nervenzellen des menschlchen Gehrns smultan atv sen ann, resultert umulert betrachtet ene Verarbetungsapaztät, de größer st als de aller Computer zusammen 7 De verenfacht beschrebene Funtonswese natürlcher Neuronen des ZNS läßt sch dret auf de von ünstlchen Neuronen enes KNN übertragen De folgende Abbldung zegt enen Ausschntt aus enem Künstlchen Neuronalen Netzwer: Unt u j Input net j a j o j Output Quelle: Köhle,, 990, S 6 Abb : Künstlches Neuron Der Informatonsverarbetungsprozeß enes Prozessorelements (Unt) u j besteht darn, daß es enen Input von senen vorgelagerten Nachbarn empfängt und mttels Funtonen aus desen Inputs enen Output produzert, den es an sene nachgelagerten Nachbarn wetersendet 8 Deser Prozeß läßt sch grob durch dre Schrtte charaterseren: Zunächst ermttelt de Unt u j mt Hlfe der Propagerungsfunton hren Netto-Input net j In enem zweten Schrtt wrd aus dem Engangswert mttels der Atverungsfunton der Atverungswert a j berechnet Im drtten und letzten Schrtt wrd der Atverungszustand der Unt über de Ausgabefunton zum Ausgangssgnal o j transformert und an andere Unts bzw an de Außenwelt wetergeletet De Topologe enes Neuronalen Netzes wrd durch de Anzahl und Anordnung der Unts und hrer Verbndungen unterenander charatersert 9 Abb zegt bespelswese de Strutur enes drelaggen Netzweres mt Unts: Vgl Schöneburg, E/Hansen, N/Gawelczy, A, 990, S Vgl Rumelhart, DE/Hnton, GE/cClelland, JL, 986a, S Vgl Köhle,, 990, S 6

8 We Künstlche Neuronale Netze lernen Sete 8 x y x y x y x 4 y 4 x n y m Quelle: egene Darstellung Abb 4: Strutur enes drelaggen Neuronalen Netzes De Netzwerstrutur wederum, über de de Elemente verbunden snd und mtenander ommunzeren, bestmmt das Verhalten des Systems 0 Jeder enzelnen Verbndung st ene reelle Zahl zugeordnet, de man als Stäre oder Gewcht ( Strength, Weght ) bezechnet De Gewchte w j zwschen den sendenden Neuronen und den empfangenden Neuronen j repräsenteren das vom KNN gelernte und gespecherte Wssen Üblcherwese bedent man sch be der formalen Darstellung des Verbndungsmusters nnerhalb des Netzes der atrzennotaton De Konnetonsmatrx oder Verbndungsstärenmatrx W mt den Elementen w j bldet de gewchtete Verbndungsstrutur zwschen den Unts ab, wobe Vorzechen und Absolutbetrag der w j de Wrungsrchtung und de Intenstät der Verbndung refleteren Formal glt also für de Komponenten der atrx W = [w j ]: falls w j = 0: es besteht ene Verbndung zwschen Unt und Unt j falls w j > 0: anregender Enfluß von Unt auf Unt j mt der Stäre w j falls w j < 0: hemmender Enfluß von Unt auf Unt j mt der Stäre w j De Gewchtsmatrx W enes Neuronalen Netzes mt N Unts ann damt we folgt dargestellt w erden: 4 Empfänger 0 4 Vgl Keme, C, 988, S 48 Vgl Lohrbach, T, 994, S 0 Vgl Keme, C, 988, S 48 und Poddg, T, 99, S 9 Vgl Rumelhart, DE/Hnton, GE/cClelland, JL, 986a, S49 und Zell, A, 994, S76 In desem Fall besteht das Netz also aus n = N N Verbndungsgewchten Vgl Schöneburg, E/Hansen, N/Gawelczy, A, 990, S 58 und L, EY, 994, S 06

9 We Künstlche Neuronale Netze lernen Sete 9 Sender Unts u u u L u u w w w L w N u w w w L w N u w w w L w N O u w w w L w N N N N NN De w j werden häufg reduzert auf Werte aus dem Intervall [-;+] Charaterstsch für de Arbetswese der Neuronalen Netze st de odfzerbaret der Verbndungsgewchte während des Lernprozesses De Verbndungsgewchte werden mest mt zufällgen Werten vorntalsert und m Verlauf enes teratven Lernprozesses adaptert Solange das Netz sch n der Lernphase befndet, west de Konnetonsmatrx also ene zetvarante Strutur auf Je nach Aufgabe der Neuronen und deren Postonerung m Netzwer unterschedet man nnerhalb des Systems dre Arten von Unts Input-Unts haben de Funton, Sgnale von der Außenwelt zu empfangen und an de nachfolgenden Unts weterzuleten Neuronen, de nnerhalb des Systems nur Verbndungen zu anderen Unts haben, nennt man Hdden-Unts Se snd für enen außenstehenden Beobachter ncht schtbar und für de egentlche Informatonsverarbetung und -vertelung zuständg 5 Output-Unts denen dazu, de Ergebnsse der Informatonsverarbetung an de Außenwelt abzugeben 6 Input-Neuronen haben ene mt Verbndungsgewchten versehenen Engangsverbndungen und önnen als Datenquellen nterpretert werden De Input-Unts betreben enerle Informatonsverarbetung, sondern se leten de von außen angelegte Engabe unverändert weter, se bestzen also als Atverungs- und Ausgabefunton de Identtätsfunton Streng genommen st ene odellerung von Input-Unts als Input-Schcht egentlch überflüssg, da dese Unts ene Berechnungen ausführen De neuronale Lteratur behandelt aber de Input- Unts archtetonsch glechberechtgt mt den Hdden- und Output-Unts, n denen ene funtonale Informatonsverarbetung stattfndet und modellert den Prozeß der renen Datenaufnahme über de Input-Unts De de Neuronalen Netze charaterserende Komplextät entsteht durch ene hohe Anzahl von Zellen sowe ener Velzahl der Verbndungen unter hnen So önnen aus relatv smplen Enzelelementen äußerst omplexe Gesamtstruturen entstehen De beden Abbldungen auf der nächsten Sete zegen bespelswese de Topologe enes KNN zur Buchstabenerennung estens önnen gewsse Gewchte ncht varert werden, dh se müssen mmer den Wert Null aufwesen Dadurch wrd festgelegt, we de Neuronen mtenander verbunden sen önnen und n welcher Rchtung der Informatonsfluß stattfnden ann De Anordnung der Unts m Netz, dh de Archtetur oder Topologe des Netzes, erfolgt üblcherwese n Schchten, wobe n ener Schcht Unts glecher Konnetonsstrutur zusammengefaßt snd Insbesondere blden de Input-Unts de Engabeschcht und de Output-Unts de Ausgabeschcht Darüberhnaus önnen noch en oder mehrere verdecte Schchten bestehen, deren Unts ene Verbndung zur Außenwelt aufwesen und nur mt anderen Unts verbunden snd De verbor- N 5 6 Vgl Zell, A, 994, S 74 Vgl Rehugler, H/Kerlng,, 995, S

10 We Künstlche Neuronale Netze lernen Sete 0 gene Schcht ann auch entfallen De Anordnung n Schchten verfolgt den Zwec, de Topologe des Netzes überschtlch zu gestalten Quelle: Stuttgarter Neuronale Netze Smulator (SNNS) Abb 5: Querschntt enes KNN zur Buchstabenerennung Quelle: Stuttgarter Neuronale Netze Smulator (SNNS) Abb 6: Dredmensonale Anscht enes KNN zur Buchstabenerennung Je nachdem, ob de Unts enes Netzweres n Schchten organsert snd oder ncht, unterschedet man herarchsch oder nchtherarchsch aufgebaute Netzwere In herarchschen Netzwerstruturen bestehen Verbndungen nur zwschen Neuronen unmttelbar benachbarter Schchten, wobe jedes Element nur von Elementen ener herarchsch untergeordneten Schcht beenflußt werden ann und selber nur auf de herarchsch übergeordnete Schcht wren ann Neuronen en und derselben Schcht snd ncht mtenander verbunden De Konnetonsmatrx W stellt demnach ene obere Dreecsmatrx dar Dese Art von Netzwer-

11 We Künstlche Neuronale Netze lernen Sete en nennt man wegen hres vorwärtsgerchteten Sgnalflusses auch feed-forward-netze Se st typsch für ren sequentelle Wahrnehmungsprozesse 7 In nchtherarchschen Netzweren, deren Unts ncht mehr n Schchten gruppert snd, besteht ene Restrton mehr hnschtlch der Netzonfguraton Grundsätzlch önnen de Neuronen hre Engangssgnale von jedem anderen Neuron erhalten, wobe auch Reursonen möglch snd, dh das Neuron st mt sch selbst verbunden und sen Ausgangssgnal stellt glechzetg enes sener Engangssgnale dar 8 an sprcht n desem Zusammenhang deshalb auch von feed-bac- oder rücgeoppelten Netzen Wegen des hohen Ausmaßes der Konnetvtät und der omplexen Netzarchtetur von feed-bac-netzen müssen sehr vele Lernzylen durchlaufen werden, bs das Netz enen stablen Zustand errecht Dese Art von Netzen egnen sch besonders zu Aufgaben der ustervervollständgung und -entstörung 9 Deser Netztyp soll her ncht weter betrachtet werden De gänggste Topologe Künstlcher Neuronaler Netze n der Praxs blden de herarchschen feed-forward-netze De zur Gruppe der feed-forward-netze zählenden Bacpropagaton-Netze bestehen aus mndestens dre Neuronenschchten: ener Engabeschcht, ener Ausgabeschcht und aus ener oder mehreren verdecten Schchten Zwschen den Neuronen benachbarter Schchten besteht vollständge Konnetvtät De Verbndungen snd mt varablen und damt lernfähgen Gewchten belegt Entsprechend der mehrlaggen Strutur der Bacpropagaton-Netze sprcht man auch von ult-layer-perceptrons (LP) De vorwärtsorenterte Rchtung des Informatonsflusses n enem LP bewrt, daß en Inputvetor durch de funtonalen Komponenten des Netzes von der Engabeschcht über de verdecte(n) Schcht(en) hn zur Ausgabeschcht zu enem Outputvetor transformert wrd De Netzwerarchtetur ann man anhand zweer Krteren genauer spezfzeren: der Herarche sowe der Anzahl und Art der Verbndungen n enem KNN De Anzahl und Art der Verbndungen enes LP ann mt Hlfe der Konnetonsmatrx genauer dargestellt werden De Unts snd schchtwese gruppert und de a pror vordefnerte Organsaton der Unts n Schchten legt fest, welche Konnetoren glech Null geschaltet und welche mt varablen, modfzerbaren Verbndungsgewchten unglech Null versehen snd De grobe Blocstrutur der Konnetonsmatrx enes drelaggen Bacpropagaton-Netzes seht bespelswese we folgt aus: Unts Engabeschcht Verdecte Schcht Ausgabeschcht Engabeschcht w j = 0 w j 0 w j = 0 Verdecte Schcht w j = 0 w j = 0 w j 0 Ausgabeschcht w j = 0 w j = 0 w j = Vgl Keme, C, 988, S 49 Vgl undgl, R, 994, S Vgl Rttnghaus-ayer, D, 99, S 7

12 We Künstlche Neuronale Netze lernen Sete De Gewchte snd wesentlcher Bestandtel des beschrebenen dretelgen Informatonsverarbetungsprozesses 0 Der Netto-Input der Hdden- und Output-Neuronen errechnet sch nach der lnearen Standard-Propagerungsfunton: net j = o( t) wj () De Besonderhet von LPs legt n der Verwendung ener nchtlnearen Sgmodfunton als Atverungsfunton Für de Atvaton enes Neurons j glt: a ( ) = f net = + e j j net j () Durch Verwendung der Sgmodfunton werden de möglchen Atvatonswerte der Neuronen auf das offene Intervall ]0;[ beschränt Ihr asymptotsches Verhalten stellt scher, daß en extremes Verhalten enzelner Neuronen sch ncht über das ganze Netzwer fortpflanzen ann, denn für große (lene) Werte des Netto-Inputs onvergert de Atverungsfunton gegen den Wert Ens (Null) Anderersets st de Funton für Netto-Inputs, deren Werte nahe be Null legen, sehr sensbel, da durch hren stelen Verlauf n desem Berech de Funtonswerte star ausenandergezogen werden und somt ene lechtere Separerbaret der Atvatonswerte gewährlestet st Gerade aus desem Grund st es snnvoll, de Inputvarablen von Bacpropagaton Netzen vor Engabe auf das Intervall [-;] oder - we am häufgsten pratzert - auf das Intervall [0;] zu transformeren, da her der sensbelste Berech der Atverungsfunton legt und somt de Inputs durch das Netz am besten vonenander dfferenzert werden önnen Der Verlauf der sgmoden Atverungsfunton se n folgender Abbldung graphsch dargestellt: ( j ) f net = net + e j 0,8 0,6 0,4 0, net j Quelle: egene Darstellung 0 Vgl dazu S 7 Streng genommen snd de Verbndungsgewchte w j auch zetvarabel, da se von Lernschrtt zu Lernschrtt verändert werden Insofern müßte be w j und folglch be net j der Parameter t erschenen Aus Verenfachungsgründen wrd m folgenden n Anlehnung an de Lteratur auf de Notaton des Zetparameters t verzchtet Vgl Kruse, H/angold, R/echler, B/Penger, O, 99, S 0 Vgl Hemel, JP, 99, S

13 We Künstlche Neuronale Netze lernen Sete Abb 7: Sgmode Atverungsfunton De Sgmodfunton betet darüberhnaus den formalen Vortel, daß se n hrem gesamten Defntonsberech stetg und dfferenzerbar st Ihre Abletung, de weter unten für de formale Herletung des Bacpropagaton Algorthmus benötgt wrd, lautet nach der Quotentenregel:

14 We Künstlche Neuronale Netze lernen Sete 4 ( j ) ( ) = = net f net j 0 e ( f net ) j = ( j) f( netj) f net j net net net net j j j j ( + e ) ( + e ) ( + e ) ( + e ) ( ) e net j = net j + e = () Wäre de Atverungsfunton lnear, so leße sch jedes mehrschchtge Bacpropagaton- Netz auf en zwestufges Netz ohne verdecter Schcht reduzeren, da hnterenandergeschaltete lneare Funtonen (Propagerungs- und Atverungsfunton) zu ener enzgen lnearen Funton zusammengefaßt werden önnen De Outputfunton n enem LP entsprcht der Identtätsfunton 4, dh se bldet hr Funtonsargument auf sch selbst ab und der Output st äquvalent mt der Atvtät enes Neurons Damt st mt der Propagerungsfunton und der Atverungsfunton der funtonale Informatonsverarbetungsprozeß n enem LP vollständg beschreben Auf dese Wese wrd zu enem Engabemuster, das an de Engabeschcht des Netzes angelegt wrd, de entsprechende Ausgabe des Netzes berechnet De Applaton von Neuronalen Netzen gledert sch n zwe Phasen: n der ersten Phase, der Lern- oder Tranngsphase, wrd dem Netz ene enge von Tranngsmustern präsentert, aufgrund derer de Verbndungsgewchte der Neuronen so justert werden, daß das Verhalten des Netzes enem gewünschten Verhalten entsprcht, dh der Fehler, der sch aus der Dfferenz zwschen dem Ausgabewert des KNN und des gewünschten Ausgabewertes des KNN ergbt, soll mnmal werden Zu desem Zwec exsteren Lernregeln zur dynamschen Anpassung der Gewchte, ene der beanntesten st der m Rahmen deser Arbet beschrebene Bacpropagaton Algorthmus Herbe hängt der Grad der Veränderung der Gewchte davon ab, we star der Output des Netzes vom gewünschten Output abwecht t fortschretendem Lernen wrd dese Fehlerdfferenz mmer lener Während der Tranngsphase extrahert das Netz aus den Lernmustern Zusammenhänge, de für de Erzeugung der Ausgabemuster verantwortlch snd und de somt das Verhalten des Netzes determneren So önnen später auch uster rchtg verarbetet werden, de das System vorher noch ncht gelernt hat Das Wssen herfür st über de gewchteten Verbndungen m gesamten Netz vertelt In der zweten Phase, der egentlchen Anwendungsphase, wrd das erlernte Wssen auf de onrete Problemstellung übertragen Dem Netz werden erneut Inputvetoren präsentert, wobe de Outputvetoren jetzt ncht mehr beannt snd, sondern unter Abruf des erlernten Wssens vom Netz selbständg berechnet werden sollen an nennt dese Phase deshalb auch Recallphase 4 Wegen Verwendung der Identtätsfunton als Outputfunon st n der formalen Darstellung ene Dfferenzerung zwschen Atverungsfunton und Outputfunton ncht mehr nötg Im folgenden se mt f(net j ) mmer de Atverungsfunton gement

15 We Künstlche Neuronale Netze lernen Sete 5 Das Lernproblem De durch den Bacpropagaton Algorthmus zu lösende Problemat st typsch für das ü- berwachte Lernen Der Ausgabe des Neuronalen Netzes wrd en Zelwert gegenübergestellt De Abwechung zwschen Output und Zelwert dent als Steuersgnal, um de nterne Netzstrutur, onret de Verbndungsgewchte, zu verändern Überwachtes Lernen st nsbesondere bem Aufbau von Prognosemodellen möglch: das KNN soll anhand beannter Tranngsbespele aus der Vergangenhet ene Strutur erennen 5 Da während der Lernphase Sollausgabe und Istausgabe m allgemenen ncht überenstmmen, wrd zunächst ene Fehlerfunton E p für den Fehler m Tranngsmuster (Pattern) p über alle Ausgabeneuronen j =,, : ( Ep = tpj opj (4) j= ) mt t pj o pj Sollausgabewert der Ausgabeunt j für Tranngsmuster p Istausgabewert der Ausgabeunt j für Tranngsmuster p defnert 6 Das Fehlersgnal E p entsprcht also dem quadratschen Abstand zwschen erwarteter und realer Netzausgabe summert über sämtlche Ausgabeneuronen 7 Der Gesamtfehler E des Netzes ergbt sch enfach als Summe der E p über sämtlche Tranngsmuster p =,, P: P ( P E = Ep = tpj o p= p= j= pj ) (5) Durch schrttweses Verändern der Verbndungsgewchte ann der Gesamtfehler E m KNN suzessve verrngert werden De Fehlerfunton E ann als Hypergebrge n enem n-dmensonalen Gewchtsraum betrachtet werden, wobe n de Anzahl der varablen Gewchte m vorlegenden Netz darstellt 8 Für enen zwedmensonalen Gewchtsraum ( w, w) st de Fehlerlandschaft noch graphsch darstellbar, we es de folgende Abbldung zegt, für höherdmensonale Gewchtsräume ann man nur noch mathematsch abstraheren 5 Vgl Zmmermann, HG, 994, S 6 6 Vgl Poddg, T, 99, S 6 7 Der Fator ½ m Fehlerfuntonsterm hat ene quanttatve Bedeutung für das Lernproblem Er wurde nur aus dem enen Grund mplementert, da er sch später durch Dfferenzeren gegen de wegürzt 8 Vgl Poddg, T, 99, S 67

16 We Künstlche Neuronale Netze lernen Sete 6 E W W Quelle: egene Darstellung Abb 8: Fehlergebrge E enes KNN als Funton der Gewchte w und w Ausgehend von enem durch de zufällge Vorntalserung der Verbndungsgewchte bestmmten Punt auf dem Fehlergebrge erfolgt de Anpassung der Gewchte nach jedem Lernschrtt so, daß en teferer Punt auf der Oberfläche des Fehlergebrges errecht wrd Deses als Gradentenabstegsverfahren bezechnete nmerungsprnzp läßt sch anschaulch mt enem Sfahrer verglechen, der n enem Gebrge ns Tal hnabgletet 9 Das Gradentenabstegsverfahren ermöglcht es, de enzelnen Verbndungsgewchte n Rchtung der stärsten Reduzerung des quadratschen Gesamtfehlers m Netz zu verändern Im Prnzp st de Lernprozedur damt en Verfahren zur Bestmmung enes (globalen) nmums ener nchtlnearen Funton m n-dmensonalen Raum, womt sch das Lernproblem auf en Optmerungsproblem reduzert De formale Realserung deses nmerungsproblems fndet sch m Bacpropagaton Algorthmus 9 Vgl Stanley, J/Ba, E, 99, S 0

17 We Künstlche Neuronale Netze lernen Sete 7 4 Der Bacpropagaton Algorthmus Der Bacpropagaton Algorthmus st de zur Zet wrsamste und mest engesetzte Lernmethode zum Traneren von mehrlaggen Neuronalen Netzen Erstmals beschreben hat deses numersche Verfahren PJ Werbos 40 m Jahre 974, aber erst de präzse mathematsche Darstellung von DE Rumelhart, GE Hnton und RJ Wllams 4 führte zum allgemenen Durchbruch und zur Populartät deser Lernmethode be der Entwclung von Künstlchen Neuronalen Netzen Zel des Lernverfahrens für Bacpropagaton-Netzwere st es, ene Kombnaton von Verbndungsgewchten w j zu fnden, mt denen das Netzwer en vorgegebenes Engabemuster möglchst fehlerfre auf en entsprechendes Zelmuster abbldet De zu erlernenden Tranngsmuster werden dem Netz als Paare von Input- und Outputvetoren präsentert Dem Feed-Forward-Prnzp folgend, werden de Inputvetoren an de Engabeschcht angelegt und über de funtonalen Komponenten zu den Neuronen der Ausgabeschcht propagert ( Forward Propagaton ) 4 Der Output der Ausgabeneuronen - aufgrund der Identtätsfunton als Outputfunton dentsch mt hrer Atvtät - wrd daraufhn gemäß dem ü- berwachten Lernen mt dem entsprechenden Zelwert verglchen und der Lernfehler ann ermttelt werden We noch gezegt wrd, st der Kern des Algorthmus de Propagerung deses Fehlers entgegengesetzt des vorwärtsgerchteten Informatonsflusses m Netz zurüc zur Engabeschcht und de Adapton der Verbndungsgewchte n Abhängget der Fehlersgnale Aufgrund deser der Informatonsausbretung entgegengesetzten Fehlerpropagerung wrd das Lernverfahren Bacpropagaton genannt Der Bacpropagaton Algorthmus st damt en überwachtes Lernverfahren, be dem de Verbndungsgewchte n enem feed-forward-netz mt belebg velen Schchten durch das Rücwärtspropageren enes Fehlersgnals von der Ausgabeschcht durch alle verborgenen Schchten zur Engabeschcht angepaßt werden 4 Das Gradentenabstegsverfahren ermöglcht es, für jedes enzelne Verbndungsgewcht w j Werte zu fnden, de den Lernfehler E mnmeren Der Fehlergradent enes Verbndungsgewchtes gbt onret an, n welche Rchtung und um welchen Betrag das Gewcht verändert werden muß, damt der Lernfehler reduzert wrd Formal st der Fehlergradent somt nchts anderes als der Quotent aus der Veränderung des Fehlers und der Gewchtsänderung j, also de partelle Abletung der Fehlerfunton nach den enzelnen Verbndungsgewchten Vor dem Hntergrund der Zelsetzung, den quadratschen Gesamtfehler E ( P P E = Ep = tpj opj ) (6) p= p= j= 40 Vgl Werbos, PJ, Vgl Rumelhart, DE/Hnton, GE/Wllams, RJ, 986b, S 8-6 De folgenden Ausführungen zur formalen Herletung des Bacpropagaton Algorthmus orenteren sch m wesentlchen an Rumelhart et al Wetere detallerte Darstellungen, de alle auf dese Orgnärquelle Bezug nehmen, fnden sch be Pao, Y-H, 989; Hecht-Nelsen, R, 990; Kruse, H/angold, R/echler, B/Penger, O, 99; Poddg, T, 99; Hemel, JP, 994 und Zell, A, Vgl Hemel, JP, 994, S 5 4 Vgl Köhle,, 990, S 87-88

18 We Künstlche Neuronale Netze lernen Sete 8 zwschen dem Zelwert t und dem Netzausgabewert o über alle uster p und Ausgabeneuronen j zu mnmeren, erfolgt de Optmerung so, daß zuerst für jedes enzelne Tranngsmuster p de Verbndungsgewchte w j, de den Lernfehler E p mnmeren, bestmmt werden und anschleßend über alle p ustergradenten aufsummert wrd Dabe werden nur de Gewchte der Konnetonsmatrx W varert, de aufgrund der Netzstrutur ncht zwngend glech Null snd Se önnen als Vetor w r der n modfzerbaren Verbndungsgewchte zusammengefaßt werden, mt w r = ( w, w, w n ) Ausgangspunt für de formale Herletung des Bacpropagaton Algorthmus st damt de nmerungsvorschrft des Lernfehlers n enem uster p: ( ) r Ep( w) = tpj opj n r w j Das Prnzp des Gradentenabstegsverfahrens wrd am deutlchsten, wenn man sch das nmerungsproblem für den enfachsten, den unvaraten Fall der Fehlerfunton verdeutlcht E hängt nur von enem enzgen Verbndungsgewcht w ab und es ergbt sch folgende endmensonale Fehlerurve: (7) E w > 0 w < 0 w () nmum w () Quelle: egene Darstellung unter Anlehnung an amer, GW, 99, S 4 w Abb 9: Endmensonale Fehlerfunton Dem Gradentenabstegsverfahren legt nun de Idee zugrunde, de Veränderung der enzelnen Verbndungsgewchte proportonal zum negatven Gradenten, n unserem enfachen Fall also zur negatven Stegung der Fehlerfunton, vorzunehmen Aus der Abbldung wrd erschtlch, daß de Kenntns der Abletung en teratves Verfahren zur Fehlermnmerung ermöglcht Ist de Stegung der Fehlerfunton an der Stelle w () negatv, dh E (w () ) < 0, so st ene Erhöhung des Verbndungsgewchtes w ( w > 0 ) nötg, um zum nmum der Fehlerfunton E zu gelangen De umgeehrten Überlegungen gelten an der Stelle w () Um ene Änderung der Verbndungsgewchte n Rchtung enes nmums des Lernfehlers zu errechen, st es also nötg, de Stegung der Fehlerfunton negatv zu nehmen: be postver Stegung der Fehlerfunton st das Verbndungsgewcht zu vermndern, be negatver Stegung zu erhöhen Vgl Kruse, H/angold, R/echler, B/Penger, O, 99, S 05

19 We Künstlche Neuronale Netze lernen Sete 9 Dese Überlegungen lassen sch formal auf den n-dmensonalen Fall übertragen Da E ene mehrvarablge Funton von n Verbndungsgewchten st, werden für de Fehlermnmerung n partelle Abletungen nach den Verbndungsgewchten benötgt Damt der Lernfehler E abnehmend st, dh E < 0, muß gelten: w E E = η = η p p, mt =,, n (8) wobe η de Lernrate darstellt Den Gradenten g ann man defneren als vetorelle Zusammenfassung aller partellen Abletungen für alle n Gewchte: 45 r E E E g = E w = ( ),,, w n (9) De odfatonsregel für alle n Verbndungsgewchte ann damt geschreben werden als: w r = η E( w r ) (0) De Änderung des Gewchtsvetors w r st proportonal zum negatven Gradenten g = E( w r ) der Fehlerfunton De Lernrate η bldet den Proportonaltätsfator De Idee des Bacpropagaton Algorthmus besteht also darn, de notwendgen Gewchtsmodfatonen m Netz proportonal zur partellen Abletung der Fehlerfunton nach den Verbndungsgewchten vorzunehmen De zunächst auf usterebene erfolgende Gradentenberechnung und anschleßender Aggregaton über alle ustergradenten zu enem Gesamtfehlergradenten bezüglch enes Verbndungsgewchtes st streng genommen ene Abwechung vom exaten Gradentenabstegsverfahren Streng mathematsch sollte das Optmerungsverfahren am Gesamtfehler E ansetzen und der Fehlergradent des Fehlers E berechnet werden Tatsächlch beruht de theoretsche Abletung des Gradentenabstegsverfahrens 46 und de pratsche Implementerung n der neuronalen Anwendung auf dem Fehler E p n enem enzelnen Tranngsmuster p (ncht etwa über de Gesamthet der uster) 47 Deser Ansatz folgt der Überlegung, daß de Berechnung des Gradenten für de Gesamtfehlerfunton E durch Summaton der Gradenten über alle Fehlerfuntonen E p der enzelnen Tranngsmuster erfolgen ann, da der Gesamtfehler E nchts anderes st als de Summe aller p Lernfehler Ep ( E = E p ) Entsprechend der Glechung p = () müßte de Optmerung so erfolgen, dem Netz zuerst alle uster n enem Tranngszylus zu präsenteren, de enzelnen Gewchtsmodfatonen zu umuleren und erst nach Durchlauf aller uster de Gewchte entsprechend dem umulerten Gesamtwert anzupassen p p Vgl Hecht-Nelsen, 990, S und amer, GW, 99, S 5 Vgl Rumelhart, DE/Hnton, GE/Wllams, RJ, 986b, S Vgl Poddg, T, 99, S 45-46

20 We Künstlche Neuronale Netze lernen Sete 0 De Varaton der Verbndungsgewchte ann also musterwese nach jedem enzelnen gelernten uster ( Learn by Pattern oder Onlne-odus ) oder epochenwese nach Durchlauf aller zu erlernenden uster ( Learn by Epoch oder Batch-odus ) erfolgen 48 Bem Learn by Pattern erfolgt de nmerung der Fehlerfunton n Rchtung des stelsten Gradenten bezüglch der summerten Fehlerquadrate enes Tranngsmusters 49 Learn by Epoch bedeutet hngegen zunächst de Kumulerung der berechneten Gewchtsveränderungen und ener tatsächlchen Gewchtsveränderung, nachdem alle zu lernenden uster enes Tranngssets enmal durchlaufen worden snd Der Batch-odus verfolgt damt genau de Aussage von Glechung () und wäre demnach de theoretsch rchtge Vorgehensese der Gewchtsmodfaton Er st aber nur geegnet, wenn ene sehr große Zahl von Tranngsmustern zur Verfügung steht (Anzahl der Tranngsmuster Anzahl der Verbndungsgewchte) De umulatve Änderung der Verbndungsgewchte betet den Vortel, daß se tatsächlch den Gesamtfehler über alle uster berechnet und be der Gewchtsadapton berücschtgt Der Vortel wrd allerdngs onterarrert durch den Effet, daß sch errechnete Enzelfehler gegensetg aufheben önnen und umulert betrachtet ene Gewchtsadapton erfolgt Zudem snd be ener großen Anzahl von Tranngsmustern zu vele Rechenoperatonen für ene enzge Gewchtsveränderung nötg, da de enzelnen Gewchtsänderungen für jedes uster n ener Varablen gespechert werden müssen, bevor der umulatve Update erfolgt, was sch n ener längeren Rechenzet be hohem Specherplatzbedarf nederschlägt Aus desem Grund werden n der Praxs de Verbndungsgewchte mest dret m Anschluß an de Bearbetung enes usterpaares adaptert 50 De dadurch entstehende Abwechung vom exaten Gradentenabsteg wrd von Rumelhart et al erannt, se wrd jedoch be Wahl ener hnrechend lenen Lernrate als vernachlässgbar quantfzert, so daß de generalserte Delta-Regel be sofortger Anpasssung der Gewchte nach jedem uster ene ausrechend genaue Approxmaton des exaten Gradentenabstegs darstellt 5 In Anlehnung an de lasssche Herletung der Bacpropagaton Regel nach Rumelhart et al wrd auch n deser Arbet zunächst de Delta-Regel für zwestufge Netze ohne verdecte Schcht hergeletet, bevor man anschleßend auf drestufge Netze mt ener bzw mehrstufge Netze mt mehreren verdecten Schchten übergeht und zu ener verallgemenerten Delta- Regel gelangt Dazu st es notwendg, de bsherge Notaton zu verfenern, um zwschen den enzelnen Schchten genauer dfferenzeren zu önnen Dadurch st es möglch, de formale Herletung loal exat spezfzeren zu önnen, dh man ann an jeder Formel erennen, auf welcher Ebene man sch gerade m Netz befndet 48 Vgl Kruse, H/angold, R/echler, B/Penger, O, 99, S Vgl Schöneburg, E/Hansen, N/Gawelczy, A, 990, S Vgl Anders, U, 99, S 5 Vgl Rumelhart, DE/Hnton, GE/Wllams, RJ, 986b, S 4; Poddg, T, 99, S 55 und Anders, U, 99, S

21 We Künstlche Neuronale Netze lernen Sete 4 Zwestufges Netz ohne verdecte Schcht 4 Darstellung und Notaton Das zwestufge Netz ohne verdecter Schcht besteht nur aus Schchten mt ener Schnttstelle zwschen den Schchten: der Engabeschcht mt n Inputneuronen und der Ausgabeschcht mt n Outputneuronen 5 De Funtonswese stellt sch damt graphsch we folgt dar: o o o o n 44 Engabeschcht mt n Neuronen Schnttstelle w w nn net Σ ( ) net Σ ( ) net n Σ f( net n ) f net o f net o o n Ausgabeschcht mt n Neuronen Quelle: egene Darstellung Abb 0: Zwestufges Netz ohne verdecte Schcht De erweterte Notaton entsprechend Abb 0 bedeutet m enzelnen auf Neuronenebene: o : Input des Neurons n Schcht, wobe n n n o : Output des Neurons n Schcht, wobe net : Netto-Input des Neurons n Schcht aus Schcht, wobe w : Verbndungsgewcht von Neuron nach an der Schnttstelle Zur formalen Darstellung des Netznputs bzw -outputs, der Zelwerte sowe der Gewchtsstrutur auf gesamter Netzebene st es zwecmäßg, ene Vetor- bzw atrzennotaton enzuführen, de schchtenspezfsch st Dabe bedeutet: r o ( o o o n ) =,,, : Input des Netzes als Zelenvetor r o ( o =, o,, o n ): Output des Netzes als Zelenvetor r t = ( t, t,, t n ): Soll-Output des Netzes als Zelenvetor 5 Da annahmegemäß vollständge Konnetvtät m Netz herrscht, besteht das Netz aus n n Verbndungen und ebensovelen Verbndungsgewchten We erwähnt, st de Engabeschcht egentlch ftv, da se ledglch zur Informatonsaufnahme dent Dementsprechend dünn st de graphsche Darstellung der Engabeschcht: se besteht letztendlch nur aus den Input-Neuronen, über de Informatonen von außen n das Netz engespest werden, ohne funtonale Komponenten

22 We Künstlche Neuronale Netze lernen Sete W w = wn L w L w w n n n : Konnetonsmatrx für sämtlche modfzerbaren Verbndungsgewchte an der Schnttstelle De allgemene Konnetonsmatrx W hat wegen der spezellen Topologe des vorlegenden Netzes folgende grobe Blocstrutur: W W = () Dabe erfaßt Bloc (,) de Input-Unts unterenander, Bloc (,) mt W de Verbndungen zwschen Input- und Output-Schcht, Bloc (,) de Verbndungen zwschen Output- und Input-Schcht und Bloc (,) de Verbndungen der Output-Unts unterenander Der Vortel deser Blocstrutur st, daß nur solche Gewchte explzt erschenen und formal angesprochen werden önnen, de ncht a pror Null und somt modfzerbar snd Dese Notatonstechn st auf belebg vele Schchten mt K = Schnttstellen anwendbar Das Prnzp der Indzerung der Varablen st m Grunde recht enfach: der hochgestellte Index bzw st ene Konstante und repräsentert de Nummer der Netzebene bzw Schnttstelle, der tefgestellte Index bzw st en Laufndex und repräsentert en bestmmtes Neuron auf der jewelgen Netzebene, wobe n und n 5 4 De Zelfunton Der zu mnmerende Fehler E p st gemäß Glechung (7) ene quadratsche Fehlerdfferenz zwschen dem Vetor der Zelwerte t r und dem Vetor der Netzausgabe o r m uster p Im folgenden wrd aus zwe Gründen auf de tführung des usterparameters p verzchtet Zum enen st das Optmerungsprocedere für jedes Trangsmuster p glech und ene explzte formale Beücschtgung erübrgt sch aus nhaltlchen Gründen, zum anderen bedeutet es für de weteren formalen Überlegungen ene technsche Erlechterung und mehr Überschtlchet Der Output o enes Outputneurons m zwestufgen Netz ohne verdecter Schcht läßt sch schreben als (sehe Abb 0): ( ) = f net = f n w o o, wobe n () = Unter Enbezehung der Glechung () stellt sch de zu mnmerende Fehlerfunton gemäß Glechung (7) jetzt we folgt dar: 5 Ene ausführlche Erlärung der Notaton für das m-schchtge Netz erfolgt n Abschntt 4

23 We Künstlche Neuronale Netze lernen Sete o n n n E = ( t o ) = t f w o = = = 4 4 net n W (4) Verbal läßt sch das Lernproblem aus Glechung (4) we folgt beschreben: De Verbndungsgewchte w sollen so bestmmt werden, daß de quadratsche Gesamtfehlerdfferenz zwschen Sollausgabe t und Output o, der ene nchtlneare Funton des gewchteten Netto-Inputs net darstellt, für alle n Outputneuronen mnmal wrd Übertragen auf de Termnologe n Vetornotaton heßt das, daß der euldsche Abstand zwschen Zelvetor und rt Outputvetor o r mnmal werden soll 4 Das nmerungsalül De notwendge Bedngung für de Lösung des Optmerungsproblems nach (4) lautet, daß für den Gradenten g der Fehlerfunton g = E( W ) =,,, w w w = 0 nn n n partelle Abletungen (5) gelten muß Anstatt des Vetors w r der zur Optmerung verfügbaren Verbndungsgewchte wrd nahelegenderwese de atrx W verwendet, da W ex defntone alle Verbndungsgewchte, de a pror unglech Null snd, enthält De optmalen Verbndungsgewchte w, für de sämtlche partellen Abletungen des Gradentenvetors glech Null snd, önnen ncht analytsch n enem Rechenschrtt ermttelt werden, sondern snd, ausgehend von enem zufällg gewählten Startwert w ( 0), teratv n enem Näherungsverfahren zu berechnen De Näherungslösung wrd nun be gegebenem Input o begnnend mt zufällg vorntalserten r Verbndungsgewchten w ( 0) folgendermaßen ermttelt: Durch de zufällg gewählte Startposton W ( 0) der Gewchtsmatrx läßt sch der Outputvetor o ( 0) und damt ene erste r Fehlerdfferenz auf Outputebene berechnen: ( n E = t o ( 0)) (6) =

24 We Künstlche Neuronale Netze lernen Sete 4 De neuen Verbndungsgewchte m nächsten Lernschrtt ergeben sch mt ( ) ( ) ( ) w = w 0 + w 0, (7) wobe de Veränderung der Verbndungsgewchte w ( 0) n Anlehnung an Glechung (8) n Rchtung des negatven Gradenten, gesteuert durch de Lernrate η erfolgen muß, dh formal st de partelle Abletung der Fehlerfunton an der Funtonsstelle ( 0) zu berechnen w 44 De Berechnung der Abletungen Da de beden Indzes und n der Formel für E erschenen, st es überschtlcher, wenn de Abletung nach und ncht nach gebldet wrd, wobe n und j n : w j w w j E ( 0) = η j w = w j j ( 0) (8) De partelle Abletung der Fehlerfunton gemäß Glechung (4) ergbt sch nach mehrmalger Anwendung der Kettenregel we folgt: w Der letzte Term j = n ( ) f net o j = = n (9) st für (, j) (, ) glech Null und für (, j) (, ) j = glech Daher entfallen de beden Summen Im enzelnen ergbt sch für de Konstellaton (, j) (, ): o ( ) f net net ( t o ) = = (0a) ( ) ( '( ) ( ) ( ) ) = f net = f net f net = o o (0b) = o (0c) j = (0d) Zusammengefaßt folgt, wobe jetzt = und j = gesetzt wrd, da genau dese Konstellaton übrg blebt und ene Verwechslung mehr gegeben st: ( ) ( ) = t o o o o ()

25 We Künstlche Neuronale Netze lernen Sete 5 De Gewchtsadapton w j lautet schleßlch: w [ ( ) ( ) ] ( ) ( ) = η = η t o o o o = η t o o o o () Es st zwecmäßg, de rechte Sete von () als lneare Funton der Inputsgnale o zu schreben w = ηδ o, mt δ ( t o ) o ( ) = o () De so ermttelte Gewchtsanpassung dent zur Berechnung des Verbndungsgewchtes für den nächsten Lernschrtt 45 Schrttwese Anpassung der Gewchte De allgemenen Überlegungen lassen sch nun onret auf de Startposton w ( 0) übertragen Für de Ermttlung der ersten Gewchtsadapton bedeutet des, daß de allgemen herge- letete partelle Abletung der Fehlerfunton nach Glechung () exat an der Stelle w ( 0) zu blden st, dh w = w ( ( 0) ) ( 0) ( ( 0)) = t o o o o ( 0) (4) De Gewchtsadapton w ( 0) an der Stelle w ( 0) gemäß Glechung (8) lautet demnach: w E () 0 = η w = w =-η ( t o () 0 ) o () 0 ( o () 0 ) o = ηδ () 0 o () 0 δ () 0 (5) Daraus ergbt sch für de Verbndungsgewchte m nächsten Lernschrtt () ( ) w = w 0 +ηδ ( 0) o (6) w denen nun als Startposton für den zweten Tranngslauf, dh es werden de partellen Abletungen der Fehlerfunton an der Funtonsstelle w () errechnet Daraus resulteren dann neue Gewchtsadaptonen w () und es lassen sch neue Verbndungsgewchte w ( ) berechnen Dese wederum bestmmen de neue Poston m Fehlergebrge für den drtten Tranngszylus Dese teratve Vorgehenswese wrd nun sowet fortgesetzt, bs der Gradent der Fehlerfunton Null ergbt und man sch m Optmalfall m globalen nmum des Fehlergebrges befndet De so ermttelten Verbndungsgewchte ( )

26 We Künstlche Neuronale Netze lernen Sete 6 4 Drestufges Netz mt ener verdecten Schcht 4 Darstellung und Notaton Für Bacpropagaton-Netzwere mt mndestens ener verborgenen Schcht ann de Delta- Regel der zwelaggen Netze ncht übernommen werden, da für Neuronen der nneren Schcht(en) en Zelwert defnert st De auf lneare Atverungsfuntonen und Netze ohne verborgene Schchten beschränte Delta-Regel muß n ene verallgemenerte Verson transformert werden, de damt auch für Unts verborgener Schchten mt nchtlnearen Atverungsfuntonen anwendbar st Das zwestufge Netz mt ener verdecten Schcht besteht aus Schchten: der Engabeschcht m = mt n Inputneuronen, der verdecten Schcht m = mt n verborgenen Neuronen und der Ausgabeschcht m = mt n Outputneuronen 54 Graphsch onretsert sch damt das Lernproblem folgendermaßen: o o o o n = = w w nn net Σ f ( net ) net Σ f ( net ) net Σ ( ) net Σ ( ) net n net Σ f( net n ) n o n Σ f( net n ) f net o f net o o n o n m= m= m= w w nn Engabe- Verdecte Schcht mt n Neuronen Ausgabeschcht mt n Neuronen schcht mt n Neuronen Quelle: egene Darstellung o o Abb : Drestufges Netz mt ener verdecten Schcht Durch Hnzufügen ener verdecten Schcht nehmen sämtlche Glechungen m Verglech zum Fall ohne verdecter Schcht um ene Dmenson zu, da jetzt auch de Hdden-Unts mt hren Verbndungsgewchten n de Optmerung engehen De Notatonstechn blebt jedoch de gleche we m zwestufgen Netz Neben den Gewchten w, zusammengefaßt n der atrx W gbt es jetzt noch de Gewchte w, zusammengefaßt n der atrx W De allgemene Konnetonsmatrx W bestzt de folgende Blocstrutur: 0 W 0 W = 0 0 W (7) De Anzahl der Verbndungsgewchte beträgt damt (n n ) + (n n )

27 We Künstlche Neuronale Netze lernen Sete 7 4 De Zelfunton Das Vorgehen be der teratven Näherungslösung an de optmalen Gewchte m drestufgen Netz st dentsch mt dem des zwestufgen Netzes mt der Besonderhet, daß de Gewchtsadapton schrttwese - genauer gesagt schchtwese - begnnend an der Schnttstelle Hdden- Output-Schcht zurüc zur Schnttstelle Input-Hdden-Schcht erfolgt Im drestufgen Netz ( m = ) mt ener Zwschenschcht snd also pro Tranngslauf Gewchtsmodfatonen an = m = Schnttstellen vorzunehmen De Optmerungsüberlegungen starten n Analoge zum zwestufgen Netz ohne Zwschenschcht zunächst weder an der Outputebene mt 55 dem Output o enes Outputneuerons Deser läßt sch schreben als (sehe Abb ): n n n n o = f( net ) = f w o f w f( net ) f w f w o = =, wobe n = = = = (8) Das Optmerungsproblem läßt sch damt we folgt darstellen: o o n n n E ( t o ) n = = t f w f w o = = = = 4 4 net net n W, W (9) 4 Das nmerungsalül De notwendge Bedngung zur Errechung des nmums der Fehlerfunton lautet weder, daß für den Gradenten g der Fehlerfunton 56 g = E( W, W ) =,,,,,,, w w wnn w w w = 0 (0) nn n n n n partelle Abletungen partelle Abletungen 55 Vgl dazu Abschntt 4, Glechung () An den hochgestellten Indces erennt man, daß das Netz von auf Schchten angewachsen st 56 Im Argument der vetorellen Zusammenfassung aller partellen Abletungen erschenen jetzt zwe Konnetonsmatrzen: de atrzen W und W der Verbndungsgewchte an der Schnttstelle und

28 We Künstlche Neuronale Netze lernen Sete 8 gelten muß Anschaulch ausgedrüct heßt des, daß m multdmensonalen Fehlergebrge ene Bewegung mehr stattfndet, das nmum also errecht st De Iteraton startet weder mt ener zufällgen Vorntalserung sämtlcher Verbndungsgewchte an den beden Schnttstellen =, Ausgehend von der zufällgen Startposton r W ( 0) und gegebenem Input o läßt sch weder sch der Outputvetor o r ( 0) und damt ene erste Fehlerdfferenz auf Outputebene berechnen: n E = t o = ( ( 0)) () De Verbndungsgewchte für den nächsten Lernschrtt ergeben sch weder durch Gewchtsadapton der Gewchte des atuellen Lernschrtts mt: ( ) ( ) ( ) w = w 0 + w 0, wobe (, j) = (, ) für =, (, j) = (, ) für = () j j j De ersten Gewchtsadaptonen ergeben sch demnach, ndem an der Funtonsstelle schnttstellenwese de partelle Abletung der Fehlerfunton berechnet wrd: w j ( 0) w j E ( 0) = η j w j = w ( 0) j, wobe (, j) = (, ) für =, (, j) = (, ) für = () 44 De Berechnung der Abletungen De Abletung st nun an zwe Schnttstellen zu berechnen, nämlch an = : Schnttstelle Hdden-Output-Schcht für w = : Schnttstelle Input-Hdden-Schcht für w Für = glt: Weder st es aus Gründen der Überschtlchet angebracht, allgemen nach und ncht nach w abzuleten, da de beden Indces und als Summatonsndces n der Formel für E erschenen De partelle Abletung der Fehlerfunton E gemäß Glechung (9) nach w j erhält man weder durch mehrmalges Anwenden der Kettenregel, wobe n und j n : w j

29 We Künstlche Neuronale Netze lernen Sete 9 Da w j = n ( ) f net o n j = = j (4) für (, j) (, ) verschwndet, entfallen de beden Summen Weter ergbt sch an ( ) ( ) der nteresserenden Stelle, j, : ( t o ) = = (5a) o ( ) f net ( ) ( '( ) ( ) ( ) ) = f net = f net f net = o o (5b) = o (5c) j = (5d) Zusammengefaßt glt, wobe jetzt gegeben st: = und j = gesetzt wrd, da ene Verwechslung mehr ( ) ( ) = t o o o o (6) Für de Gewchtsadapton ergbt sch damt allgemen: w [ ( ) ( ) ] ( ) ( ) = η = η t o o o o = η t o o o o (7) De Gewchtsadaptonen an der Schnttstelle zwschen Hdden- und Output-Ebene erfolgen also formal exat we de m zwestufgen Netzwer ohne verdecter Schcht Analog zum zwestufgen Netz wrd de rechte Sete von (7) als lneare Funton der Outputsgnale o 57 der vorgelagerten verdecten Schcht geschreben: w = ηδ o, mt δ = ( t o ) o ( o ) (8) 57 Vgl dazu Abschntt 4, Glechung ()