Neuronale Netze. M. Gruber (1) ausgeloste Reiz ist x (1) = (1) (s (1) ) mit (1) (s) = 1 sgn(s 1 ) sgn(s 2 ) T. .

Größe: px

Ab Seite anzeigen:

Download "Neuronale Netze. M. Gruber (1) ausgeloste Reiz ist x (1) = (1) (s (1) ) mit (1) (s) = 1 sgn(s 1 ) sgn(s 2 ) T. ."

Gerhard Gehrig
vor 7 Jahren
Abrufe

1 Neuronale Netze M. Gruber Begnnen wr mt enem Bespel. Bespel 1 Wr konstrueren enen Klasskator auf der Menge X = [ 1; 1], dessen Wrkung man n Abb.1 rechts sehen kann. Auf der blauen Telmenge soll er den Wert +1 annehmen, auf der ween den Wert 1. Als Baustene stehen zwe Perzeptrons zur Verfugung, deren Wrkung n Abb.1 lnks bzw. mtte zu sehen st. Wr konstrueren den Klasskator m Stl enes neuronalen Netzes und wahlen Bezechnungen, de fur neuronale Netze ublch snd. Typsch fur neuronale Netze st de herarchsche Schchtstruktur. Man stellt sch vor, dass en Rez aus der Engabeschcht zu enem Sgnal fur de nachste Schcht verarbetet wrd, das dort weder enen Rez auslost usw.. Am Ende kommt n der Ausgabeschcht en Sgnal an und lost enen Rez aus. Unser neuronales Netz wrd ver Schchten (layers haben, nummerert mt l = 0; 1; ;. Aus Rezen x der Schcht l 1 werden Sgnale s (l. Aus desen gehen de Reze x (l der Schcht l hervor. Alles wrd durch Abbldungen realsert. Engabeschcht st n unserem Fall de Menge f1g X. De Komponente mt der Ens zahlt als nullte Komponente. Nullte Komponenten werden zur Verrechnung von Schwellwerten (thresholds genutzt. Im Sgnal s (1 steckt de Wrkung unserer Perzeptrons. Ist Perzeptron 1 de Abbldung x 7! sgn(u T 1 x und Perzeptron de Abbldung x 7! sgn(u T x, so st s (1 = (W (1 T x (0 mt W (1 = u 1 u. Der von s (1 ausgeloste Rez st x (1 = (1 (s (1 mt (1 (s = 1 sgn(s 1 sgn(s T. De Abbldung (1 st m Wesentlchen ene komponentenwese sgn-funkton. Der Ubergang von Schcht l = 0 zu Schcht l = 1 wrd durch F 1 = (1 (W (1 T realsert. Wr snd nun n Schcht l = 1, de zu den \verborgenen" Schchten (hdden layers des neuronalen Netzes zahlt. Der Ubergang zur nachsten verborgenen Schcht l = st ahnlch. Er wrd durch de Funkton F = ( (W ( T realsert. Dabe st ( = (1 und W ( = v 1 v T mt v 1 = 1:5 1 1 T und v = 1:5 1 1 T. Se x ( = F (x (1 = ( (W ( T x (1. In Komponente 1 von x ( erschent genau dann +1, wenn Perzeptron 1 den Wert 1 und Perzeptron den Wert +1 gelefert hat. In Komponente erschent genau dann +1, wenn Perzeptron 1 den Wert +1 und Perzeptron den Wert 1 gelefert hat. F lefert de Bestandtele ener XOR-Verknupfung an Schcht l =. Es fehlt nur noch de OR-Verknupfung deser Bestandtele. De letzte Schcht (l = st de Ausgabeschcht. Den Ubergang zu hr vermttelt F = ( (W ( T. Her st W ( T = 1:5 1 1 und ( = sgn. De enspaltge Matrx W ( realsert de OR-Verknupfung. De Ausgabeschcht hat kene nullte Komponente (man braucht kene mehr und se st endmensonal. In hr steht das Rechenergebns des neuronalen Netzes. 1

2 WS 015/16 Statstcal Learnng Vorlesung 8 De Funkton F = F F F 1 st en neuronales Netz mt ener Engabeschcht, zwe verborgenen Schchten und ener Ausgabeschcht. De Dmensonen der Schchten snd d (0 = d (1 = d ( =, d ( = 1 (nullte Komponenten zahlen ncht. De Funkton F erfullt de Anforderung genau. Se klasszert fehlerlos. Im Untersched zu unserem Bespel snd be Problemen, de mt neuronalen Netzen gel ost werden, nur de Engabe- und Ausgabeschcht bekannt. Mt neuronalen Netzen bldet man ene unbekannte Funkton f, de sch nur n Tranngsdaten dokumentert, bestmoglch nach. Man hat en Fehlerma, das de Abwechung der Netzfunkton F von f auf der Tranngsmenge msst. Der Fehler wrd mnmert, ndem man optmale \Gewchte" W (k ndet. Man braucht Derenzerbarket nach den Komponenten der W (k 's. Statt der sgn-funkton verwendet man deshalb glatte, sgn-artge Funktonen (soft thresholds, bespelswese = tanh. Defnton 1 (Neuronales Netz, nformell En neuronales Netz st ene Funkton, de zu enem Engabevektor n L Schrtten enen skalaren Ausgabewert zwschen 1 und +1 berechnet. Jeder Schrtt st ene Funkton F l, l = 1; : : : ; L de aus zwe Operatonen besteht. De ene, lneare, berechnet \Sgnale", de andere, sgn-artge, verarbetet de Sgnale zu \Rezen" +1 oder 1. De Anzahl L der Schrtte und de Dmensonen d (l der Wertebereche von F l konnen fur l = 1; : : : ; L 1 gewahlt werden. Der Werteberech von F L st endmensonal. De lnearen Operatonen n den F l enthalten de Parameter, uber de man de Egenschaften des neuronalen Netzes verandern und an Erfordernsse anpassen kann. Defnton (Neuronales Netz, formal En neuronales Netz st ene Funkton mt folgenden Egenschaften: 1. F = F L F L 1 F 1 mt (a F 1 : f1g R d(0! f1g [ 1; 1] d(1, F : f1g R d(0! [ 1; 1] (b F l : f1g [ 1; 1] d! f1g [ 1; 1] d(l fur 1 < l < L, (c F L : f1g [ 1; 1] d(l 1! [ 1; 1] (d.h. d L = 1. Dabe snd de Dmensonen d (0 ; : : : ; d (L 1 N nf0g und d (L = 1.. Jedes F l st von der Form F l (x = (l (W (l T x mt (a W (l R d +1 R d(l fur 1 l L, (b (l : R d(l! f1g [ 1; 1] d(l, s 7! 1 (s 1 (s d (l T (c (L =. fur 1 l < L, Dabe st ene sgn-artge glatte Funkton, z.b. = tanh. We kann en neuronales Netz tranert werden? Gegeben se ene Tranngsmenge D = f[x 1 ; y 1 ]; : : : ; [x N ; y N ]g. Se f de unbekannte Funkton, de de Tranngsmenge erzeugt hat (y n = f(x n, n = 1; : : : ; N. Se F das neuronale Netz, das mt f moglchst gut uberenstmmen soll. Unser Fehlerma muss von enen Parametern abh angen, de wr vareren wollen, um den Fehler zu drucken, d.h. von den Koezenten der W (1 ; : : : ; W (L.

3 WS 015/16 Statstcal Learnng Vorlesung 8 Abbldung 1: Zwe Perzeptrons (lnks und mtte telen de Inputmenge. Blaue Bereche snd +1- Bereche, wee 1-Bereche. Der Klasskator rechts wrd aus desen Perzeptrons als neuronales Netz konstruert. Denken wr uns de Elemente deser Matrzen n enem Vektor w angeordnet und schreben wr F (x; w statt F (x. Das passende Fehlerma fur unser Vorhaben st Err n (w = 1 N X 1nN (F (x n ; w y n =: Zur Mnmerung des n-sample errors betet sch das Gradentenabstegsverfahren an. Be der Berechnung des Gradenten muss nach Komponenten von w derenzert werden. Unter anderem muss man auch derenzeren. Wr wahlen e s (s = tanh(s = es e s + e : s Dese Funkton st +1 fur s! 1 und 1 fur s! 1 und hat zudem de schone Egenschaft 0 (s = 1 (s : Das klasssche Grandentenabstegsverfahren erfordert enen hohen Rechenaufwand, denn be eder Berechnung des Gradenten wrd de gesamte Lernmenge ausgewertet. Be neuronalen Netzen hat sch das stochastsche Gradentenabstegsverfahren als Alternatve bew ahrt. Her wrd be edem Schrtt en n f1; : : : ; Ng zufallg bestmmt und der Gradent des Elementarfehlers zur Berechnung des neuen w herangezogen: e n (w = (F (x n ; w y n = w neu w alt re n (w alt : Der Vollstandgket halber geben wr an, we w konstruert werden kann. De Elemente der Matrx W (l seen w (l. De Groe w(l st das Gewcht, mt dem de -te Komponente des Rezes x multplzert wrd und damt zur -ten Komponente des Sgnals s (l betragt. Man denke sch de Spalten w (l ; zu enem Vektor w(l ; anenandergereht. De Vektoren w (l ; denke man sch zum Vektor w anenandergereht. De Groe e n (w kann man von der l-ten Schcht aus berechnen, wenn man das Sgnal s (l kennt, denn dann kann man weterrechnen bs zur Ausgabeschcht. Also kann man e n auch als Funkton des Sgnals s (l auassen und entsprechend derenzeren. Das wollen wr etzt tun. Wr fuhren noch ene neue Bezechnung en: (l n (s (l :

4 WS 015/16 Statstcal Learnng Vorlesung 8 Im Fall l = L gbt es nur en, namlch = 1, und man erhalt sofort (L 1 (s (L 1 = ((s (L 1 y n (1 (s (L 1 : Schcht fur Schcht kann man nun weterrechnen. Angenommen, man hat (l 1 ; : : : ; (l schon. Dann d (l st mt s = h (s n Wegen und st T s 1 s d und s (l = (s = X 1d (l (s = n (s (l ((W (l T (s = (w (l ; h s (l 1 s (l d (l T (s = X ((W (l T (s 1d (l T (s = w (l 0 (s (s (l X (s = (l (s (l w (l 1 (1 (s(l fur l = ; : : : ; L: (1 1d (l De Bezehung (1 kennt man unter dem Namen back propagaton. Damt haben wr nun en ezentes Verfahren zur Berechnung des w-gradenten von e n n der Hand. Es st n (l De n (s (l st (l und (l (l st enfach x. : ( Bespel (Computer-Experment Mt dem neuronalen Netz aus Bespel 1 wurde ene Tranngsmenge vom Umfang N = 100 erzeugt. De Umrsse der 1-gelabelten Telmenge seht man als voletten Berech n Abb. lnks. En neuronales Netz mt zwe verdmensonalen hdden layers wurde an den Daten tranert. Ergebns war ene Funkton mt Werten n [ 1; 1], dessen Kontur man n Abb. rechts seht. Als Gewchtsmatrzen des neuronalen Netzes ergaben sch W (1 = W ( = 6 0: :0607 0:9557 0:99 0:8988 :869 0:590 0: :969 0:568 :1167 1:0667 0: : : : :958 0: :78 0: :8155 0:65 0:1158 1:6605 0: : :876 1:1659 0: : : : :0116 1:76 W ( = 6 1:75 7 1:095 5 : 1:880 5 ; 7 5 ; (s :

5 WS 015/16 Statstcal Learnng Vorlesung 8 Der Lernkoezent fur den stochastschen Grandentenabsteg war = 0:1. De Iteraton wurde beendet, sobald das Norm-Quadrat des Gradenten den Wert unterschrtt. De obere Schranke fur de Anzahl der Iteratonen war Abbldung : Umrsse der Tranngsmenge (lnks und Konturplot des neuronalen Netzes (rechts. 5

Ähnliche Dokumente

Statistical Learning

Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in