Neuronale Verfahren zur Regression

Transkript

1 Neuroale Verfahre zur Regresso eares oell Vo Percetro zu ultlage-percetro Error-BAckroagato erregel Raale Bassfuktoe-Netze P r art Stetter Sees AG Regresso

2 as leare oell Ausgagsukt: eares Percetro Fttet Ebee t Graet Iteressater: eares Percetro t Vorverarbetug h h + h + + h Percetro t VV st lear Aber: Nchtlear Fuktoe h s vo a vorgegebe ere cht gelert 3 h h h eares oelleuro 3 eares oelleuro P r art Stetter Sees AG Regresso: eares oell

3 P r art Stetter Sees AG 3 Geschrebe als Regressosoell Allgee: f + eares oell: h + Bs: Polo-Ft: h h 3 h Ersche Forulerug esg-atr: Betrachte atesatz } { + h h h h h h O h + Outut esg-atr Paraeter Rausche Regresso: eares oell

4 P r art Stetter Sees AG 4 -Paraeterschätzug es leare oells Aahe: Gausssches eßes Rausche e e π π Regresso: eares oell kelhoo: e au-kelhoo Paraeter l! 0 + aaltsch berechebar!

5 P r art Stetter Sees AG 5 Regresso: eares oell Schätzug er Rauschvaraz : R : Schätzer es Rauschvektors: I R Resuu-erzeugee atr: Schätzer Rauschvaraz: Az geschätzter Paraeter R tr Be: Rausch-Schätzug etsrcht Schätzug ees kelhoo-eraraeters kelhoo-erara: α er: e AP/: aere bez: e π Sehe -Bs:

6 P r art Stetter Sees AG 6 Schätzug er Paraetervaraz Regresso: eares oell l l Σ Kovarazatr er Paraeter: Σ / / : Z Σ Geschätztes Sgal-Rausch-Verhälts: er Z-score: Beobachtug:

7 as ultlage-percetro P otvato: Nervezelle Gehr s htereaergeschaltet Geschachtelte chtleare rasforatoe s ächtger als ee ezge Aufbau Fee-forar Iut 0 0 Schcht Schcht Jees Neuro gbt chtleare Fukto g es suerte Iuts eter t g θ g Bs: ze Schchte: g P r art Stetter Sees AG Regresso: P 7 u g v θ q r qr r g Sgoe rasferfukto

8 Als Regressosoell geschrebe g k g q q + g k q 0 Wchtgket er Nchtleartät: Falls g lear etsrcht P eschchtge Fall k k k k 0 k k 0 k Uversale Aroatosegeschaft E reschchtges Netz ka ee belebge kotuerlche Fukto aroere Aschaulch: u k k Schcht aa urch Kobato vo Perceros Schcht okalserte Atort urch sgoe rasforato 3 Schcht Kobato zur geüschte Fukto P r art Stetter Sees AG Regresso: P 8

9 Uklar Wevele versteckte Neuroe ere beötgt We schert a sch gege Überftte ab? > Kreuzvalerug We traert a e versteckte Neuroe? > Error-Backroagato-Algorthus Ruelhart Werbos `80er Jahre ẑ Jetzt: Betrachte zeschchtges Netzerk ẑ g u g u g v q q q q q r qr r q u q atesatz F Fehlerfukto: oular: { z z z } F E v z g u g q q r qr r u v q E z g u g v v qr r q r qr r P r art Stetter Sees AG Regresso: P 9

10 Backroagato Algorthus: erletug --> Geschckte Aeug es Graeteabstegs ef: Iuts a u q q q q b r vqr r ef Fehler: E z g u q qg v r qr r z g u qg b Partelle Abletuge für Versteckt-zu-Outut Gechte E u z z z u z g a z z q q z a z g a u δ Partelle Abletuge für Iut-zu-Versteckt Gechte E v k a z z g a v k δ b δ u g b δ k v k { : δ k δ v k v δ δ z z g a u g q q r qr r δ Error δ u g b Error-Backroagato P r art Stetter Sees AG Regresso: P 0

11 Error-Backroagato Algorthus: Ileeterug Präsetere uster Sgal forar-roagato: ẑ ẑ a z Bereche u sechere vo eer Schcht e Iuts u Aktvtäte also b q v r qr r g b q a u q q z g a r q r q b q Bereche Fehler a er Oututschcht δ z z g a Error-Backroagato: roagere Fehler urch versteckte Schchte zurück δ q δ u g b q ere t Regel: q E Δ u η ηδ u Δv k ηδ k z z g a δ δ q P r art Stetter Sees AG Regresso: P

12 Raale Bassfuktoe RBF Netzerke otvato: br zsche leare oell u uversale Fuktosaroator Aroere Outut als leare Sue chtlearer Gauss- Fuktoe Aufbau Schcht Gauss-Fuktoe aroere Segete es Iuts ϕ µ Ó Schcht: earkobato er Gaussfuktoe f ϕ µ Ó Iut Schcht Schcht ϕ µ Ó f f Be: -- Schcht chtlear aber Gausssch > effzet zu otere -- Schcht etsrcht Schcht es uversale Aroators -- Schcht lear > efache aaltsche ösug P r art Stetter Sees AG Regresso: RBF

13 Oterug Otere µσ er Gaussfuktoe ur basere auf Iut-ate -- Etsrcht ture of Gaussa chteschätzer Φ ì Ó : ϕ µ Ó ϕ µ Ó Φ Veree otale Gaussfuktoe als oellfuktoe ees leare oells f WΦ + } W Φ Φ Φ Y -- Y ef: -- Φ ϕ P r art Stetter Sees AG Regresso: P 3

14 Behaelte hee 0 otvato : ere Statstk u Bologe Wahrschelchketstheore: Grulage u eftoe Überblck über statstsche ateoellerugs-verfahre 3 ere vo ateoelle Baes sches Schleße Iferez au-kelhoo Paraeterschätzug u Fehlererug Geeralserug u Regularserug Oterugsverfahre 4 Neuroale erverfahre für Klassfkato Percetro Soft-arg Classfers Suort Vector ache Kerel-Klassfkato 5 Neuroale erverfahre für Regresso eare oelle ultlage-percetro Raale Bassfuktoe P r art Stetter Sees AG Statstsche u euroale erverfahre 4