Neuronale Verfahren zur Funktonsaromaton Klassfkaton mt em Percetron von Rosenblatt Vom Percetron zum Multlagen-Percetron Error-Backroagaton ernregel Raale Bassfunktonen-Netze PD Dr Martn Stetter, Semens AG Funktonsaromaton
Das Rosenblatt-Percetron (96 Vorher: Regresson Jetzt: Bnäre Klassfkaton Neuronale Struktur: Das bnäre Moell-Neuron T ( Θ( + b Weerholung: Das Percetron kann als bnärer Klassfkator enen -- Geg: Daten n ze Klassen,, 0 -- Ges: Klassfkatonsregel als Fkt von -- Def:, b Θ( T + + 3 3 Moellneuron (Percetron ˆ 0 (m f ( ˆ + ernen: Mnmeren ener Fehlerfunkton Her: Gechteter Falsch-Klassfkatonsfehler Korrekte Klassfkaton: Ken Fehler Falsch-Klassfkaton: ostver Fehler F P ( M ( m ˆ( T PD Dr Martn Stetter, Semens AG Klassfkaton: Percetron
Percetron-ernregel: Graentenabsteg M η FP ( η ( m Δ ˆ( (Batch-Mous Onlne-ernregel: ˆ 0 Wähle belebges 0 Wähle Muster m 3: ˆ( n+ n + η( (h tue nchts be korrekter Klassfkaton, bege be Falsch-Klassfkaton (m n+ n Δ 4: Bs beste Klassfkaton gehe zu ˆ + Bem: -- Für lnear searable Probleme Konvergenzgarante n enl velen Schrtten -- Funktonert nur für lnear searable Probleme -- Ereterbar auf kontnuerlche Oututs PD Dr Martn Stetter, Semens AG Klassfkaton: Percetron 3
neare Searabltät: Klassen können urch Herebene vollstäng getrennt eren Entartetes Problem X-OR Problem near searabel Ncht lnear searabel We ahrschenlch sn M Muster n Dmensonen lnear searabel? -- Wähle zufällg M - mensonale Muster -- Vertele zufällg Klassenlabels C( M, C( M, -- Bestmme Wa für ln Searabltät -- Erg f hohe Dmensonen: M / M ma PD Dr Martn Stetter, Semens AG Klassfkaton: Percetron 4
Behanlung ncht lnear searabler Probleme : Dmensonaltät neare Klassfkaton entsrcht ener bestmmten Moellkomletät -- We komle sn e Funktonen, e en solches Moell mlementeren kann? --> Zerschmettern von M Datenunkten: Fähgket, alle M möglchen Funktonen zu mlementeren Def: Vank-Chervonenks-Dmenson (VC-Dmenson enes Moells: Größtes M, as as Moell zerschmettern kann VC-Dmenson e lnearen Klassfkators n Dmensonen: + neare Klassfkaton n höherer Dmenson oer X-OR Problem Nchtlneare Klassfkaton n D n 3D Vgl: Suort Vector Machne (sehe säter PD Dr Martn Stetter, Semens AG Klassfkaton: Percetron 5
Vom Percetron zum Multlagen-Percetron Behanlung ncht lnear searabler Probleme : Mehrere agen Inut Schcht Schcht - Percetron Percetron Percetron: Regresson komonentenese nchtlnearer Funktonen Klassfkaton lnear sarabler Probleme Multlagen Percetron: Allgemene Funktonsaromaton Regresson un Klassfkaton PD Dr Martn Stetter, Semens AG Klassfkaton: Percetron 6
Das Multlagen-Percetron (MP für Regresson Motvaton: Nervenzellen m Gehrn sn hnterenanergeschaltet Geschachtelte nchtlneare Transformatonen sn mächtger als ene enzge Aufbau Fee-forar Inut,0,0 Schcht Schcht Jees Neuron gbt nchtlneare Funkton g es summerten Inuts eter mt, 0, 0 +, g,, ( θ +, +,, +, ( +, g,, Bs: ze Schchten: ˆ, g PD Dr Martn Stetter, Semens AG Regresson: MP 7 θ ( ( u g v q q r qr r g( ˆ ( ˆ ( Sgmoe Transferfunkton
Als Regressonsmoell geschreben ( ( ( ( + n g, g k, g q, q + n ˆ ( + n f k q 0 Wchtgket er Nchtlneartät: Falls g lnear, entsrcht MP enschchtgem Fall (, k, k k k,, 0 k k 0 k Unversale Aromatonsegenschaft En reschchtges Netz kann ee belebge kontnuerlche Funkton aromeren Anschaulch: u k k Schcht Pool von kontnuerlchen Percetrons Schcht okalserte Antort urch Kombnaton von Pecetron-Oututs lus sgmoe Transformaton 3 Schcht Kombnaton zur geünschten Funkton PD Dr Martn Stetter, Semens AG Regresson: MP 8
Unklar Wevele versteckte Neuronen eren benötgt We schert man sch gegen Überftten ab? (> Kreuzvalerung We tranert man e versteckten Neuronen? > Error-Backroagaton-Algorthmus (Rumelhart, Werbos, `80er Jahre ẑ Jetzt: Betrachte zeschchtges Netzerk ẑ g ( ( ( u g u g v q q q q q r qr r q u q Datensatz F( D Fehlerfunkton: Moular: m {, z ( z zˆ }, F ( E ( m m,, M ( v ( ( z g u g, q m q r qr r ( u, v ( ( q E ( z g u g( v v qr r q r qr r PD Dr Martn Stetter, Semens AG Regresson: MP 9
Backroagaton Algorthmus: Herletung --> Geschckte Anenung es Graentenabstegs Def: Inuts Def Fehler: (ohne ne m Partelle Abletungen für Versteckt-zu-Outut Gechte E u ( z a, E( u q q q bq r vqr r z ( g u q qg v r qr r ( z g u qg( b zˆ zˆ u ( ( ( ( z g( a ( z zˆ q q ( z a zˆ g ( a u δ δ ( z zˆ g ( a 44 44 3 δ Partelle Abletungen für Inut-zu-Versteckt Gechte E a ( z zˆ g ( a v 44 443 k v k δ b δ u g ( b δ k, 44 443 v k { : δ k δ v Δ k η ( v ( u g E Error q q r qr r δ ( δ u g ( b Error-Backroagaton PD Dr Martn Stetter, Semens AG Regresson: MP 0
Backro-Algorthmus: Nach Zufallsbelegung er Gechte auf klene Werte Präsentere Muster (m Sgnal forar-roagaton: ẑ ẑ a z Berechne un sechere von eer Schcht e Inuts un Aktvtäten, also b q v, ( r qr r g b q a u q q zˆ g( a r q, r q b q Berechne Fehler an er Oututschcht δ ( z zˆ g ( a Error-Backroagaton: roagere Fehler urch versteckte Schchten zurück δ q δ u g ( b q erne mt Regel: q E Δ u η ηδ, Δv k ηδ u k ( z zˆ g ( a δ δ q PD Dr Martn Stetter, Semens AG Regresson: MP
Weerholung: Das lneare Moell ( h ( h ( + h ( H + n, ( H h ( + + h (m Funktonen h( sn von Han vorgegeben, eren ncht gelernt Aber: Enfache ösung m ( h ( h ( h ( neares Moellneuron mt Vorverarbetung ( ˆ ( H H M T analtsch berechenbar! H T ˆ( (m (m (m n h ( h ( h 3( (m PD Dr Martn Stetter, Semens AG Regresson: neares Moell
Raale Bassfunktonen (RBF Netzerke Motvaton: Hbr zschen lnearem Moell un unversalem Funktonsaromator Aromere Outut als lneare Summe nchtlnearer (Gauss- Funktonen Aufbau Schcht Gauss-Funktonen (anstatt h( aromeren Segmente es Inuts ϕ ( µ, Ó Schcht: nearkombnaton er Gaussfunktonen f ( ϕ ( µ, Ó Inut Schcht Schcht ϕ µ, ( Ó f f ˆ ( Bem: -- Schcht nchtlnear, aber Gausssch > effzent zu otmeren -- Schcht entsrcht Schcht, es unversalen Aromators -- Schcht lnear > enfache analtsche M ösung PD Dr Martn Stetter, Semens AG Regresson: RBF 3
Otmerung Otmere µ,σ er Gaussfunktonen nur baseren auf Inut-Daten -- Entsrcht Mture of Gaussan Dchteschätzer ( M M M M M M T Φ ì, Ó : ( ϕ( µ, Ó,, ϕ ( µ, Ó Φ( Verene otmale Gaussfunktonen als Moellfunktonen enes lnearen Moells f ( WΦ( + n } m T T (m Wˆ T ( Φ Φ Φ Y -- Y m (m Def: -- Φ ϕ ( PD Dr Martn Stetter, Semens AG Regresson: RBF 4