Optimierungsverfahren: Motivation. Bayes-Formalismus. Schätztheorie. -- Fehlerfunktion L -- Regularisierungsfunktion R

Transkript

1 Optmerugsverfahre: Motvato Bayes-Formalsmus -- egatve log-lkelhoo -- egatver log-pror -- Max. a Posteror! l p( D! l p( + cost = m Schätztheore -- Fehlerfukto L -- Regularserugsfukto R -- F ( = L( +! R( =! m PD Dr. Mart Stetter, Semes AG Lere vo Datemoelle: Regularserug

2 Lere vo Datemoelle Optmerugsverfahre Optmerug kovexer Fuktoe Optmerugsprobleme mt Rabeguge Nchtkovexe Optmerugsprobleme

3 Optmerug kovexer Fuktoe Häufges Problem be Lere: Maxmerug bz. Mmerug eer Fukto -> Optmerug Bsp: Maxmum Lkelhoo, Maxmum a Posteror, Fehlermmerug..., # + ( " #! # + ( " #, 0! # Def: Kovexe Fukto: Für alle F (! Kovexes Opmerugsproblem Für kovexe Optmerugsprobleme (Mmerug glt: -- Es gbt geau e Mmum -- Es gbt kee lokale Mma -- Maxma lege am Ra es Deftosberechs -- Vele Verfahre fuktoere och be gutartg chtkovexe Fuktoe Ab jetzt: Mmerug Nchtkovex Lokales Mmum Gutartg chtkovex 3

4 Fuktoe eer Varable D-Graeteabsteg: F Gehe e klees Stück Rchtug " = " F! ( " F!( 0 < 0 Itervallschachtelug -- Start a Itervallräer A, B -- Auf Welcher Sete st as Mmum? A 0 B F "(( A + B / > 0! B = ( A + B / F "(( A + B / < 0! A = ( A + B / F " # -- bs: F (( A + B / <! res = ( A + B / Parabel Neto-Verfahre: -- Start mt bel ayloretcklug er Fukto als Parabel F ( # + F" ( (! + F"" ( (! F! ( + = " F!! ( -- Nehme M er Parabel: 4 0

5 Fuktoe mehrerer Varable Graeteabsteg: * Gehe e klees Stück Rchtug es egatve Graete (stelster Absteg & ' F ( + $ % ' = ( + ( bs <! " ' F,..., ' = ( + gra ( #! " = : ( + g = "! Probleme: -- Stelster Absteg zegt cht mmer zum Mmum -- Absteg fägt sch a flache Stelle -- ethält llkürlche Lerschrttete η -- ka uötg lagsam se -- ka oszllere Höhele -! Mmum * 5

6 Neto-Verfahre (Hesse-Matrx: Aalog D-Fall: Nähere F als quaratsche Fukto $ + (! #" +! F ( H( j = ( Hessematrx!! ähle ere Mmum als j (! H( ŵ + =!" ˆ = " + H( ( ˆ! 0 " # = ˆ = " H (! + (! ŵ Höhele "! Bem: -- " " H (! " " H! zegt vo rekt zum Mmum er quarat. Näherug Probleme: -- H be hochmesoale Probleme aufäg zu bereche u zu vertere -- Ncht robust be Übergag zu chtkovexe Optmerugsprobleme 6

7 Zurückführug auf emesoale Probleme: Le-Suche Graetebaserte Le-Suche: =!" =! g -- Im -te Schrtt ähle Rchtug, z.b. -- Mmere (e gehabt D-Fukto f (! =!,! ˆ + = arg m f (! =!ˆ Bem: Höhele -- Etsprcht automatscher Wahl er Lerschrttete -- +! g+ g = 0 0 = + # = " F ( + # = " F ( + = g+ =! + # # ˆ Probleme: -- Zckzack-Kurs, oft sogar be quaratscher Fehlerfukto ˆ 7

8 Kojugerte Graeteverfahre: -- Gehe e gute Rchtug : aber ohe H - explzt zu bereche! + =! H g+ -> Äquvalet: Gehe e Rchtug, e sch er Graet (. Näherug cht äert. De: ( : Es glt: + H = 0 0 =! +!! ˆ = " +! ˆ = " + = g + = # + H ( :! + + " + #! + + " + H =! + -- Daraus läßt sch er Cojugate Graet Algorthmus ablete: =! g +, " +. Wähle Afags-Parameter u. m -te Schrtt mmere 3. Bereche g F + =! ( +!! ˆ = + 4. Kojugerte Graete-Rchtug: + =!g + + ", " = g + 5. Falls Ergebs verbesserugsürg: =+, gehe zu + (g +! g g g! g + 8

9 Optmerugsprobleme mt Rabeguge Def: Glechhets-Rabegug: Mmere uter e Beguge G j ( = 0, j =,..., l Def: Uglechhets-Rabegug: Mmere uter e Beguge U (! 0, =,..., k b Lagrage-Multplkatore (Motvato: = m, geg. " b! 0 Zel: Mmere F, aber blebe auf er Hyperfläche! F -- Stelle scher, ur etlag zu optmere -- gra (G( st sekrecht auf e Fläche (G(=0: Für ε auf Fläche: -- Asatz: L (,! +! G( G( = 0! F G( + å = G( + å! G =! G( # å "! G G( = 0! F ( =! + "! G( für geegetes!! L(, " = Löse: = 0, =,...,!! L(, "!,! G( parallel ( = G( = 0!" -- Also: -- Alteratve Iterpretato: A er Lösug s! -- hesse Lagrage-Multplkatore 9.!G!F

10 Lagrage-Multplkatore u Kuh-ucker Sattelpukt-Begug: G( = 0 -- Betrachte Glechhetsbegug als Paar -- Ab jetzt oba Uglechhets-Rabeguge = m, geg. U (! 0, =,..., k G(! 0, " G(! 0 L (, á = + " = # (, U # ( ˆ, ሠ(, á! 0 L ( ˆ, á L( ˆ, áˆ! L(, ሠŵ -- Betrachte Lagrage-Fukto -- We er Sattelpukt exstert, also für alle 0 k! 0! a löst as Optmerugsproblem mt RB ˆ ˆ ˆ k ˆ U -- Bees: ( L (, á! L(, á # $ = (% "% (! 0 mt mt ( = $ ˆ +, $ j = $ ˆ j, j # " U ( ˆ! 0 $ = 0, $ = $ ˆ, j #! $ ˆ U ( ˆ " 0 $ Rabegug erfüllt! $ ˆ U L( ˆ, áˆ! " ˆ + ( ˆ = 0 j αˆ L(, ሠj ˆ Karush-Kuh-ucker (KK-Begug (ˆ k k # = # = für bel. {"! 0, =, L k} Nur eteer oer köe vo Null abeche U, $ ˆ ˆ ˆ ( ˆ U ( =! F + $ U (! = 0! 0 orb erfüllt

11 Nchtkovexe Optmerugsprobleme Möglche Egeschafte: Kokave Bereche Sattelpukte Globales Mmum Kokaver Berech Sattelpukt Lokales Mmum Lokale Mma Jees Mmum hat ee Ezugsberech -> Attraktorbecke Nahe ees Mmums st as Problem kovex Optmerug: I.. R. r e lokales Mmum gefue Attraktorbecke Im Attraktorbecke: Graeteabsteg, Lesuche fuktoere Im kovexe Berech: Netoverfahre fuktoert Attraktorbecke kovexer Berech

12 Möglchket: Weerholter Graeteabsteg -- Wähle Startparameter 0 -- Fe Mmum m jeelge Attraktorbecke -- Nach vele Durchgäge ähle as Mmum mt klestem F Probleme: -- Kee Garate, as globale Mmum zu fe -- Fluch er Dmesoe -- Ke Stopkrterum p( Wchtger: Globale Suchstratege Mote Carlo Verfahre -- Versuch, Stchprobe { 0,,...} aus er ubekate Vertelug zu zehe p ( = exp(! -- Przp: Wähle zufällg, beerte ese mt Hlfe vo F, Akzeptere proportoal zu p -- Bespele: Importace samplg, Metropols Algorthmus -- Aeug: Numersche Itegrato, Globale Optmerug

13 Smulate Aealg Iee: Betrebe afags Importace Samplg, schleße a System tefstes Mmum e Przp: Lasse afags auch ugüstge Sprüge zu, um lokale Mma zu etkomme exp( "!F k Algorthmus. Wähle hohe Pseuotemperatur 0. Wähle Zufalls-Sprug Δ, bereche 3. < 0 " = +!! F +! F # 0 " + = +! 4. Gehe N mal zurück zu mt Wahrschelchket < 5. Ererge e emparatur gehe zu, bs Etemparatur K errecht k + k " F Aealg Scheule gegebe urch, K,, Abkühlverfahre 0 N = + "! p & ' F = exp $ ( % k #! " Globale Mmerug garatert urch (zu lagsame logarthmsche Abkühlug I er Praxs z.b: 0 $ ( Fmax " Fm est, k + = % k, 0.9 # % # 0.99, N = 00, exp( "! F / K << 3