Inhalt der Vorlesung 1 Einführung 2 Konvexe Mengen 3 Konvexe Funktionen 4 Konvexe Optimierung 5 Lösungsverfahren (6 Anwendungen) 1 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Beispiel 1.1 Mozartproblem (Lineare Optimierung) Eine Firma stellt Mozartkugeln und -taler her und braucht dafür die drei Zutaten Marzipan, Nougat und Bitterschokolade. Ihr Umsatz soll maximiert werden. Marzipan Nougat Bitterschokolade Preis Menge Kugeln (x 1 ) 1 2 1 9 Menge Taler (x 2 ) 1 1 2 8 Gesamtmenge 6 11 9 Die entsprechende Optimierungsaufgabe lautet (P 1 ) max {9x 1 + 8x 2 }. x 1 +x 2 6, 2x 1 +x 2 11, x 1 +2x 2 9, x 1,x 2 0 2 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Beispiel 1.2 Maximaler Flächeninhalt Welche Maße hat ein Rechteck, dessen Flächeninhalt maximal bei konstantem Umfang ist? Sind x und y die Seitenlängen und u der konstante Umfang, so ist der Flächeninhalt A = xy und die Gleichung zwischen den Variablen u = 2x + 2y. Die entsprechende Optimierungsaufgabe lautet (P 1 ) max xy, x,y>0, 2x+2y=u äquivalent darstellbar auch als (P 1 ) max x>0 x ( u 2 x). 3 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Beispiel 1.3 Kugel in Gleichgewicht (Cournot, 1827) Optimalitätsbedingung: Die Schwerkraft ist die positive Summe der Gradienten aktiver Restriktionen. 4 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Beispiel 1.4 Bildverarbeitung (Bitterlich, 2017) 5 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Beispiel 1.4 Bildverarbeitung (Bitterlich, 2017) Die entsprechende Optimierungsaufgabe lautet { 1 inf x R n 2 Ax b 2 + λtv (x)}, wobei A R n n (Unschärfe Operator), b R n (unscharfes und verrauschtes Bild), λ > 0 (Regularisierungsparameter) und TV : R n R (diskrete Totale-Variation-Funktion) 6 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Beispiel 1.4 Bildverarbeitung (Bitterlich, 2017) 7 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Beispiel 1.5 Maschinelles Lernen (Boţ & Hendrich, 2015) 8 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Beispiel 1.5 Maschinelles Lernen (Boţ & Hendrich, 2015) 9 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Beispiel 1.5 Maschinelles Lernen (Boţ & Hendrich, 2015) 10 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Beispiel 1.5 Maschinelles Lernen (Boţ & Hendrich, 2015) Die entsprechende Optimierungsaufgabe lautet inf {f (Kx) + g(x)}, x Rn wobei f : R m R (Loss-Funktion), g : R n R (Glättungsfunktion), K : R n R m ist linear und stetig 11 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
U, V R n Indikatorfunktion von U: δ U : R n R = R {± }, { 0, x U δ U (x) = +, x / U ri U = int aff U U (relatives Innere von U) Projektion auf U: Pr U : R n U, Pr U (x) = arg min y x y U Trennung von U und V : s R n s.d. sup s u inf u U v V s v Normalkegel von U: N U (x) = {z R n : z (y x) 0 y U} falls x U und N U (x) = wenn x / U 12 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
f : R n R f ist unterhalbstetig: lim inf y x f (y) = sup δ>0 inf y B(x,δ) f (y) f (x) x R n f ist unterhalbstetig epi f ist abgeschloßen Konjugierte Funktion von f : f : R n R, f (z) = sup {z x f (x)} x R n Beispiel: ( x (ln x 1), x > 0 e ) (x ) = 0, x = 0 +, x < 0 Young-Fenchel Ungleichung: f (z) + f (x) z x x, z R n Subdifferential von f : f (x) = wenn f (x) / R, sonst f (x) = {z R n : f (y) f (x) z (y x) y R n } f - eigentlich, konvex und differenzierbar f (x) = { f (x)} Beispiele: δ{ U = N U U R n {z R (x) = n : z 1}, x = 0 {z R n : z = 1, x = z x}, x 0 13 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
für F : R n R betrachte das Optimierungsproblem (P) inf F (x) x R n Störungsfunktion: Φ : R n R m R s.d. Φ(, 0) = F ( ) (P) inf Φ(x, 0) x Rn (konjugierte) Dualaufgabe zu (P): (D) sup Φ (0, z) z R m schwache Dualität: v(d) v(p) 14 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
starke Dualität: v(d) = v(p) und (D) hat eine Optimallösung Optimalitätsbedingung: x R n Optimallösung von (P) und starke Dualität Φ( x, 0) + Φ (0, z) = 0, d.h. (0, z) Φ( x, 0) Sattelpunkt von Φ: ( x, ȳ) R n R m s.d. Alternativsätze sup Φ( x, y) Φ( x, ȳ) inf Φ(x, ȳ) y R m x Rn 15 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
für f : R n R, g : R m R, A : R n R m linear, betrachte (UP) inf x Rn{f (x) + g(ax)} mit Φ(x, y) = f (x) + g(ax + y) ist (UP) Spezialfall von (P) (D) wird zu (UD) sup y Y { f (A y ) g ( y )} (Fenchel Dualaufgabe von (UP)) für f : R n R, g : R n R m, C R m konvexer Kegel, S R n, betrachte (RP) inf f (x) x S g(x) C mit ΦL (x, z) = f (x) + δ S (x) + δ z C (g(x)) ist (RP) Spezialfall von (P) (Lagrange Störung) 16 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Subgradientenverfahren Proximalpunktverfahren Splitting-Verfahren 17 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Finanzmathematik Spieltheorie Standortoptimierung 18 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Bezeichnungen 2.1 Seien U R n, A R m n, x, y R n, t R +, r R, m, n N. Euklidische Norm von x = (x 1,..., x n ) : x Innere von U: int U Abschluß von U: cl U Rand von U: bd U affine Hülle von U: aff U konvexe Hülle von U: co U konische Hülle von U: cone U Dimension von U: dim U Projektion auf die konvexe und abgeschloßene Menge U: Pr U : R n U, Pr U (x) = arg min y U y x Projektion auf R p, wobei p n: P R p : R n R p, P R p(u) = {x R p : y R n p : (x, y) U} offene Kugel um x mit Radius t: B(x, t) abgeschloßene Kugel um x mit Radius t: B(x, t) Strecke von x nach y: [x, y] = {rx + (1 r)y : 0 r 1}; auch ]x, y], [x, y[, ]x, y[ 19 S-M. Grad - Optimierung II / Universität Leipzig, SS2018
Rang der Matrix A = (a ij ) j=1,...,n i=1,...,m : Rg A Spur der quadratischen Matrix A R n n : Tr A = n i=1 a ii Einheitsvektoren: e i = (0,..., 0, 1, 0,..., 0), i=1,...,n, n-simplex: n = {x R n : x = n i=1 t i e i, t i 0, i = 1,..., n, n i=1 t i = 1} Hyperebene: H y,r = {x R n : y x = r} abgeschlosener Halbraum: H / y,r = {x R n : y x / r} offener Halbraum: H </> y,r = {x R n : y x < / > r} Dualkegel zum Kegel K R n : K = {y R n : y x 0 x K} Orthogonales Komplement des linearen Unterraums U: U 20 S-M. Grad - Optimierung II / Universität Leipzig, SS2018