4.4 Quadratische Optimierungsprobleme

Transkript

1 4.4 Quadratische Optimierungsprobleme 1. Quadratische Programme (QP) 1 2 xt P x + q T x + r s.t. Gx h (4.34) wobei P S n +, G R (m n) und A R (p n) Zielfunktion (ZF) ist (konvex) quadratisch Nebenbedingungen (NB) sind affin Minimierung über Polyeder Beispiel 1 (Methode der kleinsten Fehlerquadrate). Ax b 2 2= x T A T Ax 2b T Ax + b T b Lösung dieses QP s lautet A b durch untere und obere Schranke ergänzt, erhält man folgendes QP: Ax b 2 2 s.t. l i x i u i, i = 1,.., n Beispiel 2 (Abstand zweier Polyeder). x 1 x s.t. A 1 x 1 b 1 A 2 x 2 b 2 (x 1, x 2 R n ) P 1 = {x 1 : A 1 x 1 b 1 } und P 1 = {x 2 : A 2 x 2 b 2 } seien 2 Polyeder dist(p 1, P 2 ) := inf{ x 1 x 2 2 2: x 1 P 1, x 2 P 2 } 1

2 2. Quadratische Programme mit quadratischen NB (QCQP) s.t. 1 2 xt P 0 x + q0 T x + r xt P i x + qi T x + r i 0, i = 1,.., m (4.35) wobei P i S n +, i = 0, 1,.., m NB sind (konvex) quadratisch P i 0: Minimierung über den Durchschnitt von Ellipsoiden 3. Second-order cone Programme (SOCP) f T x s.t. A i x + b i 2 c T i x + d i, i = 1,.., m (4.36) F x = g wobei x R n, A i R (ni n), F R (p n) A i x + b i 2 c T i x + d i heißt second-order cone constraint (A i x + b i, c T i x + d i ) R ni+1 (Lorentzkegel) Robuste lineare Programme c T x s.t. a T i x b i, i = 1,.., m Streuung in c, a i, b i zur Vereinfachung: c, b i fest und a i ε i = {a i + P i u : u 2 1} (wobei P i R (n n) ) 2

3 robustes LP: c T x s.t. a T i x b i a i ε i, i = 1,.., m (4.37) SOCP: s.t. c T x a T i x + P T i x 2 b i, i = 1,.., m 3

4 4.6 Verallgemeinerte Ungleichungs-NB Verallgemeinerung des konvexen Optimierungsproblems lautet: f 0 (x) s.t. f i (x) Ki 0, i = 1,.., m (4.48) wobei f 0 : R n R, K i R k i eigentlicher Kegel, f i : R n R k i sind K i -konvex Ungleichungs-NB sind vektorwertige Funktionen Konische Probleme c T x s.t. F x + g K 0 (4.49) heißt konisches Programm, wobei ZF linear, Ungleichungs-NB affin und K-konvex (4.49) in Standardform: c T x s.t. x K 0 Beispiel 3 (SOCP). SOCP s kann man als konische Programme schreiben: c T x s.t. (A i x + b i, c T i x + d i ) Ki 0, i = 1,.., m F x = g wobei K i = {(y, t) R ni+1 : y 2 t}, d.h. der Lorentzkegel 4

5 4.6.2 Semidefinite Programme (SDP) SDP ist ein spezielles konisches Programm, da K = S+:, k c T x s.t. x 1 F x n F n + G 0 (4.50) wobei G,F i S k (i=1,..,n) und A R (p n) (4.50) in Standardform: C, A i, X S n (i=1,..,p) tr(cx) s.t. tr(a i x) = b i, i = 1,.., p (4.51) X 0 NB bestehen aus p linearen Gleichungen und einer (Matrix) nichtnegativen Ungleichung ( n i,j=1 C ijxij) Beispiel 4 (Matrixnorm-Minimierung). geg.: A(x) = A 0 + x 1 A x n A n, A i R (p q) A(x) 2 wissen: A 2 s A T A s 2 I, (s 0) s s.t. A(x) T A(x) si (*) in den Variablen x und s, da A(x) T A(x) si Matrixkonvex in x und s (*) konvexes Optimierungsproblem mit einer NB, die eine q q Matrix-Ungleichung ist, umformen der Ungleichungs-NB in eine lineare Matrix Ungleichung der Größe (p + q) (p + q), in dem man [ ] ti A A T A t 2 I, (t 0) A T 0 ti ausnutzt SDP: s.t. t [ ] ti A A T 0 ti 5

6 4.7 Vektoroptimierung Allgemeine und konvexe Vektoroptimierungsprobleme Vektoroptimierungsproblem: (w.r.t. K) f 0(x) x D s.t. f i (x) 0, i = 1,..., m (4.56) h i (x) = 0, i = 1,..., p x R n V ariable, K R q (eigentlicher Kegel), f i : R n R Ungleichungsnebenbedingungen, h i : R n R Gleichungsnebenbedingungen, f 0 : R n R q Zielfunktion (4.56) heißt konvex falls, f 0 K-konvex, f 1,..., f m konvex und h 1,..., h p affin Besonderheit: Optimale Punkte und Optimalwerte Menge O der erreichbaren Zielfunktionswerte: O := {f 0 (x) x D, f i (x) 0, i = 1,..., m, h i (x) = 0, i = 1,..., p} x heißt optimal für (4.56) falls O ein Minimum hat, f 0 (x) heißt dann Optimalwert. Falls ein Vektoroptimierungsproblem einen Optimalwert hat, so ist dieser eindeutig. Satz 5. x ist optimal x zulässig und O f 0 (x ) + K In der Regel existiert kein optimales Element. 6

7 4.7.3 Pareto-optimale Punkte und pareto-optimale Werte Ein zulässiger Punkt x heißt pareto-optimal (bzw. effizient) für (4.56), falls f 0 (x) imales Element von O ist. f 0 (x) heißt dann pareto-optimaler Wert für (4.56). Satz 6. x po ist pareto-optimal x po zulässig und (f 0 (x po ) K) O = {f 0 (x po )} Die Menge P aller pareto-optimalen Punkte erfüllt Skalarisierung (Standardtechnik zum Finden von pareto-optimalen Punkten) Skalarisierungsproblem: λ K 0, Rest wie in (4.56). x D λt f 0 (x) s.t. f i (x) 0, i = 1,..., m (4.60) h i (x) = 0, i = 1,..., p Satz 7. x sei optimal für (4.60) x ist pareto-optimal für (4.56) Variation von λ (Gewichtungsparameter) führt zu verschiedenen pareto-optimalen Punkten (unterschiedliche Wichtigkeit in Komponenten) 7

8 Geometrisch: finden beim Lösen von (4.60) nicht nur einen pareto-optimalen Punkt für (4.56), sondern auch einen Halbraum im R q (stützt Menge der erreichbaren Zielfunktionswerte) bei konvexen Vektoroptimierungsproblemen Finden pareto-optimale Punkte eines konvexen Vektoroptimierungsproblems mithilfe eines (standard) konvexen Optimierungsprogramms. Satz 8. (Teilumkehrung von Satz 7.) Für jeden pareto-optimalen Punkt x po eines konvexen Vektoroptimierungsproblems, λ K 0, λ 0, sodass x po Lösung von (4.60) ist. Finden in manchen Fällen alle pareto-optimalen Punkte von (4.56). Ansonsten Beispiel 9. (Minimale obere Schranke einer Menge von Matrizen) Mehrzieloptimierung/Mehrkriterienoptimierung(MCP) Spezialfall: K=R q Betrachten f 0 (x) = (F 1 (x),..., F q (x)) als Vektor von skalaren Funktionen und imieren jede Komponente. MCP heißt konvex, falls f 1,..., f m konvex, h 1,..., h p affin und die Zielfunktionen F 1,..., F q konvex. Satz 10. x ist optimal in einem MCP, falls F i (x ) F i (y), i = 1,..., q erfüllt ist (y zulässig) x ist optimal für alle Standardoptimierungsprobleme der Form: F j(x), j = 1,..., q x D s.t. f i (x) 0, i = 1,..., m h i (x) = 0, i = 1,..., p Die Zielfunktionen F 1,..., F q existiert. heißen nicht konkurrierend, falls ein optimaler Punkt x 8

9 Kompromissanalyse x, y zwei pareto-optimale Punkte. Teile Indizes der Zielfunktionen auf: F i (x) < F i (y), i A F i (x) = F i (y), i B F i (x) > F i (y), i C, mit A B C = {1,..., q}. Aufgabe der Kompromissanalyse: Wieviel muss ich mich in einer Komponente verschlechtern, um mich in einer anderen verbessern zu können und im Verhältnis besser zu werden. Optimale Kompromissfläche: Menge der pareto-optimalen Werte eines MCP, q 0. (q=2 Kompromisskurve) Zu Beachten: Skalarisierung von MCPs Betrachten skalarisierte Summe der Zielfunktionen: λ T f 0 (x) = q λ i F i (x) mit λ i > 0 i=1 Können die Summe beeinflussen indem wir λ i so wählen wie wir die Komponenten gewichtet haben wollen. mehrere pareto-optimale Punkte Beispiel 11. (Regularisierte Methode der kleinsten Fehlerquadrate) 9