Minimiere f unter N.B. (10.1a) h j (x)=0, j=1,..., p, g i (x) 0, i=1,..., m.

Transkript

1 Kaptel 10 SQP-Methoden Vorbemerkung: SQP-Methoden ( sequental quadratc programmng ) lösen allgemene Optmerungsprobleme unter Nebenbedngungen. Das Verfahren st teratv, und es wrd ene Folge von quadratschen Programmen gelöst. Wr betrachten Mnmere f unter N.B. (10.1a) h (x)=0, =1,..., p, g (x) 0, =1,..., m. (10.1b) (10.1c) 10.1 Lokales SQP-Verfahren Zur Motvaton betrachten wr nur das glechungsrestrngerte System (10.1a), (10.1b). De KKT-Glechungen snd Wr setzen x L(x,µ)=0, (Dh(x)) = ( h 1,..., h p ), Φ(x,µ)= h(x)=0. ( x L(x,µ) h(x) (10.2a) (10.2b) ) (, Φ 2 (x,µ)= xx L(x,µ) (Dh(x)) Dh(x) 0 ), Für enen Newtonschrtt für (10.2) muß man das LGS x k+1 = x k + x k, µ k+1 =µ k + µ k Φ (x k,µ k ) ( x k µ k ) = Φ(x k,µ k ) 101

2 lösen, d.h. H k x+(dh(x k )) µ= x L(x k,µ k ), ( h (x k )) x= h (x k ), =1,..., p, wobe her H k = 2 xx L(xk,µ k ). Setzt manµ + :=µ k + µ, so ergbt sch H k x+(dh(x k )) µ + = x f (x k ), ( h (x k )) x= h (x k ), =1,..., p, (10.3a) (10.3b) Ene alternatve Schtwese st, de Glechungen (10.3) als de KKT-Bedngungen für folgendes Mnmerungsproblem zu verstehen: Mnmere f (x k ) x+ 1 2 x H k x unter N.B. (10.4) h (x k )+ h (x k ) x=0, =1,..., p. (10.5) Des st en quadratsches Programm we n Kaptel 9 betrachtet. Des motvert, für das volle Problem (10.1) folgende Approxmaton zu verwenden: Mn. f (x k ) x+ 1 2 x H k x unter N.B. (10.6a) h (x k )+ h (x k ) x=0, =1,..., p, g (x k )+ g (x k ) x 0, =1,..., m. (10.6b) (10.6c) Bemerkung 10.1: Das Problem kann als Approxmaton an de ursprünglche Mnmerungsaufgabe verstanden werden: für de Korrektur x verwenden wr das Modell f (x k ) x+ 1 2 x H k x, wobe H k ene Approxmaton an 2 xx L(xk,µ k ) st; de N.B. h, g werden bs zum lnearen Gled approxmert. We be unrestrngerten Problemen auch muß H k ncht als 2 xxl gewählt werden. Oft werden Updateformeln we be Quas-Newtonverfahren verwendet. Damt ergbt sch de Grundstruktur des SQP-Verfahrens Algorthmus 10.2 (Rohfassung): Wähle (x 0,λ 0,µ 0 ), H 0 symmetrsch. for k=0, 1,..., do{ f (x k,λ k,µ k ) st KKT-Punkt von (10.1) then stop 102

3 } Berechne Lösung x k von (10.6) mt zugeh. Lagrangemultplkatorenλ k+1,µ k+1 x k+1 := x k + x k wähle H k+1 Für de konkrete Wahl H k = 2 xxl(x,λ,µ) formuleren wr unten den Algorthmus erneut. Wel 2 xxl(x,λ,µ) ncht unbedngt SPD st, st de Lösbarket von (10.6) ncht geschert. Der Algorthmus sucht deshalb nur KKT-Punkte: Algorthmus 10.3 (SQP mt H k = 2 xx L): Wähle (x 0,λ 0,µ 0 ) for k=0, 1,..., do{ f (x k,λ k,µ k ) st KKT-Punkt von (10.1) then stop Berechne KKT-Punkt (x k+1,λ k+1,µ k+1 ) von Mn. f (x k ) (x x k )+ 1 2 (x xk ) 2 xxl(x k,λ k,µ k )(x x k ) (10.7a) unter N.B. h (x k )+ h (x k )(x x k )=0 =1,..., p, (10.7b) g (x k )+ g (x k )(x x k ) 0 =1,..., m. (10.7c) Falls es mehrere KKT-Punkte gbt, wähle den (x k,λ k,µ k ) nächstgelegenen. } Auch wenn Alg ene dealserte Varante von SQP-Verfahrens st, kann man lokal quadratsche Konvergenz zegen. Satz 10.4: Se (x,λ,µ ) en KKT-Punkt von (10.1). Seen f, h, g hnrechend glatt. Es gelte: () strkte Komplementartät: g (x )+λ 0, =1,..., m. () LICQ be x. () 2 xxl(x,λ,µ ) st SPD auf{d h (x ) d=0, =1,..., p, g (x ) d= 0, A(x )}. D.g.: Für Startwerte (x 0,λ 0,µ 0 ) hnrechend nahe be (x,λ,µ ) konvergert de von Alg erzeugte Folge quadratsch gegen (x,λ,µ ). 103

4 Bewes: De Kerndee st, daß de strkte Komplementartät dazu führt, daß das Verfahren mt enem Newtonverfahren für das Problem Mn. f unter N.B.h(x)=0, g (x)=0 A(x ) überenstmmt, welches quadratsch konvergert. Defnere x L(x,λ,µ) Φ(x,µ,λ) := h(x), mn{ g(x), λ} wobe mn{ g(x),λ}=(mn{ g 1 (x),λ 1 },..., mn{ g m (x),λ m }) st. Wr bemerken, daß aufgrund der strkten Komplementartät glt: g (x) A(x ) mn{λ, g (x)}= (x,µ,λ) n ener Umgebung von (x,µ,λ ). λ A(x ) Des zegt, daßφbe (x,µ,λ ) so glatt st, we f, h, g es zulassen. 1. Schrtt: De AbletungΦ (x,µ,λ ) st regulär. Es st 2 xxl (Dh) (Dg A ) (Dg A ) Φ Dh (x,µ,λ A,λ A )=, Dg A Id wobe wr herλ=(λ A,λ A ) getelt haben n de Komponenten, de zu (be x ) aktven und naktven Komponenten gehören. Man prüft nun, daß de Voraussetzungen des Satzes dazu führen, daßφ be (x,µ,λ ) und damt, aufgrund von Stetgket n ener Umgebung regulär st. 2. Schrtt: WelΦ (x,µ,λ ) regulär st und welφ(x,µ,λ )=0, folgt, daß es n ener Umgebung kene wetere Lösung gbt. 3. Schrtt: Aufgrund des 1. Schrttes konvergert das Newtonverfahren für Φ(x, µ, λ) = 0 quadratsch, wenn der Startwert hnrechend nahe be (x,µ,λ ) st. 4. Schrtt: Wr zegen, daß en Newtonschrtt genau dem Glechungssystem (10.7) entsprcht. Ausgeschreben st das Glechungssytem x k+1 x k Φ (x k,µ k,λ k ) µ k+1 µ k = Φ(xk,µ k,λ k ) λ k+1 λ k gegeben durch 2 xx L(xk,µ k,λ k )(x k+1 x k )+ g (x k )(λ k+1 g (x k ) (x k+1 x k )=g (x k ) A(x ), λ k+1 λ k = λ k A(x ), h (x k ) (x k+1 x k )= h (x k ). 104 λ k )+ h (x k )(µ k+1 µ k )= xl(x k,µ k,λ k ),

5 Umgeformt ergbt sch 2 xxl(x k,µ k,λ k )(x k+1 x k )+ g (x k )λ k+1 + g (x k )+ g (x k ) (x k+1 x k )=0 A(x ), λ k+1 = 0 A(x ), h (x k )+ h (x k ) (x k+1 x k )=0. h (x k )µ k+1 = x f (x k ), De KKT-Bedngungen für (10.7) lauten 2 xx L(xk,µ k,λ k )(x x k )+ g (x k )λ + h (x k )µ = x f (x k ), mn{ (g (x k )+ g (x k ) (x x k )),λ }=0, =1,..., m, h (x k )+ h (x k ) (x x k )=0. Für (x k,λ k,µ k ) und (x,µ,λ) hnrechend nahe an (x,µ,λ ) läßt sch des äquvalent umschreben zu 2 xxl(x k,µ k,λ k )(x x k )+ g (x k )λ + h (x k )µ = x f (x k ) g (x k )+ g (x k ) (x x k )=0 A(x ) λ = 0 A(x ) h (x k )+ h (x k ) (x x k )=0. Des st genau de Newtonglechung. Wegen der Endeutgket der Newtonlösung folgt de Behauptung. Übung 10.5: Im Bewes wurde de Funktonϕ m (a, b) := mn{a, b} verwendet und ausgenutzt, daß ϕ m (a, b)=0 a, b 0, und ab=0. Zegen Se: de Fscher-Burmester Funktonϕ F (a, b) := a+b a 2 + b 2 lestet ebenfalls des Globalsertes SQP Probleme des lokalen SQP: 105

6 Konvergenz für schlechte Startwerte unklar. Defnthet von 2 xxl st wchtg für Lösbarket des quadratschen Programms (10.7). Wet von der Lösung st das unklar. Wet von der Lösung st unklar, daß (10.7) überhaupt zulässge Punkte hat ( später) Bemerkung 10.6: Es gbt 2 große Famlen von Globalserungstechnken: lne search Technken, de wr her vorstellen, und trust regon Methoden (sehe [NW06, Sec. 18.5]). De her betrachtete Globalserungsstratege st, das lokale SQP-Verfahren zur Suchrchtungbestmmung zu verwenden und ene Schrttwetensteuerung enzusetzen. Wr verwenden del 1 -Penaltyfunkton Φ 1 (x;α) := f (x)+α max{0, g (x)}+ h (x). Für de Schrttwetensteuerung benötgen wr de Rchtungsabletung D(Φ 1 (x;α), p) n Rchtung p: Übung 10.7: D(Φ 1 (x;α), p)= f (x) p+α g (x) p+α max{0, g (x) p} +α :g (x)>0 h (x) p α :g (x)=0 h (x) p+α :h (x)>0 :h (x)<0 :h (x)=0 h (x) p Wr formuleren de KKT-Bedngungen für (10.6): f (x k )+H k x k + λ k+1 g (x k )+ µ k+1 h (x k )=0, (10.8a) λ k+1 h (x k )+ h (x k ) x k = 0 λ k+1 0,, (10.8b) (10.8c) g (x k )+ g (x k ) x k 0, (10.8d) ( g (x k )+ g (x k ) x k) = 0. (10.8e) 106

7 Bemerkung 10.8: Im wchtgen Fall, daß H k SPD st und de zulässge Menge für (10.6) ncht leer st, hat (10.6) Mnmerer. Aus den Sätzen 5.14, 5.15 folgt dann de Exstenz von Lagrangemultplkatoren n (10.8). Lemma 10.9: Se H k SPD und se x k Lösung von (10.6). Dann glt: () Falls x k = 0, dann st das Trpel (x k+1,λ k+1,µ k+1 ) en KKT-Punkt von (10.1). () Falls x k 0 und dann st d.h. x k st Abstegsrchtung vonφ 1. α max{λ k+1, µ k+1 } (10.9), D(Φ 1 (x k ;α), x k ) x k H k x k < 0, Bewes: ad (): unmttelbar durch Verglech von (10.8) mt x k = 0 und den KKT- Glechungen für (10.1). ad (): Sehe [GK01, Satz 5.36]. Lemma 10.9 zegt, daß wr nur den Fall x k 0 betrachten müssen. Ferner legt es folgende Globalserungsstratege nahe, wel ene Abstegsrchtung dentfzert wrd: Algorthmus (globalsertes SQP mt lne search): Wähle Startwerte x 0,λ 0,µ 0, H 0,α>0 Wähleσ (0, 1),β (0, 1), k := 0 whle (true) do{ Falls (x k,λ k,µ k ) en KKT-Punkt von (10.1) st: STOP Bestmme Lsg. x k von (10.6) samt den Lagrangemult.λ k,µ k (löse (10.8)) Falls x k = 0: STOP Bestmme ene Schrttwete t k = max{β l l N 0 }, so daß Φ 1 (x k + t k x k ;α)<φ 1 (x k ;α)+σt k D(Φ 1 (x k ;α), x k ) (10.10) Setze x k+1 := x k + t k x k ; wähle H k+1 ; k := k+1; } 107

8 Bemerkung 10.11: 1. De Matrzen H k+1 können natürlch als 2 xx L(xk+1,λ k+1,µ k+1 ) gewählt werden. Varanten snd, se we z.b. de BFGS-update Formeln zu wählen. 2. der Parameterαmuß n der Praxs auch adaptv gewählt werden. De Bedngung (10.9) legt folgende Stratege nahe: wobeγ>0en Parameter st. α k+1 := max{α k, max{λ k+1, µ k+1 }+γ}, Alg nmmt an, daß (10.6) lösbar st. Das muß aber ncht so sen: Bespel 10.12: Se f (x)= x 2 und de Nebenbedngung g(x)=1 x 2 0. Se x k = 0. Dann st de Lnearserung der Unglechungsnebenbedngung be x k = 0 gegeben durch g(x k )+ g(x k ) x k! 0. Dese Nebenbedngung hat aber kene zulässgen Punkte, denn g(x k )+ g(x k ) x k = 1 unabhängg von x k. Bespel zegt, daß be der Lnearserung der N.B. Schwergketen auftreten können. Im Kontext von lne search-verfahren ändert man deshalb sowohl de Mnmerungsaufgabe als auch das Zelfunktonal. De Idee st, folgende Funkton zu mnmeren: x Φ 1 (x; x;α) := f (x k ) x+ 1 2 x H k x+α h (x k )+ h (x k ) x +α [g (x k )+ g (x k ) x] +. Durch Enführen von Schlupfvarablen erhält man folgende Mnmerungsaufga- 108

9 be: Mnmere f (x k ) x+ 1 2 x H k x+α (η + +η )+α ξ (10.11a) h (x k )+ h (x k ) x=η + η (10.11b) g (x k )+ g (x k ) x ξ (10.11c) η + 0, (10.11d) η 0, (10.11e) ξ 0. (10.11f) Übung 10.13: Se H k SPD,α>0. Se x k en Mnmerer von x Φ 1 (x; x;α). Zegen Se: der Mnmerer von (10.11) st gegeben durch x k undξ = [g (x k )+ g (x k ) x k ] +, η + = [h (x k )+ h (x k ) x k ] +,η = [h (x k )+ h (x k ) x k ]. Übung 10.14: Geben Se de KKT-Bedngung für (10.11) an. Notaton: ( x k,ξ k, (η + ) k, (η ) k ) st de Lösung, (λ k+1,µ k+1, (λ + ) k+1, (µ + ) k+1, (µ ) k+1 ) der zugehörge Lagrangemultplkator. (vgl. [GK01, (5.101)]). Deses Problem hat folgende Lösungsegenschaften: Lemma 10.15: () Das Problem (10.11) hat zulässge Punkte. Ist H k SPD, dann st (10.11) lösbar. () Der Vektor x st zulässg für (10.6) genau dann wenn ( x, 0, 0, 0) zulässg für (10.11) st. () Se H k SPD. Ist x k Lösung von (10.6) und glt α max{ λ k+1, µ k+1 }, (10.12) so st ( x k, 0, 0, 0) Lösung von (10.11). Ist umgekehrt ( x k, 0, 0, 0) Lösung von (10.11), so st x k Lösung von (10.6) und de Komponentenλ k+1,µ k+1 des zugehörgen Lagrangemultplkators erfüllen (10.12). 109

10 Bewes: Sehe [GK01, Lemma 5.41]. ad (): Se x belebg. Setze ξ := max{0, g (x k )+ g (x k ) x}, η + := max{0, h (x k )+ h (x k ) x}, η := max{0, (h (x k )+ h (x k ) x)},. Dann st (,ξ,η +,η ) zulässg. Falls H k SPD st, dann st ( x,ξ,η +,η ) f (x k ) x+ 1 2 x H k x+α( ξ + η + + η ) aufr d R m + Rp + R p + koerzv und nach unten beschränkt. ad (): klar. ad (): Se x k Lösung von (10.6). Nach Bemerkung 10.8 exsteren Lagrangemultplkatorenλ k+1,µ k+1 von (10.8). Defnere (λ + ) k+1 :=α λ k+1, =1,..., m, (µ + )k+1 :=α µ k+1, =1,..., p, (µ )k+1 :=α+µ k+1, =1,..., p. Man rechnet dann nach, daß (, 0, 0, 0,λ k+1,µ k+1, (λ + ) k+1, (µ + ) k+1, (µ ) k+1 ) en KKT- Punkt für de Mnmerungsaufgabe (10.11) st. Wel H k SPD st, st de Mnmerungsaufgabe (10.11) konvex und Sätze 5.20, 5.24 lefern dann, daß ( x, 0, 0, 0) en Mnmerer von (10.11) st. De Umkehrung: Übung. Lemma 10.16: () Φ(x; x;α) Φ(x;α)+D(Φ(x;α), x) () Für edes x gbt es enδ(x)>0so daß für x δ(x) glt: Φ(x; x;α)=φ(x;α)+d(φ(x;α), x). Bewes: [GK01, Lemma 5.43]. Lemma 10.17: Se ( x,ξ,η +,η ) Lösung von (10.11). Dann glt: Φ(x k ; x;α) Φ(x k ;α) x k H k x k 110

11 Satz 10.18: Se H k SPD. Se ( x k,ξ,η +,η ) mt x k 0 Lösung von (10.11). Dann glt: D(Φ(x k ;α), x k ) x k H k x k < 0, d.h. x k st Abstegsrchtung der exakten PenaltyfunktonΦ n x k. Ene attraktve Egenschaft des folgenden Algorthmus st, daß n edem Telschrtt en quadratrsches Programm gelöst werden muß, das mt den Technken aus Kaptel 9 behandelt werden kann. Algorthmus 10.19: Wähle Startwerte x 0,λ 0,µ 0, H 0,α>0 Wähleσ (0, 1),β (0, 1), k := 0 whle (true) do{ Falls (x k,λ k,µ k ) en KKT-Punkt von (10.1) st: STOP Bestmme Lösung ( x k,ξ k, (η + ) k, (η ) k ) von (10.11) samt den Lagrangemultplkatorenλ k+1,µ k+1, (λ + ) k+1, (µ + ) k+1, (µ ) k+1 Falls x k = 0: STOP Bestmme ene Schrttwete t k = max{β l l N 0 } so daß Φ 1 (x k + t k x k ;α)<φ 1 (x k ;α)+σt k x k H k x k (10.13) Setze x k+1 := x k + t k x k ; wähle H k+1 ; k := k+1 } Unter gewssen Umständen kann Konvergenz des Algorthmus schergestellt werden: Satz 10.20: Es seen de Matrzen H k alle SPD, und es gelte für feste c 1, c 2 > 0 c 1 z 2 z H k z c 2 z 2 Se (x k ) k de von Alg erzeugte Folge. Dann st eder Häufungspunkt deser Folge en Statonärpunkt der exakten Straffunkton Φ( ; α). erzeugte Folge. Dann st eder Häufungspunkt deser Folge en Statonärpunkt der exakten Straffunkton Φ 1 ( ;α). z. 111

12 Lteraturverzechns [GK99] C. Geger and C. Kanzow. Numersche Verfahren zur Lösung unrestrngerter Optmerungsaufgaben. Sprnger Verlag, [GK01] C. Geger and C. Kanzow. Theore und Numerk restrngerter Optmerungsaufgaben. Sprnger Verlag, [GT93] Chrstan Großmann and Johannes Terno. Numerk der Optmerung. Teubner Studenbücher Mathematk. [Teubner Mathematcal Textbooks]. B. G. Teubner, Stuttgart, [NW06] Jorge Nocedal and Stephen J. Wrght. Numercal optmzaton. Sprnger Seres n Operatons Research and Fnancal Engneerng. Sprnger, New York, second edton,