Seminar Ausgewählte Kapitel des Operations Research Die Allgegenwärtigkeit von Lagrange (Teil 1)

Transkript

1 Seminar Ausgewählte Kapitel des Operations Research Die Allgegenwärtigkeit von Lagrange (Teil 1) Anna Raaz Einführung Die Relaxierung von Lagrange wird in der stochastischen Optimierung meistens für eine reine Technik, die manchmal zur Berechnung von Schranken benutzt wird, gehalten. Diese Methode ist eigentlich sehr allgemein, aber unvermeidbar bei der Berechnung von Optimallösungen, bei der Relaxierung von Nebenbedingungen oder bei der Spaltengenerierung. Im Folgengen wird diese Methode aus zwei verschiedenen Blickwinkeln betrachtet: 1. Theoretisch (Dualisierung des gegebenen Problems) und 2. Algorithmisch (Lösung des dualen Problems). Themen: Stochastische Optimierung, Relaxierung von Lagrange, Dualität, Spaltengenerierung. 1. Die Grundidee Wir betrachten das folgende allgemeine mathematische Optimierungsproblem: sup f(x), x X, c(x) = 0 R m [d.h. c j (x) = 0, j = 1,..., m]. (1) Dies ist das sogenannte primale Problem. Bemerkung 1: An dieser Stelle müssen einige vorbereitende Annahmen getroen werden. (i) Wir schreiben sup anstelle von max, weil die Existenz der Optimallösung von (1) noch nicht gewährleistet ist. Diese Notation werden wir auch weiterhin benutzen, denn uns interessieren mehr die Funktionswerte, als die Werte ihrer Argumente. (ii) Bis jetzt sind keine Angaben für X, f und c gemacht. Insbesondere ist die Menge X komplett abstrakt: Es könnte ein endlichdimensionaler Raum, der Raum R n oder etwas ganz anderes sein. Eines unserer Ziele ist es deshalb, die Flexibilität der Relaxierung von Lagrange mit verschiedenen Formen von X zu zeigen. 1

2 (iii) Unsere einzige Annahme betrit den Euklidischen Raum R m, der auch unendlichdimensional sein kann. Wir stellen jetzt die Lagrangefunktion vor, die von x X der primalen Variablen und u R m der dualen Variablen abhängt: X R m (x, u) L(x, u) := f(x) u T c(x). (2) Mit anderen Worten wird die Nebenbedingung c(x) = 0 hierbei relaxiert oder dualisiert, denn wir nehmen sie aus den Nebenbedingungen in (1) heraus und setzen sie in die Zielfunktion ein. Jetzt wird angestrebt, dass c(x) = 0 ist, dies muss aber nicht unbedingt so sein. Umgekehrt enthält X (der Umgebungsraum) die harten Nebenbedingungen, die in den Gleichungen (1, 2) erhalten bleiben, d. h. x X. Wenn wir L(x, u) über x X für xe u R m maximieren, bekommen wir eine wohldenierte Zahl, die abhängig von besonderem u ist. Wir nennen sie die duale Funktion zu (1, 2): θ(u) := sup L(x, u). (3) x X Denition 2 Die Relaxierung von Lagrange besteht in der Lösung des sogenannten dualen Problems inf θ(u). (4) u Rm Im Vorfeld zum Kapitel 3 erwähnen wir jetzt, dass das duale Problem immer irgendwie einfach ist. Wir werden deshalb die Relaxierung von Lagrange anwenden können, wenn (3) selbst einfach ist. Bemerkung 3 Aus diesem Grund betrachten wir folgende Fälle, die in (3) auftreten können, genauer: (i) Die Lagrangefunktion ist nach oben unbeschränkt; dann setzen wir θ(u) = +, das dazugehörige u hat oensichtlich keine Bedeutung für das duale Problem. (ii) Eine endliche obere Schranke existiert (θ(u) < + ), wird aber nie erreicht. Wir denken dabei an Lagrangefunktion wie L(x, u) = ue x mit u < 0. (iii) Die Lagrangefunktion erreicht ihr Maximum an einer eindeutigen Stelle x u, (iv) oder an mehreren primalen Punkten, so dass das gröÿte x u unklar ist. Beispiele für (i) werden in den folgenden Abschnitten 2.1, 2.2 angegeben, wohingegen der Fall (iv) eigentlich die typische Situation darstellt. Wir werden annehmen, dass das Lagrange Orakel verfügbar ist, um L(, u) zu maximieren. Es produziert θ(u) sowie x u X, wenn mindestens eins existiert (siehe Abb. 1). In Kapiteln 3 und 4 werden wir sehen, dass der beschränkte Wert c(x u ) R m sehr wichtig ist. Im Gegensatz zu θ(u), das immer wohldeniert ist (vielleicht auch + ), ist c(x u ) nur im Fall von (iii) wohldeniert. Abb. 1 Das Lagrange Orakel u sup L(x, u) x X θ(u) (wenn <+ ) und ein x u, wenn es existiert 2

3 Wir motivieren das duale Problem durch einige Annahmen. (j) Symmetrisch zu θ(u) denieren wir folgende Funktion: X x ϕ(x) := inf L(x, u) = u Rm { f(x), falls c(x) = 0,, sonst. Oensichtlich ist das primale Problem (1) nichts Anderes als Maximierung von ϕ(x) über X, denn inf u R m L(x, u) = f(x) für c(x) = 0 und wenn wir f(x) maximieren, erhalten wir: sup x X f(x) wie in (1). Diese intuitive Denition enthüllt eine erste Beziehung zwischen (1) und (4): ( primal dual ) sup x inf u L(x, u) inf u sup x L(x, u) (jj) Eine stärkere Beziehung stellt die Eigenschaft der schwachen Dualität dar. Nach Denition folgt: θ(u) L(x, u) für alle x X, da θ(u) = sup x X L(x, u) war, und wenn c(x) = 0 ist, dann gilt: L(x, u) = f(x). Zusammen mit der ersten Abschätzung folgt daraus: θ(u) f(x). Das bedeutet, dass beliebiges θ(u) eine obere Schranke für die Optimallösung von (1) bildet; das duale Problem besteht deshalb darin, die beste (kleinste) obere Schranke zu nden. (jjj) Schlieÿlich ist es unser wichtigstes Ziel ein u so zu nden, dass das Orakel ein x u produziert, das primal optimal ist. Wenn so ein u gefunden ist, dann gilt c(x u ) = 0 in (1), womit dann L(x u, u) = f(x u ) folgt; andererseits weil L(x u, u) = sup x X L(x, u) = θ(u) nach Denition von x u ist (da x u primal optimal), so ergibt sich sofort f(x u ) = θ(u). Mit der schwachen Dualität folgt dann: Um unser Ziel zu erreichen, - ist es notwendig, dass u θ minimiert; - ist es hinreichend, dass x u zulässig in (1) ist. Wir fassen diese letze Bemerkung zusammen: die aus (3) erhaltenen x u 's, die auch für (1) optimal sind, sind genau die Passenden (erfüllen die Gleichung c(x u ) = 0); und die einzige Chance, eines von denen zu erhalten, ist, das duale Problem zu lösen. Wichtig für (jj) ist folgende Denition. Denition 4 Die Dualitätslücke ist die (nichtnegative) Dierenz zwischen den optimalen Werten von (1) und (4). Also wird die Relaxierung von Lagrange erfolgreich verlaufen, wenn die Dualitätslücke möglichst klein ist, besser sogar gleich null. Bemerkung 5 Es ist wichtig zu verstehen, dass für ein gegebenes primales Problem (1) viele Dualisierungen existieren können, die sich nur durch die Wahl der Lagrangefunktion unterscheiden. Der Abschnitt 2.2 wird dies genauer darstellen. Bei der Auswahl der richtigen Lagrangefunktion müssen zwei folgende Fragen berücksichtigt werden: - Wie einfach kann (3) gelöst werden? - Wie klein ist die Dualitätslücke? 3

4 2. Beispiele Die unten aufgeführten Beispiele werden die in Kapitel 1 gezeigten Tatsachen untermauern; sie werden auch zeigen, wie vielseitig und allgegenwärtig die Relaxierung von Lagrange sein kann. 2.1 Ungleichungen Angenommen, dass die relaxierten Nebenbedingungen in (1) Ungleichungen sind. Dann wollen wir Dualität auf das folgende Problem anwenden: sup f(x), x X, c(x) 0. (5) Die einfachste Methode, wieder Gleichungen zu bekommen, ist die sogenannten Schlupfvariablen einzuführen. Dann kann unser Problem so geschrieben werden: sup f(x), x X, y 0 R m, c(x) + y = 0. (6) Wenn wir jetzt die primale Variale x X in (x, y) X R m + ändern, erhalten wir für die Lagrangefunktion: L(x, u) = f(x) u T (c(x) + y) = f(x) u T c(x) u T y = L(x, u) u T y, wo L immer noch die Funktion aus (2) ist. Für die duale Funktion ergibt sich somit: sup L(x, u) u T y = x X,y 0 { θ(u), falls u 0, +, sonst, wo θ immer noch die Funktion aus (3) ist. Das dazugehörige duale Problem ist (4) mit dem beschränkten u 0, also inf u 0 θ(u). Wir erkennen die Tatsache, dass Ungleichungen die dualen Variablen beschränken. Wir zeigen nun die Bemerkung 3(iv): Sei u 0 gegeben. Dann hat der primale Punkt in Abb.1 zwei Komponenten: - Erstens ist x u X, wenn es existiert, eindeutig oder nicht eindeutig. - Zweitens ist y u R m. Für eine positive Komponente u j ist das dazugehörige y j u klar gleich 0 nach Denition der dualen Funktion; aber wenn u j = 0, dann kann y j u aus dem ganzen Intervall [0, + [ sein. 2.2 Lineare Programmierung Sei (1) ein lineares Programm in Standardform gegeben: sup b T x, x 0 R n, Ax = a R m. Zur Veranschaulichung betrachten wir zwei Dualisierungsmöglichkeiten. Dualisierung der Nebenbedingung Ax = a: Erst nehmen wir X := R n + und c(x) := Ax a = 0 an, so dass die Lagrangefunktion so aussieht: L(x, u) = f(x) u T c(x) = b T x u T (Ax a) = b T x u T Ax+u T a = (b A T u) T x+a T u. 4

5 Die resultierende Dualfunktion ergibt sich daraus wie im letzen Abschnitt: { sup(b A T u) T x + a T a T u, falls b A T u 0, u = x 0 +, sonst. Somit erhalten wir das duale lineare Programm: min a T u, so dass A T u b. Dualisierung von allen Nebenbedingungen: Nun setzen wir X := R n, so dass wir zwei Typen von Nebenbedingungen erhalten: c(x) = Ax a = 0 wie davor (mit Multiplikatoren u R m ), und x 0 (mit Multiplikatoren v R n +). Damit folgt für die Lagrangefunktion: ( ) L(x, u) = b T x ũ T Ax a = b T x u T (Ax a)+v T x = (b A T u+v) T x+a T u, x ( ) u wobei ũ :=, v was über dem ganzen Raum R n maximiert werden muss. Die Dualfunktion ist somit: { sup (b A T u v) T x + a T a T u, falls b A T u + v = 0, u = x R n +, sonst. Es ist oensichtlich, dass die duale Variable v praktisch keine Rolle spielt, denn es gilt: v = A T u b, was nichtnegativ sein muss, also 0 A T u b. Damit haben wir wieder das vorherige duale Problem. Mit Anlehnung an die Bemerkung 5 war dies ein Beispiel, wo zwei Dualisierungen gleich sind. 2.3 Spaltengenerierung Betrachten wir wieder (1), das in Form vom linearen Programm so geschrieben wird: sup b T x, x X, Ax = a; (7) hierbei sei X ein diskreter endlichdimensionaler Raum. Ein besonderes Verfahren, um (7) zu lösen, ist die Spaltengenerierung. Dabei wird aus X erst eine Teilfolge { x k } K herausgenommen um dadurch (7) zu vereinfachen. Das resultierende beschränkte Problem wird durch Konvexizierung leichter, d. h. man nimmt die konvexe Hülle, bestehend aus x k 's. Damit wird (7) durch das eingeschränkte Programm von Dantzig-Wolfe ersetzt. sup b T x, x X K := conv{ x 1,..., x K }, Ax = a. (8) Bemerkung 6 Sei K (vermutlich eine groÿe Variable) die Anzahl aller Punkte in X. Oensichtlich kann das eingeschränkte Programm äquivalent zu (7) so umformuliert werden: sup α k b T x k, K α k A x k = a, α {0, 1}, K α k = 1. K 5

6 Wenn wir die 0 1 Beschränkungen zu α k [0, 1] relaxieren und die Anzahl K der Spalten auf K begrenzen, erhalten wir sup K α k b T x k, K α k A x k = a, α k 0, K α k = 1. Dies ist das eingeschränkte Programm (8), ausgedrückt mit den Termen der konvexen Komponenten von x. Jetzt stellt sich die Frage, was passiert mit dem Algorithmus mit der neuen Spalte x K+1. Dafür sei u K der Vektor der Skalare, der zu Gleichung Ax = a im eingeschränkten Programm (8) gehört. Dann wird x K+1 zur Lösung vom Subproblem oder sogenannten Satelliten genommen: Maximiere b T x u T K Ax über X (dieses Problem hat immer eine Lösung, da X ein endlichdimensionaler Raum ist). Natürlich ist der Satellit äquivalent zur Lösung von sup x X L(x, u K ), wobei der konstante Term a T u K vernachlässigt wird. Diese Methode versucht, ein passendes Polyeder X K zu nden, d. h. eigentlich die passenden x k 's, noch genauer die passenden u k 's. Die Rolle der Optimallösungen- nennen wir sie ˆx- besteht nur darin, die optimalen Lösungen von (7) zu approximieren; sie haben keinen Einuss auf den Verlauf des Algorithmus. Mit der Bemerkung (jjj) stellen wir fest, dass die Spaltengenerierung das Gleiche macht, wie die Relaxierung von Lagrange, sogar mit dem gleichen Mittel: Sie muss die duale Funktion mit Hilfe des Orakels aus Abb.1 minimieren, denn nach Denition der konvexen Hülle suchen wir ja die kleinste konvexe Menge, die X enthält. Tatsächlich werden wir in Kapitel 4.2 sehen, dass Dantzig-Wolfe ein besonderer, aber nicht besonders ezienter Algorithmus zur Minimierung von θ(u) ist. Bemerkung 7 Die Gleichheit zwischen den beiden Methoden ist oft nur schwer zu erkennen, denn: - Bei der Relaxierung von Lagrange wird das Orakel hervorgehoben, das die Nebenbedingung Ax = a relaxiert und die Menge X unverändert lässt; - In der Spaltengenerierung verfährt man normalerweise umgekehrt, indem das eingeschränkte Programm (8), das Ax = a unverändert lässt, hervorgehoben wird, während X durch die Operation X X K relaxiert wird. Daraus folgt, dass sie beide im Prinzip das gleiche Problem lösen, nur gehen sie von verschiedenen Annahmen aus. 2.4 Quadratische Programmierung Sei Q symmetrische n n Matrix. Wir dualisieren nun das quadratische Problem sup b T x 1 Ax=a 2 xt Qx, (wo die Nebenbedingungen wieder Ungleichungen sein können). Die Lagrangefunktion ist die Folgende: L(x, u) = f(x) u T c(x) = b T x 1 2 xt Qx u T (Ax a) = (b A T u) T x 1 2 xt Qx+a T u. 6

7 Einige einfache Beobachtungen werden hier gemacht: - Wenn Q nicht positiv semidenit ist, ist θ(u) + für alle u. Die Relaxierung von Lagrange führt in diesem Fall zu nichts. - Sei nun Q positiv denit. Dann wird L(, u) an einer eindeutigen Stelle x u = Q 1 (b A T u) maximiert, dazu leitet man L(x, u) nach x ab und setzt die Ableitung dann gleich Null. Die duale Funktion ergibt sich durch Einsetzen von x u in die Lagrangefunktion: θ(u) Bem.(jjj) = L(x u, u) = 1 2 (b AT u) T Q 1 (b A T u) +a T u. }{{} =x u Die duale Variable u ist durch θ(u) = AQ 1 (A T u b) + a = 0 charakterisiert. Wenn das dazugehörige x u die Gleichung Ax u = AQ 1 (b A T u) = a erfüllt, dann ist x u aus der Sicht von Kapitel 1 Bem. (jjj) primal optimal. D. h. in dieser Situation: Wenn wir das duale Problem gelöst haben, so erhalten wir automatisch eine Lösung für das primale Problem, denn dieses x u ist eindeutig (man beachte, dass diese Eigenschaft nicht bei der linearen Programmierung gilt, denn da müssen die primalen Optimallösumgen nicht eindeutig sein). - Zwischen diesen beiden Fällen haben wir den Fall, wo Q 0, aber nicht invertierbar. Dieser Fall enthält die lineare Programmierung mit Q = 0 (setze Q = 0 in das quadratische Problem oben ein und vergleiche das Ergebnis mit (7)). Wenn wir nun sagen, dass die Gleichung Qx = b A T u eine Lösung hat (d. h., dass L(, u) ein endliches Maximum hat), dann bedeutet das, dass u die Bedingung b A T u Im Q erfüllt; der Bereich von θ ist ein aner Teilraum. Damit u zulässig für das duale Programm wird, müssen die x u 's einen anen Teilraum bilden, parallel zu Ker Q. Denn sei x Ker Q. Dann gilt: Qx = 0 und somit 0 = b A T u b = A T u. Also ist u zulässig für das duale Problem. Man braucht nicht zu erwähnen, dass die Minimierung von θ und Berechnung der primal optimalen Lösungen das Lösen eines linearen Systems bedeutet, das die Optimalitätsbedingung des quadratischen Problems ist, also: Literatur Qx = b A T u Ax = a [1] C. Lemarechal: The Omnipresence of Lagrange [2] R. Schrader: Skript zur Vorlesung Operations Research, Zentrum für angewandte Informatik Köln, SS