NUMERISCHE METHODEN DER OPTIMIERUNG

Transkript

1 NUMERISCHE METHODEN DER OPTIMIERUNG VORLESUNGSSKRIPT FS 2008 (Vorläufige Fassung vom 14. Mai 2008) D. Peterseim Institut für Mathematik Universität Zürich

2

3 Inhaltsverzeichnis Inhaltsverzeichnis iii 1 Einführung und theoretische Grundlagen Aufgabenstellung Konvexe Mengen Trennungssätze und das Lemma von Farkas Konvexe Funktionen Optimalitätskriterien Freie Optimierung Klassische Lagrange-Theorie Allgemeine Optimierungsprobleme Lineare Programme Theorie linearer Optimierungsprobleme Polyeder und Ecken Das Simplex-Verfahren Dualität und Optimalität Innere-Punkte-Methoden Der zentrale Pfad Die allgemeine Innere-Punkte-Methode Ein zulässiges Verfahren Ideen zur Lösung nichtlinearer Optimierungsprobleme Quadratische Programme Penalty- und Barriere- Methoden Penalty-Methoden Barriere-Methoden SQP-Verfahren

4 iv INHALTSVERZEICHNIS Literaturverzeichnis 65 Glossar 67 Index 68

5 1 Einführung und theoretische Grundlagen In diesem einleitenden Kapitel werden wir zunächst die allgemeine Problemstellung für diese Vorlesung abstecken und anschliessend die theoretischen Grundlagen für die numerischen Lösungsverfahren der nachfolgenden Kapitel legen. In Aufbau und Notation werden wir uns dabei im Wesentlichen an Geiger and Kanzow [2002] anlehnen. Für ein tieferes Studium der Theorie allgemeiner Optimierungsaufgaben sei aber auch auf Jungnickel [1999] verwiesen. 1.1 Aufgabenstellung Sei X R n, eine Norm in R n und f : R n R. Wir betrachten im Folgenden Optimierungsprobleme der Form Minimiere f(x) unter der Nebenbedingung x X, (1.1) oder kürzer min f(x) u.d.n. x X, bzw. min f(x). x X Die Funktion f wird dabei als Zielfunktion, die Menge X als zulässiger Bereich oder zulässige Menge bezeichnet. Ist X = R n, so spricht man von einem unrestringierten Minimierungsproblem, anderenfalls von einem restringierten. Definition 1. (a) x R n zulässig für (1.1) : x X. (b) x X globales Minimum von (1.1) : f(x ) f(x) x X. (c) x X lokales Minimum von (1.1) : ε > 0 : f(x ) f(x) x X U ε (x ). (d) x X striktes globales Minimum von (1.1) : f(x ) < f(x) x X. (e) x X striktes lokales Minimum von (1.1): ε > 0 : f(x ) < f(x) x X U ε (x ). U ε (x ) := {x R n : x x < ε} bezeichnet die offene Kugel um x mit Radius ε.

6 2 Kapitel 1. Einführung und theoretische Grundlagen 4 f f 0 4 x1 x2 x3 x4 x5 x6 Abbildung 1.1: Graphen der Funktionen f und f aus Beispiel 1.1. Entsprechende Begriffe lassen sich für das Maximierungsproblem definieren. Maximiere f(x) unter der Nebenbedingung x X (1.2) Definition 2. (a) x X (striktes) globales Maximum von (1.2) : f(x ) (>) f(x) x X. (b) x X (striktes) lokales Maximum von (1.2) : ε > 0 : f(x ) (>) f(x) x X U ε (x ). Offenbar ist x X (striktes) lokales/globales Maximum von (1.2) genau dann, wenn x (striktes) lokales/globales Minimum des Optimierungsproblems min x X f(x) ist, weswegen wir uns (o. B. d. A.) auf die Untersuchung von Minimierungsaufgaben beschränken können. Ein erstes Beispiel soll die bisherigen Definitionen veranschaulichen Beispiel 1.1. Betrachte das Minimierungsproblem cos(πx) x < 0 min f(x), f : R R, x 1 0 x < 1. (1.3) x [ 2,2] 2 (x 1 2 )2 sin(π(x 1 2 )) 1 sonst Wie man aus Abbildung 1.1 ablesen kann besitzt (1.3) die folgenden Extremalstellen: lokale Minima x 1, [x 3,x 4 ], x 6, strikte lokale Minima x 1, x 6, striktes globales Minimum x 6, strikte lokale Maxima x 2, x 5, striktes globales Maximum x 2.

7 1.1 Aufgabenstellung Abbildung 1.2: Die Zielfunktion aus Beispiel 1.2: Graph (links) und Höhenlinien (rechts). Entsprechendes gilt für f. Ein-dimensionale Probleme erlauben zwar eine aussagekräftige grafische Darstellung. Die mathematischen Eigenschaften von restringierten Optimierungsproblemen werden jedoch erst in n 2 Dimensionen deutlich. Im Rahmen der Vorlesung werden wir verschiedene Sachverhalte daher an 2-dimensionalen Beispielen veranschaulichen. Das folgende Beispiel zeigt, wie man diese geeignet visualisiert. Beispiel 1.2. Für n = 2 ist Darstellung des Graphen einer Zielfunktion, z.b. f : [ 3,3] [ 3,3] R, (x 1,x 2 ) e x2 1 x sin(x 1 )sin(x 2 ) x x , möglich. Jedoch kann aus dem Graphen in 2-dimensionaler Darstellung wie in der Abbildung 1.2 (links) nur schwer Extremalpunkte ablesen. Die Darstellung der Höhenlinien H c (f) := {x X f(x) = c} von f (siehe Abbildung 1.2 (rechts)) gibt besseren Aufschluss über die Lage von Extremalpunkten. Ein erstes realistischeres Beispiel beschäftigt sich mit optimaler Produktionssteuerung. Beispiel 1.3 (Produktions-Lagerhaltungsproblem). Ein Unternehmen möchte bei bekanntem Auftragsvolumen eine Produktionsplanung für das nächste Jahr erstellen. Genauer möchte man wissen, wieviele Einheiten x j eines Gutes in der j-ten Woche (j {1,...,52})des Jahres herzustellen sind. Die Firma unterhält ein Lager, dass bis zu L Güter aufnehmen kann, der Lagerbestand am Jahresanfang beträgt L 0. Am Ende der j-ten Woche müssen gemäss Auftrag b j Güter ausgeliefert werden. Am Jahresende sollen noch L 1 Güter vorrätig sein. Die wöchentlichen Produktionskosten f j (x j ) hängen sowohl von der Woche j als auch der produzierten Menge x j ab (siehe auch Abbildung 1.3. Desweiteren fallen (jeweils am Wochenanfang) Lagerkosten von K SFR pro Gut im Lagerbestand y j an. Die Produktion ist so zu steuern, dass die Gesamtkosten (Produktion+Lagerhaltung) im Jahr minimal sind. Dies führt auf das folgende Optimierungsproblem in

8 4 Kapitel 1. Einführung und theoretische Grundlagen Abbildung 1.3: Eine mögliche Kostenfunktion f j aus Beispiel 1.3 (rot=hohe Kosten, blau=niedrige Kosten) und die Anzahl der auszuliefernden Güter b j ( ). den Variablen x und y: min F(x,y) := 52 j=1 52 f j (x j ) + K u.d.n. x j 0, j = 1,...,52 j=1 y j L, j = 1,...,52 x j + y j b j, j = 1,...,52 y j y j+1 = y j + x j b j, j = 1,...,51 y 1 = L 0 y 52 + x 52 b 52 L 1. Die Variable y kann mittels der Nebenbedingungen 4 und 5 wie folgt eliminiert werden j y j+1 = L 0 + (x i b i ), j = 1,...,51, i=1

9 1.2 Konvexe Mengen 5 und man erhält ein Minimierungsproblem in x: 52 min f(x) := f j (x j ) + K ( j L 0 + (x i b i ) ) u.d.n. L 0 + L 0 + L 0 + j=1 i=1 j (x i b j ) L, j = 1,...,51 i=1 j (x i b i ) 0, j = 1,...,51 i=1 52 i=1 (x i b i ) = L 1 x j 0, j = 1,...,52. Wir werden später auf dieses Beispiel zurückkommen. (1.4) In den Minimierungsproblemen aus Beispiel 1.3 wird der zulässige Bereich durch eine endliche Menge von Ungleichungen und Gleichung, so genannten Restriktionen, beschrieben. Im Rahmen dieser Vorlesung beschränken wir uns auf Probleme dieses Typs. Die allgemeine Aufgabenstellung lautet min f(x) u.d.n. g(x) 0 h(x) = 0 (Ungleichungsrestriktionen), (Gleichungsrestriktionen), (1.5) wobei f : R n R, g : R n R m und h : R n R p gegebene (stetig differenzierbare) Funktionen sind. Die Relation ist komponentenweise zu verstehen, dass heisst g(x) 0 : g i (x) 0, i {1,...,m}. Der Rest dieses Kapitels beschäftigt sich mit der Charakterisierung der minimalen Punkte von (1.5). Dazu führen wir zunächst den für die Optimierung elementaren Begriff der Konvexität ein. 1.2 Konvexe Mengen Definition 3. Eine Menge X R n heisst (a) konvex, (b) konvexer Kegel, falls gilt: x 1,x 2 X λ 1 x 1 + λ 2 x 2 X (a) λ 1,λ 2 (>) 0 : λ 1 + λ 2 = 1. (b) λ 1,λ 2 0. (X heisst Kegel, falls gilt: x X λx X λ 0.)

10 X 1 6 Kapitel 1. Einführung und theoretische Grundlagen X x 1 X x 1 λx 1 +(1 λ)x 2, λ [0,1] λx 1 +(1 λ)x 2, λ [0,1] x 1 X X 2 x 2 x 2 X=X 1 X 2 x (a) Konvexe Menge. (b) Nichtkonvexe Menge. (c) Konvexer Kegel. (d) (Nichtkonvexer) Kegel. Abbildung 1.4: Beispiele konvexer und nicht konvexer Mengen und Kegel. Abbildung 1.4 zeigt einige Beispiele konvexer und nichtkonvexer Mengen. Konvexe Mengen (bzw. Kegel) können wie folgt äquivalent charakterisiert werden. Lemma 4. X R n ist genau dann (a) konvex, (b) ein konvexer Kegel, wenn gilt: x 1,...,x m X, m N m i=1 λ ix i X (a) λ i 0 : m i=1 λ i = 1 (alle konvexen Linearkombinationen). (b) λ i 0 (alle nichtnegativen Linearkombinationen). Beweis. Vollständige Induktion (Übungsaufgabe). Die konvexen Teilmengen des R n sind abgeschlossen bezüglich der Mengenaddition und skalarer Multiplikation. Ferner sind das Produkt zweier konvexer Mengen und die lineare Transformation einer konvexen Menge wieder konvex. Gleiches gilt für Kegel, wie folgendes Lemma zeigt. Lemma 5. Seien X 1,X 2 R n konvex. Dann sind auch (a) X 1 + X 2 := {x 1 + x 2 x 1 X 1, x 2 X 2 }, (b) λx 1 := {λx 1 x 1 X 1, λ R}, (c) T(X 1 ) := {T(x 1 ) x 1 X 1 } R m, T L(R n, R m ) konvexe Mengen. Ferner ist mit X 1 R n und X 2 R m auch (d) X 1 X 2 := {(x 1,x 2 ) x 1 X 1, x 2 X 2 } R n R m konvex. Beweis. (Übungsaufgabe). Die Vereinigung zweier konvexer Mengen ist im Allgemeinen nicht konvex. Für den Mengendurchschnitt gilt aber:

11 1.2 Konvexe Mengen 7 Lemma 6. Sei X i R n, i I (endlich oder unendlich), konvexe Mengen. Dann ist auch ihr Durchschnitt i I X i konvex. Beweis. Seien x 1,x 2 i I X i und λ R beliebig gegeben. Dann sind x 1,x 2 X i für alle i I. Wegen der Konvexität der X i, i I, ist dann auch λx 1 + (1 λ)x 2 X i für alle i I. Folglich ist λx 1 + (1 λ)x 2 auch ein Element des Durchschnitts aller X i. Für allgemeine Mengen definieren wir Definition 7. Sei X R n. Dann heissen (a) convx := {M X M, M konvex} konvexe Hülle, (b) conex := {M X M, M konvexer Kegel} konvexe Kegelhülle von X. Wir nennen conex auch den von X erzeugten konvexen Kegel. Es ist einfach zu zeigen, dass convx (bzw. conex) gerade alle Konvexkombination (bzw. nichtnegativen Linearkombinationen) von Elementen von X enthält: Lemma 8. Es gilt m (a) convx = { λ i x i x i X, λ i 0, i=1 m λ i = 1, m N}, i=0 m (b) conex = { λ i x i x i X, λ i 0, m N}, i=1 Beweis. (Übungsaufgabe). Insbesondere gilt für eine konvexe Menge X, dass X = convx. Abschliessend möchten wir noch kurz einige topologische Eigenschaften konvexer Mengen beleuchten. Im Folgenden bezeichnen wir mit X = {M X M, M abgeschlossen} = {x x Berührungspunkt von X} = {x ε > 0 : U ε (x) X } = {x ε > 0 : x X + U ε (0)} = ε>0(x + U ε (0)) = {x (x k ) k N X : x k x} die Abschliessung (bzw. den Abschluss oder die abgeschlossene Hülle) von X R n, mit intx = {x x innerer Punkt von X} = {x ε > 0 : U ε (x) X}

12 8 Kapitel 1. Einführung und theoretische Grundlagen das Innere von X und mit den Rand von X. X := X \ intx Satz 9. Sei X R n konvex. Sind x 1 intx und x 2 X, so ist auch λx 1 + (1 λ)x 2 intx für alle λ (0,1). Beweis. Sei x 1 intx, x 2 X (für x 2 intx ist nichts zu zeigen) und λ (0,1). Da x 1 intx existiert ε 1 > 0, so dass x 1 + U ε1 (0) X. Wähle ε 2 := λ 2 λ > 0. Dann gilt x2 X + ε 2 U ε1 (0) und λx 1 + (1 λ)x 2 + ε 2 U ε1 (0) λx 1 + (1 λ)(x + ε 2 U ε1 (0)) + ε 2 U ε1 (0) Somit ist λx 1 + (1 λ)x 2 ein innerer Punkt von X. λx 1 + (1 λ)x + (2 λ)ε 2 U ε1 (0) = λx 1 + (1 λ)x + λu ε1 (0) λx + (1 λ)x X (X konvex). Korollar 10. Sei X R n konvex, intx. Dann gilt intx = int X und X = X. Beweis. Wir beweisen zunächst intx = int X, wobei intx int X trivial ist. Sei also x int X. Dann existiert ein ε > 0, so dass U ε (x) X. Wegen intx existiert ferner ein y intx. Sei o.b.d.a. y x. Setzen wir ε z := x + δ(x y) = (1 + δ)x δy, δ := x y, so folgt x z = δ x y = ε, dass heisst z Ūε(x) X. Aus Satz 9 folgt nun, dass x = δ z + ( 1 1 ) y intx. 1 + δ Der Beweis der zweiten Behauptung folgt aus der ersten X = X \ int X = X \ intx = X. Beispiel 1.4. Für X := (0,1) 2 \ ( { 1 2 } (0, 1 2 )) ist intx = X, X = [0,1] 2 und int X = (0,1) 2 intx. Das heisst, die Voraussetzung der Konvexität in Korollar 10 ist wesentlich. Hingegen kann die Forderung intx fallen gelassen werden. Wir verzichten im Rahmen dieser Vorlesung auf die Bereitstellung der dafür notwendigen topologischen Hilfsmittel. Lemma 11. Ist X R n konvex (bzw. ein konvexer Kegel), so ist auch X konvex (bzw. ein konvexer Kegel). Beweis. Sei X R n konvex und seien x 1,x 2 X, sowie λ [0,1] beliebig gegeben. Dann existieren (x 1 k ) k N,(x 2 k ) k N X, so dass x 1 k x 1 und x 2 k x2. Da X konvex ist, ist die Folge (λx 1 k + (1 λ)x2 k ) k N in X enthalten; ihr Grenzwert λx 1 + (1 λ)x 2 liegt somit im Abschluss von X.

13 1.3 Trennungssätze und das Lemma von Farkas Trennungssätze und das Lemma von Farkas Im folgenden bezeichne, das euklidische Skalarprodukt in R n. Definition 12. Zwei Mengen X 1,X 2 R n heissen (a) trennbar : a R n \ {0} : a,x 1 a,x 2 x 1 X 1,x 2 X 2, (b) strikt trennbar : a R n \ {0}, β R : a,x 1 < β < a,x 2 x 1 X 1,x 2 X 2. Lemma 13. Zwei Mengen X 1 R n und X 2 R n sind genau dann trennbar (bzw. strikt trennbar), wenn die Mengen {0} und X 1 X 2 trennbar (bzw. strikt trennbar) sind. Beweis. Seien X 1 und X 2 trennbar, d.h. a R n \ {0} : a,x 1 a,x 2 x 1 X 1,x 2 X 2. Dann gilt auch a,x 1 x 2 0 = a,0 x 1 X 1,x 2 X 2. Dies impliziert wiederum a,y 0 = a,0 y X 1 X 2 und somit die Trennbarkeit von {0} und X 1 X 2. Die Umkehrung sowie die Aussagen über strikte Trennbarkeit sind Übungsaufgaben. Satz 14 (Satz über die strikte Trennbarkeit). Seien X 1,X 2 R n nichtleere, disjunkte, konvexe und abgeschlossene Mengen und sei darüber hinaus X 1 kompakt (d.h. beschränkt). Dann sind X 1 und X 2 strikt trennbar. Beweis. Wegen der Kompaktheit von X 1 ist die Menge X := X 1 X 2 abgeschlossen und nicht leer (0 / X 1 X 2 ); nach Lemma 5 ist X konvex. Gemäss Lemma 13 genügt es die strikte Trennbarkeit von {0} und X := X 1 X 2 nachzuweisen. Dabei gehen wir wie folgt vor: (a) Finde Projektion x X von 0 auf X, d.h. x x x X. (b) Errichte eine trennende Hyperebene orthogonal zum Normalenvektor x. (a) Sei r > 0, so dass int(x U r (0)). Betrachte das Minimierungsproblem min f(x) := x. x X U r(0) Wegen der Kompaktheit von X U r (0) und der Stetigkeit von f folgt aus dem Satz von Weierstrass, dass f in X U r (0) ein Minimum annimmt 1, welches wir x nennen. Offensichtlich gilt auch x x für alle x X. 1 Mit Hilfe der Konvexität von f und X U r(0) kann sogar die Eindeutigkeit nachgewiesen werden.

14 10 Kapitel 1. Einführung und theoretische Grundlagen (b) Für beliebiges x X und λ (0,1) gilt wegen der Konvexität von X, dass λx + (1 λ) x = x + λ(x x) X. Daraus folgt x 2 x + λ(x x) 2 = x 2 + 2λ x,x x + λ 2 x x 2, d.h. 2 x,x x + λ x x 2 0. Wir erhalten x,x x 2 für alle x X und mit a := x und β := 1 2 x 2 gilt a,0 < β < a 2 < a,x x X. In Definition 7 haben wir den Begriff der konvexen Kegelhülle für allgemeine Mengen X R n eingeführt. Im folgenden interessieren wir uns besonders für konvexe Kegel, die von endlichen Mengen X = {a 1,a 2,...,a m } R n erzeugt werden. In diesem Fall nennen wir conex = cone{a 1,a 2,...,a m } auch den von a 1,a 2,...,a m erzeugten konvexen Kegel. Lemma 15. Sei m N. Für a 1,a 2,...,a m R n ist cone{a 1,a 2,...,a m } stets abgeschlossen. Beweis. Der keineswegs triviale Beweis dieser scheinbar offensichtlichen Aussage erfolgt mittels vollständiger Induktion über m. Wir definieren X m := cone{a 1,a 2,...,a m }. Für m = 1 ist X 1 = {x 1 a 1 x 1 0} ein abgeschlossener Halbraum. Sei also m 1 und X k abgeschlossen für alle k < m. Sei (y j ) j N X m eine beliebige Folge in X m mit Grenzwert y. Zu zeigen ist y X m. Wegen y j X m existieren λ j i 0, i {1,...,m}, so dass m y j = λ j i ai. i=1 Weiterhin gilt, dass das Bild V := {y R n y = A T x, x R n } X m der linearen Abbildung A T : R m R n, (λ j 1,...,λj m) m i=1 λj i ai, ein endlichdimensionaler und somit abgeschlossener Vektorraum ist, dass heisst y V. Es existieren also α i R, i {1,...,m}, so dass y = m α i a i. i=1 Sind alle α i nichtnegativ, so ist der Beweis erbracht. Angenommen, es existiert ein Index i 0 {1,...,m}, so dass α i0 < 0. Definiere { } β j := min λ j i λ j i α i {1,...,m} mit α i < 0 i Dann ist 0 β j 1 und β j (λ j i α i) λ j i (falls α i < 0) und folglich, k N. r j i := β jα i + (1 β j )λ j i 0, j N, i {1,...,m}. (1.6) Definiere weiterhin m z j := y j + β j (y y j ) = β j (y + (1 β j )y j = r j i ai [y,y j ] := conv{y,y j }. (1.7) i=1

15 1.3 Trennungssätze und das Lemma von Farkas 11 Wegen y j y gilt auch z j y. Ferner zeigen (1.6) und (1.7), dass (z j ) j N X. Wir wählen für jedes j N ein i j {1,...,m}, so dass β j = λ j i j λ j i j α ij. Dann ist r j i j = 0, dass heisst z j cone({a 1,...,a m } \ {a ij }). Folglich gibt es ein j {1,...,m} und eine Teilfolge (z l ) (z j ), so dass (z l ) cone({a 1,...,a m } \ {a j }). Dieser Kegel ist nach Induktionsvoraussetzung abgeschlossen und somit lim l zl = lim k zk = y cone({a 1,...,a m } \ {a j }) X m. Korollar 16. Sei A R m n. Dann beschreibt die Menge X := {y R n y = A T x, x R m, x 0} einen nichtleeren, abgeschlossenen und konvexen Kegel. Beweis. Für alle A R m n gilt 0 = A T 0. Somit ist 0 X und X. Seien y 1,y 2 X, dann existieren ein x 1,x 2 0, so dass y 1 = A T x 1 und y 2 = A T x 2. Wegen der Linearität der Abbildung A T gilt ferner A T (λ 1 x 1 + λ 2 x 2 ) = λ 1 (A T x 1 ) + λ 2 (A T x 2 ) = λ 1 y 1 + λ 2 y 2. Da mit x i 0 auch λ 1 x 1 + λ 2 x 2 0 für alle λ 1,λ 2 0, ist X ein konvexer Kegel. Bezeichnen wir die Spalten von A T mit a 1,a 2,...,a m, so folgt die Abgeschlossenheit aus { m } X = x i a i Def.7 x i 0 i {1,...,m} = cone{a 1,a 2,...,a m }, und Lemma 15. i=1 Satz 17 (Lemma von Farkas). Seien A R m n und b R n. Dann sind die folgenden beiden Aussagen äquivalent: (a) Das System A T x = b, x 0 besitzt eine Lösung. (b) Die Ungleichung b,d 0 gilt für alle d R n mit Ad 0. Mit anderen Worten: Entweder ist das System A T x = b, x 0 oder das System Ad 0, b,d < 0 lösbar. Beweis. Besitzt (a) eine Lösung x R m, so gilt b,d = A T x,d = x,ad 0 d R n : Ad 0, d.h. (b) is erfüllt. Zum Beweis der Umkehrung (b) (a) nehmen wir an, (a) sei falsch. Dann gilt b / X := {y R n y = A T x, x 0}.

16 12 Kapitel 1. Einführung und theoretische Grundlagen Wegen Korollar 16 ist X ein nichtleerer, abgeschlossener, konvexer Kegel. Aufgrund des strikten Trennungssatzes 14 existieren dann a R n \ {0} und β R, so dass Dies impliziert a,y > β > a,b y X. a,y ( ) 0 X, a,0 =0 0 > a, b y X. (1.8) Die Abschätzung ( ) gilt, denn gäbe es ein y mit a,y < 0, so folgte a,µy = µ a,y µ, im Widerspruch zur Existenz von β. Da die Spaltenvektoren a 1,a 2,...,a m der Matrix A T in X liegen (wähle die Einheitsvektoren e j als x in der Definition von X), gilt insbesondere a,a i 0 > a,b, i {1,...,m}. Also ist Aa 0, aber auch a,b < 0, d.h. die Aussage (b) ist falsch.

17 1.4 Konvexe Funktionen Konvexe Funktionen Definition 18. Sei X R n offen. Eine Funktion f : X R heisst (a) konvex : f(λx 1 + (1 λ)x 2 ) λf(x 1 ) + (1 λ)f(x 2 ) x 1,x 2 X, λ [0,1], (b) strikt konvex : f(λx 1 + (1 λ)x 2 ) < λf(x 1 ) + (1 λ)f(x 2 ) x 1,x 2 X : x 1 x 2, λ (0,1), (c) gleichmässig konvex : µ > 0, so dass f(λx 1 + (1 λ)x 2 ) + µλ(1 λ) x 1 x 2 2 λf(x 1 ) + (1 λ)f(x 2 ) x 1,x 2 X λ (0,1), (d) konkav (bzw. strikt oder gleichmässig konkav), falls f konvex (bzw. strikt oder gleichmässig konvex) ist. Offenbar folgt aus der gleichmässigen Konvexität stets strikte Konvexität und strikte Konvexität impliziert Konvexität. Wie beim Begriff der konvexen Menge (siehe Lemma 4) kann auch hier die Definition verallgemeinert werden. Satz 19 (Ungleichung von Jensen). Sei X R n eine konvexe Menge und f : X R eine konvexe Funktion. Dann gilt ( m ) m f λ i x i λ i f(x i ) x i X, i {1,...,m}, m N, λ i 0 : i=1 i=1 m λ i = 1. i=1 Beweis. Übungsaufgabe. Beispiel 1.5. (a) X = R n, a R n, α R. Dann ist die Funktion f : X R, x a,x + α sowohl konvex, als auch konkav. (b) X = R n, A R n n symmetrisch, a R n, α R. Dann ist die Funktion f : X R, x 1 2 x,ax + a,x + b konvex (gleichmässig konvex) genau dann, wenn A positiv semidefinit (positiv definit) ist. (c) X = R. Die Funktion f : X R, x e x ist strikt konvex, aber nicht gleichmässig konvex. (d) X = R. Die Funktion f : X R, x x 2 ist gleichmässig konvex. (e) X = R. Die Funktion f : X R, x x 4 ist strikt konvex, aber nicht gleichmässig konvex. (f) X = R >0. Die Funktion f : X R, x log(x) ist strikt konkav. Wir untersuchen zunächst Linearkombinationen konvexer (bzw. konkaver) Funktionen.

18 14 Kapitel 1. Einführung und theoretische Grundlagen Lemma 20. Sei X R n eine konvexe Menge, f i : X R, i = 1,...,m, konvexe (bzw. konkave) Funktionen und µ i > 0, i = 1,...,m. Dann ist auch die Funktion f : X R, m x µ i f i (x) i=1 konvex (bzw. konkav). Ferner ist f strikt konvex (bzw. konkav), falls eine der Funktionen f i strikt konvex (bzw. konkav) ist. Beweis. Übungsaufgabe. Im Folgenden werden wir uns vor allem der Charakterisierung stetig differenzierbarer konvexer Funktionen widmen. Zuvor sollte aber bemerkt werden, dass Konvexität bereits gewisse Stetigkeits- und Differenzierbarkeitseigenschaften impliziert. Bemerkung 21. Sei X R n konvex und offen und f : X R konvex. Dann gilt (a) f ist auf X stetig (sogar lokal Lipschitz-stetig). (b) Es existieren alle Richtungsableitungen von f im Punkt x X. (c) f ist fast überall auf X differenzierbar. (Satz von Rademacher) Satz 22 (Charakterisierung differenzierbarer, konvexer Funktionen). Sei X R n eine offene, konvexe Menge und f : X R eine stetig differenzierbare Funktion. Dann sind die folgenden Aussagen äquivalent: (a) f ist konvex (bzw. strikt konvex). (b) f(x 2 ) f(x 1 ) (>) f(x 1 ),x 2 x 1 x 1,x 2 X : x 1 x 2. (c) f(x 2 ) f(x 1 ),x 2 x 1 (>) 0 x 1,x 2 X : x 1 x 2. Beweis. Wir zeigen hier nur die Aussagen über Konvexität. Der Beweis für strikte Konvexität verläuft analog. (a) (b): Sei f konvex, dann gilt f(λx 1 +(1 λ)x 2 ) λf(x 1 )+(1 λ)f(x 2 ) x 1,x 2 X, λ (0,1] und f(x 2 + λ(x 2 x 1 )) f(x 2 ) + λ(f(x 2 ) f(x 1 )) x 1,x 2 X, bzw. f(x 1 + λ(x 2 x 1 )) f(x 1 ) f(x 2 ) f(x 1 ) x 1,x 2 X. λ Der Grenzübergang λ 0 liefert f(x 1 ),x 2 x 1 f(x 2 ) f(x 1 ) x 1,x 2 X. (b) (c): Aus (b) folgt f(x 1 ),x 2 x 1 f(x 2 ) f(x 1 ) x 1,x 2 X, f(x 2 ),x 1 x 2 f(x 1 ) f(x 2 ) x 1,x 2 X.

19 1.4 Konvexe Funktionen 15 Die Addition der beiden Gleichungen liefert f(x 1 ) f(x 2 ),x 1 x 2 0 x 1,x 2 X. Multiplikation mit 1 ergibt (c). (c) (b): Seien x 1,x 2 X. Gemäss Mittelwertsatz existiert λ (0,1), so dass f(x 2 ) f(x 1 ) = f(x 1 + λ(x 2 x 1 )),x 2 x 1. Ausserdem gilt wegen (c), dass f(x 1 + λ(x 2 x 1 )) f(x 1 ),λ(x 2 x 1 ) 0, d.h. f(x 2 ) f(x 1 ) = f(x 1 + λ(x 2 x 1 )),(x 2 x 1 ) f(x 1,x 2 x 1. (b) (a): Seien x 1,x 2 X, λ (0,1). Wegen (b) gilt f(x 1 ) f(λx 1 + (1 λ)x 2 ) f(λx 1 + (1 λ)x 2 ),(1 λ)(x 1 x 2 ) f(x 2 ) f(λx 1 + (1 λ)x 2 ) f(λx 1 + (1 λ)x 2 ),λ(x 2 x 1 ). Addition des λ-fachen der ersten Ungleichung mit dem (1 λ)-fachen der zweiten ergibt λf(x 1 ) + (1 λ)f(x 2 ) f(λx 1 + (1 λ)x 2 ) und somit (a). Satz 23 (Charakterisierung 2mal differenzierbarer, konvexer Funktionen). Sei X R n eine offene, konvexe Menge und f : X R eine 2mal stetig differenzierbare Funktion. Dann sind die folgenden Aussagen äquivalent: (a) f ist konvex. (b) Die Hessematrix 2 f(x) ist positiv semi-definit für alle x X. Ferner folgt aus der positiven Definitheit von 2 f(x), x X, die strikte Konvexität von f. (Die Umkehrung gilt im Allgemeinen nicht.) Beweis. (a) (b): Sei x X und y R n. Wegen der Konvexität von f und der Offenheit von X existiert ein ε y > 0, so dass x + εy X und Da f C 2 (X) gilt andererseits f(x + εy) f(x) f(x),εy y X, ε < ε y. f(x + εy) f(x) = f(x),εy εy, 2 f(x)(εy) + o( εy 2 ) und somit ( y, 2 f(x) ) y + o( εy 2 ) 0. } 2ε {{} 0 (ε 0)

20 16 Kapitel 1. Einführung und theoretische Grundlagen (b) (a): Sei f(x) positiv semi-definit für alle x X. Für x 1,x 2 X existiert nach dem Mittelwertsatz ein ξ [x 1,x 2 ], so dass f(x 2 ) f(x 1 ) = f(x 1 ),x 2 x x 2 x 1, 2 f(ξ)(x 2 x 1 ) f(x 1 ),x 2 x 1. 2 }{{} 0 Nach Satz 22 ist f daher konvex. Satz 24 (Charakterisierung differenzierbarer, gleichmässig konvexer Funktionen). Sei X R n eine offene, konvexe Menge und f : X R eine stetig differenzierbare Funktion. Dann sind die folgenden Aussagen äquivalent: (a) f ist gleichmässig konvex. (b) µ > 0 : f(x 2 ) f(x 1 ) f(x 1 ),x 2 x 1 + µ x 2 x 1 2 x 1,x 2 X : x 1 x 2. (c) µ > 0 : f(x 2 ) f(x 1 ),x 2 x 1 µ x 2 x 1 2 x 1,x 2 X : x 1 x 2. Beweis. Einen Beweis erhält man durch einfache Modifikation des Beweises von Satz 22. Bemerkung 25. Die Sätze 22, 23 und 24 gelten entsprechend für konkave Funktionen.

21 1.5 Optimalitätskriterien Optimalitätskriterien Freie Optimierung Wir betrachten zunächst das freie Optimierungsproblem min f(x), X x X Rn offen, f : X R C 1 (X). (1.9) Satz 26 (Notwendige Bedingung 1. Ordnung). Ist x 0 R n eine lokales Minimum von (1.9), so gilt f(x 0 ),y = 0 y R n, d.h. f(x 0 ) = 0. Beweis. Sei x 0 lokales Minimum, d.h. es existiert t 0 > 0, so dass f(x 0 + ty) f(x 0 ) 0 y R n, 0 < t < t 0. Division durch t und Grenzübergang t 0 liefern die Behauptung. Definition 27. (a) Ein Punkt x 0 X heisst stationärer Punkt (von (1.9)), falls f(x 0 ) = 0. (b) Eine Richtung y R n heisst Abstiegsrichtung im Punkt x 0, falls f(x 0 ),y < 0. Offenbar ist x 0 genau dann stationärer Punkt von (1.9), wenn keine Abstiegsrichtung existiert. Existiert hingegen im Punkt x 0 eine Abstiegsrichtung y, so existiert ein t 0 > 0, so dass f(x 0 +ty) < f(x 0 ) für alle t (0,t 0 ), d.h. x 0 ist nicht minimal. Satz 28. Sei f konvex. Dann gilt: x 0 ist (globales) Minimum von (1.9) x 0 ist stationärer Punkt von (1.9). Beweis. Ist x 0 stationärer Punkt, so folgt aus der Konvexität von f Satz 22, dass d.h. x 0 ist globales Minimum. f(x) f(x 0 ) f(x 0 ),x x 0 Def.27 = 0 x X, Satz 29. Sei f konvex. Dann ist die Menge der Minima konvex. Ist f sogar strikt konvex, so ist diese Menge einelementig.

22 18 Kapitel 1. Einführung und theoretische Grundlagen Beweis. Seien x 1, x 2 Minima von (1.9), d.h. f(x 1 ) = f(x 2 ) = 0. Dann gilt wegen Satz 22, dass f(x 1 ) f(x 2 ) f(x 2 ),x 1 x 2 = 0, f(x 2 ) f(x 1 ) f(x 1 ),x 2 x 1 = 0 und somit f(x 1 ) = f(x 2 ). Schliesslich ist f(λx 1 + (1 λx 2 )) λf(x 1 ) + (1 λ)f(x 2 ) = f(x 1 ) = f(x 2 ) λ [0,1]. Es gilt sogar Gleichheit, da x 1 und x 2 Minima sind, d.h. λx 1 + (1 λx 2 ) ist für alle λ [0,1] ein Minimum. Ist f strikt konvex und x 0 ein Minimum von (1.9), so gilt d.h. x 0 ist das einzige Minimum. f(x) > f(x 0 ) + f(x 0 ),x x 0 = f(x 0 ) x X, Satz 30 (Bedingungen 2. Ordnung). Sei f C 2 (X). Notwendige Bedingung: Ist x 0 X lokales Minimum von (1.9), so ist 2 f(x 0 ) positiv semi-definit. Hinreichende Bedingung: Ist x 0 stationärer Punkt von (1.9) und 2 f(x 0 ) positiv definit, so ist x 0 lokales Minimum von (1.9). Beweis. Ist x 0 lokales Minimum und y R n beliebig, so existiert t 0 > 0 mit = f(x 0 + ty) f(x 0 ) }{{} f(x 0 ),ty } {{ } = ty, 2 f(x 0 ) (ty) +o( ty 2 ) 0 y R n, 0 < t < t 0. Dies impliziert y, 2 f(x 0 )y + o( ty 2 ) }{{ t 2 0. Da y beliebig war, folgt somit die positive Semi- } 0 (t 0) Definitheit von 2 f(x 0 ). Die Beweis der Umkehrung verläuft entsprechend Klassische Lagrange-Theorie In diesem Abschnitt wiederholen wir notwendige Optimalitätskriterien für Probleme mit Gleichungsrestriktionen: min f(x) u. d. N. h(x) = 0, f : R n R C 1 (R n ), h : R n R p C 1 (R n ), p < n. (1.10) Sei x 0 ein lokales Minimum von (1.10). Insbesondere ist x 0 dann zulässig, d.h. h(x 0 ) = 0. Unter der Voraussetzung rang( h(x 0 )) = p beschreibt der zulässige Bereich ein p-dimensionale Mannigfaltigkeit in R n. Sei o.b.d.a. x = (x 1,x 2 ) mit x 1 R p und x1 h(x 0 ) regulär. Dann ist die Gleichung h(x) = 0 nach dem Satz über implizite Funktionen in einer Umgebung von x 0 nach x 1 auflösbar, d.h. φ C 1 (R n p, R p )

23 1.5 Optimalitätskriterien 19 mit h(φ(x 2 ),x 2 ) = 0 und φ = ( x2 h)( x1 h) 1. Somit ist x 0 2 lokales Minimum des (freien) Optimierungsproblems min f(z) := f(φ(z),z). (1.11) z R n p Satz 26 liefert dann die folgenden notwendige Bedingung: f(x 0 2) = ( φ(x 0 2)) x1 f(φ(x 0 2),x 0 2) + f(φ(x 0 2),x 0 2) = ( x2 h(φ(x 0 2),x 0 2))( x1 h(φ(x 0 2),x 0 2)) 1 ( x1 f(φ(x 0 2),x 0 }{{ 2)) +( x2 f(φ(x 0 } 2),x 0 2)) =:u = ( x2 h(φ(x 0 2),x 0 2))u + ( x2 f(φ(x 0 2),x 0 2)) Satz(26) = 0. Ausserdem folgt nach Definition von u, dass also insgesamt ( x1 h(φ(x 0 2),x 0 2))u + ( x1 f(φ(x 0 2),x 0 2)) = 0, f(x 0 ) + h(x 0 )u = 0, d.h. die Vektoren h 1 (x 0 ), h 2 (x 0 ),..., h p (x 0 ), f(x 0 ) sind linear abhängig. Letzteres gilt auch, wenn rang( h(x 0 )) < p, denn dann gilt rang([ h(x 0 ) f(x 0 )]) p. Wir fassen diese Ergebnisse im folgenden Satz zusammen. Satz 31. Ist x 0 lokales Minimum von (1.10), dann existieren nicht sämtlich verschwindende Multiplikatoren u 0,u 1,...,u p, so dass m u 0 f(x 0 ) + u i h i (x 0 ) = 0. i=1 Ist überdies rang( h(x 0 )) = p, so ist u 0 0 (o.b.d.a. u 0 = 1), d.h. die übrigen Multiplikatoren sind eindeutig bestimmt. Bemerkung 32. (a) Die Abbildung L : R n R p R, (x,u) f(x) + h(x),u = f(x) + m u i h i (x) heisst Lagrange-Funktion von (1.10). Mit dieser Notation lautet die notwendige Bedingung aus Satz 31 wie folgt: L(x,u) = 0. (b) Sind die Vektoren h 1 (x 0 ), h 2 (x 0 ),..., h p (x 0 ), f(x 0 ) linear unabhängig, so ist x 0 kein lokales Minimum von (1.10). i=1

24 20 Kapitel 1. Einführung und theoretische Grundlagen Allgemeine Optimierungsprobleme Wir werden in diesem Abschnitt notwendige und hinreichende Optimalitätsbedingungen für eine allgemeine Klasse von Optimierungsproblemene herleiten. Dabei werden wir zunächst nur die analytische Struktur der Zielfunktion und die geometrische Struktur des zulässigen Bereiches ausnutzen. Geometrische Optimalitätsbedingungen Betrachte das Optimierungsproblem min f(x) u.d.n. x X. (1.12) Definition 33. Sei X R n nichtleer. (a) Eine Folge (x k ) k N R n mit x k x 0 und x k x 0 k N heisst gerichtet konvergent in x Richtung d U 1 (0) : lim k x 0 d k = d. (Schreibweise: x k x 0 xk x 0.) d heisst dann tangentiale Richtung. (b) Ein Vektor y R n heisst tangential zu X im Punkte x X : tangentiale Richtung d und λ 0, so dass y = λd. (c) Die Menge der in x X zu X tangentialen Vektoren T (X,x) := {λd R n (x k ) X : x k d x, λ 0} heisst Tangentialkegel (oder auch Tangentenkegel) von X im Punkte x X. Bemerkung 34. (a) Jede konvergente Folge (x k ) enthält eine gerichtet konvergente Teilfolge: Die Folge (y k ) definiert durch y k := xk x 0 x k x 0 ist in der kompakten Menge U 1(0) enthalten, d.h. es gibt eine konvergente Teilfolge (y k l ) (y k ) und d U 1 (0), so dass y k l d, d.h. y k d l x 0. (b) Ein Vektor y ist offenbar genau dann tangential zu X in x X, wenn eine Folge (x k ) X mit x k x und eine monoton fallende Folge (t k ) R existieren, so dass xk x t k y. (c) T (X,x) ist stets ein Kegel. (d) Für x intx ist T (X,x) = R n. (e) Für isolierte Punkte x X ist T (X,x) =. (f) Falls X := {x R n h(x) = 0}, wobei h C 1 (R n, R), und h(x) vollen Rang besitzt, so ist T (X,x) = {y R n h(x),y = 0}. (g) Für konvexe X ist T (X, x) = cone(s {x}). Lemma 35. Sei X R n und x X. Dann ist der Tangentialkegel T (X,x) abgeschlossen.

25 1.5 Optimalitätskriterien 21 Beweis. Sei (d k ) T (X,x) eine gegen 0 d T (X,x) konvergente Folge. Dann gilt o.b.d.a. d d und es existieren für alle k N Folgen (xk,l ) l N X mit x k,l auch dk d k Insbesondere existiert für alle k N ein Index l(k), so dass x k,l(k) x x k,l(k) x dk d k < 1 k. d k d k x für l. Daraus folgt x k,l(k) x x k,l(k) x d d x k,l(k) x x k,l(k) x dk d k + d k d k d d 1 k + d k d k d d k 0, d.h. d d ist eine tangentiale Richtung und d T (X,x). Lemma 36. Sei (x k ) R n mit x k d x. (a) Ist f C 1 (R n f(x k ) f(x), R), so gilt lim k x k = f(x),d. x (b) Ist f C 2 (R n f(x k ) f(x) f(x)(x k x), R), so gilt lim k x k = 1 d, 2 f(x)d. x 2 Beweis. Übungsaufgabe. Der Begriff des Tangentialkegels erlaubt uns nun in Analogie zu den vorangegangenen Abschnitten eine notwendige Bedingung an den Gradienten der Zielfunktion zu formulieren. Dazu müssen wir aber die Differenzierbarkeit der Ziefunktion voraussetzen. Sei also f C 1 (R n, R). Satz 37 (Notwendige Bedingung 1. Ordnung). Ist x ein lokales Minimum von (1.12), dann gilt f(x ),d 0 d T (X,x ). Beweis. Sei d T (X,x ) \ {0}, o.b.d.a. sei d = 1. Dann existiert eine Folge (x k ) X mit x k d x. Für grosse k gilt wegen der Minimalität von x, dass f(x k ) f(x ). Somit ist f(x ),d L36 = f(xk ) f(x ) x k x 0. Bemerkung 38. Für ein lokales Minimum x intx von (1.12) gilt T (X,x ) = R n und somit f(x ) = 0, d.h. die notwendige Bedingung aus Satz 37 stimmt mit der notwendigen Bedingung für freie Optimierungsprobleme (siehe Satz 26) überein. Analog zu Abschnitt 5.1 nennen wir einen Punkt, in dem die notwendige Bedingung aus Satz 37 erfüllt ist, stationären Punkt.

26 22 Kapitel 1. Einführung und theoretische Grundlagen Definition 39. Ein Punkt x X heisst stationärer Punkt (von (1.12)), falls f(x ),d 0 d T (X,x ). Offenbar ist x genau dann stationärer Punkt von (1.12), wenn es in x keine zu X tangentiale Abstiegsrichtung existiert. Satz 40 (Hinreichende Bedingung 1. Ordnung). Gilt so ist x ein lokales Minimum von f(x ),d > 0 d T (X,x ) \ {0}, Beweis. Angenommen, x ist kein lokales Minimum von (1.12), d.h. k N x k X U 1 k (x ) : f(x k ) < f(x ). Offenbar gilt x k x. Sei o.b.d.a. (x k ) so gewählt, dass x k d x für ein d (siehe Bemerkung 34), dann ist d T (X,x ), aber f(x f(x k ) f(x ) ),d = lim k x k x 0. Bemerkung 41. (a) Unter der Bedingung aus Satz 40 ist x sogar strikte Lösung. (b) Die Bedingung aus Satz 40 ist nicht erfüllbar, falls T (X,x ) einen echten Unterraum (Dimension> 0) besitzt, z.b. wenn x intx. Für konvexe Probleme lassen sich Satz 37 und Satz 40 leicht zu einer Äquivalenzaussage zusammenfassen. Satz 42 (Notwendige und hinreichende Bedingung 1. Ordnung). Sei f konvex und X konvex. Dann ist x ein lokales Minimum von (1.12), wenn f(x ),x x 0 für alle x X. Beweis. Übungsaufgabe. Setzt man noch mehr Glattheit der Ziefunktion voraus, so erhält man auch Bedingungen zweiter Ordnung. Sei also f C 2 (R n, R). Satz 43 (Notwendige Bedingung 2. Ordnung). Sei x ein stationärer Punkt von (1.12). Ist x ein lokales Minimum von (1.12), so gilt d,( 2 f(x ))d 0 d T (X,x ).

27 1.5 Optimalitätskriterien 23 Beweis. Sei d T (X,x ) \ {0}, o.b.d.a. sei d = 1. Dann existiert eine Folge (x k ) X mit x k d x. Für grosse k gilt wegen der Minimalität von x, dass f(x k ) f(x ). Somit ist d,( 2 f(x ))d L36 f(x k ) f(x ) f(x ),x k x = lim k x k x f(x ),x k x = lim k f(x k ) f(x ) x k x } {{ } 0 + lim k x k x 0. }{{} 0 Mittels der zweiten Ableitungen der Zielfunktion können auch hinreichende Optimalitätskriterien angegeben werde. Satz 44 (Hinreichende Bedingung 2. Ordnung). Gilt f(x ),d 0 und d,( 2 f(x ))d > 0 d T (X,x ) \ {0}, so ist x ein lokales Minimum von (1.12). Beweis. Angenommen, x ist kein lokales Minimum von (1.12), d.h. k N x k X U 1 k (x ) : f(x k ) < f(x ). Offenbar gilt x k x. Sei o.b.d.a. (x k ) so gewählt, dass x k d x für ein d (siehe Bemerkung 34). dann ist d T (X,x ), aber f(x ),d L36 f(x k ) f(x ) f(x )(x k x ) = lim k x k x lim k f(x k ) f(x ) x k x }{{} <0 f(x )(x k x ) k } x k x {{ } 0 + lim 0. Bemerkung 45. (a) Unter der Bedingung aus Satz 44 ist x sogar strikte Lösung. (b) Für ein lokales Minimum x intx von (1.12) gilt T (X,x ) = R n und somit f(x ) = 0, d.h. die Bedingungen Bedingung aus den Sätzen 43 und 44 stimmen mit den Bedingungen für freie Optimierungsprobleme (siehe Satz 30) überein. Probleme mit Gleichungs- und Ungleichungsnebenbedingungen Bisher haben wir nur die analytische Struktur f und die geometrische Struktur des zulässigen Bereichs berücksichtigt. Im folgenden betrachten wir Probleme des Typs (1.5), d.h. min f(x) u.d.n. g(x) 0, h(x) = 0, (1.13)

28 24 Kapitel 1. Einführung und theoretische Grundlagen wobei f : R n R, g : R n R m und h : R n R p gegebene (stetig differenzierbare) Funktionen sind. Genauer schreiben wir auch g(x) = [g 1 (x),...,g m (x)] T und h(x) = [h 1 (x),...,h p (x)] T mit g i,h j : R n R C 1 (R n, R), i I := {1,...,m}, j J := {1,...,p}. Der zulässige Bereich des allgemeinen Optimierungsproblems (1.12) ist jetzt also durch gegeben. Aufgrund des Satzes 37 gilt X := {x R n g(x) 0, h(x) = 0} f(x ),d 0 d T (X,x ) in einem lokalen Minimum von (1.13). Diese Bedingung ist im allgemeinen nur schwer zu handhaben und in der Praxis kaum nachprüfbar, da der Tangentialkegel eine sehr komplizierte Struktur besitzen kann. Wir werden im folgenden die spezielle analytische Struktur des zulässigen Bereichs X ausnutzen um Optimalitätsbedingungen herzuleiten, die leichter überprüfbar sind. Wir starten mit der Definition des linearisierten Tangentialkegels. Definition 46. Sei x X ein zulässiger Punkt von (1.13). (a) Die Indexmenge I(x) := {i I g i (x) = 0} heisst Menge der aktiven Ungleichungsrestriktionen. (b) Die Menge T lin (X,x) := {d R n g i (x),d 0 i I(x), h j (x),d = 0 j J } heisst linearisierter Tangentialkegel von X in x. Genau wie der Tangentialkegel ist auch der linearisierte Tangentialkegel abgeschlossen, darüber hinaus aber sogar konvex. Satz 47 (Ljusternik). Sei x X zulässiger Punkt von (1.13). (a) T lin (X,x) ist ein nichtleerer, abgeschlossener, konvexer Kegel. (b) T (X,x) T lin (X,x). Beweis. Der fast schon triviale Beweis von Teil (a) sei dem Leser überlassen. Für den Beweis von (b) wählen wir d T (X,x) \ {0} beliebig (offenbar ist 0 in beiden Kegeln enthalten). Dann existiert eine Folge (x k ) X, so dass x k d/ d x. Wir zeigen zuerst, dass g i (x),d 0 i I(x) gilt. Sei dazu i I(x). Gemäss Mittelwertsatz gibt es für alle k N Vektoren ξ k [x,x k ], so dass 0 g i (x k ) = g i (x) }{{} + g i (ξ k ),x k x. (1.14) =0, da i I(x)

29 1.5 Optimalitätskriterien 25 Man beachte, dass ξ k x. Dividiert man (1.14) durch x k x, so erhält man 0 g i (ξ k ) }{{} k g i(x) x k x, x k x }{{} k d d k g i (x) d d, was auch g i (x),d 0 bedeutet. Der Beweis für h i (x),d = 0 i J verläuft analog. Es folgt also, dass d T lin (X,x) und somit (b). Bemerkung 48. Im Allgemeinen gilt keine Gleichheit der beiden Kegel T (X,x) und T lin (X,x): { x 2 x > 0 (a) Sei g : R R, x, X := {x R g(x) 0}. Dann ist T (X,0) = X R = 0 sonst T lin (X,0). (b) Sei g : R 2 R 2, x [ x x 2, x 3 1 x 2 ] T, X := {x R g(x) 0}. Dann ist T (X,0) = {y R 2 y 1 0, y 2 = 0} {y R 2 y 2 = 0} = T lin (X,0). Im falle der Gleichheit beider Kegel lassen sich unter Verwendung der geometrischen Kriterien und der einfachen Struktur des linearisierten Tangentialkegels einfache, problemangepasste Optimalitätsbedingungen herleiten. Definition 49 (Regularitätsbedingung von Abadie). Ein zulässiger Punkt x X von (1.13) genügt der Regularitätsbedingung von Abadie (engl.: Abadie constraint qualification, kurz Abadie CQ), falls T (X,x) = T lin (X,x). Wir werden später zeigen, dass die Regularitätsbedingung von Abadie für die im Rahmen der Vorlesung relevanten Problemklassen erfüllt ist. Wie schon im Abschnitt spielt die so genannte Lagrange-Funktion bei der Herleitung von Optimalitätsbedingungen eine tragende Rolle. Definition 50. Die Abbildung L : R n R m R p R, (x,µ,λ) f(x) + λ,g(x) + µ,h(x) = f(x) + λ i g i (x) + µ j h i (x) i I i J heisst Langrange-Funktion des restringierten Problems (1.13). Definition 51 (KKT-Bedingungen).

30 26 Kapitel 1. Einführung und theoretische Grundlagen (a) Die Bedingungen x L(x,λ,µ) = 0 λ L(x,λ,µ) = g(x) 0, µ L(x,λ,µ) = h(x) = 0 λ, g(x) = 0 λ 0 (KKT-Gleichungen) (Zulässigkeit) (Komplementarität) (Nichtnegativität) (1.15) heissen Karush-Kuhn-Tucker-Bedingungen (kurz KKT-Bedingungen) des Optimierungsproblems (1.13). (b) Jedes Tripel (x,λ,µ ), der den KKT-Bedingungen (1.15) genügt, heisst Karush-Kuhn- Tucker-Punkt (kurz KKT-Punkt) des Optimierungsproblems (1.13). Die Komponenten von λ und µ werden als Lagrange-Multiplikatoren bezeichnet. Bemerkung 52. Für freie Optimierungsprobleme (I = J = ) reduziert sich (1.15) zu f(x) = 0, d.h. die KKT-Bedingungen verallgemeinern die notwendige Bedingung erster Ordnung aus Satz 26. Wir kommen nun zum wichtigsten Resultat des ersten Abschnitts. Satz 53 (Kuhn/Tucker). Sei x ein lokales Minimum von (1.13), welches der Abadie-Bedingung genüge. Dann existieren Lagrange-Multiplikatoren λ R m und µ R p derart, dass (x,λ,µ ) ein KKT-Punkt von (1.13) ist. Beweis. Da x ein lokales Minimum ist, folgt mit Satz 37, dass f(x ),d 0 d T (X,x ). Unter Verwendung der Abadie-Bedingung bedeutet dies, dass f(x ),d 0 d T lin (X,x ). Mit Hilfe der Matrix A R ( I(x ) +2p) n, deren Zeilen durch gegeben sind, folgt g i (x ) T, i I(x ), h j (x ) T, j J und h j (x ) T, j J f(x ),d 0 d : Ad 0. Das Lemma von Farkas 17 besagt nun, dass das System A T y = f(x ), y 0 eine Lösung y besitzt. Bezeichnen wir die Komponenten von y der Reihe nach mit λ i (i I(x )), µ + j und µ j (j J ) und setzen µ := µ + µ, sowie λ i := 0 (i / I(x )), so ergibt sich unmittelbar, dass das Tripel (x,λ,µ ) ein KKT-Punkt von (1.13) ist. Bevor wir fortfahren, soll ein Beispiel die bisherigen Ergebnisse veranschaulichen.

31 1.5 Optimalitätskriterien x2 0 x2 0 x2 0 1 X [ 1, 1]+T(X,[ 1, 1])=[ 1, 1]+Tlin(X,[ 1, 1]) 1 X 1 X [ 1, 1]+T(X,[ 1, 1]) [ 1,1]+Tlin(X,[ 1,1]) x1 (a) T (X,( 1, 1)) x1 (b) T (X,( 1, 1)) x1 (c) T lin (X,( 1, 1)). Abbildung 1.5: Tangentialkegel und linearisierte Tangentialkegel an den zulässigen Bereich X aus Beispiel 1.6. Beispiel 1.6. Betrachte das Optimierungsproblem min f(x) := x 2 1 x 2 2 u.d.n. g(x) := 1 x 2 1 (x 2 2) 2 (x 1 + 1) 2 + x x (1.16) Der zulässige Bereich X und die Höhenlinien der Zielfunktion des Optimierungsproblems (1.16) sind in Abbildung 1.6 dargestellt. Abbildung 1.5(a) zeigt den Tangentialkegel an X im Punkt P 3 = ( 1, 1), der offensichtlich der Regularitätsbedingung von Abadie genügt. Letztere ist im Punkt P 4 = ( 1,1) jedoch verletzt, wie Abbildung 1.5(a) zeigt. Dennoch sind sowohl P3 als auch P4 KKT-Punkte. Weitere KKT-Punkte sind durch P1 = (0,0) (3) und P2 = ( 2, 1 2 ) gegeben. Neben der Abadie-Bedingung gibt es noch andere Regularitätsbedingungen, auf die wir im Rahmen dieser Vorlesung, zumindest an dieser Stelle, nicht weiter eingehen werden. Wir werden hier vorerst nur Problemklassen diskutieren, für die die Abadie-Bedingung erfüllt ist. Satz 54 (Regularität bei affinen Restriktionen). Die Restriktionsfunktionen g i, i I, und h j, j J, des Optimierungsproblems (1.13) seien affin-linear. Dann ist die Regularitätsbedingung von Abadie 49 für alle x X erfüllt. Beweis. Wir zeigen, dass die zulässige Menge X := {x R n : g i (x) 0, i I, h j (x) = 0, j J } in jedem Punkt x X der Regularitätsbedingung von Abadie genügt. Sei dazu x X beliebig gewählt. Wegen Satz 47 gilt stets T (X,x) T lin (X,x), so dass nur noch die umgekehrte Inklusion zu zeigen ist. Die Restriktionsfunktionen sind affin-linear, d.h. es existieren a i,b j R n und α i,β j R (i I, j J ), so dass g i (x) = a i,x α i, h j (x) = b j,x β j. Sei d T lin (X,x) beliebig (o.b.d.a. sei d = 1). Dann ist a i,d 0 i I(x ) und b j,x = β j j J. Betrachte die Folge (x k ), die durch x k := x+ 1 kd definiert ist. Für hinreichend grosse k N (k K) gilt a i,x k α i i I, dass heisst (x k ) k K ist zulässig. Ausserdem gilt x k d x, woraus x T (X,x) folgt.

32 28 Kapitel 1. Einführung und theoretische Grundlagen Satz 54 besagt, dass die Linearität der Restriktionsfunktionen bereits eine Regularitätsbedingung darstellt. Insbesondere ist letztere global, d.h. sie sichert die Regularität in allen zulässigen Punkten. Für konvexe Probleme lässt sich ebenfalls eine globale Regularitätsbedingung formulieren. Definition 55 (Regularitätsbedingung von Slater). Das Optimierungsproblem (1.13) genügt der Regularitätsbedingung von Slater, falls alle Ungleichungsrestriktionsfunktionen g i, i I, konvex sind, alle Gleichungsrestriktionen h j (j J ) affin-linear sind und ein zulässiges x X existiert, so dass g( x) < 0 für alle i I. Auch die Slater-Bedingung impliziert die Regularitätsbedingung von Abadie. Satz 56. Das Optimierungsproblem (1.13) genüge der Slater-Bedingung. Dann ist ist die Regularitätsbedingung von Abadie für alle x X erfüllt. Wir verzichten aber hier auf einen Beweis von Satz 56 und widmen uns in Kapitel 2 zunächst ausführlich den linearen Problemen.

33 1.5 Optimalitätskriterien 29 Abbildung 1.6: Höhenlinien und Gradienten der Zielfunktion f (blau) und der Restriktionsfunktionen g i (schwarz bzw. rot) aus Beispiel 1.6. X bezeichnet den zulässigen Bereich, P1,...,P4 die KKT-Punkte.

34

35 2 Lineare Programme In diesem Kapitel beschäftigen wir uns mit der Lösung linearer Optimierungsprobleme der Form min c,x u.d.n. Ax = b, x 0, (2.1) wobei A R m n, rang(a) = m, c R n und b R m. Das Minimierungsproblem (2.1) ist ein Spezialfall des zuvor behandelten allgemeineren Problems (1.13). 1 Lineare Optimierungsprobleme werden auch als lineare Programme bezeichnet. Wir bezeichnen insbesondere Probleme des Typs (2.1) als lineare Probleme (Programme) in Normalform. Alle allgemeinen Minimierungsprobleme der Gestalt (1.13) mit affin-linearer Zielfunktion und affin-linearen Restriktionsfunktionen lassen sich durch einfache Modifikationen in die Form (2.1) überführen: Allgemeine Ungleichungsrestriktionen Liegt in der Problembeschreibung eine Restriktion der Gestalt a,x b, a R n, b R vor, so kann diese durch Einführung einer nichtnegativen Schlupfvariablen x n+1 0 zu a,x + x n+1 = b umformuliert werden. Die modifizierte Zielfunktion hängt dabei nicht von x n+1 ab. Vorzeichenbeschränkung Ist eine der in der Problembeschreibung auftretenden Variablen x i nicht vorzeichenbeschränkt (man spricht von einer freien Variablen), so lässt sich x i in den sogenannten positiven Anteil x + i und den sogenannten negativen Anteil x i mit aufsplitten. x i = x + i x i, x+ i 0, x i 0 Voller Zeilenrang Ist die i-te Zeile der Matrix 0, so muss auch die zugehörige rechte Seite b i = 0 sein (sonst wäre der zulässige Bereich leer). Eine solche Restriktion ist dann aber für alle x R n erfüllt und kann gestrichen werden. 1 Im Gegensatz zum ersten Kapitel bezeichnen wir hier die Anzahl der Gleichungsrestriktionen mit m.

36 32 Kapitel 2. Lineare Programme Sind zwei Zeilen a i, a j (i j) der Matrix A linear abhängig, d.h. es existiert γ > 0, so dass a i = γa j, so gilt für ein zulässiges x R n a i,x = b i und γ a i,x = a j,x = b j, und somit γb i = b j. Das heisst aber, dass die i-te und die j-te Restriktion redundant sind und eine der beiden gestrichen werden kann. Die ersten beiden Transformationsschritte können problemlos automatisiert werden (siehe Übung), die Entscheidung ob voller Rang vorliegt ist aber numerisch gesehen sehr heikel. Wir werden später darauf zurückkommen. 2.1 Theorie linearer Optimierungsprobleme Polyeder und Ecken Wir werden zunächst die geometrische Gestalt des zulässigen Bereichs von (2.1) X := {x R n : Ax = b, x 0} analysieren. Definition 57. Eine Menge der Gestalt P := {x R n : Ax = b, x 0}, mit A R m n, rang(a) = m, und b R m heisst Polyeder in Normalform oder Polyeder in Standardform. Der zulässige Bereich X von (2.1) ist also gerade ein Polyeder in Normalform. Im folgenden betrachten wir nur noch Polyeder in Normalform. Wir definieren zunächst, was wir unter einer Ecke eines Polyeders verstehen. Definition 58. Sei P := {x R n : Ax = b, x 0} ein Polyeder in Normalform mit A R m n und b R m. Ein Vektor x P heisst Ecke von P, falls aus x = λx 1 + (1 λ)x 2 für x 1,x 2 P und λ (0,1) bereits x 1 = x 2 folgt. Definition 58 besagt, dass ein Vektor genau dann eine Ecke von P ist, wenn er sich nicht als echte Konvexkombination zweier verschiedener Punkte aus P darstellen lässt. Beispiel 2.1. (a) Der Einheitswürfel {x R 3 : 0 x i 1, i {1,2,3}} im R n hat die bekannten acht Ecken (0,0,0) T, (0,0,1) T, (0,1,0) T, (1,0,0) T, (1,1,0) T, (1,0,1) T, (0,1,1) T, (1,1,1) T.

37 2.1 Theorie linearer Optimierungsprobleme 33 (b) Die Definition der Ecke hängt nicht von der Darstellung der Menge als Polyeder in Normalform ab. Sie lässt sich auf beliebige konvexe Mengen erweitern. So ist beinhaltet zum Beispiel die Menge der Ecken eines (abgeschlossenen) Kreises gerade alle seine Randpunkte. Wir geben im Folgenden unter Ausnutzung der Struktur der Polyederdarstellung eine äquivalente Charakterisierung der Eckpunkte an. Satz 59. Sei P := {x R n : Ax = b, x 0} ein Polyeder in Normalform mit A R m n und b R m. Ein Vektor x P ist genau dann eine Ecke von P, wenn die zu den positiven Komponenten von x gehörenden Spalten a i, i I + (x) := {i {1,...,n} : x i > 0}, linear unabhängig sind. Beweis. Sei zunächst x eine Ecke von P. Angenommen, die Spaltenvektoren a i (i I + (x)) sind linear abhängig, d.h. es existieren γ i (i I + (x)) mit γ i a i = 0 i I + (x) und γ i 0 für ein i I + (x). Wegen der Positivität der x i (i I + (x)) existiert δ > 0, so dass x i ± δγ i 0 für alle i I + (x). Definiert man Vektoren x 1,x 2 R n durch { { x 1 x i + δγ i, i I + (x) i :=, x 2 x i δγ i, i I + (x) i :=, 0, sonst 0, sonst so gehören wegen x 1,x 2 0 und Ax 1 = Ax 2 = n x 1 ia i = (x i + δγ i )a i = b + δ γ i a i = b i=1 n x 2 ia i = i I + (x) i I + (x) (x i δγ i )a i = b δ γ i a i = b i=1 i I + (x) i I + (x) und sowohl x 1 als auch x 2 zum Polyeder P. Ferner ist offenbar x = 1 2 x x2 und im Widerspruch zur Annahme x keine Ecke. Seien umgekehrt die Spaltenvektoren a i, i I + (x), von A linear unabhängig und ferner x = λx 1 + (1 λ)x 2 für gewisse Vektoren x 1,x 2 P und λ (0,1). Aus x 1,x 2 0 und x i = 0 für alle i / I + (x) folgt dann wegen λ (0,1) sofort x 1 i,x2 i = 0 für alle i / I+ (x). Also ist 0 = b b = Ax 1 Ax 2 = A(x 1 x 2 ) = (x 1 i x 2 i)a i i I + (x) und daher wegen der linearen Unabhängigkeit der a i auch x 1 i = x2 i für alle i I+ (x). Folglich ist x 1 = x 2 und x somit eine Ecke von P. Im Beweis von Satz 59 wurde der volle Rang der Matrix A nicht benutzt. Für die nachfolgende Charakterisierung von Ecken ist dieser jedoch essentiell.

38 34 Kapitel 2. Lineare Programme Definition 60. Sei P := {x R n : Ax = b, x 0} ein Polyeder in Normalform mit A R m n (rang(a) = m) und b R m. Ein zulässiger Vektor x P heisst (zulässiger) Basisvektor von P, falls eine aus genau m Elementen bestehende Indexmenge I mit x i = 0 für alle i / I existiert, so dass die Spaltenvektoren a i (i I) linear unabhängig sind. Wir zeigen nun die Äquivalenz der Begriffe Ecke und Basisvektor, die aber nur für Polyeder in Normalform gegeben ist. Satz 61. Sei P := {x R n : Ax = b, x 0} ein Polyeder in Normalform mit A R m n, rang(a) = m, und b R m. Dann ist x P genau dann ein Basisvektor von P, wenn x eine Ecke von P ist. Beweis. Sei x eine Ecke von P. Setze I + (x) := {i {1,...,n} : x i > 0}. Wegen Satz 59 sind die Spaltenvektoren a i (i I + (x)) dann linear unabhängig. Wegen rang(a) = m gilt I + (x) m. Ist I + (x) = m, so setzen wir I = I + (x) und sind offenbar fertig. Anderenfalls können wir wegen rang(a) = m die Menge {a i : i I + (x)} zu einer m-elementigen linear unabhängigen Menge {a i : i I} von Spaltenvektoren von A mit I + (x) I ergänzen. Die Umkehrung folgt aus Satz 59. Satz 62 (Hauptsatz der linearen Optimierung). Sei P := {x R n : Ax = b, x 0} ein Polyeder in Normalform mit A R m n, rang(a) = m, und b R m. Dann gelten die folgenden Aussagen: (a) Ist P, so besitzt P mindestens einen Basisvektor. (b) Das Polyeder P hat höchstens endlich viele Basisvektoren. (c) Besitzt das lineare Programm min c,x und x X (2.2) eine Lösung, so ist auch einer der Basisvektoren von X eine Lösung von (2.2). Beweis. (a) Ist 0 X, so ist 0 offenbar ein Basisvektor von X. Wir können uns also fortan auf den Fall 0 / X beschränken. Dann existiert aber ein x X mit minimaler Anzahl positiver Komponenten. Für x ist I + (x ) := {i {1,...,n} : x i > 0}. Angenommen, die Menge der Spaltenvektoren {a i : i I + (x )} von A ist linear abhängig, d.h. es existieren γ i (i I + (x)) mit i I + (x ) γ i a i = 0 (2.3) und γ i 0 für ein i I + (x ). Sei o.b.d.a. γ i < 0 für ein i I + (x ) 2. Wegen x i > 0 für alle i I + (x ) ist x i (δ) := x i + δγ i 0 für alle i I + (x ) und alle hinreichend kleinen δ > 0. Da 2 Anderenfalls multipliziere man (2.3) mit 1.