1. Grundlagen der konvexen Analysis Version

1. Grundlagen der konvexen Analysis Version 18.02.10 1.1 Konvexe Mengen Definitionen. Eine Menge M R n heisst konvex, wenn aus x, y M folgt, dass auch alle Punkte z = λx + (1 λ)y mit 0 < λ < 1 (Strecke zwischen x und y) aus M sind. Eine Menge M R n heisst Kegel, wenn aus x M folgt, dass auch alle Punkte z = λx mit λ 0 (Strahl durch 0 und x) aus M sind. Ein Kegel, der konvex ist, heisst konvexer Kegel. 1

Offenbar ( Übung! ) ist der Durchschnitt beliebig vieler konvexer Mengen wieder konvex. Ebenso ist der Durchschnitt beliebig vieler Kegel ein Kegel. Ausserdem folgt für konvexes M (Induktion) z := m i=1 λ i x i M sofern x i M, λ i 0 und m i=1 λ i = 1. Für A R n bezeichnet conv A die konvexe Hülle von A. Sie ist die kleinste konvexe Menge M mit A M, und es gilt z conv A m, λ 1,..., λ m 0, a 1,..., a m A : mi=1 λ i = 1 und z = m i=1 λ i a i. (1) kleinste im Sinne der Inklusion A M 2

Analog definiert man die Kegelhülle pos A von A R n als kleinsten konvexen Kegel, der A enthält, und es gilt z pos A m, λ 1,..., λ m 0, a 1,..., a m A : z = m i=1 λ i a i. (2) Mit aff A und lin A bezeichnen wir die affine bzw. lineare Hülle von A, d.h., die kleinste lineare Mannigfaltigkeit (affiner Unterraum) bzw. der kleinste Unterraum, der A enthält. Die Linearkombinationen in den Beschreibungen dieser Hüllen analog zu (1), (2) sind anzupassen (Übung!). Die kleinste abgeschlossene Menge, die A enthält, heisst Abschliessung von A, Bezeichnung cl A. 3

Sei M R n. Die Menge int M := {x M ε > 0 : B (x, ε) M} heisst das (topologisch) Innere von M, wobei B (x, ε) die offene Kugel - bei vorgegebener Norm, z.b. der euklidischen Norm - mit Radius ε um x bezeichnet. Ferner ist rel int M := {x M ε > 0 : B (x, ε) aff M M} das relative Innere von M, das heisst, das Innere der Menge M relativ zur Mannigfaltigkeit aff M. So ist aber rel int {(x, y) R 2 x = 0, y 0} = {(0, y) y > 0}, int {(x, y) R 2 x = 0, y 0} =. 4

Übung: Sei M eine nichtleere, konvexe Teilmenge des R n. Zeigen Sie, dass dann auch die Mengen konvex sind. int M, rel int M und cl M Machen Sie sich das an selbst gewählten Beispielen im R 2 klar. Bezeichnung (euklidisches Skalarprodukt). die Schreibweise Wir verwenden synonym x, y = x T y 5

Eine Menge M R n heisst abgeschlossen, wenn M = cl M ist. Übung: Man zeige: (i) Sind X i R n, i I (I beliebige Indexmenge), konvexe Mengen, so ist auch i I X i eine konvexe Menge (ggf. leer). (ii) Sind X i R n, i I (I beliebige Indexmenge), abgeschlossene Mengen, so ist auch i I X i eine abgeschlossene Menge (ggf. leer). Per definitionem betrachten wir die leere Menge als konvex und abgeschlossen, also lassen wir zukünftig die Zusatzbemerkung ggf. leer weg. 6

1.1.1 Satz von Caratheodory. Für jede Teilmenge A R n gilt die Darstellung (1) bereits mit m n + 1, und es gilt (2) bereits mit m n. Beweis. Wir führen den Beweis für die konvexe Hülle, der Beweis für die Kegelhülle geht analog. Man schreibe z conv A mit einer minimalen Anzahl m von Elementen a i A, i = 1,..., m, als Konvexkombination: m m z = λ i a i mit λ i > 0, λ i = 1. (3) i=1 Wenn m > n + 1 gilt, so sind die m 1 Vektoren a i a 1, i = 2,..., m, linear abhängig, also existiert ein m (r 2,..., r m ) 0, so dass 0 = r i (a i a 1 ). (4) i=1 i=2 Man argumentiere direkt mit {a 1,..., a m } statt mit {a 2 a 1,..., a m a 1 } 7

Setzt man r 1 = m m i=1 i=2 r i, folgt r i a i = r 1 a 1 + m i=2 m i=1 r i = 0 sowie wegen (4) r i a i = Mit beliebigem t R gilt daher wegen (3) z = m (λ i + tr i )a i, i=1 m i=2 r i a 1 + m i=2 m (λ i + tr i ) = 1. i=1 r i a i = 0. Andererseits kann man ein t = t wegen r = (r 1,..., r m ) 0 und λ i > 0 (für alle i) so wählen, dass (λ i + tr i ) 0 i und λ i0 + tr i0 = 0 für wenigstens ein i 0 gilt. Die Darstellung (3) war also nicht minimal, ein Widerspruch. q.e.d. Übung: Damit ist conv A kompakt, wenn A R n kompakt ist. Wieso? 8

1.1.2 Projektionssatz. Sei = M R n konvex und abgeschlossen und π M (x) die Projektion von x R n auf M, d.h., π M (x) M erfüllt (mit euklidischer Norm) π M (x) x y x y M. (5) (i) Dann ist p = π M (x) eindeutig bestimmt und erfüllt (p x) T (y p) 0 y M. (6) (ii) Umgekehrt, erfüllt p M Bedingung (6), so ist π M (x) = p Lösung der Aufgabe (5). (iii) Die Projektion π M ist nicht expansiv, d.h. π M (x ) π M (x) x x. Dabei gilt für π M (x ) π M (x) genau dann die Gleichung, wenn π M (x ) π M (x) = x x. 9

Beweis: Ein Minimalpunkt p = π M (x) für (5) existiert, weil die Norm stetig ist und es - mit irgendeinem y 0 M - ausreicht, die Norm über der kompakten Menge M {y y x y 0 x } zu minimieren. (i) Mit beliebigem y M setze man z(t) = p + t(y p), 0 < t < 1. Dann folgt z(t) = ty + (1 t)p M (Konvexität) und z(t) x 2 = (z(t) x) T (z(t) x) = (p x + t(y p)) T (p x + t(y p)) = p x 2 + 2t (p x) T (y p) + t 2 y p 2. Wegen z(t) x 2 p x 2, muss deshalb (6) gelten - sonst entstünde ein Widerspruch, da 2t (p x) T (y p) + t 2 y p 2 < 0) für kleine t > 0. 10

(ii) Erfüllen zwei Punkte p, p M die Bedingung (6), erhalten wir (p x) T (p p) 0 und (p x) T (p p ) 0 und nach Addition (p p ) T (p p) = p p 2 0, also p = p. Damit gilt (6) nur für p = π M (x), und π M (x) aus (5) muss eindeutig sein. (iii) Man wende (6) auf beide Projektionen an: π M (x) x, π M (x ) π M (x) 0, π M (x ) x, π M (x) π M (x ) 0. Addition und Ausmultiplizieren liefert π M (x) x + x π M (x ), π M (x ) π M (x) 0, x x, π M (x ) π M (x) π M (x ) π M (x) 2 0. 11

Damit gilt auch bei Verwendung der Cauchy-Schwarz-Ungleichung π M (x ) π M (x) 2 π M (x ) π M (x), x x x x π M (x ) π M (x). Division durch π M (x ) π M (x) > 0 liefert Nicht-Expansivität. Ausserdem: Die rechte Ungleichung gilt mit π M (x ) π M (x) als Gleichung π M (x ) π M (x) = x x. q.e.d. 12

1.1.3 Trennungssatz 1. Sei = M R n konvex, abgeschlossen und x / M. Dann existiert ein u R n \ {0} mit u T x < u T y y M. Beweis: Es sei p die Projektion von x auf M (Projektionssatz) und u = p x. Dann ist u T (y x) = u T (y p + p x) = u T (y p + u) = u } T (y {{ p) } + u 2 > 0 y M. 0 nach (6) q.e.d. 13

1.1.4 Trennungssatz 2. Es sei = M R n konvex, abgeschlossen und x / int M. Dann gibt es ein u R n \ {0}, so dass gilt u T x u T y y M. Beweis: Da x / int M, gibt es Punkte x k x (k ), so dass x k / M. Auf diese lässt sich Trennungssatz 1 anwenden. Sei u k ein entsprechender Vektor. O.B.d.A. gelte u k = 1. (Division durch die Norm). Für eine unendliche Teilfolge konvergieren die beschränkten u k gegen ein u mit u = 1. Mit jedem y M folgt so wegen u kt x k u kt y und Stetigkeit des Skalarprodukts auch u T x u T y. q.e.d. Bemerkung: Ist M nur konvex, aber nicht abgeschlossen, beweist man Trennungssatz 2 analog, indem man x von der (konvexen) Abschliessung cl M trennt, deren Inneres x ebenfalls nicht enthalten kann. 14

1.1.5 Satz (Trennung allgemein). Seien A und B konvexe Teilmengen des R n, seien ferner A und int B nichtleer sowie A int B =. Dann gibt es ein u R n \ {0}, so dass gilt u T a u T b a A, b B. Beweis: Man bilde die (wiederum konvexe) Menge M = {x x = b a, a A, b B}. Man kann dann zeigen, dass 0 / int M ist. Trennung von 0 und M liefert die Behauptung, man benutze dazu Trennungssatz 2 (und die Bemerkung dort). q.e.d. 15

1.2. Konvexe Funktionen f : R n R {± }. 1.2.1 Definition. Sei f : X R {± }, d.h., eine erweitert-reellwertige Funktion auf X. Wir betrachten hier X = R n, aber die Begriffe sind auch definiert, wenn X ein linearer normierter Raum ist. Die Menge dom f = {x X f(x) R} heisst effektiver Definitionsbereich von f. Die Funktion f heisst konvex, falls ihr Epigraph epi f := {(x, t) X R f(x) t} X R eine konvexe Menge ist. f ist konkav (d.h., f ist konvex), wenn der Hypograph konvex ist. hypo f := {(x, t) X R f(x) t} X R 16

f heisst eigentlich, falls dom f und f(x) x X, insbesondere also auch f(x) +. Falls f eigentlich ist, dann ist f konvex genau dann, wenn dom f eine nichtleere konvexe Menge ist und f(λx + (1 λ)y) λf(x) + (1 λ)f(y) x, y dom f, 0 < λ < 1 gilt (Beweis?). Ferner: Falls f im üblichen Sinne konvex über einer nichtleeren, konvexen Menge M X ist, also wenn gilt, so ist f(λx + (1 λ)y) λf(x) + (1 λ)f(y) x, y M, 0 < λ < 1 f(x) = { f(x) falls x M + sonst eine eigentliche konvexe (erweitert-reellwertige) Funktion. Wir betrachten in der Regel eigentliche konvexe Funktionen. 17

1.2.2 Übung: Verknüpfungen konvexer Funktionen Es seien I irgendeine Indexmenge und f i : R n R {+ }, i I, konvexe Funktionen. Dann gilt Das punktweise Supremum f(x) := sup i I f i (x), x R n ist konvex. Falls I = {1, 2,...}, so ist der punktweise Limes g(x) := lim i f i (x), x R n, konvex. Falls I endlich, f i eigentlich ( i I) und λ i (i I) nichtnegative reelle Zahlen sind, dann ist F (x) := i I λ if i (x) konvex (und eigentlich). 18

1.2.3 Definition. Eine Funktion f : D R n R m (D offene Menge) heisst lokal Lipschitz-stetig auf D, falls zu jedem x D eine Umgebung U von x und eine Konstante L = L(x) > 0 existieren, so dass f(x ) f(x ) L x x x, x U. 1.2.4 Satz ((lokale Lipschitz-) Stetigkeit über offenen Mengen). Ist f : R n R {+ } konvex und int dom f nichtleer, so ist f lokal Lipschitz-stetig auf int dom f. Zum Beweis vgl. Alt, Numerische Verfahren der nichtglatten, konvexen Optimierung, Abschnitt 1.7. Folgerung: Insbesondere ist eine über einer konvexen Menge M R n mit nichtleerem Inneren int M definierte konvexe Funktion von M in R stetig auf int M. 19

1.2.5 Subgradient und Subdifferential im R n Satz (Repetition 1). Sei I R ein Intervall und f : I R differenzierbar. Dann gilt: (1) f ist genau dann konvex, wenn für beliebige x, y I gilt f(y) f(x) + (y x)f (x). (2) f ist genau dann konvex, wenn die Ableitung f auf I monoton wachsend ist. (3) Falls f sogar zweimal differenzierbar ist, so ist f genau dann konvex, wenn f (x) 0 für alle x I gilt. Nach Anwendung der verallgemeinerten Kettenregel auf die reelle Funktion F (t) = f(x + t(y x)) lassen sich diese Aussagen auf den Fall von Funktionen in mehreren Variablen übertragen, und es folgt: 20

Satz (Repetition 2). Seien f : D R n R eine stetig differenzierbare Funktion und D eine offene, konvexe Teilmenge von R n. Dann gilt: 1. f ist konvex genau dann wenn für alle Punkte x, y D die Ungleichung f(y) f(x) + (y x) T f(x) gilt. 2. Hat f sogar stetige zweite partielle Ableitungen nach allen Variablen, so ist f konvex genau dann, wenn für jeden Punkt x D die Hesse- Matrix 2 f(x) positiv semidefinit ist. Dabei heisst eine symmetrische (n, n)-matrix A positiv semidefinit, falls h T Ah 0 für alle Vektoren h R n gilt; positiv definit, falls für alle h R n \ {0} sogar h T Ah > 0 gilt. 21

Definition: Es seien f : R n R {+ } eigentlich konvex und x dom f. Ein x R n heisst Subgradient von f in x, falls f(ξ) f(x) + x T (ξ x) ξ R n. (7) Die Menge f(x) aller Subgradienten in x heisst das Subdifferential von f in x. Ähnlich wie bei glatten konvexen Funktionen ist die affin-lineare Funktion ξ f(x) + x T (ξ x) folglich eine Stützfunktion an f und {(ξ, η) η = f(x) + x T (ξ x)} ist eine Stützhyperebene an den Graphen von f. Zur Beachtung: Man betrachtet nur Punkte x dom f und f(ξ) = ist nicht zugelassen. f(x) ist konvex und abgeschlossen (siehe 1.2.10 unten), allerdings kann die Menge leer sein. Man betrachte das Beispiel offenbar ist f(0) =. f(x) = x falls x 0; f(x) = falls x < 0, 22

Bemerkung: Offenbar gilt für x dom f f(x) f ist unterhalb stetig im Punkt x, wobei f unterhalb stetig in x heisst, falls lim inf ξ x f(ξ) f(x). 1.2.6 Triviales Optimalitätskriterium. 0 f(x 0 ) x 0 ist ein globaler Minimalpunkt von f. Beweis: Man setze in die Definition des Subdifferentials ein! 23

1.2.7 Übung (Beispiele für Subdifferentiale). Zeigen Sie ν(x) := x, x R: ν(0) = [ 1, +1] Euklidische Norm n(x) := x, x R n : n(0) = {x R n x 1} 1.2.8 Satz ( f(x 0 ) ). Falls f : R n R {+ } konvex ist und int dom f, dann ist f(x 0 ) für alle x 0 int dom f. 24

25

Beweis von Satz 1.2.8: Sei M := {(t, x) t f(x)}. Dann folgt (f(x 0 ), x 0 ) int M aus (f(x 0 ) ε, x 0 ) M für ε > 0. Andererseits: Nach Satz 1.2.4 ist f stetig auf int dom f, folglich (f(x 0 ) + ε, x 0 ) int M. Somit können M und (f(x 0 ), x 0 ) getrennt werden: Es gibt (r, u) R R n, so dass (r, u), (f(x 0 ), x 0 ) (r, u), (t, x) (t, x) M. (8) Nach Definition von M haben wir r 0 (via t ). x 0 int dom f dass r = 0 den Widerspruch Ferner zeigt u 0 und u, x 0 u, x x dom f. liefert. Damit folgt r > 0 und (8) sichert, dass u/r ein Subgradient ist: dividiere durch r and setze t = f(x)). q.e.d. 26

1.2.9 Definition (Richtungsableitung). Sei f : R n R {+ } eine konvexe Funktion und x int dom f. Als Richtungsableitung von f im Punkt x in Richtung u bezeichnet man die Zahl f f(x + tu) f(x) f(x + tu) f(x) (x; u) := lim = inf t 0 t t>0 t Die Abbildung u f (x; u) (x fest) heisst Richtungsableitung von f in x. Diese Definition ist gerechtfertigt, denn nach Satz 1.2.4 genügt der Differenzenquotient f(x + tu) f(x) q(t) := der Abschätzung q(t) L(x) u, t (0, t), t mit gewissen L(x), t > 0, und die Funktion t q(t) ist wegen der Konvexität von f monoton steigend, so dass lim t 0 q(t) = inf t>0 q(t) existiert. 27

Sei wieder f : R n R {+ } eine konvexe Funktion und x int dom f. Eigenschaften der Richtungsableitung a. f (x; λu) = λf (x; u) λ 0 u (positiv homogen) b. f (x; u + v) f (x; u) + f (x; v) u, v (subadditiv) c. L 0 : f (x; u) L u u (beschränkt durch L) Zum Beweis vgl. W. Alt, Numerische Verfahren der nichtglatten, konvexen Optimierung, Abschnitt 2.8. Die Eigenschaften a. und b. zusammen heissen auch sublinear, der Epigraph einer sublinearen Funktion ist ein konvexer Kegel (ÜA!). Eigenschaft c. heisst auch oft Lipschitz-Eigenschaft. 28

Satz 1.2.10. Es sei f : R n R {+ } eine eigentlich konvexe Funktion, und es sei x int dom f gegeben. Dann ist das Subdifferential f(x) eine nichtleere, konvexe, abgeschlossene und beschränkte Menge ist mit und somit x f(x) x, u f (x; u) u R n (9) f(x) = (f (x; ))(0). (10) Der Beweis folgt, vgl. auch die Illustration zu Satz 1.2.8. 29

Beweis: Dass f(x) nichtleer ist, wurde in Satz 1.2.8 bewiesen. (9) und (10) Da f (x; ) sublinear und somit konvex ist, gilt mit f (x; 0) = 0 und f (x; u) = inf t>0 t 1 (f(x + tu) f(x)) sowie nach Definition des Subdifferentials x f(x) f(x + tu) f(x) + t x, u u t > 0 f (x; u) x, u u f (x; u) f (x; 0) + x, u 0 u x (f (x; ))(0). 30

Eigenschaften von f(x): f(x) gilt wegen x int dom f nach Satz 1.2.8. Konvexität und Abgeschlossenheit folgt sofort aus f(x) = {x x, y x f(y) f(x)}, y R,y x was ein Durchschnitt abgeschlossener Halbräume (also spezieller abgeschlossener, konvexer Mengen) ist. Die Beschränktheit von f(x) folgt aus (9) für u := x sowie Eigenschaft c. in 1.2.9: x f(x) x 2 = x, x f (x; x ) L x. Bemerkung: Übrigens ist die Lipschitz-Eigenschaft c. in 1.2.9 eine unmittelbare Folgerung aus der Lipschitz-Stetigkeit von f in einer Umgebung von x int dom f gemäss Satz 1.2.4: f(x + tu) f(x) Lt u u t 0 mit gewissem L 0. 31

1.2.11 Berechnung von Subdifferentialen/Richtungsableitungen. 1. Sind f, g : R n R konvex, so gilt für alle x und u sowie λ, µ 0 (λf + µg)(x) = λ f(x) + µ g(x), (λf + µg) (x; u) = λf (x; u) + µg (x; u). (Satz von Moreau-Rockafellar) 2. Sei f : R n R konvex. Ist f (total) differenzierbar im Punkt x 0 R n, dann gilt f(x 0 ) = { f(x 0 )} und f (x 0 ; u) = f(x 0 ) T u ( u). Die Beweise von 1. und 2. werden im Anhang zu Kapitel 1 gegeben. Repetition: f heisst differenzierbar (genauer: total differenzierbar) in x 0, falls die Darstellung f(x) = f(x 0 ) + (x x 0 ) T f(x 0 ) + o(x x 0 ) mit o(u)/ u 0 für u 0 gilt. 32

Folgerung aus 1.2.6 und 1.2.11.2 (bekannt aus Mathematik III): Sind D R n offen, konvex und f : D R eine konvexe, stetig differenzierbare Funktion, so besitzt f in x 0 D ein globales Minimum genau dann, wenn f(x 0 ) = 0 gilt. Die konkave Funktion g = f besitzt in x 0 D ein globales Maximum genau dann wenn g(x 0 ) = 0 gilt. 3. (Maximum-Funktion I) Für f(x) = max i g i (x); g i : R n R konvex, differenzierbar (i = 1,..., m) gilt mit I = I(x 0 ) := {i {1,..., m} g i (x 0 ) = f(x 0 ) }, f(x 0 ) = conv { g i (x 0 ) i I} f (x 0 ; u) = max i I g i (x 0 ) T u u. Beweis: vgl. Alt, Numerische Verfahren der konvexen, nichtglatten Optimierung, Satz 2.9.2. 33

1.2.12 Übung. 1. Sei f die Maximumnorm f(x) = max 1 i n x i, x = (x 1,..., x n ) T. Zeigen Sie mit den Einheitsvektoren e j f(0) = conv {e 1,..., e n, e 1,..., e n }. Berechnen Sie auch f (x; u) in x = 0 und f(x) für x 0. 2. Zeigen Sie, dass für jede konvexe Funktion f : (a, b) R R gilt f(x) = [f (x), f + (x)], a < x < b, wobei f und f + sind. die übliche linksseitige bzw. rechtsseitige Ableitung 34

1.2.13 Konjugierte Funktion. Die Umkehrrelation zu x f(x), x ( f) 1 (x ) := {x x f(x) } ordnet der linearen gestörten Funktion ξ f(ξ) x, ξ ihre Menge der Minimalpunkte zu: x f(x) x argmin (f( ) x, ). (11) Also ist das Subdifferential der Lösungsmengenabbildung eines parametrischen Optimierungsproblems zugeordnet. (11) ist äquivalent zu x ( f)(x) x argmax ( x, f( )). Die entsprechende Optimalwertfunktion f heisst Fenchel-Konjugierte zu f. Wir fassen die Definition etwas allgemeiner: 35

Sei f : R n R {± } eine beliebige (nicht notwendig konvexe) Funktion. Dann heisst f (x ) := sup x X ( x, x f(x)) (eventuell ± ) die (Fenchel-) Konjugierte zu f (oder konjugierte Funktion zu f). Falls dom f ist, gilt stets f (x ) >. 1.2.14 Lemma. f ist konvex. Beweis: f ist konvex genau dann, wenn epi f konvex ist. Es gilt aber offenbar (x, η) epi f f (x ) η x, x η f(x) x R n, d.h., epi f ist der Durchschnitt von abgeschlossenen Halbräumen in R n R und folglich konvex. 36

1.2.15 Übung (Beispiele für konjugierte Funktionen). Man zeige für die reellen Funktionen f(x) = e x f (y) = y ln y y, falls y > 0 0 falls y = 0, + sonst g(x) = ln x, x > 0, g (y) = { 1 ln( y), falls y < 0 + sonst sowie für die Log-Barriere-Funktion in n Variablen: h(x) = n i=1 ln x i, x R n ++, h (x ) = { h( x) n, falls x R n ++ \ {0} + sonst, wobei R n ++ := {(x 1,..., x n ) x i > 0 i}. 37

1.3 Fixpunktsätze Im Hinblick auf die Existenz von Gleichgewichten sind die Fixpunktsätze von Brouwer und Kakutani zentral, sie werden z.b. in 5 zum Beweis der Existenz eines Nash-Gleichgewichts angewendet. 1.3.1 Definition. Sei F eine mengenwertige Abbildung von irgendeiner nichtleeren Menge X in sich selbst, d.h., Dann heisst x x X F (x) X, Symbol: F : X X. Fixpunkt von F, falls x F (x ) gilt. Ist f : X X sogar eine Funktion (d.h., eine eindeutige Relation), so erfüllt ein Fixpunkt x von f offenbar f(x ) = x ; ist X Teilmenge eines linearen Raumes, so ist das eine Nullstelle der Funktion g(x) = f(x) x. Eine mengenwertige Abbildung nennt man auch Relation oder Korrespondenz oder Punkt-Menge-Abbildung. 38

1.3.2 Fixpunktsatz von Brouwer. Sei = X R n eine konvexe, abgeschlossene und beschränkte Menge und f eine stetige Funktion von X in X. Dann existiert ein Fixpunkt von f, d.h., es existiert ein x X, so dass f(x ) = x. Beweis: vgl. Stoer, Witzgall, Convexity and Optimization I, Springer, 1970. (Beweis unter Benutzung des Sperner-Lemmas) 39

Bemerkungen. Wenn X konvex, beschränkt, aber nicht abgeschlossen ist, stimmt die Aussage nicht, man betrachte z.b. f(x) = x 2 über dem offenen Intervall X := (0, 1) R. Wenn X kompakt (also beschränkt und abgeschlossen), aber nicht konvex ist, stimmt die Aussage ebenfalls nicht, man betrachte z.b. f(x) = 1 x über X := [0, 1 4 ] [3 4, 1] R. Wenn f unstetig ist, stimmt die Aussage trivialerweise nicht, man betrachte z.b. f(x) = 1, falls 1 x < 0, f(x) = 1, falls 0 x 1. 40

1.3.3 Spezialfall X R. Ist X R und enthält mehr als ein Element, dann erfüllt X die Voraussetzungen des Brouwerschen Fixpunktsatzes genau dann, wenn X ein abgeschlossenes, beschränktes Intervall [a, b] mit a < b ist. Der Fixpunktsatz von Brouwer folgt dann aus dem Zwischenwertsatz für stetige reelle Funktionen. Beweis: Ist f(a) = a oder f(b) = b, dann sind wir fertig. Sei also a f(a) [a, b] und b f(b) [a, b]. Dann folgt für die stetige Funktion x [a, b] g(x) := f(x) x g(a) = f(a) a > 0 und g(b) = f(b) b < 0, also hat g in ihrem Definitionsintervall eine Nullstelle und f folglich einen Fixpunkt. 41

1.3.4 Definition. Sei = S R n. Eine mengenwertige Abbildung F : S S heisst abgeschlossen, falls ihr Graph gph F := {(x, y) x S, y F (x)} eine abgeschlossene Teilmenge des R 2n ist. 1.3.5 Fixpunktsatz von Kakutani. Sei S R n eine konvexe, abgeschlossene und beschränkte Menge. Sei ferner F : S S eine abgeschlossene mengenwertige Abbildung derart, dass alle Mengen F (x), x S, nichtleere konvexe Teilmengen von S sind. Dann besitzt F einen Fixpunkt in S, d.h., es existiert ein x S, so dass x F (x ). Beweis: im Anhang zu Kapitel 1. Bemerkung. Der Brouwersche Fixpunktsatz ist ein Spezialfall des Fixpunktsatzes von Kakutani, da F (x) := {f(x)} offenbar abgeschlossen bezüglich der kompakten Menge S ist, wenn f : S S stetig ist. 42

1.4. Theorie der linearen Optimierung Ein Optimierungsproblem der Form min x M ct x mit M = {x R n Ax b} (12) wobei c R n, b R m und eine (m, n) Matrix A gegeben sind, heisst lineares Optimierungsproblem oder lineares Programm (kurz LP ). Die Menge M wird, mit den Zeilen A i von A und Komponenten b i von b, durch m lineare Ungleichungen A i x b i, i = 1, 2,..., m, beschrieben. Sie ist also der Durchschnitt endlich vieler affiner Halbräume. Solche Mengen (ebenso der R n ) heissen konvexe polyedrische Mengen oder kurz konvexe Polyeder. Machen Sie sich ihre Gestalt im R 2 klar. Hinweis: Zuweilen werden nur beschränkte konvexe polyedrische Mengen als konvexe Polyeder bezeichnet, wir lassen auch unbeschränkte Mengen zu. 43

Die Restriktionsmengen linearer Programme sind in Anwendungen häufig auch in anderer Form beschrieben, z.b. als Gleichungen mit Vorzeichenbeschränkungen, M = {x R n Ax = b, x 0}, (13) oder in allgemeiner Form mit (in der Dimension passenden) Matrizen A, B, C, D und Vektoren b, c, M = {(x, y) R n R s Ax + By = b, Cx + Dy c, x 0}, (14) oder es treten -Ungleichungen auf. Ebenso sind Maximierungsprobleme interessant. Existenz- und Dualitätsaussagen zu LPs werden in dieser Vorlesung in einer der Formen präsentiert, für andere Formen sind sie geeignet anzupassen. Durch die im Folgenden zusammengestellten äquivalenten Umformungen lassen sie sich problemlos äquivalent ineinander überführen. 44

Äquivalente Umformungen : A i x b i A i x b i A i x = b i A i x b i, A i x b i x j R (x + j, x j ) R2 + : x j = x + j x j max x M ct x = [min x M ( ct x)] A i x b i z i 0 : A i x + z i = b i mit R 2 + = {(x 1, x 2 ) R 2 x 1 0, x 2 0} 45

1.4.1 Existenzsatz der linearen Optimierung. Die Aufgabe max {c T x x M} mit M = {x R n Ax = b, x 0} besitzt eine Lösung, wenn M nicht leer und v := sup x M c T x endlich ist. Beweis. (durch vollständige Induktion) Für n = 1 ist der Satz trivial. Er sei für n < p gezeigt (Induktionsvoraussetzung), und wir betrachten nun n = p. Gelte x k M, c T x k v (k = 1, 2,...). Besitzt die Folge {x k } einen Häufungpunkt x, löst er das Problem. 46

Andernfalls folgt x k und für eine unendliche Teilfolge konvergieren die beschränkten Vektoren 0 u k = xk x k u. O.B.d.A. sei das schon die Ausgangsfolge. Wegen Ax k = x k Au k = b und c T x k = x k c T u k v muss nun Au = 0 und c T u = 0 gelten. Damit folgt u 0, u 0, A(x k + tu) = b, c T (x k + tu) = c T x k t R. Mit geeignetem t = t k 0 liegt der Punkt h k = x k + t k u auf dem Rand des nichtnegativen Orthanten. Damit ist eine seiner Komponenten, etwa x n, unendlich oft Null. Die Aufgabe max {c T x x M, x n = 0} besitzt somit ebenfalls das Supremum v, was nach Induktionsvoraussetzung in einem x M angenommen wird. q.e.d. 47

Analog zu diesem Beweis lässt sich (Induktion über n) zeigen 1.4.2 Satz. Für jede (m, n)-matrix A ist die Menge abgeschlossen. K = {z R m z = Ax, x 0} 1.4.3 Bemerkung. Der Existenzsatz 1.4.1 gilt auch für quadratische Zielfunktionen (D (n, n)-matrix, c R n gegeben) f(x) = c T x + x T Dx und im Fall von Polynomen f dritten Grades mit n reellen Variablen. Er wird falsch für Polynome vom Grade 4 und x M = R 2. Gegenbeispiel: f(x) = (x 2 1 + (1 x 1x 2 ) 2 ) max x=(x 1,x 2 ) Offenbar ist sup f(x) = 0, aber es wird nicht angenommen, denn f(x) < 0, x k = (1/k, k) 0 (k ). 48

1.4.4 Lemma von Farkas. Die Ungleichung c T u 0 gilt für alle u mit Au 0 dann und nur dann, wenn c im Kegel K = {z z = A T y, y 0} liegt. Beweis. Wenn c K, gilt für die Zeilen A i von A im Falle Au 0: c T u = y T Au = i y i A i u 0. Wenn c K, kann man wegen der Abgeschlossenheit von K (Satz 1.4.2) und Trennungssatz 1 trennen: Ein u R n erfüllt u T c > u T z z K. Da 0 K und λz K λ > 0 (falls z K), folgt also auch u T c > 0 u T A T y = y T Au y 0. Damit muss Au 0 gelten; aus Au 0 folgt also nicht c T u 0. q.e.d 49

Definition: Die beiden linearen Programme (P ) max c T x, x R n mit Ax b, x 0 (D) min b T y, y R m mit A T y c, y 0 (15) bilden ein (symmetrisches) duales Paar in Standardform. Symmetrisch : Schreibt man (D) mittels der o.a. äquivalenten Umformungen als Maximum-Problem (P ) in der Form von (P) und betrachtet die Dualaufgabe (D ) zu (P ), so beschreiben (D ) und (P) dieselben Aufgaben. Also sind (P) und (D) gleichberechtigt in dem Sinne, dass jede dual zur anderen ist. 1.4.5 Dualitätssatz der linearen Optimierung Ist eine beider Aufgaben lösbar, so auch die andere. Dann sind ausserdem beide Extremalwerte v P und v D gleich. 50

Beweis. Sei (P) lösbar und x eine Lösung für (P). Wir bilden I = {i A i x = b i } und J = {j x j = 0}. Weiter erfülle u R n das System Dann sind die Punkte A i u 0 i I, u j 0 j J. (16) x(t) = x + tu in (P) zulässig für kleine t > 0. Ihr Zielfunktionswert erfüllt daher wegen Optimalität von x : Also folgt c T u 0 aus (16). c T x c T x(t) = c T x + tc T u. 51

Nach dem Farkas-Lemma existieren dann y i 0(i I ) und µ j 0(j J ) mit c T = y i A i µ j e T j ; e j = jter Einheitsvektor R n. (17) Setzt man die restlichen Komponenten von y Null (um y R m zu erreichen), wird y zulässig für (D), und man erhält wegen x j = 0 j J : c T x = i y i A i x j J µ j e T j x = y i b i = b T y. (18) Schliesslich ist y optimal für (D), denn jedes (andere) zulässige y von (D) erfüllt wegen der Nebenbedingungen (mit A = (a i,j )): c j x j ( y i a i,j )x j = y i (a i,j x j ) y i b i, (19) j i i j i j kurz c T x y T Ax b T y. Also sichert die Lösbarkeit von (P) die von (D) sowie v P = v D. Die entsprechende Aussage unter Lösbarkeit von (D) zeigt man analog. q.e.d. i 52

Die Abschätzung (19), die für beliebige zulässige Punkt x, y beider Aufgaben in (15) gilt, heisst oft schwache Dualität. Mit der schwachen Dualität folgt aus dem Existenzsatz der linearen Optimierung die Existenz von Lösungen für (P) und (D), wenn diese Probleme zulässige Punkte besitzen. Da stets c T x b T y für zulässige Punkte für (P) und (D) gilt, hat man gleichzeitig eine Abschätzung für die Extremalwerte v P, v D. Weiter folgt: 53

1.4.6 Korollar. Zwei zulässige Punkte x, y der Aufgaben (P) bzw. (D) sind genau dann optimal, wenn c T x = b T y gilt, was dasselbe ist wie y T (Ax b) = 0 = x T (A T y c). (20) Wegen y i 0 und A ix b i 0, bedeutet die Komplementaritätsbedingung (20): Ist eine Ungleichung nicht als Gleichung erfüllt, muss (in Lösungen) die entsprechende duale Variable y i bzw. x j Null werden. Damit sind die Aufgaben (P) und (D) zu einem Ungleichungssystem äquivalent: 1.4.7 Korollar. Zwei Punkte x R n, y R m lösen (P) bzw. (D) genau dann, wenn Ax b, A T y c, c T x b T y, x 0, y 0. (21) In diesem Fall folgt ausserdem c T x = b T y. 54

Wandelt man ein gegebenes LP mit den o.a. äquivalenten Umformungen in die Standardform (P) (oder (D)) um, ist die dazugehörige Dualaufgabe (D) (bzw. (P)) die Dualaufgabe zum LP. Man spricht wieder von einem dualen Paar, und es gelten die Dualitätsaussagen analog. 1.4.8 Übung. Man zeige, dass die folgenden Paare von LPs duale Paare sind: (P ) min c T x, x R n mit Ax = b, x 0 (D ) max b T y, y R m mit A T y c (P ) min c T x, x R n mit Ax b (D ) max b T y, y R m mit A T y = c T, y 0 Faustregel. Hat man bei einem dualen Paar, im Vergleich zum Standardpaar (P), (D), umgekehrte Ungleichungen, so werden die Vorzeichenbedingungen der entsprechenden Dualvariablen zu 0. Hat man Gleichungen, sind die entsprechenden Dualvariablen nicht vorzeichenbeschränkt. Dabei gilt jeweils auch das Umgekehrte. 55

Anhang zu Kapitel 1 Beweis der Eigenschaften 1 und 2 in 1.2.11 Eigenschaft 1: Satz von Moreau-Rockafellar. Subgradienten s von f in x gilt Nach Definition eines f(y) f(x) + s, y x y, das ist für λ > 0 äquivalent zu λf(y) λf(x) + λs, y x y, also (λf)(x) = λ f(x). 56

Direkt aus der Definition der Richtungsableitung folgt nach den Limesgesetzen Es reicht also zu zeigen, dass (λf + µg) (x; u) = λf (x; u) + µg (x; u) u. (22) (f + g)(x) = f(x) + g(x). Zunächst impliziert s f(x) und s g(x) nach (9) also wegen s + s, u f (x; u) + g (x; u) = (f + g) (x; u) u, s + s (f + g) (x; u), d.h. S := f(x) + g(x) (f + g)(x). 56-1

Die umgekehrte Inklusion beweisen wir indirekt und nehmen an, dass s 0 (f + g)(x) : s 0 S. Da f(x) und g(x) nach Satz 1.2.10 nichtleer, konvex, abgeschlossen und beschränkt sind (und somit auch ihre Summe S), gibt es nach Trennungssatz 1 einen Vektor d 0, so dass s 0, d > max s, d. (23) s S Da S nichtleer, abgeschlossen und beschränkt ist, gibt es nach dem Satz von Weierstrass sowohl s 1 f(x) als auch s 2 g(x), so dass s 1, d = max s, d und s f(x) s2, d = max s, d. s g(x) 56-2

Daraus folgt wegen (23) und s 1 + s 2 S, dass s 0, d > max s S s, d s1 +s 2, d = s 1, d + s 2, d = Das führt aber nach (9) auf im Widerspruch zu (22). (f + g) (x; d) s 0, d > f (x; d) + g (x; d), max s, d + max s, d. s f(x) s g(x) Damit war die Annahme falsch, und die Behauptung S = (f + g)(x) ist bewiesen. 56-3

Eigenschaft 2. Da f nach Voraussetzung total differenzierbar ist, gilt f (x 0 ; u) = f(x 0 ), u u. Nach Formel (9) folgt damit f(x 0 ) f(x 0 ). Ist umgekehrt s f(x 0 ), gilt wieder nach (9) für alle Einheitsvektoren e j R n f(x 0 ), e j = f (x 0 ; u) s, e j und f(x 0 ), e j = f (x 0 ; u) s, e j und somit s j = f(x0 ) x j, also s = f(x 0 ). q.e.d. 56-4

Beweis von Satz 1.3.5 (Fixpunktsatz von Kakutani) Wir nehmen zunächst an, dass S = B die (abgeschlossene) euklidische Einheitskugel des R n ist. Sei stets, wenn wir von x reden, x S. Wir führen den Beweis indirekt. Im Gegensatz zur Behauptung gelte x F (x) x S. Dann gibt es (Trennungssatz) zu jedem x S ein z R n \ {0} als Trennungsvektor mit t(z, x) := inf y F (x) Sei W (x) die Menge aller dieser z und z, y x > 0. W 1 (z) = {x S t(z, x) > 0}. 56-5

Weil gph F abgeschlossen ist, folgert man leicht, dass W 1 (z) (relativ) offen in S ist. Da nun (mit Z := x S W (x)) S z Z W 1 (z), gibt es wegen der Kompaktheit von S endlich viele (Ueberdeckungssatz von Heine-Borel) Elemente z p (p = 1,..., N) mit S n p=1 W 1 (z p ) (24) Sei A p = S \ W 1 (z p ) und d p (x) = dist (x, A p ). Wegen (24) und der Abgeschlossenheit aller A p gilt d(x) := N p=1 d p (x) > 0 x. Damit kann man stetige Funktionen λ p (x) = d p(x) d(x) und z(x) = N p=1 λ p (x) z p ( 0) definieren. 56-6

Bemerkung: Stetige Funktionen λ p, die in dieser (und allgemeinerer) Weise einer offenen Überdeckung (wie hier (24)) zugeordnet sind, heissen Zerlegung der Einheit (partition of unity), wenn N p=1 λ p (x) = 1 und λ p (x) > 0 x W 1 (z p ). Wir zeigen nun z(x) W (x) x S. Sei x S und y F (x). Dann gibt es ein p {1,..., N}, so dass λ p (x) positiv ist, und aus λ p (x) > 0 folgt x W 1 (z p ) und λ p (x) z p, y x > 0. Also ist auch z(x), y x = p λ p (x) z p, y x > 0. Da y F (x) beliebig war, folgt so z(x) W (x). Auch z(x) 0 ist richtig. 56-7

Daher bildet die Funktion f(x) = z(x) z(x) die abgeschlossene Einheitskugel S = B stetig auf den Rand von B ab und erfüllt ebenfalls f(x) W (x). Nach dem Brouwerschen Fixpunktsatz hat sie einen Fixpunkt: x = f(x ) W (x ). Er erfüllt 0 < inf y F (x ) x, y x, x = 1. Letzteres liefert F (x ) S = im Gegensatz zu = F (x ) S. Widerspruch beweist den Satz für S = B. Dieser 56-8

Der Kakutani-Fixpunktsatz ist also bewiesen im Falle, dass die Menge S die (abgeschlossene) euklidische Einheitskugel in R n ist. Offenbar gilt er dann auch für jede abgeschlossene r-kugel S = B(0, r) := {x x r}. (ÜA!) Ist schliesslich S = C konvex und kompakt, wählen wir r mit C B(0, r) und betrachten G(x) = F (p(x)), x B(0, r), mit p(x) = Projektion von x auf C, was den Beweis beschliesst. q.e.d. 56-9