MATTHIAS GERDTS. Einführung in die lineare und nichtlineare Optimierung

Transkript

1 MATTHIAS GERDTS Einführung in die lineare und nichtlineare Optimierung

2 Address of the Author: Matthias Gerdts Institut für Mathematik und Rechneranwendung Fakultät für Luft- und Raumfahrttechnik Universität der Bundeswehr München Werner-Heisenberg-Weg Neubiberg/München WWW: Version: 7. Oktober 213 Copyright c 213 by Matthias Gerdts

3 Inhaltsverzeichnis 1 Einleitung 2 2 Unrestringierte nichtlineare Optimierung Notwendige Bedingungen für unrestringierte Optimierungsprobleme Hinreichende Bedingungen für unrestringierte Optimierungsprobleme Allgemeine Abstiegsverfahren Schrittweitenstrategien Armijo-Regel Gradientenverfahren Newton-Verfahren Lineare Optimierung Ecken und zulässige Basislösungen Das primale Simplexverfahren Basiswechsel beim Simplexverfahren Der Algorithmus Updateformeln für das Simplextableau Phase 1 des Simplexverfahrens Endlichkeit des Simplexverfahrens Dualität Sensitivität und Schattenpreise Restringierte Nichtlineare Optimierung Notwendige Bedingungen KKT-Bedingungen) Lagrange-Newton-Verfahren A Zusatzmaterial 97 A.1 Abbruchkriterien A.2 Berechnung von Ableitungen A.3 Globalisierung des Newton-Verfahrens Literaturverzeichnis 13 i

4 1 Empfohlene Literatur: Marti, K. und Gröger, D. Einführung in die lineare und nichtlineare Optimierung. Physica-Verlag, Heidelberg, 2. Geiger, C. und Kanzow, C. Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben. Springer-Verlag, Berlin-Heidelberg-New York, Geiger, C. und Kanzow, C. Theorie und Numerik restringierter Optimierungsaufgaben. Springer-Verlag, Berlin-Heidelberg-New York, 22. Gerdts, M. und Lempio, F. Mathematische Optimierungsverfahren des Operations Research. DeGruyter, Berlin, 211.

5 Kapitel 1 Einleitung Optimierungsaufgaben spielen in allen Anwendungsbereichen der Mathematik eine wichtige Rolle. Hauptanwendungsgebiete sind Wirtschaftswissenschaften Operations Research), Technik und Naturwissenschaften. In Nocedal, Wright findet man die folgende Formulierung: People optimize: Airline companies schedule crews and aircraft to minimize cost. Investors seek to create portfolios that avoid risks while achieving a high rate of return. Manufacturers aim for maximizing efficiency in the design and operation of their production processes. Nature optimizes: Physical systems tend to a state of minimum energy. The molecules in an isolated chemical system react with each other until the total potential energy of their electrons is minimized, Rays of light follow paths that minimize their travel time. Die Optimierung steht in enger Beziehung zur Modellierung, d.h. Optimierungtechniken werden auf mathematische Modelle angewendet, für die dann gewisse unbekannte Modellparameter oder -funktionen so zu bestimmen sind, dass eine Zielfunktion unter vorgegebenen Nebenbedingungen minimiert oder maximiert) wird. Wir beschränken uns in der Klassifikation von Optimierungsproblemen o.b.d.a. auf Minimierungsprobleme. Ein Maximierungsproblem wird durch Multiplikation der zu maximierenden Funktion mit 1 in ein äquivalentes Minimierungsproblem transformiert. Allgemeines Optimierungsproblem OP): Minimiere fx) unter der Nebenbedingung x X. Darin sei X R n eine beliebige nichtleere Menge und f : X R eine beliebige Funktion. Wir führen einige Bezeichnungen ein: Definition 1..1 Die zu minimierende Funktion f heißt Zielfunktion. Ein Vektor x heißt zulässig für OP), falls x X gilt. X heißt zulässige Menge von OP). 2

6 3 ˆx X heißt globales Minimum von OP), falls fˆx) fx) x X. 1.1) ˆx X heißt striktes globales Minimum von OP), falls in 1.1) < für alle x X, x ˆx gilt. ˆx X heißt lokales Minimum von OP), falls es eine Umgebung U ε ˆx) := {x R n x ˆx < ε} gibt mit fˆx) fx) x X U ε ˆx). 1.2) ˆx X heißt striktes lokales Minimum von OP), falls in 1.2) < für alle x X U ε ˆx), x ˆx gilt. Globale bzw. lokale Maxima werden analog definiert. Die Begriffe werden in Abbildung 1.1 erläutert. x 1 x 2 x 3 x 4 x 5 x 6 x 7 Abbildung 1.1: Lokale und globale Minima und Maxima einer Funktion: x 1 : striktes globales Minimum, x 2 : lokales Maximum, x 3 : lokales Minimum; x 2, x 3 ): gleichzeitig lokales Minimum und Maximum, x 4 : striktes globales Maximum, x 5 : striktes lokales Minimum, x 6, x 7 : lokale Maxima, x 6, x 7 ): gleichzeitig lokales Minimum und Maximum. Spezialfälle:

7 4 KAPITEL 1. EINLEITUNG Ein unrestringiertes Problem liegt vor, falls X = R n gilt: Unrestringiertes Optimierungsproblem UOP): Minimiere fx) bezüglich x R n. Darin sei f : R n R eine beliebige Funktion. Anhand des folgenden Beispiels wollen wir einige grundlegende Begriffe erläutern. Beispiel 1..2 Funktion von Himmelblau) Wir wollen die Funktion von Himmelblau f H x, y) := x 2 + y 11) 2 + x + y 2 7) 2 über alle x, y) R 2 minimieren. Um einen besseren Eindruck von der Funktion zu bekommen, stellen wir die Funktion grafisch dar. Dies kann z.b. mit dem Programm Maple und dem Befehl plot3dx^2+y-11)^2+x+y^2-7)^2,x=-5..5,y=-5..5,axes=boxed, style=patchcontour,contours = 4,shading=XYZ); geschehen: x y 2 4

8 5 Einen noch besseren Eindruck von den Funktionswerten der Funktion erhalten wir mit dem Befehl contourplotx^2+y-11)^2+x+y^2-7)^2,x=-5..5,y=-5..5,contours=8, coloring=[red,blue],scaling=constrained,axes=boxed); Dieser Befehl zeichnet die sogenannten Höhenlinien oder Niveaulinien einer Funktion. Eine Höhenlinie zum Niveau c R für eine Funktion f : R n R ist formal definiert als die Menge aller Punkte x = x 1,..., x n ), die fx) = c erfüllen und wird mit N f c) bezeichnet, also N f c) := {x R n fx) = c}, c R. Somit besitzt die Funktion f entlang einer Höhenlinie immer denselben Funktionswert, ist also entlang einer Höhenlinie konstant. Die Abbildung zeigt die Höhenlinien der Funktion von Himmelblau. Die fett gezeichnete Höhenlinie entspricht dem Niveau c = y x Die Pfeile in den beiden Grafiken stellen die Gradienten von f in den jeweiligen Punkten dar. Der Gradient einer Funktion f : R n R an der Stelle x = x 1,..., x n ) R n ist formal definiert als der Spaltenvektor fx 1,..., x n ) := 2 f x 1 x 1,..., x n ). f x n x 1,..., x n ) Bekanntlich zeigt der Gradient einer Funktion f in die Richtung des steilsten Anstiegs 4. von f. Außerdem steht der Gradient senkrecht auf den Höhenlinien von f. Für die Funktion von Himmelblau ergibt sich speziell ) ) fh x, y) x 4xx 2 + y 11) + 2x + y 2 7) f H x, y) = =. x, y) 2x 2 + y 11) + 4yx + y 2 7) f H y

9 6 KAPITEL 1. EINLEITUNG Die Gradienten von f H können mit dem folgenden Befehl dargestellt werden: gradplot x^2+y-11)^2+x+y^2-7)^2,x=-5..5,y=-5..5,grid=[1,1], color=x^2+y-11)^2+x+y^2-7)^2); Anhand der grafischen Darstellungen läßt sich folgendes ablesen: Die Funktion von Himmelblau besitzt 4 lokale Minimalstellen zugleich global) mit Funktionswert 4 Sattelpunkte ein lokales Maximum in.27845,.92339) Wir werden später sehen, daß der Gradient von f in jedem dieser Punkte gleich dem Nullvektor ist. Beispiel 1..3 Funktion von Rosenbrock Banana-Function)) Analysieren Sie wie im vorigen Beispiel die Funktion von Rosenbrock Banana-Function): f R x, y) := 1y x 2 ) x) 2 Hinweis: globales Minimum in 1, 1) mit f1, 1) =. Beispiel 1..4 Parameteridentifizierung) Ein Experiment liefert die Meßpunkte t i, y i ), i = 1,..., m. Der dem Experiment zu Grunde liegende Vorgang werde durch die Funktion ft, p) modelliert, die einen funktionalen Zusammenhang zwischen den Meßstellen t i und den Meßwerten y i herstellt. Allerdings hängt die Funktion auch noch vom unbekannten Parameter p R np ab. In der Praxis sind die Meßwerte verrauscht bzw. fehlerbehaftet, so daß es in der Regel keinen Parameter p gibt, der die Meßpunkte exakt reproduziert. Daher wird versucht, die Meßpunkte so gut wie möglich zu approximieren, indem 1 2 m y i ft i, p)) 2 i=1 bezüglich p minimiert wird. Häufig sind zusätzlich noch Nebenbedingungen an den Parameter p gegeben. Wir betrachten ein Zahlenbeispiel.

10 7 Die Meßpunkte sollen durch die Funktion t i y i ft, p 1, p 2 ) = expp 1 t) cosp 2 t) wiedergegeben werden. Die Abbildungen zeigen die zu minimierende Funktion gp 1, p 2 ) = 1 2 und deren Höhenlinien. 1 i=1 y i ft i, p 1, p 2 )) p_ p_2 p_ p_1 3 3 Die Fehlerfunktion zeigt, daß es Bereiche mit sehr steilen Flanken und sehr flache Täler gibt.

11 8 KAPITEL 1. EINLEITUNG Anwendung eines SQP-Verfahrens liefert das folgende Resultat SQP VERSION 1.1 C) Matthias Gerdts, University of Bayreuth, NUMBER OF VARIABLES : 2 NUMBER OF CONSTRAINTS : METHOD : SEQUENTIAL QUADRATIC PROGRAMMING SQP) MERIT FUNCTION : AUGMENTED LAGRANGIAN MULTIPLIER UPDATE RULE : SCHITTKOWSKI OR OPTIMALITY TOLERANCE :.149E-7 FEASIBILITY TOLERANCE :.1E-11 LINE SEARCH PARAMETER : SIGMA=.1E+ BETA=.9E+ MAXIMUM NUMBER OF ITERATIONS : 1 INFINITY :.1E+21 ROUNDOFF TOLERANCE :.3E-12 REAL WORK SPACE PROVIDED : 5338 NEEDED : 5 INTEGER WORK SPACE PROVIDED : 82 NEEDED : ITER QPIT ALPHA OBJ NB KKT PEN D DELTA RDELTA F/G E E+1.E+.4961E+1.E+.E+.E+.1E+1 1/ i E E+1.E+.6195E+1.E+.568E+1.E+.1E+1 1/ 2 1.1E E+.E+.2952E+1.E+.2958E+1.E+.1E+1 11/ E E+.E+.1755E+1.E+.169E+1.E+.1E+1 27/ 4 1.1E E-1.E+.1589E+.E+.2781E+.E+.1E+1 28/ 5 1.1E E-1.E+.7956E-1.E+.8876E-2.E+.1E+1 29/ 6 1.1E E-1.E+.1468E-1.E+.1593E-1.E+.1E+1 3/ 7 1.1E E-1.E+.1579E-1.E+.1675E-1.E+.1E+1 31/ 8 1.1E E-1.E+.3616E-2.E+.1358E-1.E+.1E+1 32/ 9 1.1E E-1.E+.7891E-3.E+.9467E-3.E+.1E+1 33/ 1 1.1E E-1.E+.559E-4.E+.1286E-3.E+.1E+1 34/ E E-1.E+.1533E-5.E+.319E-4.E+.1E+1 35/ E E-1.E+.7265E-7.E+.162E-5.E+.1E+1 36/ E E-1.E+.946E-9.E+.244E-7.E+.1E+1 37/ KKT CONDITIONS SATISFIED IER= )! SOLUTION: OBJ = KKT = CON = X = E E-9.E E E+ Schließlich ergibt sich die Funktion f aus den identifizierten Parametern: In der Praxis treten häufig auch Nebenbedingungen auf, die z.b. auf Grund von Sicherheitsbestimmungen beachtet werden müssen. Wir konzentrieren uns auf den Fall, daß die Menge X in OP) durch endlich viele Gleichungen und Ungleichungen beschrieben wird:

12 9 Standard-Optimierungsproblem SOP): Minimiere fx) unter den Nebenbedingungen g i x), i = 1,..., m, h j x) =, j = 1,..., p. Darin seien f : R n R, g i : R n R, i = 1,..., m und h j beliebige Funktionen. : R n R, j = 1,..., p Das Standard-Optimierungsproblem SOP) ist ein Spezialfall von OP) mit dem speziellen zulässigen Bereich X = {x R n g i x), i = 1,..., m, h j x) =, j = 1,..., p}. Beispiel 1..5 Optimierungsproblem mit Nebenbedingungen) Betrachte das folgende Standard-Optimierungsproblem: Minimiere fx, y) = x 7) 2 + y 7) 2 unter x, y R, x, y, x + y 1. Zunächst betrachten wir den zulässigen Bereich X des Optimierungsproblems, also alle Punkte x, y) R 2, die die Nebenbedingungen x, y, x + y 1 erfüllen. Der Bereich innerhalb des Dreiecks in der nachfolgenden Abbildung ist der zulässige Bereich zusätzlich sind die Höhenlinien und die Gradienten der Zielfunktion f eingezeichnet):

13 1 KAPITEL 1. EINLEITUNG y x y x 8 1 Es ist leicht zu sehen, daß die Zielfunktion f im Punkt 7, 7) ein globales Minimum mit Funktionswert besitzt. Wegen 7+7 > 1 ist dieser Punkt jedoch nicht zulässig die dritte Nebenbedingung x+y 1 ist verletzt) und somit keine Lösung des Optimierungsproblems! Die tatsächliche Lösung des Problems liegt im Punkt x, y) = 5, 5) auf dem Rand des zulässigen Bereiches. Beispiel 1..6 Portfoliooptimierung) Wir betrachten das Beispiel einer Portfoliooptimierungsaufgabe nach Markowitz. Gegeben seien j = 1,..., n mögliche Anlagen z.b. Aktien, Fonds, Optionen, Wertpapiere). Jede Anlage wirft im nächsten Zeitintervall einen Gewinn oder Verlust) R j ab. Leider ist R j in der Regel nicht bekannt, sondern zufällig verteilt. Um einerseits den Gewinn zu maximieren und andererseits das Risiko eines Verlusts zu minimieren, wird die Anlagesumme zu Anteilen x j auf die Anlagen j = 1,..., n verteilt und die anteiligen Anlagen werden in einem Portfolio zusammengefaßt. Die Aufgabe eines Portfoliomanagers besteht in der optimalen Zusammensetzung eines solchen Portfolios, d.h. die Anteile x j der jeweiligen Anlagen, die in das Portfolio übernommen werden sollen, müssen in einem gewissen Sinne optimal bestimmt werden. Ein mögliches Ziel ist es, den erwarteten Gewinn ER) = n x j ER j ), R = j=1 n x j R j j=1 zu maximieren E bezeichnet den Erwartungswert). Jedoch ist ein hoher Gewinn in der Regel nur mit riskanten Anlagen möglich, so daß auch das Risiko eines Verlusts steigt.

14 11 Als Maß für das Risiko kann die Varianz des Gewinns dienen: n VarR) = ER ER)) 2 = E x j R j ER j )) Ein Kompromiss zwischen hohem Gewinn und geringem Risiko kann durch Lösen des folgenden Optimierungsproblems erreicht werden: n n ) 2 min x j ER j ) + αe x j R j ER j )) unter j=1 j=1 j=1 n x j = 1, x j, j = 1,..., n. j=1 Hierin bezeichnet α > einen Gewichtungsparameter, mit dem die Risikobereitschaft gesteuert werden kann. Mit α = wird der Varianzterm in der Zielfunktion eliminiert, so daß nur noch der Gewinn maximiert wird. Dies entspricht einer hohen Risikobereitschaft. Mit wachsendem α wird der Varianzterm stärker gewichtet und die Risikobereitschaft sinkt. Lineare Optimierungsprobleme stellen einen wichtigen Spezialfall des Standard- Optimierungsproblems dar. Wir konzentrieren uns hier auf die folgende Klasse von linearen Optimierungsproblemen, die wie wir später sehen werden durch geeignete Transformationstechniken stets erreicht werden kann. Lineares Optimierungsproblem LOP): Minimiere c x unter den Nebenbedingungen Ax b, x. Darin seien x, c R n und b R m Vektoren und A R m n eine Matrix. ) 2 Die Ungleichungen und angewendet auf Vektoren sind hier jeweils komponentenweise zu verstehen, d.h. für x = x 1,..., x n ) R n gilt x x i, i = 1,..., n. ) Natürlich ist LOP) ein Spezialfall von SOP) mit fx) = c Ax b x und gx) =. x Dieser ist jedoch in der Praxis sehr wichtig und tritt häufig auf, so daß es lohnenswert ist, speziell zugeschnittene Algorithmen zu konstruieren. Beispiel 1..7 Lineares Optimierungsproblem) Ein Landwirt bewirtschaftet ein Grundstück von 4 Hektar Größe mit Zuckerrüben und

15 12 KAPITEL 1. EINLEITUNG Weizen. Er kann hierzu 24 Euro und 312 Arbeitstage einsetzen. Pro Hektar betragen seine Anbaukosten bei Rüben 4 Euro und bei Weizen 12 Euro. Für Rüben benötigt er 6 Arbeitstage, für Weizen 12 Arbeitstage pro Hektar. Der Reingewinn bei Rüben sei 1 Euro pro Hektar, bei Weizen sei er 25 Euro pro Hektar. Mathematische Formulierung: Wir bezeichnen mit x 1 die Fläche, die mit Rüben bepflanzt wird und mit x 2 die Fläche, die mit Weizen bepflanzt wird. Der zu maximierende Gewinn lautet fx 1, x 2 ) = 1x x 2. Aus der Aufgabenstellung lassen sich folgende Beschränkungen ableiten: Grundstücksgröße: g 1 x 1, x 2 ) := x 1 + x 2 4 Geld: g 2 x 1, x 2 ) := 4x x 2 24 Arbeitstage: g 3 x 2, x 2 ) := 6x x keine negativen Flächen: x 1, x 2 Der zulässige Bereich des Optimierungsproblems ist durch den schraffierten Bereich in der folgenden Abbildung gegeben. Die rote Gerade stellt die Höhenlinie der Zielfunktion zum Niveau 35, die grüne diejenige zum Niveau 55 dar.

16 x g 2 : 4x x 2 = 24 f : 1x x 2 = 55 g 3 : 6x x 2 = f : 1x x 2 = 35 g 1 : x 1 + x 2 = 4 Beobachtungen: Die Höhenlinien einer affin linearen Funktion sind Geraden! Lineare Optimierungsprobleme lassen sich grafisch lösen, indem die Höhenlinie der Zielfunktion in Richtung wachsender Niveaus bei Maximierungsaufgaben) bzw. fallender Niveaus bei Minimierungsaufgaben) bis an den Rand des zulässigen Bereichs verschoben wird. Konkret: 1) Skizziere den zulässigen Bereich. 2) Wähle einen beliebigen Punkt ˆx, setze ihn in die Zielfunktion ein und berechne w = c ˆx. Skizziere die durch c x = w gegebene Gerade. 3) Bewege die Gerade in 2) in die Richtung c bei Minimierungsaufgaben bzw. in Richtung c bei Maximierungsaufgaben solange der Durchschnitt der Geraden und des zulässigen Bereichs nicht leer ist. 4) Die extremste Gerade in 3) ist optimal. Alle zulässigen Punkte auf dieser

17 14 KAPITEL 1. EINLEITUNG Geraden sind optimal. Der optimale Zielfunktionswert kann in der Zeichnung abgelesen werden. Durch Ablesen ergibt sich hier die grafische Lösung x 1 = 3, x 2 = 1 mit Zielfunktionswert fx 1, x 2 ) = 55. Das Optimum wird auch) in einer Ecke des zulässigen Bereichs angenommen. Beispiel 1..8 Transportproblem) Ein Transportunternehmer hat m Vorratslager, aus denen n Verbraucher mit einem Produkt beliefert werden können. Die Lieferkosten von Lager i zu Verbraucher j betragen c ij Einheiten pro Produkteinheit. In Lager i sind a i Einheiten des Produktes vorrätig. Verbraucher j hat einen Bedarf von b j Einheiten. Um die Kunden nicht zu verärgern, muß der Lieferant den Bedarf der Kunden befriedigen. Andererseits möchte der Lieferant seine Lieferkosten minimieren. a 1 Lieferung b 1 Vorratslager a 2 Verbraucher b n a m Bezeichnet x ij die Liefermenge von Lager i zu Verbraucher j, so führt das Problem auf das folgende Transportproblem, welches ein spezielles lineares Optimierungsproblem ist: Minimiere unter m n c ij x ij i=1 j=1 n x ij a i, i = 1,..., m, j=1 m x ij b j, j = 1,..., n, i=1 x ij, i = 1,..., m, j = 1,..., n. Die erste Nebenbedingung besagt, daß aus Lager i maximal a i Einheiten abtransportiert

18 15 werden können. Die zweite Nebenbedingung besagt, daß der Bedarf b j muß. Die letzte Nebenbedingung verbietet negative Liefermengen. befriedigt werden Beispiel 1..9 Netzwerkproblem) Eine Firma möchte so viele Waren wie möglich von Stadt A zu Stadt D über das abgebildete Straßennetzwerk transportieren, wobei die Zahlen neben den Kanten des Netzwerks die maximale Kapazität der jeweiligen Kante angeben. 5 B 2 7 A C 3 6 Wie kann dieses Problem mathematisch modelliert werden? Es bezeichne D V = {A, B, C, D} die Menge der Knoten des Netzwerks, welche den Städten im Netzwerk entsprechen. Weiter bezeichne E = {A, B), A, C), B, C), B, D), C, D)} die Menge der Kanten im Netzwerk, welche den Verbindungsstraßen zwischen jeweils zwei Städten entsprechen. Für jede Kante i, j) E bezeichne x ij die tatsächlich transportierte Menge entlang der Kante i, j) und u ij die maximale Kapazität der Kante. Dann muss die Kapazitätsbeschränkung x ij u ij i, j) E) gelten. Desweiteren ist es sinnvoll anzunehmen, dass in den Städten B und C keine Waren produziert werden und auch keine Waren abhanden kommen, so dass die Erhaltungsgleichungen Abfluss - Zufluss = in B und C gelten müssen: x BD + x BC x AB =, x CD x AC x BC =. Da auf Grund der Erhaltungsgleichungen unterwegs keine Waren verschwinden können und keine zusätzlichen Waren generiert werden, besteht die Aufgabe nun darin, die den Startknoten verlassende Warenmenge zu maximieren dies ist dieselbe Warenmenge, die

19 16 KAPITEL 1. EINLEITUNG den Knoten D erreicht): Maximiere u.d.n. x AB + x AC x BD + x BC x AB =, x CD x AC x BC =, x ij u ij i, j) E). Die Darstellung der verschiedenen Optimierungsprobleme ist nicht vollständig. So gibt es beispielsweise auch ganzzahlige Optimierungsprobleme, unendlichdimensionale Optimierungsprobleme, Vektoroptimierungsprobleme sowie Mischformen der oben dargestellten Problemformen. In dieser Vorlesung beschäftigen wir uns mit unrestringierten Optimierungsproblemen UOP), Standard-Optimierungsproblemen SOP) und linearen Optimierungsproblemen LOP).

20 Kapitel 2 Unrestringierte nichtlineare Optimierung Gegenstand dieses Kapitels ist die Untersuchung nichtlinearer unrestringierter Optimierungsprobleme. unrestringierte Optimierungsproblem U OP ): Minimiere fx) bezüglich x R n. x 1 x 2 x 3 x 4 x 5 x 6 x 7 Abbildung 2.1: Lokale und globale Minima und Maxima einer Funktion: x 1 : striktes globales Minimum, x 2 : lokales Maximum, x 3 : lokales Minimum; x 2, x 3 ): gleichzeitig lokales Minimum und Maximum, x 4 : striktes globales Maximum, x 5 : striktes lokales Minimum, x 6, x 7 : lokale Maxima, x 6, x 7 ): gleichzeitig lokales Minimum und Maximum. Zur Erinnerung: Der Gradient einer Funktion f : R n R an der Stelle x = x 1,..., x n ) R n ist 17

21 18 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG formal definiert als der Spaltenvektor fx 1,..., x n ) := f x 1 x 1,..., x n ). f x n x 1,..., x n ) Im Spezialfall n = 1 ist der Gradient gerade die erste Ableitung von f. Bekanntlich zeigt der Gradient einer Funktion f in die Richtung des steilsten Anstiegs von. f. Außerdem steht der Gradient senkrecht auf den Höhenlinien von f. Die Hessematrix von f an der Stelle x ist gegeben durch 2 fx) x 1 x 1 2 fx) x 1 x n H f x) = fx) x n x 1 Häufig schreibt man auch 2 fx) anstatt H f x). 2 fx) x n x n Im Spezialfall n = 1 ist die Hessematrix gerade die zweite Ableitung von f. Die Hessematrix beschreibt anschaulich die lokale Krümmung einer Funktion. Wir werden notwendige Bedingungen und hinreichende Bedingungen für ein lokales Minimum entwickeln. Notwendige Bedingungen sind Bedingungen, die ein lokales Minimum ˆx zwangsläufig erfüllt. Bei der Herleitung wird daher stets vorausgesetzt, daß bereits ein lokales Minimum ˆx bekannt ist. In Abbildung 2.1 erkennen wir sofort, daß in jedem lokalen Minimum oder Maximum f ˆx) = gilt. Allgemein werden wir sehen, daß die Bedingung fˆx) = für unrestringierte Optimierungsprobleme eine notwendige Bedingung darstellt. Sie ist aber nicht hinreichend. Im Gegensatz zu den notwendigen Bedingungen ist bei hinreichenden Bedingungen a priori nicht bekannt, ob es sich bei einem Kandidaten ˆx um ein lokales Minimum handelt oder nicht. Hinreichende Bedingungen sind Bedingungen, mit denen entschieden werden kann, ob es sich bei ˆx um ein lokales Minimum handelt oder nicht. Später wird gezeigt, daß die Bedingung H f ˆx) positiv definit, wobei H f ˆx) die Hessematrix von f in ˆx bezeichnet, in der unrestringierten Optimierung eine hinreichende Bedingung für ein Minimum ist. Sie ist aber nicht notwendig. Ideal sind Bedingungen, die sowohl notwendig als auch hinreichend sind. Derartige Bedingungen sind aber nur für spezielle Optimierungsprobleme, etwa konvexe Probleme, bekannt.

22 19 Die folgenden Betrachtungen basieren auf der lokalen Approximierbarkeit von f in ˆx. Nach dem Satz von Taylor Taylorentwicklung) gilt: Ist f stetig differenzierbar, so gilt mit lim x ˆx o x ˆx ) x ˆx =. fx) = fˆx) + fˆx) x ˆx) + o x ˆx ) Somit kann f in einer Umgebung von ˆx approximiert werden durch eine affin lineare Funktion: fx) fˆx) + fˆx) x ˆx). fˆx) + fˆx) x ˆx) ˆx fˆx) fˆx) 1 ) Ist f zweimal stetig differenzierbar, so gilt fx) = fˆx) + fˆx) x ˆx) x ˆx) H f ˆx)x ˆx) + o x ˆx 2 ) mit lim x ˆx o x ˆx 2 ) x ˆx 2 =.

23 2 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG Somit kann f in einer Umgebung von ˆx approximiert werden durch eine quadratische Funktion: fx) fˆx) + fˆx) x ˆx) x ˆx) H f ˆx)x ˆx). 2.1) 2..1 Notwendige Bedingungen für unrestringierte Optimierungsprobleme Wir leiten Bedingungen her, die ein lokales Minimum ˆx erfüllen muss. Anschaulich liegt ein lokales Minimum vor, wenn es keine Richtung gibt, in die es lokal) bergab geht. Gibt es in ˆx hingegen eine Richtung, in die f fällt, so kann ˆx kein lokales Minimum sein, da ein kurzer Schritt in Richtung dieser Abstiegsrichtung genügen würde, um den Zielfunktionswert zu reduzieren. Eine formale Definition ist gegeben durch Definition 2..1 Abstiegsrichtung) Seien f : R n R und x R n. d R n heißt Abstiegsrichtung von f in x, falls es ein ᾱ > gibt mit fx + αd) < fx) < α ᾱ. Eine hinreichende Bedingung für eine Abstiegsrichtung liefert der folgende Hilfssatz. Hilfssatz Sei f : R n R stetig differenzierbar in x. d ist eine Abstiegsrichtung von f in x, wenn fx) d < gilt. Beweis: Die Richtungsableitung von f in x in Richtung d lautet fx + αd) fx) lim α α = fx) d <. Hieraus folgt die Existenz eines ᾱ > mit fx + αd) fx) < für alle < α ᾱ, d.h. d ist Abstiegsrichtung. Bemerkung Die Bedingung fx) d < bedeutet geometrisch, daß der Winkel zwischen Gradient und Abstiegsrichtung zwischen 9 und 27 liegt. Dies läßt sich aus der für Vektoren a, b R n allgemein gültigen Beziehung ableiten. cos a, b) = a b a b = a, b a b

24 21 Die Bedingung in Hilfssatz ist nur hinreichend für eine Abstiegsrichtung aber nicht notwendig. Betrachte z.b. ein striktes lokales Maximum ˆx mit fˆx) =. Für alle Richtungen d R n gilt dann fˆx) d =. Andererseits ist in einem strikten lokalen Maximum jede Richtung d R n eine Abstiegsrichtung. Damit können wir eine erste notwendige Bedingung formulieren: Ist ˆx ein lokales Minimum, so gibt es keine Abstiegsrichtung von f in ˆx. Notwendig muss dann fˆx) d gelten für alle Richtungen d R n, denn andernfalls wäre d Abstiegsrichtung. Die Bedingung fˆx) d ist für jeden beliebigen Vektor d R n nur dann erfüllt, wenn bereits fˆx) = gilt. Damit ist bewiesen: Satz Notwendige Bedingung erster Ordnung) Sei f : R n R stetig differenzierbar und ˆx ein lokales Minimum von f. Dann gilt Im Spezialfall n = 1 gilt f ˆx) =. fˆx) =. Beweis: Sei ˆx ein lokales Minimum. Annahme: Es gilt fˆx). Dann gibt es eine Abstiegsrichtung d R n mit fˆx) d <. Wegen fˆx + αd) fˆx) lim α α = fˆx) d < gilt auch fˆx + αd) < fˆx) für alle hinreichend kleinen α >. Dies ist ein Widerspruch zur lokalen Minimalität von ˆx. Definition stationärer Punkt) Jeder Punkt x mit fx) = heißt stationärer Punkt von f. Das folgende Beispiel zeigt, daß die Bedingung fˆx) = nur notwendig, aber nicht hinreichend für ein lokales Minimum ist. Stationäre Punkte sind also nicht automatisch lokale Minima! Beispiel Betrachte die Funktionen fx) = x 2 und gx) = x 2 und ˆx =. In ˆx = gilt f ˆx) = und g ˆx) =. Allerdings besitzt f in ˆx = ein globales Minimum, während g dort ein globales Maximum besitzt. Wir wollen eine weitere notwendige Bedingung herleiten. Dazu greifen wir auf die Taylorentwicklung 2.1) zurück. Ist ˆx ein stationärer Punkt von f, so gilt fˆx) = und die Taylorentwicklung in 2.1) reduziert sich zu fx) fˆx) x ˆx) H f ˆx)x ˆx).

25 22 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG Damit besitzt f lokal dieselben Eigenschaften wie die quadratische Funktion qx) := fˆx) x ˆx) H f ˆx)x ˆx). 2.2) Für diese quadratische Funktion gilt qx) = H f ˆx)x ˆx), 2 qx) = H f ˆx). Die Hessematrix H f ˆx) beschreibt anschaulich die Krümmung der Funktion f in ˆx. q heißt positiv bzw. negativ) gekrümmt, falls 2 qx) = H f ˆx) positiv bzw. negativ) definit ist. q heißt nichtnegativ bzw. nichtpositiv) gekrümmt, falls 2 qx) = H f ˆx) positiv bzw. negativ) semidefinit ist. q ist weder nichtnegativ noch nichtpositiv gekrümmt, falls 2 qx) = H f ˆx) indefinit ist. Wir veranschaulichen mögliche Fälle im R 2 : ) fx, y) = x 2 + y 2 2, H f ˆx) = positiv definit: 2 x^2 + y^ x y fx, y) = x 2 y 2, H f ˆx) = 2 2 ) negativ definit:

26 23 -x^2 - y^ x y fx, y) = x 2 y 2, H f ˆx) = 2 2 ) indefinit: x^2 - y^ x y Für die konkrete Überprüfung einer Matrix auf positive oder negative Semi-)Definitheit sind die obigen Definitionen ungeeignet. Für symmetrische Matrizen A = A gibt es jedoch eine einfache Charakterisierung mit Hilfe der Eigenwerte von A.

27 24 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG Für symmetrische Matrizen A = A gelten folgende Beziehungen: sämtliche Eigenwerte von A sind positiv A ist positiv definit sämtliche Eigenwerte von A sind negativ A ist negativ definit sämtliche Eigenwerte von A sind A ist positiv semidefinit sämtliche Eigenwerte von A sind A ist negativ semidefinit A besitzt positive und negative Eigenwerte A ist indefinit Wir können nun eine weitere notwendige Bedingung formulieren, die besagt, daß die quadratische Form q in einem lokalen Minimum nichtnegativ gekrümmt sein muß. Satz Notwendige Bedingung zweiter Ordnung) Sei f : R n R zweimal stetig differenzierbar und ˆx ein lokales Minimum von f. Dann ist die Hessematrix H f ˆx) positiv semidefinit. Im Spezialfall n = 1 gilt f ˆx). Beweis: siehe Gerdts [Ger5] Beispiel Betrachte wieder die Funktionen fx) = x 2 und gx) = x 2. In beiden Fällen ist ˆx = ein stationärer Punkt. Wegen f ) = 2 > erfüllt f die notwendige Bedingung zweiter Ordnung. Wegen g ) = 2 < erfüllt g die notwendige Bedingung zweiter Ordnung nicht, d.h. ˆx = ist kein lokales Minimum der Funktion g. Das folgende Beispiel zeigt, daß die notwendigen Bedingung zweiter Ordnung ebenfalls nicht hinreichend für lokale Optimalität ist. Beispiel Die Funktion fx) = x 3 erfüllt ebenfalls f ) = und sogar f ) =, ist also positiv semidefinit. Somit sind beide notwendigen Bedingungen erfüllt. Jedoch besitzt sie weder ein lokales noch globales Minimum oder Maximum in x =. Beispiel Betrachte fx 1, x 2 ) := x 2 1 x 4 2. Es gilt fx 1, x 2 ) = 2x 1 4x 3 2 ). Daher ist ˆx =, ) der einzige stationäre Punkt von f. Weiter gilt ) 2 H f x 1, x 2 ) = bzw. H 12x 2 f, ) = 2 2 )

28 25 Die Hessematrix ist positiv semidefinit, d.h. ˆx erfüllt die notwendige Bedingung zweiter Ordnung. Allerdings ist ˆx kein lokales Minimum, sondern ein Sattelpunkt. x^2 - y^ x y Fazit: Bestimmt man alle Punkte, die die notwendigen Bedingungen fx) = und H f x) positiv semidefinit erfüllen, so sind diese Punkte lediglich Kandidaten für ein lokales) Minimum. Wir werden später erkennen, daß die meisten numerischen Verfahren versuchen, stationäre Punkte zu approximieren Hinreichende Bedingungen für unrestringierte Optimierungsprobleme Um entscheiden zu können, ob ein Punkt ˆx, der die notwendigen Bedingungen erster und zweiter Ordnung erfüllt, tatsächlich ein lokales) Minimum ist, werden hinreichende Bedingungen benötigt. Satz 2..2 Sei f : R n R zweimal stetig differenzierbar und ˆx ein stationärer Punkt mit positiv definiter Hessematrix H f ˆx). Dann ist ˆx ein striktes lokales Minimum von f.

29 26 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG Im Spezialfall n = 1 muß f ˆx) > gelten. Beweis: siehe Gerdts [Ger5] Bemerkung Die hinreichende Bedingung ist i.a. nicht notwendig. Ein Gegenbeispiel liefert die Funktion fx 1, x 2 ) := x x 4 2. Hier ist ˆx = ein striktes globales Minimum, die Hesse-Matrix ist jedoch nicht positiv definit. Beispiel Für die Funktion fx, y) := y 2 x 1) + x 2 x + 1) berechnen wir den Gradienten fx, y) = y 2 + 3x 2 + 2x 2yx 1) ) und die Hessematrix 2 fx, y) = 6x + 2 2y 2y 2x 1) ). Aus fx, y) = ergeben sich somit die stationären Punkte x, y ) =, ) x 1, y 1 ) = 2/3, ). Für die zugehörigen Hesse-Matrizen erhält man und ) 2 fx, y 2 ) = indefinit 2 ) 2 fx 1, y 1 2 ) = negativ definit 1 3 x y x 1 y 1 Sattelpunkt ) striktes lokales Maximum MAPLE-Befehl plot3dy^2*x-1)+x^2*x+1),x=-1...5,y= ,axes=boxed, style=patchcontour,contours = 4,shading=XYZ):

30 y x.2.4 MAPLE-Befehl contourploty^2*x-1)+x^2*x+1),x=-1...5,y= ,contours=2, coloring=[red,blue],scaling=constrained,axes=boxed):

31 28 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG.4.2 y x Allgemeine Abstiegsverfahren Wir konstruieren ein allgemeines Konzept zur Minimierung einer stetig differenzierbaren Funktion f : R n R. Der Algorithmus basiert auf der Verwendung von Abstiegsrichtungen. Algorithmus Abstiegsverfahren) i) Bestimme einen Startpunkt x [] R n und setze i =. ii) Falls ein Abbruchkriterium erfüllt ist, STOP.

32 2.1. ALLGEMEINE ABSTIEGSVERFAHREN 29 iii) Berechne eine Abstiegsrichtung d [i] und eine Schrittweite α i >, so daß fx [i] + α i d [i] ) < fx [i] ) gilt und setze x [i+1] = x [i] + α i d [i]. iv) Setze i := i + 1 und gehe zu ii). Natürlich ist dieser Algorithmus lediglich von konzeptioneller Art, da die wesentlichen Komponenten Bestimmung der Abstiegsrichtung, der Schrittweite und geeigneter Abbruchkriterien) noch nicht näher beschrieben wurden und sehr viel Freiraum lassen. Im Vorgriff auf später seien einige Beispiele für Suchrichtungen genannt: Beim Gradientenverfahren oder Verfahren des steilsten Abstiegs wird die Richtung d [i] := fx [i] ) gewählt. Wegen fx [i] ) d [i] = fx [i] ) 2 < ist d [i] eine Abstiegsrichtung, falls fx [i] ) gilt. Beim Newtonverfahren wird die Richtung d [i] := H f x [i] ) 1 fx [i] ) verwendet. Hierbei wird die Hessematrix H f von f benötigt. Ist diese positiv definit, so ist d [i] eine Abstiegsrichtung, falls fx [i] ) gilt. Das folgende Beispiel zeigt, daß eine beliebige Wahl der Schrittweite i.a. nicht zum Erfolg führt. Beispiel fx) = x 2, d [i] := f x [i] ) = 2x [i] ist Abstiegsrichtung für x [i]. Sei x [] := 1 und Insgesamt erhält man α i := 1 2 i+3. x [i+1] = x [i] 2α i x [i] = x [i] 1 2 i+2 x[i] = x [i] Mit x [] = 1 > folgt < x [i] < 1 für alle i und es gilt i 1 x [] x [i] = x [j] x [j+1] = j= i 1 j= 1 2 j+2 x[j] 1 1 ). 2 i+2 i 1 j= 1 2 j

33 3 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG Also ist x [] x [i] = 1 x [i] < 1/2. Somit konvergiert x [i] nicht gegen den einzigen stationären Punkt. Ohne auf Details eingehen zu wollen, sei erwähnt, daß zumindest eine Teilfolge der Folge {x [i] } gegen einen stationären Punkt von f konvergiert, wenn die Schrittweiten α i und die Suchrichtungen d [i] die folgenden Bedingungen erfüllen: Die Schrittweiten α i müssen effizient sein, d.h. die Schrittweite α i muß so beschaffen sein, daß sie zu einer hinreichend großen Abnahme des Funktionswerts beim Übergang von x [i] zu x [i+1] führt dies war in Beispiel nicht der Fall). Die Suchrichtungen d [i] müssen die Winkelbedingung fx[i] ) d [i] fx [i] ) d [i] C für eine Konstante C > erfüllen. Anschaulich besagt die Winkelbedingung, daß der Winkel zwischen fx [i] ) und d [i] immer zwischen 9 und 9 liegt und dabei gleichmäßig also unabhängig von i) von 9 und 9 wegbleibt, vgl. Abbildung 2.2. Insbesondere ist d [i] dann auch Abstiegsrichtung. x [i] α α {x fx) = fx [i] ) d [i] fx [i] ) Abbildung 2.2: Winkelbedingung für die Suchrichtungen. 2.2 Schrittweitenstrategien In diesem Abschnitt beschäftigen wir uns mit der Berechnung einer Schrittweite α i in Schritt iii) des Abstiegsverfahrens Dazu sei im Punkt x [i] eine Richtung d [i] mit fx [i] ) d [i] < gegeben. Nach Hilfssatz ist d [i] somit eine Abstiegsrichtung von f in x [i]. Um das allgemeine Abstiegsverfahren durchführen zu können, muß also nur noch die Schrittweite α i bestimmt werden.

34 2.2. SCHRITTWEITENSTRATEGIEN 31 Zur Bestimmung der Schrittweite genügt es, für α die skalare Funktion ϕ : R R mit ϕα) := fx [i] + α d [i] ) zu betrachten. Aus folgt ϕ ) = fx [i] ) d [i] < ϕα) < ϕ) für alle < α ᾱ mit einem ᾱ >, vgl. Abbildung ϕα) fx [i] ) x y d [i].5 1 x [i] Abbildung 2.3: Eindimensionale Liniensuche ausgehend von x [i] in Richtung d [i]. Wir werden hier nur die praktisch häufig verwendete Armijoregel diskutieren. Es gibt zahlreiche weitere Strategien, etwa die exakte Minimierung der Funktion ϕ bzgl. α >, die jedoch praktisch nur für Spezialfälle realisierbar ist Armijo-Regel Zu vorgegebenen Zahlen β, 1) und σ, 1) bestimme α i := max{β j j =, 1, 2,...}, so daß ϕα i ) ϕ) + σ α i ϕ ) 2.3) gilt. Wegen ϕ ) < garantiert die Armijo-Regel, daß die Zielfunktionswerte fx [i] ), i =, 1,... streng monoton fallen. Die Realisierung der Armijo-Regel ist einfach und

35 32 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG kann mit dem folgenden Algorithmus erfolgen: Algorithmus Armijo-Regel) i) Wähle β, 1), σ, 1) und setze α := 1. ii) Falls die Bedingung ϕα) ϕ) + σ α ϕ ) erfüllt ist, setze α i := α und beende das Verfahren. Andernfalls gehe zu iii). iii) Setze α := β α und gehe zu ii). ϕα) ϕ) + σ α ϕ ) α = ϕ) + α ϕ ) α Abbildung 2.4: Schrittweiten, die der Armijoregel genügen. Die fett eingezeichneten Intervalle in Abbildung 2.4 erfüllen die Armijo-Bedingung 2.3). Die Armijo-Regel ist wohldefiniert, wenn f stetig differenzierbar ist. Bemerkung i) In der Praxis liefern die Werte σ =.1 und β =.9 häufig gute Ergebnisse. Genauere Untersuchungen finden sich bei Spellucci [Spe93] und Alt [Alt2]. ii) Die Armijo-Regel ist i.a. nicht effizient.

36 2.3. GRADIENTENVERFAHREN 33 iii) Häufig kann man beobachten, daß die Armijobedingung gegen Ende des Abstiegsalgorithmus bereits im ersten Versuch erfüllt ist. Dies ist jedoch zu Beginn des Abstiegsalgorithmus unerwünscht, da ein zu schnelles Akzeptieren der Schrittweite oft zu zu kleinen Schrittweiten führt. Dieses Verhalten vermeidet die Armijoregel mit Aufweitung. Hier wird eine von der Armijoregel im ersten Schritt akzeptierte Schrittweite so lange mit 1/β multipliziert aufgeweitet ) bis die Armijobedingung 2.3) nicht mehr erfüllt ist. 2.3 Gradientenverfahren Wir untersuchen hier das Gradientenverfahren bzw. das Verfahren des steilsten Abstiegs zur unrestringierten Minimierung einer stetig differenzierbaren Funktion f : R n R. Da der Gradient einer Funktion in Richtung des steilsten Anstiegs der Funktionswerte zeigt, zeigt der negative Gradient d = fx) in Richtung des steilsten Abstiegs von f. Es gilt fx) d = fx) 2. Ist x kein stationärer Punkt, d.h. es gilt fx), so ist d = fx) tatsächlich eine Abstiegsrichtung mit fx) d <. Gemäß Definition 2..1 gibt es dann eine Schrittweite α > mit fx + αd) < fx). Eine geeignete Schrittweite kann mit der exakten Minimierung oder mit der Armijoregel erfolgen. Das Gradientenverfahren mit Armijoregel lautet: Algorithmus Gradientenverfahren mit Armijoregel) i) Bestimme einen Startpunkt x [] R n und setze i =. ii) Falls ein Abbruchkriterium z.b. fx [i] ) = ) erfüllt ist, STOP. iii) Berechne d [i] = fx [i] ) und eine Schrittweite α i > gemäß Algorithmus Armijoregel). Setze x [i+1] = x [i] + α i d [i]. iv) Setze i := i + 1 und gehe zu ii). Es gilt folgender Konvergenzsatz für das Gradientenverfahren mit Armijoregel:

37 34 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG Satz Wird durch das Gradientenverfahren für eine stetig differenzierbare Funktion f : R n R eine nicht abbrechende Folge {x [k] } definiert, so gilt für jeden Häufungspunkt x dieser Folge fx ) =. Beweis: siehe Gerdts [Ger5] Das folgende Beispiel zeigt das Verhalten des Gradientenverfahrens mit exakter Liniensuche. Es verdeutlich die mitunter sehr langsame Konvergenz des Verfahrens es werden i.a. sehr viele Schritte benötigt). Beispiel Wir verwenden das Gradientenverfahren zur Minimierung der Funktion fx 1, x 2 ) := x x 2 2. Die Bestimmung der Schrittweite erfolge mit exakter Liniensuche, d.h. α := argmin{fx + α d) : α > }. Wir erhalten fx 1, x 2 ) = 2x 1, 2x 2 ) d = 2x 1, 2x 2 ) ϕα) = x 1 + αd 1 ) x 2 + αd 2 ) 2 ϕ α) = 2 x 1 + αd 1 ) d x 2 + αd 2 ) d 2 = Aus ϕ α) = notwendige Bedingung für Minimalität von ϕ) folgt α := x 1d x 2 d 2, x neu d d 2 i := x i + α d i, i = 1, 2). 2 Mit dem Startvektor x [] := 1,.1) benötigt das Verfahren 63 Iterationen um das Abbruchkriterium fx) zu erfüllen.

38 2.4. NEWTON-VERFAHREN Newton-Verfahren Das Newtonverfahren basiert auf der Approximation der Funktion f in der Nähe der Iterierten x [i] durch eine quadratische Funktion. Diese quadratische Funktion wird dann minimiert, um eine Schrittweite zu erhalten. Wie in 2.1) approximieren wir die zweimal stetig differenzierbare Funktion f in einer Umgebung von der aktuellen Iterierten x [i] durch die quadratische Funktion qd) = fx [i] ) + fx [i] ) d d H f x [i] )d. Anstatt f zu minimieren, wird nun das quadratische Modell qd) bzgl. d minimiert. Dazu setzen wir voraus, daß die Hessematrix H f x) positiv definit hinreichende Bedingung zweiter Ordnung!) ist. In diesem Fall besitzt q ein eindeutig bestimmtes Minimum ˆd. Notwendig gilt dann = q ˆd) = fx [i] ) + H f x [i] ) ˆd. Da H f x [i] ) als positiv definit vorausgesetzt wurde, ist H f x [i] ) invertierbar und wir erhalten die Suchrichtung ˆd = H f x) 1 fx). 2.4) Für fx) ist ˆd wegen fx) ˆd = fx) H f x) 1 fx) < eine Abstiegsrichtung von f in x. Dies zeigt

39 36 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG Hilfssatz Für eine zweimal stetig differenzierbare Funktion f : R n R führt das Prinzip der lokalen Minimierung mit quadratischem Modell auf die Suchrichtung H f x)d = fx). 2.5) Ist die Hessematrix H f x) positiv definit, so ist d eine Abstiegsrichtung. Bemerkung Die Annahme, daß die Hessematrix H f x) zumindest für alle vom Abstiegsverfahren erzeugten Punkte positiv definit ist, ist durchaus restriktiv und keinesfalls immer erfüllt. Allerdings ist das entstandene Verfahren auch sinnvoll, wenn H f x) lediglich invertierbar aber nicht positiv definit ist dann ist es i.a. allerdings kein Abstiegsverfahren mehr). Das Newtonverfahren kann auch anders motiviert werden. Bekanntlich erfüllt ein lokales Minimum ˆx von f notwendigerweise fˆx) =. Dies ist ein i.a. nichtlineares Gleichungssystem für ˆx. Anwendung des Newton-Verfahrens für nichtlineare Gleichungen) liefert ebenfalls die Iterationsvorschrift H f x [i] )d [i] = fx [i] ), x [i+1] = x [i] + d [i], i =, 1, 2,.... Wir widmen uns nun der Konvergenz des lokalen Newtonverfahrens, welches sich dadurch auszeichnet, daß stets die Schrittweite α i = 1 gewählt wird. Algorithmus lokales Newtonverfahren) i) Wähle einen Startvektor x [] R n und setze i =. ii) Falls ein Abbruchkriterium erfüllt ist, STOP. iii) Berechne falls möglich) die Suchrichtung d [i] als Lösung des Gleichungssystems 2.5) mit x = x [i], setze x [i+1] = x [i] + d [i], i := i + 1 und gehe zu ii). Wie wir später sehen werden, zeichnet sich das Newtonverfahren durch eine sehr schnelle Konvergenz aus. Definition lineare, superlineare und quadratische Konvergenz) Sei {x [i] } eine Folge.

40 2.4. NEWTON-VERFAHREN 37 a) {x [i] } konvergiert linear gegen ˆx, falls es ein < c < 1 gibt mit x [i+1] ˆx c x [i] ˆx für alle hinreichend großen i. b) {x [i] } konvergiert superlinear gegen ˆx, falls es eine Nullfolge {c i }, c i gibt mit x [i+1] ˆx c i x [i] ˆx i N, d.h. x [i+1] ˆx = o x [i] ˆx ). c) {x [i] } konvergiert von der Ordnung p 2 gegen ˆx, falls es ein c > gibt mit x [i+1] ˆx c x [i] ˆx p i N, d.h. x [i+1] ˆx = O x [i] ˆx p ). Im Fall p = 2 heißt die Folge quadratisch konvergent. Der folgende Konvergenzsatz zeigt die lokal superlineare bzw. quadratische Konvergenz des Newtonverfahrens. Satz Konvergenzsatz für das Newtonverfahren) Die zweimal stetig differenzierbare Funktion f : R n R besitze ein lokales) Minimum ˆx. Die Hessematrix H f ˆx) sei invertierbar. Dann gibt es ein r >, so daß das lokale Newton-Verfahren für alle Startwerte x [] mit x [] ˆx < r wohldefiniert ist und die Folge {x [i] } konvergiert superlinear gegen ˆx. Erfüllt H f zusätzlich noch die Lipschitz-Bedingung H f x) H f y) L x y x, y R n, so ist die Folge {x [i] } sogar quadratisch konvergent. Beweis: siehe Gerdts [Ger5] Bemerkung 2.4.6

41 38 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG Das Newtonverfahren konvergiert also mindestens superlinear. Dies ist sehr schnell im Vergleich zum Gradientenverfahren, welches nur linear konvergent ist. Das Newtonverfahren braucht in der Regel sehr viel weniger Iterationen als das Gradientenverfahren. Das lokale Newtonverfahren konvergiert i.a. nicht für beliebige Startwerte x [], sondern nur für Startwerte, die hinreichend dicht an einem lokalen Minimum liegen. Über Satz hinaus lassen sich weitere Konvergenzresultate erzielen, wenn H f x) durch eine geeignete Matrix Ax) ersetzt wird. Um die superlineare Konvergenzgeschwindigkeit zu erhalten, wird man verlangen müssen, daß Ax) x ˆx H f ˆx) gilt. Beispiel verdeutlicht einige Varianten numerisch. Beispiel Funktion von Himmelblau) Wir minimieren fx, y) = x 2 + y 11) 2 + x + y 2 7) 2 mit dem Newtonverfahren. Es gilt fx, y) = 2 fx, y) = 4xx 2 + y 11) + 2x + y 2 7) 2x 2 + y 11) + 4yx + y 2 7) 12x 2 + 4y 42 4x + y) 4x + y) 4x + 12y 2 26 ), ). 4 lokale Minimalstellen zugleich global) mit Funktionswert ; darunter der Punkt 3, 2). 4 Sattelpunkte ein lokales Maximum in.27845,.92339)

42 2.4. NEWTON-VERFAHREN y x x y 4 Wir diskutieren einige Varianten des Newtonverfahrens. Die Iterationsvorschrift für einen Startwert x [] und gx) = fx) lautet Ax [i] )d [i] = gx [i] ), x [i+1] = x [i] + d [i], i =, 1, 2,.... Die Matrix A ) R n n wird dabei auf die folgenden Arten berechnet: Ax) := H f x) klassisches Newtonverfahren);

43 4 KAPITEL 2. UNRESTRINGIERTE NICHTLINEARE OPTIMIERUNG finite Differenzen-Approximation der Hessematrix H f x), d.h. Ax) = A jk x)) j,k=1,...,n ist gegeben durch A jk x) := g jx + h i e k ) g j x) h i, j, k = 1,..., n, wobei e k den k-ten Einheitsvektor bezeichnet. Die Schrittweite h i sei durch h i =.1 i+1 gegeben, wobei i den Iterationsindex des Newtonverfahrens bezeichnet. Beachte, daß h i für i gilt. vereinfachtes Newtonverfahren mit Ax [i] ) := H f x [] ) für i =, 1, 2,.... Als Abbruchkriterium des Newtonverfahrens verwenden wir jeweils fx, y) 1 13 und als Startpunkt x [], y [] ) = 4, 2.5). Das klassische Newtonverfahren liefert das folgende Ergebnis: ITER X1) X2) GRAD DX P=1 P= E+1.25E E+3.E+.E+.E E E E E E E E E E E E E E E E E E E+ 4.3E+1.2E E E E E+ 5.3E+1.2E E E E E+ 6.3E+1.2E+1.E E-13.E+.E+ Die letzten beiden Spalten testen die Folge x [i], y [i] ), i =, 1, 2,... auf lineare P=1 strebt gegen Wert, P=2 explodiert), superlineare P=1 strebt gegen, P=2 explodiert) und quadratische Konvergenz P=1 strebt gegen, P=2 strebt gegen Wert ). Die Rechnungen zeigen eine quadratische Konvergenz des klassischen Newtonverfahrens gegen das Minimum 3, 2). Das Newtonverfahren mit finiten Differenzen liefert das folgende Ergebnis: ITER X1) X2) GRAD DX P=1 P= E+1.25E E+3.E+.E+.E E E E E E E E E E E E E E E E E E E E E E E E E+2 5.3E E E E E E+3 6.3E+1.2E E E E E+5 7.3E+1.2E E E E E+6 8.3E+1.2E E E E E+8 9.3E+1.2E E E E E+1 1.3E+1.2E E E E E+12 Die Rechnungen zeigen eine superlineare Konvergenz des Newtonverfahrens mit finiten Differenzen gegen das Minimum 3, 2). Das vereinfachte Newtonverfahren liefert das folgende Ergebnis: ITER X1) X2) GRAD DX P=1 P= E+1.25E E+3.E+.E+.E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E E+1.2E E E E E E+1.2E E E E E E+1.2E E E E E E+1.2E E E E E+15

44 2.4. NEWTON-VERFAHREN 41 Sogar das vereinfachte Newtonverfahren konvergiert, allerding nur linear.

45 Kapitel 3 Lineare Optimierung In diesem Kapitel werden lineare Optimierungsprobleme diskutiert. Lineare Optimierungsprobleme zeichnen sich dadurch aus, daß die Zielfunktion und die Nebenbedingungen im Standardoptimierungsproblem SOP durch lineare Funktionen gegeben sind. Zur Erinnerung: Was ist eine lineare Funktion? Definition 3..1 lineare Funktion) f : R n R m heißt linear genau dann, wenn fx + y) = fx) + fy), fcx) = cfx) für alle x, y R n und jedes c R gelten. Beispiel 3..2 lineare vs. nichtlineare Funktion) Die Funktionen f 1 x) = x, f 2 x) = 3x 1 5x 2, x = f 3 x) = c x, x, c R n, f 4 x) = Ax, x R n, A R m n, sind linear Beweis?). Die Funktionen f 5 x) = 1, f 6 x) = x + 1, x R, f 7 x) = Ax + b, x R n, A R m n, b R m, f 8 x) = x 2, f 9 x) = sinx), f 1 x) = a n x n + a n 1 x n a 1 x + a, a i R, a n,..., a 2, a ) 42 x 1 x 2 ),