Mathematik für Bioinformatik und Systembiologie. - Kapitel Einführung in die Optimierung - Roland Herzog und Dirk Lebiedz

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Mathematik für Bioinformatik und Systembiologie. - Kapitel Einführung in die Optimierung - Roland Herzog und Dirk Lebiedz"

Transkript

1 Mathematik für Bioinformatik und Systembiologie - Kapitel Einführung in die Optimierung - Roland Herzog und Dirk Lebiedz WS 2009/10 Universität Freiburg

2 Dieses Vorlesungsskript ist auf der Basis von Vorlesungen zu Grundlagen der Optimierung und ihrer LaTeX-Ausarbeitung von Prof. Dr. Roland Herzog an der TU Chemnitz und PD Dr. Dirk Lebiedz an der Universität Freiburg zusammengestellt. Der Inhalt orientiert sich in weiten Teilen an den Darstellungen in den Literaturempfehlungen: Geiger und Kanzow: Numerische Verfahren zur Lösung unrestringierten Optimierungsaufgaben, Springer (1999), Geiger und Kanzow: Theorie und Numerik restringierten Optimierungsaufgaben, Springer (2002) und Nocedal und Wright: Numerical Optimization, 2nd editions, Springer (2006). Fehler und Kommentare bitte an: Stand: 18. Dezember 2009

3 Inhaltsverzeichnis Kapitel 0. Einführung 5 1 Grundbegriffe 5 Kapitel 1. Unbeschränkte Optimierung 9 3 Optimalitätsbedingungen 9 4 Ein allgemeines Abstiegsverfahren 9 5 Eine effiziente Schrittweitenstrategie: Armijo-Regel 11 6 Wahl der Suchrichtungen: Gradientenverfahren Konvergenz bei quadratischer Zielfunktion 13 7 Wahl der Suchrichtungen: Newton-Verfahren 15 Kapitel 2. Nichtlineare beschränkte Optimierung 17 8 Einführung 17 9 Notwendige Optimalitätsbedingungen Optimalitätsbedingungen unter LICQ Numerische Methoden für beschränkte nichtlineare Optimierungsprobleme 20 3

4

5 KAPITEL 0 Einführung 1 Grundbegriffe Allgemeines beschränktes Optimierungsproblem Minimiere f(x) über x Ω (Zielfunktion) sodass h i (x) = 0, i E (Gleichungsnebenbedingungen) und g i (x) 0, i I (Ungleichungsnebenbedingungen) (1.1) Ω heißt Grundmenge und x die Variable(n) der Aufgabe. Sei Ω R n f, g i, h i : R n R hinreichend glatte Funktionen (2-mal stetig diff.bar) E und I endliche (ggf. leere) Indexmengen. Definition 1.1 Die Menge X = {x Ω : h i (x) = 0 für alle i E, g i (x) 0 für alle i I} heißt zulässige Menge, x X zulässiger Punkt. (a) Ein x X heißt globales Optimum, wenn gilt: f(x ) f(x) für alle x X. (b) Ein globales Optimum heißt strikt, wenn gilt: f(x ) < f(x) für alle x X, x x. (c) Ein x X heißt lokales Optimum, wenn es eine Umgebung U(x ) gibt, sodass gilt: f(x ) f(x) für alle x X U(x ). (d) Ein lokales Optimum heißt strikt, wenn gilt: f(x ) < f(x) für alle x X U(x ), x x. Ein Optimum nennt man auch Minimum, Minimalstelle oder Lösung von (1.1). 5

6 6 0. EINFÜHRUNG Fragestellungen: Wann existieren Optimallösungen? Wie überprüft man Optimalität? ( Optimalitätsbedingungen) Wie kann man Optimallösungen näherungsweise numerisch bestimmen? Wie konstruiert man effiziente Algorithmen? Beispiel 1.2 (Angebotsauswertung) Ein Pharma-Unternehmen will eine bestimmte Menge M einer Basischemikalie einkaufen und holt dazu Angebote von n Lieferfirmen ein, von denen keine die gewünschte Gesamtmenge alleine liefern kann. Anbieter i liefert maximal m i, wobei der Preis f i (x i ) von der Bestellmenge x i abhängt. [f i wird i.d.r. monoton wachsend sein und evtl. nichtlinear.] Die minimalen Beschaffungskosten ergeben sich durch Lösung der folgenden Optimierungsaufgabe: n min f(x) := f i (x i ), x R n i=1 n (1.2) sodass x i = M i=1 und 0 x i m i, i = 1,..., n. Beispiel 1.3 (Parameteridentifizierungsproblem) Eine an einer Feder befestigte Masse bewegt sich unter dem Einfluss von Dämpfung gemäß der Differentialgleichung mÿ + rẏ + ky = 0. In einem Experiment mit Anfangsanregung y(0) = y 0, ẏ(0) = 0 soll zu verschiedenen Zeitpunkten t i, i = 1,..., N die Auslenkung y i gemessen werden. Daraus sollen bei bekannter Masse m die unbekannten Dämpfungs- und Federkonstanten (Parameter) r und k bestimmt werden. Wir setzen x := (r, k). Die Lösung der Differentialgleichung zum Zeitpunkt t mit obigen Anfangsbedingungen wird mit y(t; x) bezeichnet, um die Abhängigkeit von den zu bestimmenden Parametern x zu verdeutlichen. Wir formulieren folgende Aufgabe: min f(x) := 1 N y(t i ; x) y i 2, x R 2, (1.3) 2 i=1 damit die Messwerte y i möglichst gut die Vorhersage der Position durch das Modell y(t i ; x) wiedergeben. Motivation für diese Methode der kleinsten Quadrate : Sind die Messfehler in den Daten y i unabhängig und identisch verteilt und folgen sie einer Normalverteilung, so erhält man durch Minimierung der Fehlerquadratsumme gerade den wahrscheinlichsten Parameterwert x.

7 Beispiel 1.4 (Optimalsteuerungsproblem) 0. GRUNDBEGRIFFE 7 Problemstellung: Der Wagen soll möglichst schnell zum Nullpunkt gesteuert werden und dort stehenbleiben. Es seien x 1 (t) : Position des Wagens (Masse = 1) zur Zeit t x 2 (t) : Geschwindigkeit des Wagens u(t) : Beschleunigung des Wagens, Steuerfunktion ( ) x1 (t) x(t) = : Zustand des Systems. x 2 (t) Die Dynamik des Systems ist nach dem zweiten Newton schen Axiom (Kraft = Masse Beschleunigung) gegeben durch ẋ 1 (t) = x 2 (t) ẋ 2 (t) = u(t) x(0) = x 0 R 2 ( 0 x(t ) = 0) u(t) [ 1, 1] Anfangsbedingung Endbedingung Steuerbeschränkung (1.4) Ziel: Bestimme eine stückweise stetige optimale Steuerung u : [0, T ] R so, dass die Endzeit T minimal wird unter den Beschränkungen (1.4). Optimalsteuerungsprobleme sind unendlich-dimensionale (infinite) Optimierungsprobleme, da die Optimierungsvariablen (Steuer-)Funktionen sind, also Elemente eines unendlich-dimensionalen Vektorraums. Man kann sie mit Hilfe sog. direkter numerischer Methoden behandeln, indem man die Steuerfunktionen parametrisiert (z.b. durch Polynome approximiert) und dadurch auf einen endlich-dimensionalen Raum mit endlich vielen Optimierungsvariablen projiziert (siehe Übung). Optimalsteuerungsprobleme aus Biologie und Medizin werden in der Vorlesung Einführung in die Systembiologie vorgestellt. Dabei geht es z.b. darum, ein biologisches System durch externe Manipulation in einen gewünschten Zustand zu steuern oder medizinische Behandlungsstrategien bzgl. eines gewünschten Ziels zu optimieren. Optimierung ist oft auch im Zusammenhang mit biotechnologischen Prozessen von Bedeutung, in denen man z.b. die Syntheseausbeute eines Bioprodukts maximieren möchte.

8 8 0. EINFÜHRUNG Definition 1.5 (Klassifikation von Optimierungsproblemen) (a) Die Optimierungsaufgabe (1.1) heißt frei oder unrestringiert, wenn E = I = ist, andernfalls gleichungs- und/oder ungleichungs-restringiert oder -beschränkt. (b) Ungleichungsbeschränkungen der Art l i x i u i, i = 1,..., n mit l i R { } und r i R { } heißen Box-Beschränkungen. (c) Sind f, g und h (affin-)lineare Funktionen von x, so sprechen wir von linearer Optimierung. Ein lineares Optimierungsproblem heißt auch lineares Programm (LP), also z.b. min c x sodass Ax = b und x 0. (d) Sind allgemeiner f und alle g i konvexe Funktionen und sind alle h i wieder (affin-)linear, so sprechen wir von konvexer Optimierung. Hierbei darf außerdem noch Ω R n eine konvexe Teilmenge sein. (e) Ist f ein quadratisches Polynom und sind g und h (affin-)linear, so sprechen wir von quadratischer Optimierung. Ein quadratisches Optimierungsproblem heißt auch quadratisches Programm (QP). (f) Im allgemeinen Fall spricht man von nichtlinearer Optimierung und von einem nichtlinearen Programm (NLP).

9 KAPITEL 1 Unbeschränkte Optimierung Wir betrachten in diesem Kapitel das unrestringierte Optimierungsproblem (1.1) mit Ω = R n und E = I =, also Minimiere f(x) über x R n. Wir beschränken uns auf das Auffinden lokaler Optima. Im gesamten Kapitel 1 sei f : R n R mindestens einmal stetig differenzierbar. 3 Optimalitätsbedingungen Satz 3.1 (Notwendige Bedingungen 1. Ordnung) Sei x ein lokales Minimum und f stetig differenzierbar in einer Umgebung U(x ). Dann ist f(x ) = 0. Ist f stetig differenzierbar in einer Umgebung U(x) und gilt f(x) = 0, so nennt man x einen stationären Punkt von f. Beachte: Die Bedingung f(x) = 0 ist keinesfalls hinreichend dafür, dass x ein lokales Minimum von f ist. Betrachte etwa f(x) = x 2 bei x = 0. Satz 3.2 (Hinreichende Bedingungen 2. Ordnung) Es sei f zweimal stetig differenzierbar in einer Umgebung U(x ), und es gelte (a) f(x ) = 0 (b) 2 f(x ) ist positiv definit (hinreichende Bedingung dafür ist, dass alle Eigenwerte der Hesse-Matrix 2 f(x ) positiv sind). Dann ist x ein striktes lokales Minimum von f. 4 Ein allgemeines Abstiegsverfahren In den 4 6 vernachlässigen wir zunächst die Optimalitätskriterien aus 3 und orientieren uns nur an den Funktionswerten von f. Definition 4.1 (Abstiegsrichtung) Ein Vektor d R n heißt Abstiegsrichtung von f im Punkt x R n, wenn es ein α > 0 gibt mit f(x + td) < f(x) für alle t (0, α). Idee: Suche entlang einer Abstiegsrichtung eine geeignete Schrittweite t, die f hinreichend verkleinert, und iteriere. Lemma 4.2 Es seien x R n und d R n gegeben mit f(x) d < 0. Dann ist d eine Abstiegsrichtung von f in x. 9

10 10 1. UNBESCHRÄNKTE OPTIMIERUNG Beweis: Für die Richtungsableitung gilt f(x + td) f(x) δf(x; d) = lim t 0 t Also gibt es ein α > 0 mit f(x + td) f(x) t = f(x) d < 0. < 0 für alle t (0, α). Anschaulich bedeutet f(x) d < 0, dass der Winkel zwischen der Richtung d und dem negativen Gradienten f(x) kleiner als 90 ist. Abbildung 4.1. Winkelbedingung beim Abstiegsverfahren Beachte: Die Bedingung f(x) d < 0 ist nicht notwendig für eine Abstiegsrichtung. Etwa in einem strikten lokalen Maximum x sind alle Richtungen d 0 Abstiegsrichtungen, jedoch erfüllt wegen f(x) = 0 keine Richtung d die Bedingung f(x) d < 0. Bemerkung 4.3 Ist x kein stationärer Punkt von f, so ist d = f(x) immer eine Abstiegsrichtung von f in x. Algorithmus 4.4 (Allgemeines Abstiegsverfahren) 1: Wähle x 0 R n und setze k := 0 2: while Abbruchkriterium nicht erfüllt do 3: Bestimme eine Abstiegsrichtung d k von f in x k 4: Bestimme eine Schrittweite t k > 0 mit f(x k + t k d k ) < f(x k ) 5: Setze x k+1 := x k + t k d k und k := k + 1 6: end while Der Algorithmus lässt viele Freiheiten bei der Wahl der Abstiegsrichtungen d k und der Schrittweiten t k. Wir lassen zunächst das Abbruchkriterium außer Acht und wollen stets annehmen, dass der Algorithmus eine unendliche Folge {x k } liefert.

11 1. EINE EFFIZIENTE SCHRITTWEITENSTRATEGIE: ARMIJO-REGEL 11 Definition 4.5 (Schrittweitenstrategie) (a) Eine Abbildung T auf R n R n, die jedem Paar (x, d) eine Teilmenge von R + zuordnet, heißt Schrittweitenstrategie. (b) Sie heißt wohldefiniert, wenn T (x, d) ist für alle (x, d) mit f(x) d < 0. (c) Sie heißt effizient, wenn es für alle (x, d) mit d Abstiegsrichtung von f in x eine von x und d unabhängige Konstante θ > 0 gibt mit ( f(x) d ) 2 f(x + td) f(x) θ (4.1) d für alle t T (x, d). Wir nennen eine Schrittweite t T (x, d) selbst effizient, wenn T effizient ist. Ein Beispiel einer effizienten Schrittweitenstrategie werden wir in 5 behandeln. Da jeweils f entlang der Richtung d k durchsucht wird, spricht man auch von Algorithmen zur Liniensuche. Satz 4.6 (Ein globaler Konvergenzsatz) Es seien {x k }, {d k } und {t k } durch Algorithmus 4.4 erzeugte Folgen mit folgenden Eigenschaften: (a) Die Schrittweiten t k > 0 sind effizient. (b) Die Suchrichtungen d k erfüllen die sogenannte Winkelbedingung: Es existiert eine Konstante c > 0 mit f(x k ) d k c f(x k ) d k. (4.2) Dann ist jeder Häufungspunkt x von {x k } ein stationärer Punkt von f, erfüllt also f(x ) = 0. Bemerkung 4.7 Für den Winkel ϕ k zwischen der Suchrichtung d k und dem negativen Gradienten f(x k ) gilt cos ϕ k = f(xk ) d k f(x k ) d k. Die Winkelbedingung (4.2) besagt also, dass der Winkel zwischen d k und f(x k ) gleichmäßig von 90 weg beschränkt bleibt. 5 Eine effiziente Schrittweitenstrategie: Armijo-Regel Es stellt sich die Frage, wie man eine wohldefinierte und effiziente Schrittweitenstrategie im Sinne von Definition 4.5 algorithmisch umsetzen kann. Die naheliegende Minimierungsregel Bestimme tk := t k min so, dass f(x k + t k mind k ) = min t>0 f(xk + td k ) gilt (5.1) ist zwar unter bestimmten Annahmen wohldefiniert und effizient, aber wegen ihres Aufwands außer in Sonderfällen für f nicht praktikabel.

12 12 1. UNBESCHRÄNKTE OPTIMIERUNG Wir behandeln hier deshalb eine andere realisierbare Schrittweitenstrategie: Die Armijo-Regel ist eine Bedingung, die einen hinreichenden Abstieg von f sichert. Sie ist bestimmt durch die Parameter σ (0, 1) und β (0, 1) und die Startschrittweite s > 0. Zu (x, d) R n R n mit f(x) d < 0 bestimme man sodass gilt. t A := max{sβ l : l = 0, 1, 2,...}, f(x + t A d) f(x) + σ t A f(x) d (5.2) Man testet also die Schrittweiten s, sβ, sβ 2 etc., bis zum ersten Mal (5.2) erfüllt ist, und liefert dann T (x, d) = {t A } zurück ( Backtracking ). Zur Veranschaulichung führen wir die Liniensuchfunktion ein. Es gilt: ϕ ist stetig differenzierbar in [0, ) und ϕ(t) = f(x + td) (5.3) ϕ (t) = f(x + td) d. Also lautet die Armijo-Bedingung (5.2) alternativ ϕ(t A ) ϕ(0) + σ t A ϕ (0). (5.4) Abbildung 5.1. Darstellung der Armijo-Bedingung (5.2) Satz 5.1 (Wohldefiniertheit und Effizienz der Armijo-Regel) Es seien σ (0, 1), β (0, 1) sowie s > 0 gegeben. Man kann unter sehr allgemeinen Bedingungen beweisen, dass sie Armijo-Regel wohldefiniert und effizient ist.

13 1. WAHL DER SUCHRICHTUNGEN: GRADIENTENVERFAHREN 13 6 Wahl der Suchrichtungen: Gradientenverfahren Bisher haben wir uns im Zusammenhang mit dem allgemeinen Abstiegsverfahren (Algorithmus 4.4) nur mit der Schrittweitenstrategie beschäftigt. In 6 und 7 folgen nun zwei Strategien, um die Suchrichtungen {d k } zu bestimmen. Hier wählen wir zunächst d = f(x), die Richtung des steilsten Abstiegs von f. Algorithmus 6.1 (Gradientenverfahren, Verfahren des steilsten Abstiegs) 1: Wähle x 0 R n, σ (0, 1), β (0, 1), ε > 0 und setze k := 0 2: while f(x k ) > ε do 3: Setze d k := f(x k ) 4: Bestimme eine Schrittweite t k mit der Armijo-Regel mit der Startschrittweite s = 1, d.h., t k := max{β l : l = 0, 1, 2,...}, sodass gilt: f(x k + t k d k ) f(x k ) + σ t k f(x k ) d k 5: Setze x k+1 := x k + t k d k und k := k + 1 6: end while 6.1 Konvergenz bei quadratischer Zielfunktion Um die Konvergenzgeschwindigkeit des Gradientenverfahrens zu untersuchen, wenden wir es auf eine quadratische Funktion f an: f(x) = 1 2 x Qx + c x + γ mit Q R n R n symmetrisch positiv definit (s.p.d.), c R n und γ R. Die eindeutige (globale) Lösung der Aufgabe min x R n f(x) ist x = Q 1 c, (6.1) denn dies ist die einzige Lösung der notwendigen Bedingungen (Satz 3.1), und die hinreichenden Bedingungen (Satz 3.2) sind dort erfüllt. Natürlich wird man das Gradientenverfahren nur anwenden, wenn die direkte Berechnung von x aus (6.1) zu aufwendig ist [also Q zu groß ist oder nicht explizit vorliegt]. Im Fall der quadratischen Zielfunktion lässt sich die exakte Schrittweite aus der Minierungsregel (5.1) t k min = arg min t>0 f(xk + td k ) im k-ten Schritt berechnen. Setzen wir g k = f(x k ) = Qx k + c, so ergibt sich t k := t k min = (gk ) g k (g k ) Q g k.

14 14 1. UNBESCHRÄNKTE OPTIMIERUNG Wir wählen also hier statt der Armijo-Regel in Algorithmus 6.1 stets die exakte Schrittweite t k min. Es seien λ min (Q) und λ max (Q) > 0 der kleinste und größte Eigenwert der s.p.d. Matrix Q und κ = cond 2 (Q) = λ max(q) λ min (Q) die (spektrale) Konditionszahl von Q. Satz 6.2 (Globaler Konvergenzsatz für quadratische Zielfunktionen) Es sei Q s.p.d. Das Gradientenverfahren mit exakter Schrittweite t min konvergiert für jeden Startvektor x 0 R n gegen das eindeutige globale Minimum x, und es gilt ( κ 1 ) 2( f(x k+1 ) f(x ) f(x k ) f(x ) ) κ + 1 x k x ( κ 1 ) k x κ 0 x κ + 1 Abbildung 6.1. Konvergenz des Gradientenverfahrens Bemerkung 6.3 Für große Konditionszahlen κ ist die Konvergenz sehr langsam (Zick-Zack-Effekt). Zur Charakterisierung der Konvergenzgeschwindigkeit von Algorithmen führen wir ein: Definition 6.4 (Q-Konvergenzraten) Sei {x n } R n eine Folge und x R n. (a) {x k } konvergiert gegen x (mindestens) q-linear, falls ein c (0, 1) existiert mit x k+1 x c x k x für alle k N hinreichend groß (b) {x k } konvergiert gegen x (mindestens) q-superlinear, falls es eine Nullfolge {ε k } gibt mit x k+1 x ε k x k x für alle k N.

15 1. WAHL DER SUCHRICHTUNGEN: NEWTON-VERFAHREN 15 (c) Gilt x k x, so konvergiert {x k } gegen x (mindestens) q-quadratisch, falls ein C > 0 existiert mit x k+1 x C x k x 2 für alle k N. 7 Wahl der Suchrichtungen: Newton-Verfahren [Hier orientieren wir uns jetzt wieder an den notwendigen Bedingungen!] In diesem Abschnitt wird f als zweimal stetig differenzierbar angenommen. Wir betrachten wieder min f(x). (7.1) x Rn Das Newton-Verfahren lässt sich auf zwei verschiedene Weisen motivieren: (a) Die notwendige Optimalitätsbedingung 1. Ordnung lautet f(x) = 0, siehe Satz 3.1. Wende zur Lösung dieser i.a. nichtlinearen Gleichung das Newton-Verfahren an. Wir erhalten die Iterationsvorschrift x k+1 = x k 2 f(x k ) 1 f(x k ). (b) Im aktuellen Iterationspunkt x k ersetze man (7.1) durch die Minimierung des quadratischen Modells q k (x) = f(x k ) + f(x k ) (x x k ) (x xk ) 2 f(x k )(x x k ). (7.2) Ist die Hessematrix 2 f(x k ) positiv definit, so ist das eindeutige Minimum durch 0 = q k (x) = f(x k ) + 2 f(x k )(x x k ) charakterisiert. Wir wählen die Lösung dieser Aufgabe als nächste Iterierte x k+1 und erhalten wieder x k+1 = x k 2 f(x k ) 1 f(x k ). Das Newton-Verfahren ist von der Bauart des allgemeinen Abstiegsverfahrens (Algorithmus 4.4), wobei die Suchrichtung durch die Lösung des linearen Gleichungssystems 2 f(x k ) d k = f(x k ) und die feste Schrittlänge durch t k = 1 gegeben sind: Algorithmus 7.1 (Lokales Newton-Verfahren) 1: Wähle x 0 R n und ε > 0 und setze k := 0 2: while f(x k ) > ε do 3: Löse 2 f(x k ) d k := f(x k ) 4: Setze x k+1 := x k + d k und k := k + 1 5: end while Wir können nun einen lokalen Konvergenzsatz formulieren:

16 16 1. UNBESCHRÄNKTE OPTIMIERUNG Satz 7.2 (Lokaler Konvergenzsatz für Newton-Verfahren) Es sei x R n ein stationärer Punkt und 2 f(x ) regulär. Dann existiert eine Umgebung U(x ) von x, sodass für jedes x 0 U(x ) gilt: (a) Das lokale Newton-Verfahren ist wohldefiniert und erzeugt eine Folge {x k }, die gegen x konvergiert. (b) Die Konvergenzrate ist q-superlinear. (c) Ist 2 f stetig diff.bar in U(x ), so ist die Konvergenzrate q-quadratisch. Beachte: Das vereinfache Newton-Verfahren, bei dem statt f(x k ) die feste Matrix 2 f(x 0 ) bei der Schrittberechnung verwendet wird, konvergiert linear. Bemerkung 7.3 Koppelt man das Newton-Verfahren an eine effiziente Schrittweitenstrategie, kann man globale Konvergenz erreichen.

17 KAPITEL 2 Nichtlineare beschränkte Optimierung 8 Einführung Wir betrachten in diesem Abschnitt das allgemeine nichtlineare Optimierungsproblem (vgl. (1.1)), auch NLP (Nonlinear Program) genannt: Minimiere f(x) über x R n sodass g i (x) 0, i = 1,..., m (8.1) und h j (x) = 0, j = 1,..., p. mit m 0 und p 0. Ziel: Optimalitätsbedingungen für (8.1), die numerisch überprüfbar sind und als Grundlage für Algorithmen dienen können. Wir nehmen im gesamten Kapitel 2 an, dass f, g und h stetig differenzierbar auf R n sind. Zur Erinnerung: X = {x R n : g i (x) 0 für alle i = 1,..., m, h j (x) = 0 für alle j = 1,..., p} (8.2) heißt zulässige Menge von (8.1). Beispiel 8.1 (gleichungsbeschränktes NLP) d.h. X = {(x 1, x 2 ) R 2 : x x = 0}. min f(x) = x 1 + x 2 unter c 1 (x) = x x = 0, (8.3) Man berechnet f(x) = (1, 1) T, c 1 (x) = (2x 1, 2x 2 ) T, Visualisierung: 17

18 18 2. NICHTLINEARE BESCHRÄNKTE OPTIMIERUNG Man sieht hier, dass in einem Punkt x immer Abstiegsrichtungen möglich sind, außer wenn f und c 1 parallel sind, d.h. wenn es ein λ gibt mit f(x ) = λ c 1 (x ). Dies ist also eine notwendige Bedingung für ein lokales Minimum von (8.3). Beispiel 8.2 (ungleichungsbeschränktes NLP) min f(x) = x 1 + x 2 unter c 1 (x) = 2 (x x 2 2) 0, (8.4) Man berechnet wieder f(x) = (1, 1) T, c 1 (x) = ( 2x 1, 2x 2 ) T, Visualisierung: Eine Abstiegsrichtung s im Punkt x muss die Bedingung f(x ), s = f(x ) T s < 0 erfüllen. Bzgl. der Zulässigkeit von s gilt in linearer Näherung (Taylor-Entwicklung 1. Ordnung): 0 c 1 (x ) + c 1 (x ) T s (8.5) Sei nun x eine optimale Lösung von (8.2) und s eine Abstiegsrichtung. Fallunterscheidung: a) x liegt im Inneren der zulässigen Menge X, dann lässt sich immer eine Abstiegsrichtung x mit f(x ) T s < 0 finden, falls f(x ) 0 f(x ) = 0 ist notwendige Bedingung für ein lokales Minimum. b) x liegt am Rand der zulässigen Menge X, dann gilt c 1 (x ) = 0 und mit (8.5) folgt c 1 (x ) T s 0 (8.6) Zusammen mit f(x ) T s < 0 folgt also, dass c 1 (x ) und f(x ) parallel sein und in die gleiche Richtung zeigen müssen, damit keine zulässige Abstiegsrichtung existiert (siehe folgende Abbildung), d.h. c 1 (x ) = λ 1 f(x ), λ 1 0 (8.7)

19 2. NOTWENDIGE OPTIMALITÄTSBEDINGUNGEN 19 Wir führen nun die sog. Lagrange-Funktion ein, die uns erlauben wird, notwendige Bedingungen für beschränkte Optimierungsprobleme in bequemer Form zu schreiben und die obige Fallunterscheidung zusammenzuführen. Definition 8.3 (Lagrange-Funktion) Die Funktion m L(x, λ, µ) := f(x) + µ i g i (x) + = f(x) + µ g(x) + λ h(x) heißt die zu (8.1) gehörige Lagrange-Funktion. i=1 p λ j h j (x) Beachte: Man sagt, die Nebenbedingungen g i (x) 0 und h j (x) = 0 werden an die Zielfunktion f(x) angekoppelt. j=1 9 Notwendige Optimalitätsbedingungen der nichtlinearen Optimierung Definition 9.1 (KKT-Bedingungen und -Punkt) (a) Die Bedingungen L x (x, λ, µ) = 0 h(x) = 0 (9.1a) (9.1b) µ 0, g(x) 0, µ g(x) = 0 (9.1c) heißen die Karush-Kuhn-Tucker-Bedingungen (kurz: KKT-Bedingungen) des Problems (8.1). Dabei ist m p L x (x, λ, µ) = f(x) + µ i g i (x) + λ j h j (x) i=1 j=1 = f(x) + g (x) µ + h (x) λ } {{ } Jacobi-Matrix der Gradient von L(x, λ, µ) bzgl. x. (b) Ein Punkt (x, λ, µ ) R n R p R m, der (9.1) erfüllt, heißt ein KKT- Punkt von (8.1). Die Vektoren λ und µ heißen dann Lagrange-Multiplikatoren zu den Beschränkungen h(x ) = 0 bzw. g(x ) 0.

20 20 2. NICHTLINEARE BESCHRÄNKTE OPTIMIERUNG Bemerkung 9.2 Sei (x, λ, µ ) ein KKT-Punkt. (a) Die Komplementaritätsbedingung (9.1c) ist äquivalent zu µ i 0, g i (x ) 0, µ i g i (x ) = 0 für alle i = 1,..., m, d.h., mindestens eine der Zahlen µ i und g i (x ) ist gleich null. Insbesondere gehört also zu einer inaktiven Beschränkung g i (x ) < 0 ein Lagrange- Multiplikator µ i = 0. (b) Die Bedingung (9.1a) besagt gerade, dass m p f(x ) = µ i g i (x ) + λ j h j (x ) i=1 gilt mit Skalaren µ i 0 und µ i = 0 für i I(x ) wegen (9.1c). Außerdem sichern (9.1b) und (9.1c) die Zulässigkeit g(x ) 0 und h(x ) = 0. (c) Durch die KKT-Bedingungen wird die Optimierungsaufgabe (8.1) in ein nichtlineares Gleichungs- und Ungleichungssystem (9.1) transformiert, das als Basis für numerische Verfahren dienen kann. (d) Man nennt die KKT-Bedingungen auch notwendige Bedingungen 1. Ordnung, da sie (nur) erste Ableitungen von f, g und h verwenden. j=1 9.1 Optimalitätsbedingungen unter LICQ Definition 9.3 (LICQ) Sei x 0 zulässiger Punkt des Optimierungsproblems (8.1) und A(x 0 ) die Menge der aktiven Indizes, d.h. die Indizes derjenigen Ungleichungen g i (x) 0, für die in x die Gleichheit g i (x) = 0 erfüllt ist. Man sagt: x 0 erfüllt die Regularitätsbedingungen der linearen Unabhängigkeit (kurz: LICQ, Linear Inequality Constraint Qualification), wenn gilt: Die Gradienten { h j (x 0 )} j=1 { g i (x 0 )} i A(x0 ) sind linear unabhängig. Satz 9.4 (KKT-Bedingungen unter LICQ) Es sei x ein lokales Optimum von (8.1), das die LICQ erfüllt. Dann existieren eindeutig bestimmte Lagrange-Multiplikatoren λ R p und µ R m, so dass (x, λ, µ ) ein KKT-Punkt von (8.1) ist. 10 Numerische Methoden für beschränkte nichtlineare Optimierungsprobleme Numerische Methoden setzen die in Kapitel 1 vorgestellten Methoden zur Berechnung lokaler Minima ein, indem sie das nichtlineare Gleichungssystem der KKT- Bedingungen (9.1a - 9.1c) lösen. Das Einführen der Lagrange-Funktion hat also den Sinn, ein beschränktes Optimierungsproblem für eine Zielfunktion in ein unbeschränktes für die Lagrange-Funktion zu überführen, indem die Beschränkungen über Lagrange-Multiplikatoren angekoppelt werden.

Optimierungsprobleme mit Nebenbedingungen - Einführung in die Theorie, Numerische Methoden und Anwendungen

Optimierungsprobleme mit Nebenbedingungen - Einführung in die Theorie, Numerische Methoden und Anwendungen Optimierungsprobleme mit Nebenbedingungen - Einführung in die Theorie, Numerische Methoden und Anwendungen Dr. Abebe Geletu Ilmenau University of Technology Department of Simulation and Optimal Processes

Mehr

Optimierung für Nichtmathematiker

Optimierung für Nichtmathematiker Optimierung für Nichtmathematiker Typische Prüfungsfragen Die folgenden Fragen dienen lediglich der Orientierung und müssen nicht den tatsächlichen Prüfungsfragen entsprechen. Auch Erkenntnisse aus den

Mehr

Optimierung für Wirtschaftsinformatiker: Analytische Optimierung mit Ungleichungsnebenbedingungen

Optimierung für Wirtschaftsinformatiker: Analytische Optimierung mit Ungleichungsnebenbedingungen Optimierung für Wirtschaftsinformatiker: Analytische Optimierung mit Ungleichungsnebenbedingungen Dr. Nico Düvelmeyer Freitag, 8. Juli 2011 1: 1 [1,1] Inhaltsübersicht für heute 1 NLP Aufgabe KKT 2 Nachtrag

Mehr

Mathematik 1 für Wirtschaftsinformatik

Mathematik 1 für Wirtschaftsinformatik Mathematik 1 für Wirtschaftsinformatik Wintersemester 2012/13 Hochschule Augsburg : Gliederung 7 Folgen und Reihen 8 Finanzmathematik 9 Reelle Funktionen 10 Differenzieren 1 11 Differenzieren 2 12 Integration

Mehr

Optimierung für Wirtschaftsinformatiker: Analytische Optimierung ohne Nebenbedingungen

Optimierung für Wirtschaftsinformatiker: Analytische Optimierung ohne Nebenbedingungen Optimierung für Wirtschaftsinformatiker: Analytische Optimierung ohne Nebenbedingungen Dr. Nico Düvelmeyer Freitag, 1. Juli 2011 1: 1 [1,1] Inhaltsübersicht für heute 1 Einführung und Wiederholung Beispiel

Mehr

Newton-Verfahren zur gleichungsbeschränkten Optimierung. 1 Gleichungsbeschränkte Optimierungsprobleme

Newton-Verfahren zur gleichungsbeschränkten Optimierung. 1 Gleichungsbeschränkte Optimierungsprobleme Newton-Verfahren zur gleichungsbeschränkten Optimierung Armin Farmani Anosheh (afarmani@mail.uni-mannheim.de) 3.Mai 2016 1 Gleichungsbeschränkte Optimierungsprobleme Einleitung In diesem Vortrag geht es

Mehr

Optimalitätskriterien

Optimalitätskriterien Kapitel 4 Optimalitätskriterien Als Optimalitätskriterien bezeichnet man notwendige oder hinreichende Bedingungen dafür, dass ein x 0 Ω R n Lösung eines Optimierungsproblems ist. Diese Kriterien besitzen

Mehr

Übungen zur Numerischen Mathematik 2 Sommersemester 2014. Übungsblatt 13

Übungen zur Numerischen Mathematik 2 Sommersemester 2014. Übungsblatt 13 Universität Heidelberg Interdisziplinäres Zentrum für Wissenschaftliches Rechnen Prof. Dr. Dres. h.c. Hans Georg Bock Dr. Christian Kirches Dipl.-Phys. Simon Lenz Übungen zur Numerischen Mathematik 2 Sommersemester

Mehr

Nichtlineare Optimierung ohne Nebenbedingungen

Nichtlineare Optimierung ohne Nebenbedingungen Kapitel 2 Nichtlineare Optimierung ohne Nebenbedingungen In diesem Abschnitt sollen im wesentlichen Verfahren zur Bestimmung des Minimums von nichtglatten Funktionen in einer Variablen im Detail vorgestellt

Mehr

17. Penalty- und Barriere-Methoden

17. Penalty- und Barriere-Methoden H.J. Oberle Optimierung SoSe 01 17. Penalty- und Barriere-Methoden Penalty- und Barriere Methoden gehören zu den ältesten Ansätzen zur Lösung allgemeiner restringierter Optimierungsaufgaben. Die grundlegende

Mehr

Optimierung I. 1 Einführung. Luise Blank. Wintersemester 2012/13. Universität Regensburg

Optimierung I. 1 Einführung. Luise Blank. Wintersemester 2012/13. Universität Regensburg Universität Regensburg Wintersemester 2012/13 1 Einführung Anwendungen Finanzwirtschaft: maximale Gewinnrate unter Beschränkungen an das Risiko; Portfolio von Investments Produktion: maximiere Gewinn bei

Mehr

Bestimmung einer ersten

Bestimmung einer ersten Kapitel 6 Bestimmung einer ersten zulässigen Basislösung Ein Problem, was man für die Durchführung der Simplexmethode lösen muss, ist die Bestimmung einer ersten zulässigen Basislösung. Wie gut das geht,

Mehr

Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn

Optimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum

Mehr

MATTHIAS GERDTS. Einführung in die lineare und nichtlineare Optimierung

MATTHIAS GERDTS. Einführung in die lineare und nichtlineare Optimierung MATTHIAS GERDTS Einführung in die lineare und nichtlineare Optimierung Address of the Author: Matthias Gerdts Institut für Mathematik und Rechneranwendung Fakultät für Luft- und Raumfahrttechnik Universität

Mehr

TEILWEISE ASYNCHRONE ALGORITHMEN

TEILWEISE ASYNCHRONE ALGORITHMEN TEILWEISE ASYNCHRONE ALGORITHMEN FRANK LANGBEIN Literatur: D. Berseas, J. Tsitsilis: Parallel and distributed computatoin, pp. 48 489 URI: http://www.langbein.org/research/parallel/ Modell teilweiser asynchroner

Mehr

Teil II. Nichtlineare Optimierung

Teil II. Nichtlineare Optimierung Teil II Nichtlineare Optimierung 60 Kapitel 1 Einleitung In diesem Abschnitt wird die Optimierung von Funktionen min {f(x)} x Ω betrachtet, wobei Ω R n eine abgeschlossene Menge und f : Ω R eine gegebene

Mehr

Definition 3.1: Ein Differentialgleichungssystem 1. Ordnung

Definition 3.1: Ein Differentialgleichungssystem 1. Ordnung Kapitel 3 Dynamische Systeme Definition 31: Ein Differentialgleichungssystem 1 Ordnung = f(t, y) ; y R N ; f : R R N R N heißt namisches System auf dem Phasenraum R N Der Parameter t wird die Zeit genannt

Mehr

Nichtlineare Optimierungsprobleme mit Komplexität

Nichtlineare Optimierungsprobleme mit Komplexität Definition eines Nichtlinearen Optimierungsproblemes (NLP) min f (x) bzw. min f (x) s.d. x S x S wobei die zulässige Menge S R n typischerweise definiert ist durch S {x R n : h(x) =, c(x) } für Gleichungs-

Mehr

9.2. DER SATZ ÜBER IMPLIZITE FUNKTIONEN 83

9.2. DER SATZ ÜBER IMPLIZITE FUNKTIONEN 83 9.. DER SATZ ÜBER IMPLIZITE FUNKTIONEN 83 Die Grundfrage bei der Anwendung des Satzes über implizite Funktionen betrifft immer die folgende Situation: Wir haben eine Funktion f : V W und eine Stelle x

Mehr

MATTHIAS GERDTS NICHTDIFFERENZIERBARE OPTIMIERUNG

MATTHIAS GERDTS NICHTDIFFERENZIERBARE OPTIMIERUNG MATTHIAS GERDTS NICHTDIFFERENZIERBARE OPTIMIERUNG Address of the Author: Matthias Gerdts Mathematisches Institut Universität Bayreuth D-95440 Bayreuth E-Mail: Matthias.Gerdts@uni-bayreuth.de WWW: www.staff.uni-bayreuth.de/

Mehr

Übungen zur Ingenieur-Mathematik III WS 2009/10 Blatt 10 21.12.2009

Übungen zur Ingenieur-Mathematik III WS 2009/10 Blatt 10 21.12.2009 Übungen zur Ingenieur-Mathematik III WS 2009/10 Blatt 10 21.12.2009 Aufgabe 35: Thema: Singulärwertzerlegung und assoziierte Unterräume Sei A eine m n Matrix mit Rang r und A = UDV T ihre Singulärwertzerlegung.

Mehr

Modulabschlussklausur Analysis II

Modulabschlussklausur Analysis II Modulabschlussklausur Analysis II. Juli 015 Bearbeitungszeit: 150 min Aufgabe 1 [5/10 Punkte] Es sei a R und f a : R 3 R mit f a (x, y, z) = x cos(y) + z 3 sin(y) + a 3 + (z + ay a y) cos(x) a) Bestimmen

Mehr

Lineare Gleichungssysteme

Lineare Gleichungssysteme Brückenkurs Mathematik TU Dresden 2015 Lineare Gleichungssysteme Schwerpunkte: Modellbildung geometrische Interpretation Lösungsmethoden Prof. Dr. F. Schuricht TU Dresden, Fachbereich Mathematik auf der

Mehr

4. Dynamische Optimierung

4. Dynamische Optimierung 4. Dynamische Optimierung Allgemeine Form dynamischer Optimierungsprobleme 4. Dynamische Optimierung Die dynamische Optimierung (DO) betrachtet Entscheidungsprobleme als eine Folge voneinander abhängiger

Mehr

Kevin Caldwell. 18.April 2012

Kevin Caldwell. 18.April 2012 im Rahmen des Proseminars Numerische Lineare Algebra von Prof.Dr.Sven Beuchler 18.April 2012 Gliederung 1 2 3 Mathematische Beschreibung von naturwissenschaftlich-technischen Problemstellungen führt häufig

Mehr

Matrizennorm. Definition 1. Sei A M r,s (R). Dann heißt A := sup die Matrixnorm. Wir wissen zunächst nicht, ob A eine reelle Zahl ist.

Matrizennorm. Definition 1. Sei A M r,s (R). Dann heißt A := sup die Matrixnorm. Wir wissen zunächst nicht, ob A eine reelle Zahl ist. Matrizennorm Es seien r,s N Mit M r,s (R bezeichnen wir die Menge der reellen r s- Matrizen (also der linearen Abbildungen R s R r, und setze M s (R := M s,s (R (also die Menge der linearen Abbildungen

Mehr

8. Übung zur Vorlesung Mathematisches Modellieren Lösung

8. Übung zur Vorlesung Mathematisches Modellieren Lösung Universität Duisburg-Essen Essen, den.6. Fakultät für Mathematik S. Bauer C. Hubacsek C. Thiel 8. Übung zur Vorlesung Mathematisches Modellieren Lösung In dieser Übung sollen in Aufgabe und die qualitativ

Mehr

u + v = v + u. u + (v + w) = (u + v) + w. 0 V + v = v + 0 V = v v + u = u + v = 0 V. t (u + v) = t u + t v, (t + s) u = t u + s u.

u + v = v + u. u + (v + w) = (u + v) + w. 0 V + v = v + 0 V = v v + u = u + v = 0 V. t (u + v) = t u + t v, (t + s) u = t u + s u. Universität Stuttgart Fachbereich Mathematik Prof. Dr. C. Hesse PD Dr. P. H. Lesky Dipl. Math. D. Zimmermann Msc. J. Köllner FAQ 3 Höhere Mathematik I 4..03 el, kyb, mecha, phys Vektorräume Vektorräume

Mehr

Extrema von Funktionen in zwei Variablen

Extrema von Funktionen in zwei Variablen Wirtschaftswissenschaftliches Zentrum Universität Basel Mathematik für Ökonomen 1 Dr. Thomas Zehrt Extrema von Funktionen in zwei Variablen Literatur: Gauglhofer, M. und Müller, H.: Mathematik für Ökonomen,

Mehr

Das Trust-Region-Verfahren

Das Trust-Region-Verfahren Das Trust-Region-Verfahren Nadine Erath 13. Mai 2013... ist eine Methode der Nichtlinearen Optimierung Ziel ist es, das Minimum der Funktion f : R n R zu bestimmen. 1 Prinzip 1. Ersetzen f(x) durch ein

Mehr

Mathematik 2 für Wirtschaftsinformatik

Mathematik 2 für Wirtschaftsinformatik für Wirtschaftsinformatik Sommersemester 2012 Hochschule Augsburg Hinreichende Bedingung für lokale Extrema Voraussetzungen Satz D R n konvex und offen Funktion f : D R zweimal stetig partiell differenzierbar

Mehr

1 Konvexe Funktionen. 1.1 Definition. 1.2 Bedingung 1.Ordnung. Konvexität und Operationen, die die Konvexität bewahren Seite 1

1 Konvexe Funktionen. 1.1 Definition. 1.2 Bedingung 1.Ordnung. Konvexität und Operationen, die die Konvexität bewahren Seite 1 Konvexität und Operationen, die die Konvexität bewahren Seite 1 1 Konvexe Funktionen 1.1 Definition Eine Funktion f heißt konvex, wenn domf eine konvexe Menge ist und x,y domf und 0 θ 1: f(θx + (1 θ)y)

Mehr

Gleichungen Lösen. Ein graphischer Blick auf Gleichungen

Gleichungen Lösen. Ein graphischer Blick auf Gleichungen Gleichungen Lösen Was bedeutet es, eine Gleichung zu lösen? Was ist überhaupt eine Gleichung? Eine Gleichung ist, grundsätzlich eine Aussage über zwei mathematische Terme, dass sie gleich sind. Ein Term

Mehr

Optimierung. Florian Jarre Josef Stoer. Springer

Optimierung. Florian Jarre Josef Stoer. Springer 2008 AGI-Information Management Consultants May be used for personal purporses only or by libraries associated to dandelon.com network. Florian Jarre Josef Stoer Optimierung Springer Inhaltsverzeichnis

Mehr

Charakteristikenmethode im Beispiel

Charakteristikenmethode im Beispiel Charakteristikenmethode im Wir betrachten die PDE in drei Variablen xu x + yu y + (x + y )u z = 0. Das charakteristische System lautet dann ẋ = x ẏ = y ż = x + y und besitzt die allgemeine Lösung x(t)

Mehr

3 Optimierung mehrdimensionaler Funktionen f : R n R

3 Optimierung mehrdimensionaler Funktionen f : R n R 3 Optimierung mehrdimensionaler Funktionen f : R n R 31 Optimierung ohne Nebenbedingungen Optimierung heißt eigentlich: Wir suchen ein x R n so, dass f(x ) f(x) für alle x R n (dann heißt x globales Minimum)

Mehr

Konvexe Optimierungsprobleme

Konvexe Optimierungsprobleme von: Veronika Kühl 1 Konvexe Optimierungsprobleme Betrachtet werden Probleme der Form (P) min x C f(x) wobei f : C R eine auf C konvexe, aber nicht notwendigerweise differenzierbare Funktion ist. Ziel

Mehr

9 Optimierung mehrdimensionaler reeller Funktionen f : R n R

9 Optimierung mehrdimensionaler reeller Funktionen f : R n R 9 Optimierung mehrdimensionaler reeller Funktionen f : R n R 91 Optimierung ohne Nebenbedingungen Ein Optimum zu suchen heißt, den größten oder den kleinsten Wert zu suchen Wir suchen also ein x R n, sodass

Mehr

NICHTRESTRINGIERTE OPTIMIERUNG

NICHTRESTRINGIERTE OPTIMIERUNG 3 NICHTRESTRINGIERTE OPTIMIERUNG Die Aufgabe, mit der wir uns im Folgen beschäftigen werden, ist die Lösung von Minimierungsproblemen der Form minimiere f(x) in R n, (3.1) wobei f : R n R eine gegebene

Mehr

a n := ( 1) n 3n2 + 5 2n 2. a n := 5n4 + 2n 2 2n 3 + 3 10n + 1. a n := 1 3 + 1 2n 5n 2 n 2 + 7n + 8 b n := ( 1) n

a n := ( 1) n 3n2 + 5 2n 2. a n := 5n4 + 2n 2 2n 3 + 3 10n + 1. a n := 1 3 + 1 2n 5n 2 n 2 + 7n + 8 b n := ( 1) n Folgen und Reihen. Beweisen Sie die Beschränktheit der Folge (a n ) n N mit 2. Berechnen Sie den Grenzwert der Folge (a n ) n N mit a n := ( ) n 3n2 + 5 2n 2. a n := 5n4 + 2n 2 2n 3 + 3 n +. 4 3. Untersuchen

Mehr

Eigenwerte und Eigenvektoren von Matrizen

Eigenwerte und Eigenvektoren von Matrizen Eigenwerte und Eigenvektoren von Matrizen Das Eigenwertproblem Sei A eine quadratische Matrix vom Typ m,m. Die Aufgabe, eine Zahl λ und einen dazugehörigen Vektor x zu finden, damit Ax = λx ist, nennt

Mehr

Fachschaft Mathematik und Informatik (FIM) LA I VORKURS. Herbstsemester 2015. gehalten von Harald Baum

Fachschaft Mathematik und Informatik (FIM) LA I VORKURS. Herbstsemester 2015. gehalten von Harald Baum Fachschaft Mathematik und Informatik (FIM) LA I VORKURS Herbstsemester 2015 gehalten von Harald Baum 2. September 2015 Inhaltsverzeichnis 1. Stichpunkte zur Linearen Algebra I 2. Körper 3. Vektorräume

Mehr

Optimieren unter Nebenbedingungen

Optimieren unter Nebenbedingungen Optimieren unter Nebenbedingungen Hier sucht man die lokalen Extrema einer Funktion f(x 1,, x n ) unter der Nebenbedingung dass g(x 1,, x n ) = 0 gilt Die Funktion f heißt Zielfunktion Beispiel: Gesucht

Mehr

Vorlesung. Funktionen/Abbildungen 1

Vorlesung. Funktionen/Abbildungen 1 Vorlesung Funktionen/Abbildungen 1 1 Grundlagen Hinweis: In dieser Vorlesung werden Funktionen und Abbildungen synonym verwendet. In der Schule wird eine Funktion häufig als eindeutige Zuordnung definiert.

Mehr

Ergänzungen zur Analysis I

Ergänzungen zur Analysis I 537. Ergänzungsstunde Logik, Mengen Ergänzungen zur Analysis I Die Behauptungen in Satz 0.2 über die Verknüpfung von Mengen werden auf die entsprechenden Regelnfür die Verknüpfung von Aussagen zurückgeführt.

Mehr

Nichtlineare Gleichungssysteme

Nichtlineare Gleichungssysteme Kapitel 5 Nichtlineare Gleichungssysteme 51 Einführung Wir betrachten in diesem Kapitel Verfahren zur Lösung von nichtlinearen Gleichungssystemen Nichtlineares Gleichungssystem: Gesucht ist eine Lösung

Mehr

Lineare Algebra und Lösung linearer zeitinvarianter Differentialgleichungssysteme

Lineare Algebra und Lösung linearer zeitinvarianter Differentialgleichungssysteme Übung Lineare Algebra und Lösung linearer zeitinvarianter Differentialgleichungssysteme Diese Übung beschäftigt sich mit Grundbegriffen der linearen Algebra. Im Speziellen werden lineare Abbildungen, sowie

Mehr

Primzahlen und RSA-Verschlüsselung

Primzahlen und RSA-Verschlüsselung Primzahlen und RSA-Verschlüsselung Michael Fütterer und Jonathan Zachhuber 1 Einiges zu Primzahlen Ein paar Definitionen: Wir bezeichnen mit Z die Menge der positiven und negativen ganzen Zahlen, also

Mehr

x 2 2x + = 3 + Es gibt genau ein x R mit ax + b = 0, denn es gilt

x 2 2x + = 3 + Es gibt genau ein x R mit ax + b = 0, denn es gilt - 17 - Die Frage ist hier also: Für welche x R gilt x = x + 1? Das ist eine quadratische Gleichung für x. Es gilt x = x + 1 x x 3 = 0, und man kann quadratische Ergänzung machen:... ( ) ( ) x x + = 3 +

Mehr

Nichtlineare Optimierung

Nichtlineare Optimierung Nichtlineare Optimierung Roland Griesse Numerische Mathematik Chemnitzer Skiseminar Gerlosberg, 07. 14. März 2009 Gliederung Konvexe Optimierung 1 Konvexe Optimierung Bedeutung Beispiele Charakterisierung

Mehr

KAPITEL 3. Konvexe Funktionen

KAPITEL 3. Konvexe Funktionen KAPITEL 3 Konvexe Funktionen Sei F R n ein Definitionsbereich und f : F R eine Funktion. Unter dem Epigraphen von f versteht man die Menge epif = {(x, z) R n+1 x F, z R, z f(x)}. Man nennt f konvex, wenn

Mehr

Lineare Funktionen. 1 Proportionale Funktionen 3 1.1 Definition... 3 1.2 Eigenschaften... 3. 2 Steigungsdreieck 3

Lineare Funktionen. 1 Proportionale Funktionen 3 1.1 Definition... 3 1.2 Eigenschaften... 3. 2 Steigungsdreieck 3 Lineare Funktionen Inhaltsverzeichnis 1 Proportionale Funktionen 3 1.1 Definition............................... 3 1.2 Eigenschaften............................. 3 2 Steigungsdreieck 3 3 Lineare Funktionen

Mehr

Multivariate Analysis

Multivariate Analysis Kapitel Multivariate Analysis Josef Leydold c 6 Mathematische Methoden I Multivariate Analysis / 38 Lernziele Funktionen in mehreren Variablen Graph und Niveaulinien einer Funktion in zwei Variablen Partielle

Mehr

4. Versicherungsangebot

4. Versicherungsangebot 4. Versicherungsangebot Georg Nöldeke Wirtschaftswissenschaftliche Fakultät, Universität Basel Versicherungsökonomie (FS 11) Versicherungsangebot 1 / 13 1. Einleitung 1.1 Hintergrund In einem grossen Teil

Mehr

Teil II Optimierung. Peter Buchholz 2016. Modellgestützte Analyse und Optimierung Kap. 9 Einführung Optimierung

Teil II Optimierung. Peter Buchholz 2016. Modellgestützte Analyse und Optimierung Kap. 9 Einführung Optimierung Teil II Optimierung Gliederung 9 Einführung, Klassifizierung und Grundlagen 10 Lineare Optimierung 11 Ganzzahlige und kombinatorische Optimierung 12 Dynamische Optimierung Literatur: zu 10-12: Neumann,

Mehr

5 Eigenwerte und die Jordansche Normalform

5 Eigenwerte und die Jordansche Normalform Mathematik für Physiker II, SS Mittwoch 8.6 $Id: jordan.tex,v.6 /6/7 8:5:3 hk Exp hk $ 5 Eigenwerte und die Jordansche Normalform 5.4 Die Jordansche Normalform Wir hatten bereits erwähnt, dass eine n n

Mehr

Im Jahr t = 0 hat eine Stadt 10.000 Einwohner. Nach 15 Jahren hat sich die Einwohnerzahl verdoppelt. z(t) = at + b

Im Jahr t = 0 hat eine Stadt 10.000 Einwohner. Nach 15 Jahren hat sich die Einwohnerzahl verdoppelt. z(t) = at + b Aufgabe 1: Im Jahr t = 0 hat eine Stadt 10.000 Einwohner. Nach 15 Jahren hat sich die Einwohnerzahl verdoppelt. (a) Nehmen Sie lineares Wachstum gemäß z(t) = at + b an, wobei z die Einwohnerzahl ist und

Mehr

Einführung in die Algebra

Einführung in die Algebra Prof. Dr. H. Brenner Osnabrück SS 2009 Einführung in die Algebra Vorlesung 13 Einheiten Definition 13.1. Ein Element u in einem Ring R heißt Einheit, wenn es ein Element v R gibt mit uv = vu = 1. DasElementv

Mehr

Kapitel 15. Lösung linearer Gleichungssysteme

Kapitel 15. Lösung linearer Gleichungssysteme Kapitel 15. Lösung linearer Gleichungssysteme Lineare Gleichungssysteme Wir befassen uns nun mit der Lösung im allgemeinen nichthomogener linearer Gleichungssysteme in zweifacher Hinsicht. Wir studieren

Mehr

13.5 Der zentrale Grenzwertsatz

13.5 Der zentrale Grenzwertsatz 13.5 Der zentrale Grenzwertsatz Satz 56 (Der Zentrale Grenzwertsatz Es seien X 1,...,X n (n N unabhängige, identisch verteilte zufällige Variablen mit µ := EX i ; σ 2 := VarX i. Wir definieren für alle

Mehr

2 Extrema unter Nebenbedingungen

2 Extrema unter Nebenbedingungen $Id: lagrange.tex,v 1.6 2012/11/06 14:26:21 hk Exp hk $ 2 Extrema unter Nebenbedingungen 2.1 Restringierte Optimierungsaufgaben Nachdem wir jetzt die bereits bekannten Techniken zur Bestimmung der lokalen

Mehr

Skalare Differentialgleichungen

Skalare Differentialgleichungen Kapitel 2 Skalare Differentialgleichungen 2.1 Skalare lineare Differentialgleichungen 2.2 Bernoulli und Riccati Differentialgleichungen 2.3 Differentialgleichungen mit getrennten Variablen 2.4 Exakte Differentialgleichungen

Mehr

Lineare Gleichungssysteme

Lineare Gleichungssysteme Lineare Gleichungssysteme Eines der am häufigsten auftretenden Standardprobleme der angewandten Mathematik ist das Lösen linearer Gleichungssysteme, etwa zur Netzwerkberechnung in der Elektrotechnik oder

Mehr

Das Lagrange-duale Problem

Das Lagrange-duale Problem Das Lagrange-duale Problem Tobias Kulke 29. April 2010 1 Einführung Für jedes Paar (λ, ν) mit λ 0 liefert die Langrange-duale Funktion ( ) p g(λ, ν) = inf L(x, λ, ν) = inf f 0 (x) + λ i f i (x) + ν i h

Mehr

13. Lineare DGL höherer Ordnung. Eine DGL heißt von n-ter Ordnung, wenn Ableitungen y, y, y,... bis zur n-ten Ableitung y (n) darin vorkommen.

13. Lineare DGL höherer Ordnung. Eine DGL heißt von n-ter Ordnung, wenn Ableitungen y, y, y,... bis zur n-ten Ableitung y (n) darin vorkommen. 13. Lineare DGL höherer Ordnung. Eine DGL heißt von n-ter Ordnung, wenn Ableitungen y, y, y,... bis zur n-ten Ableitung y (n) darin vorkommen. Sie heißt linear, wenn sie die Form y (n) + a n 1 y (n 1)

Mehr

FK WMS: Wirtschaftsmathematik 2, Einheit 7/8

FK WMS: Wirtschaftsmathematik 2, Einheit 7/8 FK WMS: Wirtschaftsmathematik 2, Einheit 7/8 Markus Sinnl 1 markus.sinnl@univie.ac.at http://homepage.univie.ac.at/markus.sinnl basierend auf Folien von Dr. Ivana Ljubic, Mag. Christian Spreitzer und Mag.

Mehr

Wirtschaftsmathematik für International Management (BA) und Betriebswirtschaft (BA)

Wirtschaftsmathematik für International Management (BA) und Betriebswirtschaft (BA) Wirtschaftsmathematik für International Management (BA) und Betriebswirtschaft (BA) Wintersemester 2014/15 Hochschule Augsburg : Gliederung 1 Grundlegende 2 Grundlegende 3 Aussagenlogik 4 Lineare Algebra

Mehr

Absolute Stetigkeit von Maßen

Absolute Stetigkeit von Maßen Absolute Stetigkeit von Maßen Definition. Seien µ und ν Maße auf (X, Ω). Dann heißt ν absolut stetig bezüglich µ (kurz ν µ ), wenn für alle A Ω mit µ(a) = 0 auch gilt dass ν(a) = 0. Lemma. Sei ν ein endliches

Mehr

Kommentierte Musterlösung zur Klausur HM I für Naturwissenschaftler

Kommentierte Musterlösung zur Klausur HM I für Naturwissenschaftler Kommentierte Musterlösung zur Klausur HM I für Naturwissenschaftler Wintersemester 3/4 (.3.4). (a) Für z = + i und z = 3 4i berechne man z z und z z. Die Ergebnisse sind in kartesischer Form anzugeben.

Mehr

Elemente der Analysis I Kapitel 2: Einführung II, Gleichungen

Elemente der Analysis I Kapitel 2: Einführung II, Gleichungen Elemente der Analysis I Kapitel 2: Einführung II, Gleichungen Prof. Dr. Volker Schulz Universität Trier / FB IV / Abt. Mathematik 8. November 2010 http://www.mathematik.uni-trier.de/ schulz/elan-ws1011.html

Mehr

Hamilton-Formalismus

Hamilton-Formalismus KAPITEL IV Hamilton-Formalismus Einleitung! IV.1 Hamilton sche Bewegungsgleichungen IV.1.1 Kanonisch konjugierter Impuls Sei ein mechanisches System mit s Freiheitsgraden. Im Rahmen des in Kap. II eingeführten

Mehr

Optimierung mit Matlab

Optimierung mit Matlab Lehrstuhl Mathematik, insbesondere Numerische und Angewandte Mathematik Prof. Dr. L. Cromme Computerbasierte Mathematische Modellierung für Mathematiker, Wirtschaftsmathematiker, Informatiker im Wintersemester

Mehr

Codierungstheorie Rudolf Scharlau, SoSe 2006 9

Codierungstheorie Rudolf Scharlau, SoSe 2006 9 Codierungstheorie Rudolf Scharlau, SoSe 2006 9 2 Optimale Codes Optimalität bezieht sich auf eine gegebene Quelle, d.h. eine Wahrscheinlichkeitsverteilung auf den Symbolen s 1,..., s q des Quellalphabets

Mehr

Das Subgradientenverfahren

Das Subgradientenverfahren Das Subgradientenverfahren Seminar Optimierung WS 05/06 Betreuer: Prof. F. Jarre von Jalo Liljo Das Subgradientenverfahren Das Ziel dieses Vortrags ist die Berechnung einer Lösung des unrestringierten

Mehr

Mathematik I für Wirtschaftswissenschaftler

Mathematik I für Wirtschaftswissenschaftler 1 Mathematik I für Wirtschaftswissenschaftler Lösungsvorschläge zur Klausur am 01.08.2003. Bitte unbedingt beachten: a) Verlangt und gewertet werden alle vier gestellten Aufgaben. Alle Aufgaben sind gleichwertig.

Mehr

8. Quadratische Reste. Reziprozitätsgesetz

8. Quadratische Reste. Reziprozitätsgesetz O Forster: Prizahlen 8 Quadratische Reste Rezirozitätsgesetz 81 Definition Sei eine natürliche Zahl 2 Eine ganze Zahl a heißt uadratischer Rest odulo (Abkürzung QR, falls die Kongruenz x 2 a od eine Lösung

Mehr

Stackelberg Scheduling Strategien

Stackelberg Scheduling Strategien Stackelberg Scheduling Strategien Von Tim Roughgarden Präsentiert von Matthias Ernst Inhaltsübersicht Einleitung Vorbetrachtungen Stackelberg Strategien Ergebnisse Seminar Algorithmische Spieltheorie:

Mehr

Übung 5, Analytische Optimierung

Übung 5, Analytische Optimierung Übung 5, 5.7.2011 Analytische Optimierung Aufgabe 5.1 Bei der Herstellung von Konserven werden für Boden und Deckel bzw. für den Konservenmantel verschiedene Materialien verwendet, die g 1 = bzw. g 2 =

Mehr

Operations Research. Konvexe Funktionen. konvexe Funktionen. konvexe Funktionen. Rainer Schrader. 4. Juni Gliederung

Operations Research. Konvexe Funktionen. konvexe Funktionen. konvexe Funktionen. Rainer Schrader. 4. Juni Gliederung Operations Research Rainer Schrader Konvexe Funktionen Zentrum für Angewandte Informatik Köln 4. Juni 2007 1 / 84 2 / 84 wir haben uns bereits mit linearen Optimierungsproblemen beschäftigt wir werden

Mehr

7 Rechnen mit Polynomen

7 Rechnen mit Polynomen 7 Rechnen mit Polynomen Zu Polynomfunktionen Satz. Zwei Polynomfunktionen und f : R R, x a n x n + a n 1 x n 1 + a 1 x + a 0 g : R R, x b n x n + b n 1 x n 1 + b 1 x + b 0 sind genau dann gleich, wenn

Mehr

Optimal Control in Air Traffic Management

Optimal Control in Air Traffic Management Optimal Control in Air Traffic Management DGLR Workshop Bestimmung optimaler Trajektorien im Air Traffic Management 23.04.2013 Deutsche Flugsicherung GmbH, Langen 23.04.2013 1 Inhalt. Hintergrund und Motivation.

Mehr

8 Extremwerte reellwertiger Funktionen

8 Extremwerte reellwertiger Funktionen 8 Extremwerte reellwertiger Funktionen 34 8 Extremwerte reellwertiger Funktionen Wir wollen nun auch Extremwerte reellwertiger Funktionen untersuchen. Definition Es sei U R n eine offene Menge, f : U R

Mehr

Angewandte Stochastik

Angewandte Stochastik Angewandte Stochastik Dr. C.J. Luchsinger 17 Crash Course Brownsche Bewegung (stetige Zeit, stetiger Zustandsraum); Pricing & Hedging von Optionen in stetiger Zeit Literatur Kapitel 17 * Uszczapowski:

Mehr

Approximation durch Taylorpolynome

Approximation durch Taylorpolynome TU Berlin Fakultät II - Mathematik und Naturwissenschaften Sekretariat MA 4-1 Straße des 17. Juni 10623 Berlin Hochschultag Approximation durch Taylorpolynome Im Rahmen der Schülerinnen- und Schüler-Uni

Mehr

Optimale Steuerung. Sequentielle Quadratische Programmierung. Kevin Sieg. 14. Juli 2010. Fachbereich für Mathematik und Statistik Universität Konstanz

Optimale Steuerung. Sequentielle Quadratische Programmierung. Kevin Sieg. 14. Juli 2010. Fachbereich für Mathematik und Statistik Universität Konstanz Optimale Steuerung Kevin Sieg Fachbereich für Mathematik und Statistik Universität Konstanz 14. Juli 2010 1 / 29 Aufgabenstellung 1 Aufgabenstellung Aufgabenstellung 2 Die zusammengesetzte Trapezregel

Mehr

Höhere Mathematik II für die Fachrichtung Physik Lösungsvorschläge zum 8. Übungsblatt. ). 12x 3 Die Hessematrix von f ist gegeben durch H f (x, y) =

Höhere Mathematik II für die Fachrichtung Physik Lösungsvorschläge zum 8. Übungsblatt. ). 12x 3 Die Hessematrix von f ist gegeben durch H f (x, y) = Karlsruher Institut für Technologie (KIT Institut für Analysis Priv-Doz Dr P C Kunstmann Dipl-Math D Roth SS 0 7060 Höhere Mathematik II für die Fachrichtung Physik Lösungsvorschläge zum 8 Übungsblatt

Mehr

Höhere Mathematik 3. Apl. Prof. Dr. Norbert Knarr. Wintersemester 2015/16. FB Mathematik

Höhere Mathematik 3. Apl. Prof. Dr. Norbert Knarr. Wintersemester 2015/16. FB Mathematik Höhere Mathematik 3 Apl. Prof. Dr. Norbert Knarr FB Mathematik Wintersemester 2015/16 4. Homogene lineare Dierentialgleichungen 4.1. Grundbegrie 4.1.1. Denition. Es sei J R ein Intervall und a 0 ; : :

Mehr

Das Briefträgerproblem

Das Briefträgerproblem Das Briefträgerproblem Paul Tabatabai 30. Dezember 2011 Inhaltsverzeichnis 1 Problemstellung und Modellierung 2 1.1 Problem................................ 2 1.2 Modellierung.............................

Mehr

Grundlagen der Monte Carlo Simulation

Grundlagen der Monte Carlo Simulation Grundlagen der Monte Carlo Simulation 10. Dezember 2003 Peter Hofmann Inhaltsverzeichnis 1 Monte Carlo Simulation.................... 2 1.1 Problemstellung.................... 2 1.2 Lösung durch Monte

Mehr

6 Allgemeine Theorie des elektromagnetischen Feldes im Vakuum

6 Allgemeine Theorie des elektromagnetischen Feldes im Vakuum 6 ALLGEMEINE THEORIE DES ELEKTROMAGNETISCHEN FELDES IM VAKUUM 25 Vorlesung 060503 6 Allgemeine Theorie des elektromagnetischen Feldes im Vakuum 6.1 Grundaufgabe der Elektrodynamik Gegeben: Ladungsdichte

Mehr

OPERATIONS-RESEARCH (OR)

OPERATIONS-RESEARCH (OR) OPERATIONS-RESEARCH (OR) Man versteht darunter die Anwendung mathematischer Methoden und Modelle zur Vorbereitung optimaler Entscheidungen bei einem Unternehmen. Andere deutsche und englische Bezeichnungen:

Mehr

Analysis II 14. Übungsblatt

Analysis II 14. Übungsblatt Jun.-Prof. PD Dr. D. Mugnolo Wintersemester 01/13 F. Stoffers 04. Februar 013 Analysis II 14. Übungsblatt 1. Aufgabe (8 Punkte Man beweise: Die Gleichung z 3 + z + xy = 1 besitzt für jedes (x, y R genau

Mehr

Güte von Tests. die Wahrscheinlichkeit für den Fehler 2. Art bei der Testentscheidung, nämlich. falsch ist. Darauf haben wir bereits im Kapitel über

Güte von Tests. die Wahrscheinlichkeit für den Fehler 2. Art bei der Testentscheidung, nämlich. falsch ist. Darauf haben wir bereits im Kapitel über Güte von s Grundlegendes zum Konzept der Güte Ableitung der Gütefunktion des Gauss im Einstichprobenproblem Grafische Darstellung der Gütefunktionen des Gauss im Einstichprobenproblem Ableitung der Gütefunktion

Mehr

Übungsklausur. Bitte wählen Sie fünf Aufgaben aus! Aufgabe 1. Übungsklausur zu Mathematik I für BWL und VWL (WS 2008/09) PD Dr.

Übungsklausur. Bitte wählen Sie fünf Aufgaben aus! Aufgabe 1. Übungsklausur zu Mathematik I für BWL und VWL (WS 2008/09) PD Dr. Übungsklausur zu Mathematik I für BWL und VWL (WS 2008/09) PD Dr. Gert Zöller Übungsklausur Hilfsmittel: Taschenrechner, Formblatt mit Formeln. Lösungswege sind stets anzugeben. Die alleinige Angabe eines

Mehr

Das Gradientenverfahren

Das Gradientenverfahren Das Gradientenverfahren - Proseminar: Algorithmen der Nichtlinearen Optimierung - David Beisel December 10, 2012 David Beisel Das Gradientenverfahren December 10, 2012 1 / 28 Gliederung 0 Einführung 1

Mehr

Induktive Limiten. Arpad Pinter, Tobias Wöhrer. 30. Jänner 2010

Induktive Limiten. Arpad Pinter, Tobias Wöhrer. 30. Jänner 2010 Induktive Limiten Arpad Pinter, Tobias Wöhrer 30. Jänner 2010 1 Inhaltsverzeichnis 1 Induktiver Limes von Mengen 2 2 Induktiver Limes von Vektorräumen 4 3 Lokalkonvexe topologische Vektorräumen 7 4 Induktiver

Mehr

Anwendungen der Differentialrechnung

Anwendungen der Differentialrechnung KAPITEL 3 Anwendungen der Differentialrechnung 3.1 Lokale Maxima und Minima Definition 16: Sei f : D R eine Funktion von n Veränderlichen. Ein Punkt x heißt lokale oder relative Maximalstelle bzw. Minimalstelle

Mehr

Maple-Skripte. A.1 Einleitung. A.2 Explizite Zweischritt-Runge-Kutta-Verfahren. Bei der Ausführung

Maple-Skripte. A.1 Einleitung. A.2 Explizite Zweischritt-Runge-Kutta-Verfahren. Bei der Ausführung A Maple-Skripte A.1 Einleitung Bei der Ausführung mechanischer Rechnungen können Computeralgebra-Programme sehr nützlich werden. Wenn man genau weiß, was eingesetzt, umgeformt, zusammengefaßt oder entwickelt

Mehr

Abiturvorbereitung Mathematik -Dierentialrechnungc Max. Hoffmann

Abiturvorbereitung Mathematik -Dierentialrechnungc Max. Hoffmann Abiturvorbereitung Mathematik -Dierentialrechnungc Max Hoffmann 1 Ganzrationale Funktionen Im Folgenden wollen wir uns mit ganzrationale Funktionen und der Untersuchung solcher beschäftigen. Dabei werden

Mehr

Weiterbildung für Ingenieure Numerische Methoden für Differentialgleichungen Prinzipien und Praxis Taubert, Heitmann Universität Hamburg WS03/04

Weiterbildung für Ingenieure Numerische Methoden für Differentialgleichungen Prinzipien und Praxis Taubert, Heitmann Universität Hamburg WS03/04 Weiterbildung für Ingenieure Numerische Methoden für Differentialgleichungen Prinzipien und Praxis Taubert, Heitmann Universität Hamburg WS03/04 Linearisierung 1 K. Taubert LINEARISIERUNG und das VERHALTEN

Mehr