PROSEMINAR 2009 Numerische Optimierung: Quasi-Newton-Verfahren Kapitel
|
|
- Ursula Albrecht
- vor 7 Jahren
- Abrufe
Transkript
1 PROSEMINAR 2009 Numerische Optimierung: Quasi-Newton-Verfahren Kapitel CONSTANTIN Simone Ch. des Epinettes Marly 19. November 2009 Inhaltsverzeichnis 1 Einleitung 2 2 Das BFGS-Verfahren Die Herleitung der DFP- und BFGS-Formeln Der BFGS Algorithmus Eigenschaften der BFGS Methode Implementation Die SR1 Methode Die Herleitung der SR1-Formeln Der SR1 Algorithmus Eigenschaften der SR1 Modiation Die Broyden-Klasse Die Formeln der Broyden-Klasse Eigenschaften der Broyden-Klasse Jorge Nocedal and Stephen J. Wright: Numerical Optimization, Springer Series in Operations Research, Springer
2 1 Einleitung In diesem Kapitel behandeln wir die Klasse der Quasi-Newton-Verfahren für leine und mittelgrosse Probleme. Die Verfahrenslasse der unrestringierten Minimierung, wird derzeit als die ezienteste und zuverlässigste zur Lösung von Problemen nicht zu hoher Dimension angesehen. W.C. Davidon benutzte Mitte der 50er Jahre die coordinate descent-methode zur Berechnung des Optimierungsproblems. Das Computersystem stürzte jedoch immer vor Ende der Berechnung ab, da zu dieser Zeit die Rechner nicht sehr stabil waren. Also schrieb Davidon einen Algorithmus um die Iteration zu beschleunigen, den ersten Quasi-Newton-Algorithmus. Fletcher und Powell zeigten, dass dieser viel schneller und bewährter war als alle anderen bisherig beannten Verfahren. Die Quasi-Newton-Verfahren verwenden anstelle der exaten Hesse-Matrix der zu minimierenden Funtion eine geeignete Approximation an diese. Dadurch wird die häug sehr aufwendige explizite Berechnung der zweiten partiellen Ableitung der Zielfuntion vermieden. Diese Approximation wird dabei von Iteration zu Iteration aufdatiert. In der Berechnung werden also eine zusätzlichen Funtions- oder Ableitungswerte benötigt. Damit ist jeder Iterationsschritt der Quasi-Newton-Verfahren weniger aufwendig und oft viel ezienter als beim Newton-Verfahren. Dennoch sind viele der Quasi-Newton-Verfahren loal superlinear onvergent. 2 Das BFGS-Verfahren Das beliebteste und erfolgreichste Quasi-Newton-Verfahren ist die BFGS Methode. Die BFGS- Formel, die pratisch zeitgleich und unabhängig voneinander von Broyden, Fletcher, Goldfarb, und Shanno, entdect wurde, leiten wir nun her. 2.1 Die Herleitung der DFP- und BFGS-Formeln Um dieses Methode zu onstruieren, bilden wir das quadratischen Model der Zielfuntion zum Zeitpunt des Iterationswertes x : m (p) = f + f T p pt B p (1) wobei B R n n symmetrisch und positiv denit ist. Die Matrix B wird bei jeder Iteration aufdatiert. Der Wert und der Gradient dieses Models entspricht bei p = 0 jeweils f und f. Als neue Iteration erhalten wir x +1 = x + α p, (2) mit der Suchrichtung p = B 1 f. (3) Hierbei muss die Schrittweite α die Wolfe-Bedingungen (cf. Kapitel 3, JULIEN Cyril) f(x + α p ) f(x ) + c 1 α f T p, f(x + α p ) T p c 2 f T p, (4a) (4b) mit 0 < c 1 < c 2 < 1 erfüllen. Diese Iteration ist sehr ähnlich zum Abstiegsverfahren von Newton. Der Unterschied besteht 2
3 darin, dass wir anstelle der exaten Hesse-Matrix der zu minimierenden Funtion die approximierte Matrix B benützen. Anstatt B bei jeder Iteration neu zu berechnen, schlug Davidon vor die Matrix auf einfache Weise aufzudatieren. Angenommen wir würden eine neue Iteration x +1 bilden und ein neues quadratische Model der Form m +1 (p) = f +1 + f T +1 p pt B +1 p aufstellen. Welche Bedingungen müssen wir an B +1 stellen? Eine sinnvolle Anforderung an B +1 ist, dass der Gradient von m +1 dem Gradienten der Zielfuntion f an den letzten zwei Iterationen x und x +1 entspricht. D.h. wir haben zwei Bedingungen die erfüllt werden müssen: 1. m +1 entspricht f : diese Bedingung wird für p = α p erfüllt, i.e. m +1 ( α p ) = f +1 α B +1 p = f 2. m +1 entspricht f +1 : diese Bedingung wird für p = 0 erfüllt. Daraus folgt B +1 α p = f +1 f (5) Um die Schreibweise zu vereinfachen, bestimmen wir folgende Notationen für s und y : s = x +1 x, y = f +1 f (6) Setzen wir diese Denitionen in die Gleichung (5) ein, erhalten wir B +1 s = y (7) Diese Formel nennt man die Seantengleichung oder die Quasi-Newton-Gleichung. Die Seantengleichung (7) erfordert, dass die positiv denite und symmetrische Matrix B +1, s in y abbildet. Dies ist nur möglich, wenn s und y die Krümmungsbedingung s T y > 0, (8) erfüllen. Die Seantengleichung (7) hat immer eine Lösung B +1 wenn die Krümmungsbedingung (8) erfüllt wird. Doch wann genau erfüllen wir die Krümmungsbedingung (8)? Angenommen f ist eine strit onvexe Funtion, dann gilt die Ungleichung (8) für beliebige Punte x und x +1. Jedoch für nicht onvexe Funtionen wird diese Bedingung nicht immer erfüllt. Daher beschränen wir das Abstiegsverfahren zur Bestimmung von α. Die Krümmungsondition wird garantiert erfüllt, wenn wir dem Abstiegsverfahren die Wolfe-Konditionen (4a) und (4b) aufzwingen. Denn aus (6) und (4b) gilt f T +1 s c 2 f T s. Daraus folgt y T s (c 2 1)α f T p, (9) wobei c 2 < 1 und p ist die Abstiegsrichtung. Der Term (c 2 1)α f T p wird positiv sein, also ist die Krümmungsbedingung erfüllt. 3
4 Um B +1 eindeutig zu bestimmen, führen wir eine zusätzliche Bedingung ein, die erfüllt werden muss. Wir wählen die Matrix B +1, welche die Krümmungsbedingung (8) erfüllt, die am nächsten der Matrix B ist. D.h. wir lösen das Problem min B B B unterliegt (10a) B = B T, Bs = y (10b) wobei B die positiv denite, symmetrische Matrix ist und s, y die Bedingung (8) erfüllen. Um das Minimisationproblem (10a),(10b) einfach zu lösen, benützen wir eine Gewichtsmatrix und die Frobenius-Norm A W W AW 2 F (11) wobei F durch C 2 F = n Matrix, die W y = s erfüllt. Wir wählen W = Ḡ 1, wobei [ 1 Ḡ = i=1 n j=1 c2 ij 0 deniert ist und das Gewicht W ist eine beliebige ] 2 f(x + τα p )dτ der Durchschnitt der hessischen Matrix ist, für die die Seantenrelation selbst erfüllt ist. Mithilfe der gewichteten Matrix W und der Frobenius-Norm erhalten wir die eindeutig bestimmte Lösung von (10a),(10b) (DF P ) B +1 = (I γ y s T )B (I γ s y T ) + γ y y T, (12) mit γ = 1 y T s und y = Ḡα p = Ḡs. Dies ist die sogenannte Davidon-Fletcher-Powell-Formel. Sie wurde 1959 von Davidon vorgeschlagen und studiert, ausgebaut und veröentlicht von Fletcher und Powell. Sei nun H die inverse Matrix von B, i.e. H = B 1. Dies ist sehr hilfreich für die Implementation der Methode, weil die Berechnung der Suchrichtung p in (3) durch eine einfache Matrix-Vetor-Multipliation erfolgt. Mithilfe der inversen Hessian-Aproximation H önnen wir B in (12) atualisieren und erhalten (DF P ) H +1 = H H y y T H y T H y + s s T y T s. (13) Die DFP-Formel ist ezient, wurde aber von der BFGS-Formel abgelöst. Die BFGS-Formel wird als die Eetivste aller Quasi-Newton-Formel betrachtet. Anstatt Bedingungen an die hessische Approximationsmatrix B zu stellen, wie wir dies in (10a) und (10b) getan haben, stellen wir diese an deren inverse Matrix H : min H (14a) H = H T, Hy = s. (14b) Die aufdatierte Approximation H +1 muss symmetrisch, positiv denit sein und die Seantengleichung H +1 y = s erfüllen. Wiederum arbeiten wir mit einer beliebigen Gewichtsmatrix W, die W, W s = y erfüllt, und der Frobenius-Norm. Angenommen W wird durch den 4
5 Durchschnitt der hessischen Matrix Ḡ gegeben, dann erhalten wir die eindeutig bestimmte Lösung (BF GS) H +1 = (I ρ s y T )H (I ρ y s T ) + ρ s s T, (15) wobei ρ = 1 y T s. (16) Doch wie wählen wir H 0? Es existiert eine allgemein gültige Formel, um diese Matrix zu bestimmen. Wir önnen ganz einfach die Identitätsmatrix oder ein Mehrfaches dieser nehmen, oder durch spezielle Informationen die approximierte inverse hessische Matrix erstellen. 2.2 Der BFGS Algorithmus Algorithmus 1 (Das BFGS Verfahren). Gegeben sei der Startpunt x 0, die tolerante Konvergenz ɛ > 0, die approximierte inverse Hesse-Matrix H 0 ; 0; while f > ɛ do Berechne die Suchrichtung p = H f ; Setze x +1 = x + α p, wobei α mit dem Abstiegsverfahren berechnet wird und die Wolfe Bedingungen (4a) und (4b) erfüllt; Deniere s = x +1 x und y = f +1 f ; Berechne H +1 anhand von (15); + 1; end while Jede Iteration benötigt nur O(n 2 ) Operationen, im Gegensatz zum Newton-Verfahren (O(n 3 ) Operationen). Der Algorithmus ist sehr stabil und er besitzt eine superlineare Konvergenz. Er bietet jedoch eine quadratische Konvergenz wie das Newton-Verfahren. Ein weiterer Vorteil der BFGS Methode ist es, dass sie eine zweiten Ableitungen berechnet. 2.3 Eigenschaften der BFGS Methode Die BFGS Methode onvergiert superlinear. Das Minimierungsproblem (14a) und (14b), aus welchem wir die BFGS-Formel herleiten, erfordert nicht explizit, dass die approximierte Hesse- Matrix positiv denit ist. Doch wann ist H +1 positiv denit? Behauptung 2 (Positive Denitheit von H +1 ). Ist H positiv denit, dann auch H +1. Beweis. Aus (9) wissen wir, dass y T s positiv ist, also sind die Formel (15) und (16) wohlde- niert. Für jeden Vetor z 0 haben wir z T H +1 z = w T H w + ρ (z T s ) 2 0, mit w = z ρ y (s T z). w T H w + ρ (z T s ) 2 ist nur dann 0, wenn s T z = 0. In diesem Falle müsste gelten w = z 0 und daraus folgt, dass z T H +1 z > 0. Folglich ist H +1 positiv denit. Das BFGS-Verfahren, angewandt auf die quadratische Funtion, hat viele interessante Eigenschaften. Diese werden wir im allgemeinen Fall unter dem Kapitel (4) sehen. 5
6 Es ist sinnvoller uns die Frage zu stellen, in welchem Fall das BFGS-Verfahren schlechte Resultate liefert. Also was wenn bei einer Iteration die Matrix H eine schlechte Approximation ist, önnen wir diese orrigieren? Wenn y T s sehr lein ist (jedoch immer noch positiv), dann wird H +1 sehr gross. Ist diese Eigenschaft sinnvoll? Gibt es Rundungsfehler, die möglicherweise nützliche Informationen für die approximierte Quasi-Newton-Matrix löschen? Diese Fragen wurden analytisch und versuchsweise studiert. Heutzutage wissen wir, dass die BFGS-Formel sehr eetive Eigenschaften der Selbstorretur besitzen. Zudem ist die DFP Methode weniger ezient bei der Korretur einer schlechten Approximation der Hesse-Matrix. Eine weitere Eigenschaft ist, dass die DFP- und die BFGS-Formeln zueinander duale Aufdatierungsformeln sind, i.e. indem man die Tripel (H, s, y), (B, y, s) vertauscht, erhält man die jeweils entgegengesetzte Formel. 2.4 Implementation Um eine eziente Implementation zu erhalten, müssen wir den Algorithmus (1) erweitern. Das Abstiegsverfahren, das die Wolfe-Bedingungen (4a) und (4b) erfüllt, sollte zuerst immer mit der Schrittlänge α = 1 berechnet werden. Diese Schrittgrösse wird meistens azeptiert und dabei wird superlineare Konvergenz über dem ganzen Algorithmus erzeugt. Für die Konstanten c 1 und c 2 in den Wolfe-Bedingungen werden meistens die Werte c 1 = 10 4, c 2 = 0.9 benützt. Als Anfangsmatrix H 0 wird oft ein Vielfaches der Identitätsmatrix benutzt, i.e. H 0 = βi. Es gibt jedoch eine allgemeine Regel um dieses β zu bestimmen. Wählen wir β zu gross, dann wird unser erster Schritt p 0 = βg 0 zu lang. Bei einigen Programmen deniert der Benutzer δ für die Norm der ersten Evaluation und setzt dann H 0 = δ g o 1 I um die Norm zu erhalten. Eine weitere Möglicheit besteht darin, die Startmatrix erst nach dem ersten Verfahrensschritt, jedoch noch vor der ersten BFGS Aufdatierung zu bestimmen. D.h. der provisorische Wert H 0 = I wird durch H 0 yt s y T y I, (17) ersetzt und bevor wir die BFGS-Formel (15) mit (16) aufdatieren, erhalten wir H 1. Wir önnen das BFGS-Verfahren mit der hessischen Approximationsmatrix B anstelle H schreiben und erhalten (BF GS) B +1 = B B s s T B s T B s + y y T y T s. (18) Eine eziente Implementation dieser Annäherung speichert B nicht explizit, sondern die Cholesy-Fatorisation L D L T dieser Matrix. Eine Formel zur Aufdatierung der Fatoren L und D önnen wir aus (18) herleiten. Diese Berechnungen werden in O(n 2 ) Operationen durchgeführt, also erhalten wir hierbei ähnliche Berechnungsosten wie im Algorithmus 1. Erfahrungen mit der Berechnung dieser Art haben gezeigt, dass diese Methode eine speziellen Vorteile erbringt. 3 Die SR1 Methode In der BFGS und DFP Formel weicht die aufdatierte Matrix B +1 oder H +1 durch eine Rang-2-Matrix von B bzw. H ab. Es existiert jedoch eine einfachere Rang-1-Modiation, welche die Symmetrie der Matrix beibehält und zur selben Zeit die Seantengleichung (7) 6
7 erfüllt. Im Gegenteil zur Rang-2-Modiation garantiert das symmetrische Rang-1-Verfahren, urz SR1, eine positive Denitheit der Matrix. Viele numerische Resultate beziehen sich auf den SR1-Algorithmus, darum leiten wir diesen her. 3.1 Die Herleitung der SR1-Formeln Die SR1-Modiation wird allgemein geschrieben als B +1 = B + σvv T, wobei σ = ±1 und σ,v sind so gewählt, dass B +1 die Seantengleichung B +1 s = y erfüllt. Ersetzen wir B +1 durch B +σvv T in der Seantengleichung, i.e. (B +σvv T )s = y, erhalten wir B s + [ σv T s ] v = y. (19) Weil [ σv T s ] ein Salar ist, ist v ein Vielfaches von y B s, i.e. v = δ(y B s ) für ein Salar δ. Setzen wir v in (19) ein, erhalten wir σδ 2 [ s T (y B s ) ] (y B s ) = (y B s ). (20) Diese Gleichung wird jedoch nur dann erfüllt, wenn wir die Parameter σ und δ wie folgt wählen σ = sign [ s T (y B s ) ], δ = ± s T (y B s ) 1 2. Die einzige symmetrische Rang-1-Modiationsformel, die die Seantengleichung erfüllt ist wird somit gegeben durch (SR1) B +1 = B + (y B s )(y B s ) T (y B s ) T s. (21) Die entsprechende Formel für die approximierte inverse hessische Matrix H lautet (SR1) H +1 = H + (s H y )(s H y ) T (s H y ) T y. (22) Wenn B oder H positiv denit ist, muss dies nicht auch der Fall sein für B +1 oder H +1. Für B oder H gibt es drei verschiedene Fälle, welche wir nun anhand der Matrix B betrachten: 1. (y B s ) T 0: es existiert eine eindeutig bestimmte Rang-1-Modiation gegeben durch (21), die die Seantengleichung (7) erfüllt; 2. y = B s : es existiert eine eindeutig bestimmte Rang-1-Modiation gegeben durch B +1 = B, die die Seantengleichung (7) erfüllt; 3. y B s und (y B s ) T = 0: es existiert eine eindeutig bestimmte Rang-1- Modiation welche die Seantengleichung (7) erfüllt, aufgrund von (20). In der Praxis wurde beobachtet, dass die SR1 Methode gut ausgeführt wird, wenn der Nenner bei der Modiation möglichst lein gehalten wird. Um den Abbruch der SR1 Methode zu verhindern benützt man zur Implementation oft eine Regel: Die Aufdatierung von (21) wird nur dann durchgeführt, wenn gilt s T (y B s ) r s y B s (23) wobei r (0, 1) ist lein (z.b. r = 10 8 ). Wird (23) nicht eingehalten, dann setzten wir B +1 = B. 7
8 3.2 Der SR1 Algorithmus Für den SR1 Algorithmus benutzen wir als Bezugssystem die Trust-Region. Dies aus dem einfachen Grund, dass wir so die hessische Approximationsmatrix nicht verändern müssen, damit sie genügend positiv denit ist. Algorithmus 3 (Das SR1 Trust-Region Verfahren). Gegeben sei der Startpunt x 0, die tolerante Konvergenz ɛ > 0, die approximierte inverse Hesse-Matrix B 0, der Radius der Trust-Region 0, die Parameter η (0, 10 3 ) und r (0, 1); 0; while f > ɛ do Berechne s mithilfe der Berechnung des Unterproblems Berechne min s f T s st B s gemäss s. y = f(x + s ) f, ared = f f(x + s ) (atuelle Redution) pred = ( f T s st B s ) (erwartete Redution); if ared/pred > η then x +1 = x + s else x +1 = x ; end if if ared/pred > 0.75 then if s 0.8 then +1 = else +1 = 2 ; end if else if 0.1 ared/pred 0.75 then +1 = else +1 = 0.5 end if if wird (23) eingehalten then benütze (21) um B +1 zu berechnen, auch wenn gilt x +1 = x. else B +1 B ; end if + 1; end while 3.3 Eigenschaften der SR1 Modiation Zu den grössten Vorteilen der SR1 Modiation ist, dass sie die hessische Matrix sehr gut approximiert. Betrachten wir nämlich eine quadratische Funtion mit der Schrittlänge α = 1 8
9 erhalten wir p = H f, x +1 = x + p. (24) Daraus folgt dass p = s. Satz 4. Angenommen f : R n R ist die streng onvexe quadratische Funtion f(x) = b T x+ 1 2 xt Ax, wobei A symmetrisch und positiv denit. Wenn gilt (s H y ) T 0, dann onvergiert für jeden beliebigen Startpunt x 0 und für jede beliebige symmetrische Anfangsmatrix H 0 die Iterationen {x }, erstellt durch die SR1 Methode (22),(24), zum Minimizer in mindestens n Schritten. Ferner gilt, wenn nach n Schritten die Suchrichtungen p i linear unabhängig sind, dann H n = A 1. Beweis. Die SR1 Modiation ist aufgrund der Voraussetzung (s H y ) T y 0, immer wohldeniert. Durch Indution zeigen wir dass gilt H y j = s j fürj = 0,, 1, (25) i.e. wir verlangen, dass die Seantengleichung nicht nur für die letzte Suchrichtung gilt, sondern für alle Suchrichtungen. Die SR1 Modiation erfüllt laut Denition die Seantengleichung, also haben wir H 1 y 0 = s 0. Angenommen (25) gilt für > 1, also zeigen wir, dass es ebenfalls für + 1 gilt. Wir haben (s H y ) T y j = s T y j y T (H y j ) = s T y j y T s j j <, (26) weil für die quadratische Funtion y i = As i gilt, erhalten wir s T y j y T s j = 0. Daraus folgt H +1 y j = H y j = s j, j <. Aus der Seantengleichung wissen wir dass gilt H +1 y = s. und (25) für + 1. Also gilt (25) für alle. Führt der Algorithmus n Schritte aus und sind die Schritte {s j } linear unabhängig erhalten wir s j = H n y j = H n As j, fürj = 0,, n 1. Daraus folgt dass H n A = I, also H n = A 1. Folglich ist der Schritt bei x n der Newton-Schritt und die nächste Iteration x n+1 die Lösung. Somit ist auch der Algorithmus hier beendet. Sind jedoch die Schritte {s j } linear abhängig, önnen wir s als Linearombination s = ξ 0 s ξ 1 s 1, (27) schreiben, wobei ξ i Salare sind. Aus (27) und (25) erhalten wir H y = H As = ξ 0 H As ξ 1 H As 1 = ξ 0 H y ξ 1 H y 1 = ξ 0 s ξ 1 s 1 = s. Weil y = f +1 f und s = p = H f erhalten wir H ( f +1 f ) = H f. Ist nun H nicht singulär, dann ist f +1 = 0. Daraus folgt, dass x +1 der Lösungspunt ist. 9
10 Satz 5. Angenommen f ist zweimal stetig dierenzierbar, die hessische Matrix beschränt und Libschitz-stetig an der Umgebung eines Puntes x. Sei {x } eine Folge von Iterationen s.d. x x für ein x R n. Angenommen (23) gilt für alle und für einige r (0, 1) und die Schritte s sind gleichmässig linear unabhängig. Dann erfüllen die durch die SR1 modizierten Matrizen B lim B 2 f(x )) = 0. 4 Die Broyden-Klasse x Bis jetzt haben wir die BFGS, DFP und SR1 Verfahren beschrieben. Mit der sogenannten Broyden-Formel erhalten wir eine ganze Klasse von Quasi-Newton-Verfahren. 4.1 Die Formeln der Broyden-Klasse Die Broyden-Klasse ist eine Familie, die mit der folgenden Formel rechnet: wobei φ ein Salar ist und B +1 = B B s s T B s T B s v = [ y + y y T y T s φ (s T B s )v v T, (28) y T s B ] s s T B. (29) s Setzen wir nun in (28) φ = 0 dann erhalten wir die BFGS-Formel und bei φ = 1 die DFP-Formel. Also gehören das BFGS und das DFP Verfahren zur Broyden-Klasse. Dadurch önnen wir (20) auch als Linearombination dieser beiden Formeln schreiben und erhalten BF GS B +1 = (1 φ )B+1 + φ B+1 DF P. Viel Aufmersameit wurde der sogenannten eingeschränten (auch onvexen) Broyden- Klasse zugewandt. Hierbei wird φ auf das Intervall [0, 1] beschränt. Wenn wir dies an einer quadratischen Funtion anwenden, erhalten wir den Satz 6. Einfachheitshalber nehmen wir an, dass jede Iteration die Form besitzt. p = B 1 f, x +1 = x + p (30) Satz 6. Angenommen f : R n R ist die streng onvexe quadratische Funtion f(x) = b T x xt Ax, wobei A symmetrisch und positiv denit. Sei x 0 ein beliebiger Startpunt für die Iteration (30) und sei B 0 die positiv denite, symmetrische Startmatrix. Angenommen die Matrizen B werden anhand der Broyden-Formel (28) aufdatiert mit der Eigenschaft φ [0, 1]. Deniere λ 1 λ 2 λ n als die Eigenwerte der Matrix Dann gilt für alle A 1 2 B 1 A 1 2. (31) min{λ i, 1} λ +1 i max{λ i, 1}, i = 1,, n. (32) Zu beachten ist, dass wenn φ / [0, 1], dann gilt die Eigenschaft (32) nicht. 10
11 Dieser Satz besagt uns, dass wenn die Eigenwerte λ i der Matrix (31) alle gleich 1 sind, dann ist die Quasi-Newton-Approximation B identisch der Hessischen Matrix A der quadratischen Zielfuntion. Dies wäre die ideale Situation, also hoen wir, dass unsere Eigenwerte möglichst nahe von 1 sind. (32) besagt uns, dass die Eigenwerte {λ i } monoton, jedoch nicht streng monoton gegen 1 onvergieren. 4.2 Eigenschaften der Broyden-Klasse Wenn B positiv denit ist und wenn gilt y T s > 0, φ 0, wobei φ [0, 1], dann ist für eine Atualisierung mit der Broyden-Klasse die Matrix B +1 ebenfalls positiv denit. Weiter wissen wir, wenn die Hesse-Matrix B 0 symmetrisch positiv ist und für alle gilt s T y > 0 und φ > φ c, wobei φ c = 1, mit µ = (yt B 1 y )(s T B s ) 1 µ (y T s ) 2, (33) gilt. Dann sind alle Matrizen B die mithilfe einer Broyden-Formel berechnet wurden symmetrisch und positiv denit. Wenden wir die Broyden-Klasse mit dem exaten Abstiegsverfahren an einer quadratischen Funtion an, erhalten wir einige Eigenschaften, die unter anderem im folgenden Satz beschrieben werden. Satz 7. Sei f : R n R die streng onvexe quadratische Funtion, wobei x 0 ein beliebiger Startpunt und B 0 eine positiv denite, symmetrische Startmatrix ist. Angenommen wir wenden eine Methode der Broyden-Klasse an f an. Vorausgesetzt wird, dass α die exate Schrittweite und φ φ C für alle ist. Dann gelten folgende Aussagen: i Die iterierten Werte onvergieren zur Antwort in höchstens n Iterationen. ii Die Seantengleichung wird für alle Suchrichtungen erfüllt, i.e. B s j = y j j = 1,, 1. iii Ist die Startmatrix B 0 = I, dann sind die iterierten Werte identisch zu denen, die wir beim Verfahren der onjugierten Gradienten (CG-Verfahren) erhalten. Insbesondere haben wir onjugierte Suchrichtungen, i.e. s T i As j = 0 für i j. wobei A die hessische Matrix der quadratischen Funtion ist; iv Werden n Iterationen durchgeführt, haben wir B n+1 = A. Literatur [1] Jorge Nocedal and Stephen J. Wright: Numerical Optimization, Springer Series in Operations Research, Springer [2] Webseite des Proseminars: [3] Carl Geiger und Christian Kanzow: Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben, Springer-Lehrbuch, Springer [4] P. Spellucci: Numerische Verfahren der nichtlinearen Optimierung, Internationale Schriftreihe zur numerischen Mathemati: Lehrbuch, Birhäuser
Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben. Eine kurze Einführung in Quasi Newton Verfahren
Ergänzungen zu dem Buch Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben von Carl Geiger und Christian Kanzow (Springer Verlag, 1999) Eine kurze Einführung in Quasi Newton Verfahren
MehrNewton- und und Quasi-Newton-Methoden in der Optimierung. János Mayer
Newton- und und Quasi-Newton-Methoden in der Optimierung János Mayer 1 GLIEDERUNG Newton-Methode für nichtlineare Gleichungen nichtlineare Gleichungssysteme freie Minimierung. Quasi-Newton-Methoden für
MehrBemerkung 2.1: Das Newtonverahren kann auch als sequential quad. minimization verstanden werden: 2.1 Ein globalisiertes Newtonverfahren
Kapitel 2 Newtonverfahren Ziel: Bestimmung von Nullstellen von f (=stationärer Punkt). Dies geschieht mit dem Newtonverfahren. x k+1 = x k ( 2 f (x k )) 1 f (x k ) (2.1) Bemerkung 2.1: Das Newtonverahren
MehrTECHNISCHE UNIVERSITÄT MÜNCHEN Fakultät für Mathematik. Grundlagen der Nichtlinearen Optimierung. Klausur zur Vorlesung WS 2008/09
................ Note I II Name Vorname 1 Matrikelnummer Studiengang (Hauptfach) Fachrichtung (Nebenfach) 2 Obige Angaben sind richtig: Unterschrift der Kandidatin/des Kandidaten 3 TECHNISCHE UNIVERSITÄT
MehrOptimierung für Nichtmathematiker
Optimierung für Nichtmathematiker Prof. Dr. R. Herzog WS2/ / Inhaltsübersicht 3Einführung in die freie Optimierung 4Orakel und Modellfunktionen 5Optimalitätsbedingungen der freien Optimierung 6Das Newton-Verfahren
MehrOptimierung. Optimierung. Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 4 Newton und Quasi Newton Verfahren (Teil II) 1 Newton Verfahren Taylor Approximation 1. Ordnung von Newton Verfahren! 0 Setze 0und berechne Löse lineares Gleichungssystem für : 2
MehrDas Trust-Region-Verfahren
Das Trust-Region-Verfahren Nadine Erath 13. Mai 2013... ist eine Methode der Nichtlinearen Optimierung Ziel ist es, das Minimum der Funktion f : R n R zu bestimmen. 1 Prinzip 1. Ersetzen f(x) durch ein
MehrAnalysis I MATH, PHYS, CHAB. 2 k (2 k ) s = 2 k(1 s) = k=0. (2n 1) n=1. n=1. n n 2. n=1. n=1. = ζ(2) 1 4 ζ(2) = 3 4 ζ(2)
Prof. D. Salamon Analysis I MATH, PHYS, CHAB HS 204 Musterlösung Serie 7. Der Vollständigeit wegen, zeigen wir zunächst die Konvergenz der Reihendarstellung der ζ-funtion für s >. ζs : n n s 2 + n s 0
MehrSeminarvortrag: Trust-Region-Verfahren
Seminarvortrag: Trust-Region-Verfahren Helena Klump Universität Paderborn Dezember 2012 Helena Klump 1 / 22 Trust-Region-Verfahren Problemstellung Sei die Funktion f : R n R gegeben. Betrachtet wird das
MehrNichtlineare Gleichungssysteme
Kapitel 5 Nichtlineare Gleichungssysteme 51 Einführung Wir betrachten in diesem Kapitel Verfahren zur Lösung von nichtlinearen Gleichungssystemen Nichtlineares Gleichungssystem: Gesucht ist eine Lösung
MehrSeminar Gewöhnliche Dierentialgleichungen
Seminar Gewöhnliche Dierentialgleichungen Dynamische Systeme II Valentin Jonas 8. 6. 215 1 Einleitung In dem letzten Kapitel "Dynamische Systeme I" ging es vor allem um in t glatte, autonome, dynamische
MehrNICHTRESTRINGIERTE OPTIMIERUNG
3 NICHTRESTRINGIERTE OPTIMIERUNG Die Aufgabe, mit der wir uns im Folgen beschäftigen werden, ist die Lösung von Minimierungsproblemen der Form minimiere f(x) in R n, (3.1) wobei f : R n R eine gegebene
MehrReihenentwicklung II. 1 Potenzreihenentwicklung von Lösungen
Vortrag zum Seminar Gewöhnliche Differentialgleichungen, 29.11.2011 Julia Rittich In dem vorherigen Vortrag haben wir erfahren, dass in vielen Anwendungsproblemen eine Differentialgleichung nicht in geschlossener
MehrDas Subgradientenverfahren
Das Subgradientenverfahren Seminar Optimierung WS 05/06 Betreuer: Prof. F. Jarre von Jalo Liljo Das Subgradientenverfahren Das Ziel dieses Vortrags ist die Berechnung einer Lösung des unrestringierten
MehrDie Binomialreihe. Sebastian Schulz. Ausarbeitung zum Vortrag im Proseminar Analysis (Wintersemester 2008/09, Leitung Prof. Dr.
Die Binomialreihe Sebastian Schulz Ausarbeitung zum Vortrag im Proseminar Analysis (Wintersemester 008/09, Leitung Prof. Dr. Eberhard Freitag Zusammenfassung: Diese Ausarbeitung beschäftigt sich mit der
MehrDifferentialrechnung im R n
Kapitel 9 Differentialrechnung im R n Bisher haben wir uns mit Funtionen beschäftigt, deren Verhalten durch eine einzelne Variable beschrieben wird. In der Praxis reichen solche Funtionen in der Regel
MehrKlausur - Analysis 1
Prof. Dr. László Széelyhidi Analysis I, WS 22 Klausur - Analysis Lösungen Aufgabe. i Punt Definieren Sie, wann x n eine Cauchyfolge ist. Lösung : x n heisst Cauchyfolge wenn es zu jedem ε > ein N N gibt,
MehrOptimale Steuerung 1
Optimale Steuerung 1 Kapitel 6: Nichtlineare Optimierung unbeschränkter Probleme Prof. Dr.-Ing. Pu Li Fachgebiet Simulation und Optimale Prozesse (SOP) Beispiel: Parameteranpassung für Phasengleichgewicht
MehrVI. Iterationsverfahren
VI. Iterationsverahren To ininity and beyond Falls eine direte Lösung des Problems nicht möglich oder ineizient ist. 6.. Fipuntgleichungen 6... Problemstellung: Iterationsuntion Iteration: R Startwert,
MehrBegleitmaterial zur Vorlesung Numerik II
Begleitmaterial zur Vorlesung Numerik II Andreas Meister Universität Kassel, AG Analysis und Angewandte Mathematik Andreas Meister (Universität Kassel) Begleitmaterial Numerik II 1 / 35 Inhalte der Numerik
Mehr11. Darstellung von Kurven und Flächen
H.J. Oberle Approximation WS 23/4. Darstellung von Kurven und Flächen Bézier Kurven. Unser Ziel ist es, polynomiale Kurven auf dem Rechner möglichst effizient darzustellen. Hierzu nutzen wir die Basisdarstellung
MehrKlausur: Höhere Mathematik I
Prof. Dr. Rudolf Stens Kármánstraße 52062 Aachen. Etage Klausur: Höhere Mathemati I Tel.: +49 24 80 9452 Ser.: +49 24 80 9222 Fax: +49 24 80 9252 stens@matha.rwth-aachen.de http://www.matha.rwth-aachen.de
Mehrf f(x ɛξ) f(x) 0, d.h. f (x)ξ = 0 für alle ξ B 1 (0). Also f (x) = 0. In Koordinaten bedeutet dies gerade, dass in Extremstellen gilt: f(x) = 0.
Mehrdimensionale Dierenzialrechnung 9 Optimierung 9 Optimierung Definition Seien U R n oen, f : U R, x U x heiÿt lokales Maximum, falls eine Umgebung V U von x existiert mit y V : fx fy x heiÿt lokales
MehrKonvexe Optimierungsprobleme
von: Veronika Kühl 1 Konvexe Optimierungsprobleme Betrachtet werden Probleme der Form (P) min x C f(x) wobei f : C R eine auf C konvexe, aber nicht notwendigerweise differenzierbare Funktion ist. Ziel
MehrKapitel Ein Trust Region Verfahren
Kapitel 5 Trust Region Verfahren 5.1 Ein Trust Region Verfahren Wir betrachten wieder das nichtlineare Gleichungssystem F (x) = 0 mit einer stetig differenzierbaren Funtion F : R n R n. Zum Zwece der Globalisierung
Mehr1. Aufgabe [2 Punkte] Seien X, Y zwei nicht-leere Mengen und A(x, y) eine Aussageform. Betrachten Sie die folgenden Aussagen:
Klausur zur Analysis I svorschläge Universität Regensburg, Wintersemester 013/14 Prof. Dr. Bernd Ammann / Dr. Mihaela Pilca 0.0.014, Bearbeitungszeit: 3 Stunden 1. Aufgabe [ Punte] Seien X, Y zwei nicht-leere
MehrComputer Vision Group Prof. Daniel Cremers. Fixpunktgleichungen
Computer Vision Group Pro. Daniel Cremers Fipuntgleichungen Iterationsverahren Problem: Ot önnen wir eine direte Lösung einer Gleichung angeben. Anstelle einer direten Lösung ann man aber ot ein Iterationsverahren
MehrAusgleichsproblem. Definition (1.0.3)
Ausgleichsproblem Definition (1.0.3) Gegeben sind n Wertepaare (x i, y i ), i = 1,..., n mit x i x j für i j. Gesucht ist eine stetige Funktion f, die die Wertepaare bestmöglich annähert, d.h. dass möglichst
Mehr(d) das zu Grunde liegende Problem gut konditioniert ist.
Aufgabe 0: (6 Punkte) Bitte kreuzen Sie die richtige Lösung an. Es ist jeweils genau eine Antwort korrekt. Für jede richtige Antwort erhalten Sie einen Punkt, für jede falsche Antwort wird Ihnen ein Punkt
MehrDas Gradientenverfahren
Das Gradientenverfahren - Proseminar: Algorithmen der Nichtlinearen Optimierung - David Beisel December 10, 2012 David Beisel Das Gradientenverfahren December 10, 2012 1 / 28 Gliederung 0 Einführung 1
MehrNewton-Verfahren zur gleichungsbeschränkten Optimierung. 1 Gleichungsbeschränkte Optimierungsprobleme
Newton-Verfahren zur gleichungsbeschränkten Optimierung Armin Farmani Anosheh (afarmani@mail.uni-mannheim.de) 3.Mai 2016 1 Gleichungsbeschränkte Optimierungsprobleme Einleitung In diesem Vortrag geht es
MehrInhaltsverzeichnis. Innere-Punkte-Verfahren 3. Inhaltsverzeichnis 1
Inhaltsverzeichnis 1 Inhaltsverzeichnis Innere-Punkte-Verfahren 3 1 Theoretische Grundlagen 3 1.1 Die KKT-Bedingungen........................... 3 1.2 Der zentrale Pfad.............................. 4
MehrNumerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben
Ergänzungen zu dem Buch Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben von Carl Geiger und Christian Kanzow (Springer Verlag, 1999) Das Nelder Mead Verfahren Sei f : R n R eine (nicht
MehrInexakte Newton Verfahren
Kapitel 3 Inexakte Newton Verfahren 3.1 Idee inexakter Newton Verfahren Wir betrachten weiterhin das nichtlineare Gleichungssystem F (x) = mit einer zumindest stetig differenzierbaren Funktion F : R n
MehrKontinuierliche Optimierung
Kontinuierliche Optimierung Markus Herrich Wintersemester 2018/19 ii Inhaltsverzeichnis 2 Optimalitäts- und Regularitätsbedingungen 1 2.1 Einleitung und Wiederholung.................... 1 2.2 Optimalitätsbedingungen
MehrNumerik I. Aufgaben und Lösungen
Universität zu Köln SS 009 Mathematisches Institut Prof. Dr. C. Tischendorf Dr. M. Selva, mselva@math.uni-oeln.de Numeri I Musterlösung 1. Übungsblatt, Python Aufgaben und Lösungen 1. (4 Punte Die Stichprobenvarianz
MehrDer CG-Algorithmus (Zusammenfassung)
Der CG-Algorithmus (Zusammenfassung) Michael Karow Juli 2008 1 Zweck, Herkunft, Terminologie des CG-Algorithmus Zweck: Numerische Berechnung der Lösung x des linearen Gleichungssystems Ax = b für eine
MehrNäherungsverfahren zur Bestimmung der Nullstelle α sind iterativ, d.h. sie liefern eine Folge {x (k) } k=0 mit α = lim x (k). (3.0.
3 Nullstellenbestimmung von Funktionen Sei x f(x) eine reellwertige Funktion, definiert auf einem Intervall I = [a, b] R. suchen Nullstellen der Funktion f, d.h. Wir finde α R so, das f(α) = 0. (3.0.1)
MehrWiederholung von Linearer Algebra und Differentialrechnung im R n
Wiederholung von Linearer Algebra und Differentialrechnung im R n 1 Lineare Algebra 11 Matrizen Notation: Vektor x R n : x = x 1 x n = (x i ) n i=1, mit den Komponenten x i, i {1,, n} zugehörige Indexmenge:
MehrVF-2: 2. Es seien x = 1 3 und y = π Bei der Berechnung von sin(x) sin(y) in M(10, 12, 99, 99) tritt. Auslöschung auf.
IGPM RWTH Aachen Verständnisfragen-Teil NumaMB H11 (24 Punkte) Es gibt zu jeder der 12 Aufgaben vier Teilaufgaben. Diese sind mit wahr bzw. falsch zu kennzeichnen (hinschreiben). Es müssen mindestens zwei
MehrVorlesung Einführung in die Mathematische Optimierung (Wintersemester 2013/14)
Vorlesung Einführung in die Mathematische Optimierung (Wintersemester 3/) Kapitel : Optimierung ohne Nebenbedingungen Volker Kaibel Otto-von-Guericke Universität Magdeburg (Version vom. Oktober 3) Gliederung
MehrVorlesung Einführung in die Mathematische Optimierung (Wintersemester 2013/14)
Vorlesung Einführung in die Mathematische Optimierung (Wintersemester 3/4) Kapitel : Optimierung ohne Nebenbedingungen Volker Kaibel Otto-von-Guericke Universität Magdeburg (Version vom. Oktober 3) Gliederung
MehrLanczos Methoden. Stefan Grell Im Rahmen eines Proseminar zur Numerischen Mathematik unter der Leitung von Prof. Wolf Hofmann. 15.
Lanczos Methoden Stefan Grell Im Rahmen eines Proseminar zur Numerischen Mathematik unter der Leitung von Prof. Wolf Hofmann 15. Juni 2005 Lanczos-Methoden Lanczos-Methoden sind iterative Verfahren zur
MehrPotenzreihen. Potenzreihen sind Funktionenreihen mit einer besonderen Gestalt.
Potenzreihen Potenzreihen sind Funtionenreihen mit einer besonderen Gestalt. Definition. Ist (a ) eine Folge reeller (bzw. omplexer) Zahlen und x 0 R (bzw. z 0 C), dann heißt die Reihe a (x x 0 ) (bzw.
Mehr6.3. Iterative Lösung linearer Gleichungssysteme. Großes lineares dünnbesetztes Gleichungssystem A x = b
6.3. Iterative Lösung linearer Gleichungssysteme Großes lineares ünnesetztes Gleichungssystem A Gauss-Elimination nutzt in er Regel ie Dünnesetztheit nicht aus un führt meist auf Kosten On 3 ; Im Gegensatz
MehrAnalysis I Mathematik für InformatikerInnen II SoSe 12 Musterlösungen zur Prüfungsklausur vom 18. Juli 2012
Humboldt-Universität zu Berlin Mathematisch-Naturwissenschaftliche Faultät II Institut für Mathemati Unter den Linden 6, D-0099 Berlin Prof. Andreas Griewan Ph.D. Dr. Thomas M. Surowiec Dr. Fares Maalouf
Mehr6.8 Newton Verfahren und Varianten
6. Numerische Optimierung 6.8 Newton Verfahren und Varianten In den vorherigen Kapiteln haben wir grundlegende Gradienten-basierte Verfahren kennen gelernt, die man zur numerischen Optimierung von (unbeschränkten)
MehrVF-3: Es seien A R n n beliebig aber regulär, b R n und gesucht sei die Lösung x R n von A x = b.
NumaMB F14 Verständnisfragen-Teil (24 Punkte) Es gibt zu jeder der 12 Aufgaben vier Teilaufgaben. Diese sind mit wahr bzw. falsch zu kennzeichnen (hinschreiben). Bewertung: Vier Fragen richtig beantwortet
MehrProbeklausur: HM I. Prof. Dr. Rudolf Stens Aachen 3. Etage
Prof. Dr. Rudolf Stens Kármánstraße 506 Aachen 3. Etage Probelausur: HM I Tel.: +49 4 80 9453 Ser.: +49 4 80 9 Fax: +49 4 80 953 stens@matha.rwth-aachen.de http://www.matha.rwth-aachen.de B. Sc./Vordiplom
MehrKLAUSUR zur Numerik I mit Lösungen. Aufgabe 1: (10 Punkte) [ wahr falsch ] 1. Die maximale Ordnung einer s-stufigen Quadraturformel ist s 2.
MATHEMATISCHES INSTITUT PROF. DR. ACHIM SCHÄDLE 9.8.7 KLAUSUR zur Numerik I mit Lösungen Aufgabe : ( Punkte) [ wahr falsch ]. Die maximale Ordnung einer s-stufigen Quadraturformel ist s. [ ]. Der Clenshaw
MehrMusterlösung zur Klausur Analysis I für Lehramt Gymnasium Wintersemester 2017/18, am
Musterlösung zur Klausur Analysis I für Lehramt Gymnasium Wintersemester 07/8, am 9.3.08 Aufgabe : Zeigen Sie, dass für alle n N gilt: n n+ n ( ) (8 Punte) Beweis mittels vollständiger Indution n : ( )
MehrLösungsvorschlag zur Nachklausur zur Analysis
Prof Dr H Garcke, D Depner SS 09 NWF I - Mathematik 080009 Universität Regensburg Lösungsvorschlag zur Nachklausur zur Analysis Aufgabe Untersuchen Sie folgende Reihen auf Konvergenz und berechnen Sie
MehrKlausur Numerische Mathematik (für Elektrotechniker), 24. Februar 2016
Verständnisfragen-Teil ( Punkte) Jeder der Verständnisfragenblöcke besteht aus Verständnisfragen. Werden alle Fragen in einem Verständnisfragenblock richtig beantwortet, so gibt es für diesen Block Punkte.
MehrWir untersuchen in diesem Abschnitt das (lokale) Newton Verfahren zur Lösung eines nichtlinearen Gleichungssystems
Kapitel 2 Newton Verfahren 2.1 Das lokale Newton Verfahren Wir untersuchen in diesem Abschnitt das (lokale) Newton Verfahren zur Lösung eines nichtlinearen Gleichungssystems F (x) = 0 (2.1) mit einer zumindest
Mehr(a), für i = 1,..., n.
.4 Extremwerte Definition Sei M R n eine Teilmenge, f : M R stetig, a M ein Punkt. f hat in a auf M ein relatives (oder lokales) Maximum bzw. ein relatives (oder lokales) Minimum, wenn es eine offene Umgebung
MehrPotenzreihen. Potenzreihen sind Funktionenreihen mit einer besonderen Gestalt.
Potenzreihen Potenzreihen sind Funtionenreihen mit einer besonderen Gestalt Definition Ist (a ) eine Folge reeller (bzw omplexer) Zahlen und x 0 R (bzw z 0 C), dann heißt die Reihe a (x x 0 ) (bzw a (z
Mehr1 Partielle Differentiation
Technische Universität München Christian Neumann Ferienkurs Analysis 2 Vorlesung Dienstag SS 20 Thema des heutigen Tages sind Differentiation und Potenzreihenentwicklung Partielle Differentiation Beim
MehrAnalysis II 13. Übungsblatt
Jun.-Prof. PD Dr. D. Mugnolo Wintersemester 22/3 F. Stoffers 28. Januar 23 Analysis II 3. Übungsblatt. Aufgabe 4322 Punte a Sei U R n offen und f : R n R m eine stetig Fréchet-differenzierbare Abbildung.
Mehry (k) (0) = y (k) y(z) = c 1 e αz + c 2 e βz. c 1 + c 2 = y 0 k=1 k=1,...,m y k f k (x)
9 Ausgleichsrechnung 9.1 Problemstelllung Eine Reihe von Experimenten soll durchgeführt werden unter bekannten Versuchsbedingungen z Ê m. Es sollen Größen x Ê n bestimmt werden, für die ein Gesetz gelten
MehrInverse und implizite Funktionen
Kapitel 8 Inverse und implizite Funktionen Josef Leydold Mathematik für VW WS 2017/18 8 Inverse und implizite Funktionen 1 / 21 Inverse Funktion Sei f : D f R n W f R m, x y f(x). Eine Funktion f 1 : W
Mehr3 Nichtlineare Gleichungssysteme
3 Nichtlineare Gleichungsssteme 3.1 Eine Gleichung in einer Unbekannten Problemstellung: Gegeben sei die stetige Funktion f(). Gesucht ist die Lösung der Gleichung f() = 0. f() f() a) f ( ) 0 b) f ( )
MehrTU Ilmenau Institut für Mathematik FG Numerische Mathematik und Informationsverarbeitung PD Dr. W. Neundorf Datei: UEBG2.TEX
TU Ilmenau Institut für Mathematik FG Numerische Mathematik und Informationsverarbeitung PD Dr. W. Neundorf Datei: UEBG2.TEX Übungsaufgaben zum Lehrgebiet Numerische Mathematik - Serie 2 Beweise Sie folgende
MehrWenn man den Kreis mit Radius 1 um (0, 0) beschreiben möchte, dann ist. (x, y) ; x 2 + y 2 = 1 }
A Analsis, Woche Implizite Funktionen A Implizite Funktionen in D A3 Wenn man den Kreis mit Radius um, beschreiben möchte, dann ist { x, ; x + = } eine Möglichkeit Oft ist es bequemer, so eine Figur oder
MehrOptimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum
MehrLösungsvorschlag zur Modulprüfung Numerische Methoden Sommersemester 2016
Institut für Analysis Prof Dr Michael Plum Lösungsvorschlag zur Modulprüfung Numerische Methoden Sommersemester 0 0090 Aufgabe Punkte: Betrachten Sie das lineare Gleichungssystem Ax = b mit A = 0 und b
MehrGrundlagen Kondition Demo. Numerisches Rechnen. (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang
Numerisches Rechnen (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang Institut für Geometrie und Praktische Mathematik RWTH Aachen Wintersemester 2011/12 IGPM, RWTH Aachen Numerisches Rechnen
MehrBernstein-Polynome. Autor: Johannes Erath. Schriftliche Ausarbeitung zum Vortrag vom
Bernstein-Polynome Autor: Johannes Erath Schriftliche Ausarbeitung zum Vortrag vom 07.04.2009 1 Inhaltsverzeichnis 1 Einleitung 3 2 Einführung 3 2.1 Etwas Geschichte........................... 3 2.2 Denition
Mehr5 Numerische Iterationsverfahren
In diesem Kapitel besprechen wir numerische Iterationsverfahren (insbesondere Fixpunktverfahren) als eine weitere Lösungsmethode zur Lösung von linearen Gleichungssystemen (Kapitel 4) sowie zur Lösung
MehrInverse und implizite Funktionen
Kapitel 8 Inverse und implizite Funktionen Josef Leydold Mathematik für VW WS 2017/18 8 Inverse und implizite Funktionen 1 / 21 Inverse Funktion Sei f : D f R n W f R m, x y = f(x). Eine Funktion f 1 :
MehrEinführung in die numerische Mathematik
Prof. Dr. M. Günther K. Gausling, M.Sc. C. Hendricks, M.Sc. Sommersemester 4 Bergische Universität Wuppertal Fachbereich C Mathematik und Naturwissenschaften Angewandte Mathematik / Numerische Analysis
MehrAnalysis II. Aufgaben zum Stoff der Analysis I und II Lösungsvorschlag
Prof Dr H Garcke, D Depner SS 9 NWF I - Mathematik 1979 Universität Regensburg Aufgabe 1 Analysis II Aufgaben zum Stoff der Analysis I und II Lösungsvorschlag i Erinnern Sie sich an die Konvergenzkriterien
MehrSeminar Gewöhnliche Differentialgleichungen
Seminar Gewöhnliche Differentialgleichungen Dynamische Systeme I 1 Einleitung 1.1 Nichtlineare Systeme In den vorigen Vorträgen haben wir uns mit linearen Differentialgleichungen beschäftigt. Nun werden
MehrAnalysis I. Guofang Wang Universität Freiburg
Universität Freiburg 30.11.2016 5. Teilmengen von R und von R n Der R n ist eine mathematische Verallgemeinerung: R n = {x = (x 1,..., x n ) : x i R} = } R. {{.. R }. n mal Für x R ist x der Abstand zum
MehrWiederholung und Zusammenfassung
Wiederholung und Zusammenassung Fourier-Transormation ann angewendet werden ür die Frequenzanalyse eines Signals Beispiel: Woler- Zahlen Eine ähnliche Transormation ist die Disrete Cosinus- Transormation
MehrLineare Algebra und Numerische Mathematik D-BAUG. Sommer 2012 Prof. H.-R. Künsch
b Prüfung Lineare Algebra und Numerische Mathematik D-BAUG. Multiple Choice: Sommer Prof. H.-R. Künsch Gegeben sei die folgende Matrix A = 4. 4 (a) x AA T ist eine 4 4 Matrix mit ( AA T) = 4. AA T ist
MehrM U = {x U f 1 =... = f n k (x) = 0}, (1)
Aufgabe 11. a) Es sei M = {(x, y, z) R 3 f 1 = xy = 0; f = yz = 0}. Der Tangentialraum T x M muss in jedem Punkt x M ein R-Vektorraum sein und die Dimension 1 besitzen, damit diese Menge M eine Untermannigfaltigkeit
Mehrf(x, y) = 0 Anschaulich bedeutet das, dass der im Rechteck I J = {(x, y) x I, y J}
9 Der Satz über implizite Funktionen 41 9 Der Satz über implizite Funktionen Wir haben bisher Funktionen g( von einer reellen Variablen immer durch Formelausdrücke g( dargestellt Der Zusammenhang zwischen
Mehr49 Differenzierbarkeit, Richtungsableitung und partielle Differenzierbarkeit
49 Differenzierbarkeit, Richtungsableitung und partielle Differenzierbarkeit 49.1 Differenzierbarkeit 49.2 Eindeutigkeit des Differentials; Unabhängigkeit der Differenzierbarkeit von den gewählten Normen
MehrNullstellen von algebraischen Gleichungen
Kapitel 2 Nullstellen von algebraischen Gleichungen 2.1 Vorbemerkungen Suche Lösung der Gleichung f(x) = 0 (2.1) Dies ist die Standardform für eine Dimension. - typisch nichtlineare Gleichung, sonst elementar
MehrGlobalisierte Newton-Verfahren mit Anwendung auf das Navier-Stokes-Problem
Globalisierte Newton-Verfahren mit Anwendung auf das Navier-Stoes-Problem Diplomarbeit vorgelegt von Wiebe Lemster aus Hamburg angefertigt im Institut für Numerische und Angewandte Mathemati der Georg-August-Universität
MehrNichtlineare Gleichungssysteme
Nichtlineare Gleichungssysteme Jetzt: Numerische Behandlung nichtlinearer GS f 1 (x 1,..., x n ) =0. f n (x 1,..., x n ) =0 oder kurz f(x) = 0 mit f : R n R n Bemerkung: Neben dem direkten Entstehen bei
MehrANALYSIS I. Lösung der Klausur vom 25/02/14. Aufgabe 1
ANALYSIS I Lösung der Klausur vom 5//4 Aufgabe (a) Das Monotonieriterium für Folgen besagt, dass monoton wachsende nach oben beschränte Folgen (a n ) R onvergent sind. Entsprechendes gilt für monoton fallende
MehrKAPITEL 10 DIE INNERE-PUNKTE-METHODE
KAPITEL DIE INNERE-PUNKTE-METHODE F. VALLENTIN, A. GUNDERT Vorteile: + Löst effizient lineare Programme (in Theorie und Praxis) + erweiterbar (zu einer größeren Klasse von Optimierungsproblemen) + einfach
MehrIII Das Symmetrische Eigenwertproblem (SEP)
III Das Symmetrische Eigenwertproblem (SEP) III3 Algorithmen für symmetrische tridiagonale Eigenwertprobleme Sei im folgenden a b A = b a b b n a n b n b n a n R n n, zb nach Householder- oder Lanczos(im
MehrHM I Tutorium 9. Lucas Kunz. 19. Dezember 2018
HM I Tutorium 9 Lucas Kunz 19. Dezember 2018 Inhaltsverzeichnis 1 Theorie 2 1.1 Definition der Ableitung............................ 2 1.2 Ableitungsregeln................................ 2 1.2.1 Linearität................................
MehrKapitel 5 Nichtlineare Gleichungssysteme und Iterationen
Kapitel 5 Nichtlineare Gleichungssysteme und Iterationen Wir betrachten das System f() = 0 von n skalaren Gleichungen f i ( 1,..., n ) = 0, i = 1,..., n. Gesucht: Nullstelle von f() = 0. Es sei (0) eine
Mehr6. Iterationsverfahren. Fixpunktiteration. 6.Iterationsverfahren: Fixpunktiteration Numerisches Programmieren, Jürgen Bräckle page 1 of 16
6. Iterationsverfahren Fixpunktiteration Numerisches Programmieren, Jürgen Bräckle page 1 of 16 Beispiel: Ausbreitung eines Grippevirus in einem Kindergarten Zeitpunkt t 0 t 1 t 2 t 3 t 4 t 5 Anteil kranker
Mehr7. Nichtlineare Gleichngssysteme. Problem 7: Sei f : R n R n stetig. Löse f(x) = 0.
7. Nichtlineare Gleichngssysteme Problem 7: Sei f : R n R n stetig. Löse f(x) = 0. Das Gleichungssystem f(x) = 0 lässt sich in die Fixpunktgleichung x = φ(x) umschreiben, wobei φ : D R n R n. Beispielsweise
MehrDarstellungsformeln für die Lösung von parabolischen Differentialgleichungen
Kapitel 8 Darstellungsformeln für die Lösung von parabolischen Differentialgleichungen Wir hatten im Beispiel 5. gesehen, dass die Wärmeleitungsgleichung t u u = f auf Ω (0, ) (8.1) eine parabolische Differentialgleichung
MehrKonvergenz im quadratischen Mittel und die Parsevelsche Gleichung
Konvergenz im quadratischen Mittel und die Parsevelsche Gleichung Skript zum Vortrag im Proseminar Analysis bei Dr. Gerhard Mülich Christian Maaß 6.Mai 8 Im letzten Vortrag haben wir gesehen, dass das
Mehr19.2 Mittelwertsatz der Differentialrechnung
19 Mittelwertsätze der Differentialrechnung mit Anwendungen 19.1 Satz von Rolle 19.2 Mittelwertsatz der Differentialrechnung 19.4 Globaler Wachstumssatz 19.6 Verallgemeinerter Mittelwertsatz der Differentialrechnung
MehrName: Matr.-Nr.: 2. Aufgabe 1. Gegeben sei das folgende lineare Gleichungssystem: b a 2 3a 1
Name: Matr.-Nr.: 2 Aufgabe 1. Gegeben sei das folgende lineare Gleichungssystem: 1 1 0 2 b 1 1 2 4 1 1 4 6 x = 1 1. 2 2 2a 2 3a 1 (a) Bringen Sie das lineare Gleichungssystem auf Treppenform. (b) Für welche
MehrMODULPRÜFUNG Numerische Methoden (Elektrotechnik, Meteorologie, Geodäsie und Geoinformatik)
Karlsruher Institut für Technologie KIT) Institut für Analysis Dr. S. Wugalter Herbst 7.9.7 MODULPRÜFUNG Numerische Methoden Elektrotechnik, Meteorologie, Geodäsie und Geoinformatik) Aufgabe 4 Punkte)
MehrDiplom VP Informatik/Numerik 9. September 2000 / Seite 1. Aufgabe 1: L-R-Zerlegung, Nachiteration / Ly = b. y = Rx = y.
Diplom VP Informatik/Numerik 9 September 2000 / Seite 1 1 Pivotisierung : 2 L-R-Zerlegung von A: 3 Vorwärtseinsetzen: (pivotisierung) Aufgabe 1: L-R-Zerlegung, Nachiteration A A = 4 2 10 2 6 9 2 1 6 L
MehrMehrfach und unendlich oft differenzierbare Funktionen, Potenzreihen
Kapitel V Mehrfach und unendlich oft differenzierbare Funtionen, Potenzreihen 21 Mehrfache Differenzierbareit und Potenzreihen 22 Die trigonometrischen und die Hyperbelfuntionen 23 Konvexe Funtionen und
Mehr5.3.5 Abstiegs & Gradientenverfahren
5.3 Iterative Lösungsverfahren für lineare Gleichungssysteme 5.3.5 Abstiegs & Gradientenverfahren Die bisher kennengelernten Iterationsverfahren zur Approximation von linearen Gleichungssystemen haben
Mehr3. Potenzreihen. Definition 7.5. Eine unendliche Reihe der Form. a k x k. Es handelt sich also um eine Funktionenreihe mit f k (x) = a k x k.
3. Potenzreihen Definition 7.5. Eine unendliche Reihe der Form a x mit x R (veranderlich und a R (onstant heit Potenzreihe, die Zahlen a ( heien Koezienten der Potenzreihe. Es handelt sich also um eine
MehrDiplom VP Numerik 27. August 2007
Diplom VP Numerik 27. August 2007 Multiple-Choice-Test 30 Punkte Bei jeder MC-Aufgabe ist mindestens eine Aussage korrekt. Wird dennoch bei einer MC-Aufgabe keine einzige Aussage angekreuzt, gilt diese
MehrTaylor-Reihenentwicklung. Bemerkungen. f(z) = a k (z z 0 ) k mit a k,z 0,z C. z k z C. f (k) (x 0 ) (x x 0 ) k mit x 0,x R.
8.2 Potenzreihen Definition: Eine Reihe der Form f(z) = a ( ) mit a,z 0,z C heißt (omplexe) Potenzreihe zum Entwiclungspunt z 0 C. Beispiel: Die (omplexe) Exponentialfuntion ist definiert durch die Potenzreihe
MehrImplizite Funktionen, der Umkehrsatz und Extrema unter Nebenbedingungen
Kapitel XII Implizite Funktionen, der Umkehrsatz und Extrema unter Nebenbedingungen 53 Implizite Funktionen und allgemeine partielle Differenzierbarkeit 54 Der Umkehrsatz 55 Lokale Extrema unter Nebenbedingungen,
Mehr