PROSEMINAR 2009 Numerische Optimierung: Quasi-Newton-Verfahren Kapitel

Transkript

1 PROSEMINAR 2009 Numerische Optimierung: Quasi-Newton-Verfahren Kapitel CONSTANTIN Simone Ch. des Epinettes Marly 19. November 2009 Inhaltsverzeichnis 1 Einleitung 2 2 Das BFGS-Verfahren Die Herleitung der DFP- und BFGS-Formeln Der BFGS Algorithmus Eigenschaften der BFGS Methode Implementation Die SR1 Methode Die Herleitung der SR1-Formeln Der SR1 Algorithmus Eigenschaften der SR1 Modiation Die Broyden-Klasse Die Formeln der Broyden-Klasse Eigenschaften der Broyden-Klasse Jorge Nocedal and Stephen J. Wright: Numerical Optimization, Springer Series in Operations Research, Springer

2 1 Einleitung In diesem Kapitel behandeln wir die Klasse der Quasi-Newton-Verfahren für leine und mittelgrosse Probleme. Die Verfahrenslasse der unrestringierten Minimierung, wird derzeit als die ezienteste und zuverlässigste zur Lösung von Problemen nicht zu hoher Dimension angesehen. W.C. Davidon benutzte Mitte der 50er Jahre die coordinate descent-methode zur Berechnung des Optimierungsproblems. Das Computersystem stürzte jedoch immer vor Ende der Berechnung ab, da zu dieser Zeit die Rechner nicht sehr stabil waren. Also schrieb Davidon einen Algorithmus um die Iteration zu beschleunigen, den ersten Quasi-Newton-Algorithmus. Fletcher und Powell zeigten, dass dieser viel schneller und bewährter war als alle anderen bisherig beannten Verfahren. Die Quasi-Newton-Verfahren verwenden anstelle der exaten Hesse-Matrix der zu minimierenden Funtion eine geeignete Approximation an diese. Dadurch wird die häug sehr aufwendige explizite Berechnung der zweiten partiellen Ableitung der Zielfuntion vermieden. Diese Approximation wird dabei von Iteration zu Iteration aufdatiert. In der Berechnung werden also eine zusätzlichen Funtions- oder Ableitungswerte benötigt. Damit ist jeder Iterationsschritt der Quasi-Newton-Verfahren weniger aufwendig und oft viel ezienter als beim Newton-Verfahren. Dennoch sind viele der Quasi-Newton-Verfahren loal superlinear onvergent. 2 Das BFGS-Verfahren Das beliebteste und erfolgreichste Quasi-Newton-Verfahren ist die BFGS Methode. Die BFGS- Formel, die pratisch zeitgleich und unabhängig voneinander von Broyden, Fletcher, Goldfarb, und Shanno, entdect wurde, leiten wir nun her. 2.1 Die Herleitung der DFP- und BFGS-Formeln Um dieses Methode zu onstruieren, bilden wir das quadratischen Model der Zielfuntion zum Zeitpunt des Iterationswertes x : m (p) = f + f T p pt B p (1) wobei B R n n symmetrisch und positiv denit ist. Die Matrix B wird bei jeder Iteration aufdatiert. Der Wert und der Gradient dieses Models entspricht bei p = 0 jeweils f und f. Als neue Iteration erhalten wir x +1 = x + α p, (2) mit der Suchrichtung p = B 1 f. (3) Hierbei muss die Schrittweite α die Wolfe-Bedingungen (cf. Kapitel 3, JULIEN Cyril) f(x + α p ) f(x ) + c 1 α f T p, f(x + α p ) T p c 2 f T p, (4a) (4b) mit 0 < c 1 < c 2 < 1 erfüllen. Diese Iteration ist sehr ähnlich zum Abstiegsverfahren von Newton. Der Unterschied besteht 2

3 darin, dass wir anstelle der exaten Hesse-Matrix der zu minimierenden Funtion die approximierte Matrix B benützen. Anstatt B bei jeder Iteration neu zu berechnen, schlug Davidon vor die Matrix auf einfache Weise aufzudatieren. Angenommen wir würden eine neue Iteration x +1 bilden und ein neues quadratische Model der Form m +1 (p) = f +1 + f T +1 p pt B +1 p aufstellen. Welche Bedingungen müssen wir an B +1 stellen? Eine sinnvolle Anforderung an B +1 ist, dass der Gradient von m +1 dem Gradienten der Zielfuntion f an den letzten zwei Iterationen x und x +1 entspricht. D.h. wir haben zwei Bedingungen die erfüllt werden müssen: 1. m +1 entspricht f : diese Bedingung wird für p = α p erfüllt, i.e. m +1 ( α p ) = f +1 α B +1 p = f 2. m +1 entspricht f +1 : diese Bedingung wird für p = 0 erfüllt. Daraus folgt B +1 α p = f +1 f (5) Um die Schreibweise zu vereinfachen, bestimmen wir folgende Notationen für s und y : s = x +1 x, y = f +1 f (6) Setzen wir diese Denitionen in die Gleichung (5) ein, erhalten wir B +1 s = y (7) Diese Formel nennt man die Seantengleichung oder die Quasi-Newton-Gleichung. Die Seantengleichung (7) erfordert, dass die positiv denite und symmetrische Matrix B +1, s in y abbildet. Dies ist nur möglich, wenn s und y die Krümmungsbedingung s T y > 0, (8) erfüllen. Die Seantengleichung (7) hat immer eine Lösung B +1 wenn die Krümmungsbedingung (8) erfüllt wird. Doch wann genau erfüllen wir die Krümmungsbedingung (8)? Angenommen f ist eine strit onvexe Funtion, dann gilt die Ungleichung (8) für beliebige Punte x und x +1. Jedoch für nicht onvexe Funtionen wird diese Bedingung nicht immer erfüllt. Daher beschränen wir das Abstiegsverfahren zur Bestimmung von α. Die Krümmungsondition wird garantiert erfüllt, wenn wir dem Abstiegsverfahren die Wolfe-Konditionen (4a) und (4b) aufzwingen. Denn aus (6) und (4b) gilt f T +1 s c 2 f T s. Daraus folgt y T s (c 2 1)α f T p, (9) wobei c 2 < 1 und p ist die Abstiegsrichtung. Der Term (c 2 1)α f T p wird positiv sein, also ist die Krümmungsbedingung erfüllt. 3

4 Um B +1 eindeutig zu bestimmen, führen wir eine zusätzliche Bedingung ein, die erfüllt werden muss. Wir wählen die Matrix B +1, welche die Krümmungsbedingung (8) erfüllt, die am nächsten der Matrix B ist. D.h. wir lösen das Problem min B B B unterliegt (10a) B = B T, Bs = y (10b) wobei B die positiv denite, symmetrische Matrix ist und s, y die Bedingung (8) erfüllen. Um das Minimisationproblem (10a),(10b) einfach zu lösen, benützen wir eine Gewichtsmatrix und die Frobenius-Norm A W W AW 2 F (11) wobei F durch C 2 F = n Matrix, die W y = s erfüllt. Wir wählen W = Ḡ 1, wobei [ 1 Ḡ = i=1 n j=1 c2 ij 0 deniert ist und das Gewicht W ist eine beliebige ] 2 f(x + τα p )dτ der Durchschnitt der hessischen Matrix ist, für die die Seantenrelation selbst erfüllt ist. Mithilfe der gewichteten Matrix W und der Frobenius-Norm erhalten wir die eindeutig bestimmte Lösung von (10a),(10b) (DF P ) B +1 = (I γ y s T )B (I γ s y T ) + γ y y T, (12) mit γ = 1 y T s und y = Ḡα p = Ḡs. Dies ist die sogenannte Davidon-Fletcher-Powell-Formel. Sie wurde 1959 von Davidon vorgeschlagen und studiert, ausgebaut und veröentlicht von Fletcher und Powell. Sei nun H die inverse Matrix von B, i.e. H = B 1. Dies ist sehr hilfreich für die Implementation der Methode, weil die Berechnung der Suchrichtung p in (3) durch eine einfache Matrix-Vetor-Multipliation erfolgt. Mithilfe der inversen Hessian-Aproximation H önnen wir B in (12) atualisieren und erhalten (DF P ) H +1 = H H y y T H y T H y + s s T y T s. (13) Die DFP-Formel ist ezient, wurde aber von der BFGS-Formel abgelöst. Die BFGS-Formel wird als die Eetivste aller Quasi-Newton-Formel betrachtet. Anstatt Bedingungen an die hessische Approximationsmatrix B zu stellen, wie wir dies in (10a) und (10b) getan haben, stellen wir diese an deren inverse Matrix H : min H (14a) H = H T, Hy = s. (14b) Die aufdatierte Approximation H +1 muss symmetrisch, positiv denit sein und die Seantengleichung H +1 y = s erfüllen. Wiederum arbeiten wir mit einer beliebigen Gewichtsmatrix W, die W, W s = y erfüllt, und der Frobenius-Norm. Angenommen W wird durch den 4

5 Durchschnitt der hessischen Matrix Ḡ gegeben, dann erhalten wir die eindeutig bestimmte Lösung (BF GS) H +1 = (I ρ s y T )H (I ρ y s T ) + ρ s s T, (15) wobei ρ = 1 y T s. (16) Doch wie wählen wir H 0? Es existiert eine allgemein gültige Formel, um diese Matrix zu bestimmen. Wir önnen ganz einfach die Identitätsmatrix oder ein Mehrfaches dieser nehmen, oder durch spezielle Informationen die approximierte inverse hessische Matrix erstellen. 2.2 Der BFGS Algorithmus Algorithmus 1 (Das BFGS Verfahren). Gegeben sei der Startpunt x 0, die tolerante Konvergenz ɛ > 0, die approximierte inverse Hesse-Matrix H 0 ; 0; while f > ɛ do Berechne die Suchrichtung p = H f ; Setze x +1 = x + α p, wobei α mit dem Abstiegsverfahren berechnet wird und die Wolfe Bedingungen (4a) und (4b) erfüllt; Deniere s = x +1 x und y = f +1 f ; Berechne H +1 anhand von (15); + 1; end while Jede Iteration benötigt nur O(n 2 ) Operationen, im Gegensatz zum Newton-Verfahren (O(n 3 ) Operationen). Der Algorithmus ist sehr stabil und er besitzt eine superlineare Konvergenz. Er bietet jedoch eine quadratische Konvergenz wie das Newton-Verfahren. Ein weiterer Vorteil der BFGS Methode ist es, dass sie eine zweiten Ableitungen berechnet. 2.3 Eigenschaften der BFGS Methode Die BFGS Methode onvergiert superlinear. Das Minimierungsproblem (14a) und (14b), aus welchem wir die BFGS-Formel herleiten, erfordert nicht explizit, dass die approximierte Hesse- Matrix positiv denit ist. Doch wann ist H +1 positiv denit? Behauptung 2 (Positive Denitheit von H +1 ). Ist H positiv denit, dann auch H +1. Beweis. Aus (9) wissen wir, dass y T s positiv ist, also sind die Formel (15) und (16) wohlde- niert. Für jeden Vetor z 0 haben wir z T H +1 z = w T H w + ρ (z T s ) 2 0, mit w = z ρ y (s T z). w T H w + ρ (z T s ) 2 ist nur dann 0, wenn s T z = 0. In diesem Falle müsste gelten w = z 0 und daraus folgt, dass z T H +1 z > 0. Folglich ist H +1 positiv denit. Das BFGS-Verfahren, angewandt auf die quadratische Funtion, hat viele interessante Eigenschaften. Diese werden wir im allgemeinen Fall unter dem Kapitel (4) sehen. 5

6 Es ist sinnvoller uns die Frage zu stellen, in welchem Fall das BFGS-Verfahren schlechte Resultate liefert. Also was wenn bei einer Iteration die Matrix H eine schlechte Approximation ist, önnen wir diese orrigieren? Wenn y T s sehr lein ist (jedoch immer noch positiv), dann wird H +1 sehr gross. Ist diese Eigenschaft sinnvoll? Gibt es Rundungsfehler, die möglicherweise nützliche Informationen für die approximierte Quasi-Newton-Matrix löschen? Diese Fragen wurden analytisch und versuchsweise studiert. Heutzutage wissen wir, dass die BFGS-Formel sehr eetive Eigenschaften der Selbstorretur besitzen. Zudem ist die DFP Methode weniger ezient bei der Korretur einer schlechten Approximation der Hesse-Matrix. Eine weitere Eigenschaft ist, dass die DFP- und die BFGS-Formeln zueinander duale Aufdatierungsformeln sind, i.e. indem man die Tripel (H, s, y), (B, y, s) vertauscht, erhält man die jeweils entgegengesetzte Formel. 2.4 Implementation Um eine eziente Implementation zu erhalten, müssen wir den Algorithmus (1) erweitern. Das Abstiegsverfahren, das die Wolfe-Bedingungen (4a) und (4b) erfüllt, sollte zuerst immer mit der Schrittlänge α = 1 berechnet werden. Diese Schrittgrösse wird meistens azeptiert und dabei wird superlineare Konvergenz über dem ganzen Algorithmus erzeugt. Für die Konstanten c 1 und c 2 in den Wolfe-Bedingungen werden meistens die Werte c 1 = 10 4, c 2 = 0.9 benützt. Als Anfangsmatrix H 0 wird oft ein Vielfaches der Identitätsmatrix benutzt, i.e. H 0 = βi. Es gibt jedoch eine allgemeine Regel um dieses β zu bestimmen. Wählen wir β zu gross, dann wird unser erster Schritt p 0 = βg 0 zu lang. Bei einigen Programmen deniert der Benutzer δ für die Norm der ersten Evaluation und setzt dann H 0 = δ g o 1 I um die Norm zu erhalten. Eine weitere Möglicheit besteht darin, die Startmatrix erst nach dem ersten Verfahrensschritt, jedoch noch vor der ersten BFGS Aufdatierung zu bestimmen. D.h. der provisorische Wert H 0 = I wird durch H 0 yt s y T y I, (17) ersetzt und bevor wir die BFGS-Formel (15) mit (16) aufdatieren, erhalten wir H 1. Wir önnen das BFGS-Verfahren mit der hessischen Approximationsmatrix B anstelle H schreiben und erhalten (BF GS) B +1 = B B s s T B s T B s + y y T y T s. (18) Eine eziente Implementation dieser Annäherung speichert B nicht explizit, sondern die Cholesy-Fatorisation L D L T dieser Matrix. Eine Formel zur Aufdatierung der Fatoren L und D önnen wir aus (18) herleiten. Diese Berechnungen werden in O(n 2 ) Operationen durchgeführt, also erhalten wir hierbei ähnliche Berechnungsosten wie im Algorithmus 1. Erfahrungen mit der Berechnung dieser Art haben gezeigt, dass diese Methode eine speziellen Vorteile erbringt. 3 Die SR1 Methode In der BFGS und DFP Formel weicht die aufdatierte Matrix B +1 oder H +1 durch eine Rang-2-Matrix von B bzw. H ab. Es existiert jedoch eine einfachere Rang-1-Modiation, welche die Symmetrie der Matrix beibehält und zur selben Zeit die Seantengleichung (7) 6

7 erfüllt. Im Gegenteil zur Rang-2-Modiation garantiert das symmetrische Rang-1-Verfahren, urz SR1, eine positive Denitheit der Matrix. Viele numerische Resultate beziehen sich auf den SR1-Algorithmus, darum leiten wir diesen her. 3.1 Die Herleitung der SR1-Formeln Die SR1-Modiation wird allgemein geschrieben als B +1 = B + σvv T, wobei σ = ±1 und σ,v sind so gewählt, dass B +1 die Seantengleichung B +1 s = y erfüllt. Ersetzen wir B +1 durch B +σvv T in der Seantengleichung, i.e. (B +σvv T )s = y, erhalten wir B s + [ σv T s ] v = y. (19) Weil [ σv T s ] ein Salar ist, ist v ein Vielfaches von y B s, i.e. v = δ(y B s ) für ein Salar δ. Setzen wir v in (19) ein, erhalten wir σδ 2 [ s T (y B s ) ] (y B s ) = (y B s ). (20) Diese Gleichung wird jedoch nur dann erfüllt, wenn wir die Parameter σ und δ wie folgt wählen σ = sign [ s T (y B s ) ], δ = ± s T (y B s ) 1 2. Die einzige symmetrische Rang-1-Modiationsformel, die die Seantengleichung erfüllt ist wird somit gegeben durch (SR1) B +1 = B + (y B s )(y B s ) T (y B s ) T s. (21) Die entsprechende Formel für die approximierte inverse hessische Matrix H lautet (SR1) H +1 = H + (s H y )(s H y ) T (s H y ) T y. (22) Wenn B oder H positiv denit ist, muss dies nicht auch der Fall sein für B +1 oder H +1. Für B oder H gibt es drei verschiedene Fälle, welche wir nun anhand der Matrix B betrachten: 1. (y B s ) T 0: es existiert eine eindeutig bestimmte Rang-1-Modiation gegeben durch (21), die die Seantengleichung (7) erfüllt; 2. y = B s : es existiert eine eindeutig bestimmte Rang-1-Modiation gegeben durch B +1 = B, die die Seantengleichung (7) erfüllt; 3. y B s und (y B s ) T = 0: es existiert eine eindeutig bestimmte Rang-1- Modiation welche die Seantengleichung (7) erfüllt, aufgrund von (20). In der Praxis wurde beobachtet, dass die SR1 Methode gut ausgeführt wird, wenn der Nenner bei der Modiation möglichst lein gehalten wird. Um den Abbruch der SR1 Methode zu verhindern benützt man zur Implementation oft eine Regel: Die Aufdatierung von (21) wird nur dann durchgeführt, wenn gilt s T (y B s ) r s y B s (23) wobei r (0, 1) ist lein (z.b. r = 10 8 ). Wird (23) nicht eingehalten, dann setzten wir B +1 = B. 7

8 3.2 Der SR1 Algorithmus Für den SR1 Algorithmus benutzen wir als Bezugssystem die Trust-Region. Dies aus dem einfachen Grund, dass wir so die hessische Approximationsmatrix nicht verändern müssen, damit sie genügend positiv denit ist. Algorithmus 3 (Das SR1 Trust-Region Verfahren). Gegeben sei der Startpunt x 0, die tolerante Konvergenz ɛ > 0, die approximierte inverse Hesse-Matrix B 0, der Radius der Trust-Region 0, die Parameter η (0, 10 3 ) und r (0, 1); 0; while f > ɛ do Berechne s mithilfe der Berechnung des Unterproblems Berechne min s f T s st B s gemäss s. y = f(x + s ) f, ared = f f(x + s ) (atuelle Redution) pred = ( f T s st B s ) (erwartete Redution); if ared/pred > η then x +1 = x + s else x +1 = x ; end if if ared/pred > 0.75 then if s 0.8 then +1 = else +1 = 2 ; end if else if 0.1 ared/pred 0.75 then +1 = else +1 = 0.5 end if if wird (23) eingehalten then benütze (21) um B +1 zu berechnen, auch wenn gilt x +1 = x. else B +1 B ; end if + 1; end while 3.3 Eigenschaften der SR1 Modiation Zu den grössten Vorteilen der SR1 Modiation ist, dass sie die hessische Matrix sehr gut approximiert. Betrachten wir nämlich eine quadratische Funtion mit der Schrittlänge α = 1 8

9 erhalten wir p = H f, x +1 = x + p. (24) Daraus folgt dass p = s. Satz 4. Angenommen f : R n R ist die streng onvexe quadratische Funtion f(x) = b T x+ 1 2 xt Ax, wobei A symmetrisch und positiv denit. Wenn gilt (s H y ) T 0, dann onvergiert für jeden beliebigen Startpunt x 0 und für jede beliebige symmetrische Anfangsmatrix H 0 die Iterationen {x }, erstellt durch die SR1 Methode (22),(24), zum Minimizer in mindestens n Schritten. Ferner gilt, wenn nach n Schritten die Suchrichtungen p i linear unabhängig sind, dann H n = A 1. Beweis. Die SR1 Modiation ist aufgrund der Voraussetzung (s H y ) T y 0, immer wohldeniert. Durch Indution zeigen wir dass gilt H y j = s j fürj = 0,, 1, (25) i.e. wir verlangen, dass die Seantengleichung nicht nur für die letzte Suchrichtung gilt, sondern für alle Suchrichtungen. Die SR1 Modiation erfüllt laut Denition die Seantengleichung, also haben wir H 1 y 0 = s 0. Angenommen (25) gilt für > 1, also zeigen wir, dass es ebenfalls für + 1 gilt. Wir haben (s H y ) T y j = s T y j y T (H y j ) = s T y j y T s j j <, (26) weil für die quadratische Funtion y i = As i gilt, erhalten wir s T y j y T s j = 0. Daraus folgt H +1 y j = H y j = s j, j <. Aus der Seantengleichung wissen wir dass gilt H +1 y = s. und (25) für + 1. Also gilt (25) für alle. Führt der Algorithmus n Schritte aus und sind die Schritte {s j } linear unabhängig erhalten wir s j = H n y j = H n As j, fürj = 0,, n 1. Daraus folgt dass H n A = I, also H n = A 1. Folglich ist der Schritt bei x n der Newton-Schritt und die nächste Iteration x n+1 die Lösung. Somit ist auch der Algorithmus hier beendet. Sind jedoch die Schritte {s j } linear abhängig, önnen wir s als Linearombination s = ξ 0 s ξ 1 s 1, (27) schreiben, wobei ξ i Salare sind. Aus (27) und (25) erhalten wir H y = H As = ξ 0 H As ξ 1 H As 1 = ξ 0 H y ξ 1 H y 1 = ξ 0 s ξ 1 s 1 = s. Weil y = f +1 f und s = p = H f erhalten wir H ( f +1 f ) = H f. Ist nun H nicht singulär, dann ist f +1 = 0. Daraus folgt, dass x +1 der Lösungspunt ist. 9

10 Satz 5. Angenommen f ist zweimal stetig dierenzierbar, die hessische Matrix beschränt und Libschitz-stetig an der Umgebung eines Puntes x. Sei {x } eine Folge von Iterationen s.d. x x für ein x R n. Angenommen (23) gilt für alle und für einige r (0, 1) und die Schritte s sind gleichmässig linear unabhängig. Dann erfüllen die durch die SR1 modizierten Matrizen B lim B 2 f(x )) = 0. 4 Die Broyden-Klasse x Bis jetzt haben wir die BFGS, DFP und SR1 Verfahren beschrieben. Mit der sogenannten Broyden-Formel erhalten wir eine ganze Klasse von Quasi-Newton-Verfahren. 4.1 Die Formeln der Broyden-Klasse Die Broyden-Klasse ist eine Familie, die mit der folgenden Formel rechnet: wobei φ ein Salar ist und B +1 = B B s s T B s T B s v = [ y + y y T y T s φ (s T B s )v v T, (28) y T s B ] s s T B. (29) s Setzen wir nun in (28) φ = 0 dann erhalten wir die BFGS-Formel und bei φ = 1 die DFP-Formel. Also gehören das BFGS und das DFP Verfahren zur Broyden-Klasse. Dadurch önnen wir (20) auch als Linearombination dieser beiden Formeln schreiben und erhalten BF GS B +1 = (1 φ )B+1 + φ B+1 DF P. Viel Aufmersameit wurde der sogenannten eingeschränten (auch onvexen) Broyden- Klasse zugewandt. Hierbei wird φ auf das Intervall [0, 1] beschränt. Wenn wir dies an einer quadratischen Funtion anwenden, erhalten wir den Satz 6. Einfachheitshalber nehmen wir an, dass jede Iteration die Form besitzt. p = B 1 f, x +1 = x + p (30) Satz 6. Angenommen f : R n R ist die streng onvexe quadratische Funtion f(x) = b T x xt Ax, wobei A symmetrisch und positiv denit. Sei x 0 ein beliebiger Startpunt für die Iteration (30) und sei B 0 die positiv denite, symmetrische Startmatrix. Angenommen die Matrizen B werden anhand der Broyden-Formel (28) aufdatiert mit der Eigenschaft φ [0, 1]. Deniere λ 1 λ 2 λ n als die Eigenwerte der Matrix Dann gilt für alle A 1 2 B 1 A 1 2. (31) min{λ i, 1} λ +1 i max{λ i, 1}, i = 1,, n. (32) Zu beachten ist, dass wenn φ / [0, 1], dann gilt die Eigenschaft (32) nicht. 10

11 Dieser Satz besagt uns, dass wenn die Eigenwerte λ i der Matrix (31) alle gleich 1 sind, dann ist die Quasi-Newton-Approximation B identisch der Hessischen Matrix A der quadratischen Zielfuntion. Dies wäre die ideale Situation, also hoen wir, dass unsere Eigenwerte möglichst nahe von 1 sind. (32) besagt uns, dass die Eigenwerte {λ i } monoton, jedoch nicht streng monoton gegen 1 onvergieren. 4.2 Eigenschaften der Broyden-Klasse Wenn B positiv denit ist und wenn gilt y T s > 0, φ 0, wobei φ [0, 1], dann ist für eine Atualisierung mit der Broyden-Klasse die Matrix B +1 ebenfalls positiv denit. Weiter wissen wir, wenn die Hesse-Matrix B 0 symmetrisch positiv ist und für alle gilt s T y > 0 und φ > φ c, wobei φ c = 1, mit µ = (yt B 1 y )(s T B s ) 1 µ (y T s ) 2, (33) gilt. Dann sind alle Matrizen B die mithilfe einer Broyden-Formel berechnet wurden symmetrisch und positiv denit. Wenden wir die Broyden-Klasse mit dem exaten Abstiegsverfahren an einer quadratischen Funtion an, erhalten wir einige Eigenschaften, die unter anderem im folgenden Satz beschrieben werden. Satz 7. Sei f : R n R die streng onvexe quadratische Funtion, wobei x 0 ein beliebiger Startpunt und B 0 eine positiv denite, symmetrische Startmatrix ist. Angenommen wir wenden eine Methode der Broyden-Klasse an f an. Vorausgesetzt wird, dass α die exate Schrittweite und φ φ C für alle ist. Dann gelten folgende Aussagen: i Die iterierten Werte onvergieren zur Antwort in höchstens n Iterationen. ii Die Seantengleichung wird für alle Suchrichtungen erfüllt, i.e. B s j = y j j = 1,, 1. iii Ist die Startmatrix B 0 = I, dann sind die iterierten Werte identisch zu denen, die wir beim Verfahren der onjugierten Gradienten (CG-Verfahren) erhalten. Insbesondere haben wir onjugierte Suchrichtungen, i.e. s T i As j = 0 für i j. wobei A die hessische Matrix der quadratischen Funtion ist; iv Werden n Iterationen durchgeführt, haben wir B n+1 = A. Literatur [1] Jorge Nocedal and Stephen J. Wright: Numerical Optimization, Springer Series in Operations Research, Springer [2] Webseite des Proseminars: [3] Carl Geiger und Christian Kanzow: Numerische Verfahren zur Lösung unrestringierter Optimierungsaufgaben, Springer-Lehrbuch, Springer [4] P. Spellucci: Numerische Verfahren der nichtlinearen Optimierung, Internationale Schriftreihe zur numerischen Mathemati: Lehrbuch, Birhäuser