Kapitel 8: Suche nach Nullstellen und Extremwerten

Transkript

1 Kapitel 8: Suche nach Nullstellen und Extremwerten Nullstellensuche (root finding) Einfachste Variante: Suche Nullstelle(n) einer 1D-Funktion: f(x) = 0 (1) Dies umfaßt bereits scheinbar andere Fälle, z.b. Schnittpunkt(e) zweier Funktionen: f(x) = c f(x) c = 0 (2) f(x) = g(x) f(x) g(x) = 0 (3) oder auch das tabellarische Aufstellen impliziter Funktionen: z.b. definiert implizit eine Funktion y = f(x). In der Form exp( x 2 y 2 ) = x 2 y + y 2 x 3 (4) exp( x 2 y 2 ) x 2 y + y 2 x 3 = 0 (5) kann man für beliebig vorgegebene Werte x jedoch durch Nullstellensuche den y-wert finden, der zu y = f(x) gehört. Für das Problem f(x) = 0 gibt es verschiedene, relativ robuste und allgemeine Verfahren, die aber iterativ sind und auch scheitern können. Daher ist eine numerische Lösung nur sinnvoll, wenn eine analytische Lösung nicht möglich ist (Auflösen von f(x) und ggf. g(x) nach x). Der nd-fall sieht ähnlich aus f( x) = 0, (6) ist aber u.u. extrem schwierig, siehe Diskussion dazu am Ende dieses Kapitels. Nullstellen eingrenzen (bracketing) In 1D ist es möglich, Nullstellen (ungerader Ordnung) zunächst einzugrenzen, also ein Intervall zu finden, in dem sich (mindestens) eine Nullstelle befinden muß, wenn die Funktion stetig ist: Finde [a, b], so daß : sign{f(a)} sign{f(b)} (7) Tatsächlich gibt es aber mehrere einfache Möglichkeiten, wie dieses Rezept scheitern kann, z.b.: mehrfache oder eng benachbarte Nullstellen: Vorzeichenwechsel nicht vorhanden oder schwer lokalisierbar; Polstellen können Gl.7 erfüllen, ohne daß eine Nullstelle vorhanden ist. Die Eingrenzung kann auch scheitern. Trotzdem empfiehlt es sich, eine Eingrenzung vorzunehmen, und viele Algorithmen gehen auch davon aus. 1

2 2

3 Bisektion Mit einer banalen Intervallteilung kann man eine eingegrenzte Nullstelle sicher und beliebig genau finden: 1. Gegeben sei ein eingrenzendes Intervall [a, b], so daß sign{f(a)} sign{f(b)} 2. Halbiere das Intervall: c = a + (b a)/2 3. Berechne f(c) 4. Ersetze entweder a oder b durch c, sodaß [a, c] bzw. [c, b] wieder ein eingrenzendes Intervall ist 5. Wenn ǫ = b a oder f(c) kleiner ist als eine gewünschte Toleranz, stop. 6. Sonst: Gehe zu (2) Beachte: Pro Iteration genau eine Funktionsauswertung. Vorteile: extrem einfach; funktioniert garantiert (genauer: was auch immer den Vorzeichenwechsel verursacht, wird gefunden); gleichmäßige Konvergenz: Wenn die Nullstelle bei der n-ten Iteration in einem Intervall der Breite ǫ n war, wird sie bei der (n + 1)-ten Iteration in einem halb so breiten Intervall sein: ǫ n+1 = ǫ n /2 (8) Nachteile: Daher ist die für eine gewünschte Endtoleranz ǫ f nötige Anzahl n von Iterationen bei einer gegebenen Anfangsintervallbreite ǫ 0 im voraus angebbar: n = log 2 ǫ 0 ǫ f (9) (Mehr als 40 Iterationen sind i.d.r. kaum nötig, weil ) findet nur eine Nullstelle, wenn mehrere im Anfangsintervall; Konvergenz nur linear, langsamer als andere Methoden. 3

4 Sekantenmethode, regula falsi (false position method) In der engeren Umgebung einer Nullstelle kann die Funktion durch eine Taylorreihe approximiert werden, die bereits nach dem linearen Term abgebrochen wird. Ersetzen wir die 1.Ableitung (Differentialquotient, Tangente) im linearen Term durch eine einfache numerische Approximation daran (Differenzenquotient, Sekante), erhalten wir diese beiden Methoden (beachte: wieder nur eine Funktionsauswertung pro Iteration): 1. Gegeben sei ein eingrenzendes Intervall [a, b], so daß sign{f(a)} sign{f(b)} 2. Konstruiere die Gerade g(x) durch die beiden Punkte (a, f(a)) und (b, f(b)) 3. Ermittle c als Nullstelle dieser Geraden: g(c) = 0 4. Berechne f(c) 5. Alternative Ersetzungsregeln: regula falsi: Ersetze entweder a oder b durch c, sodaß [a, c] bzw. [c, b] wieder ein eingrenzendes Intervall ist Sekantenmethode: Ersetze den älteren der beiden Punkte a und b durch c. 6. Wenn ǫ = b a oder f(c) kleiner ist als eine gewünschte Toleranz, stop. 7. Sonst: Gehe zu (2) Unterschied: Bei der regula falsi bleibt die Nullstelle strikt eingegrenzt (wie bei Bisektion), bei der Sekantenmethode nicht; daher kann die Sekantenmethode versagen. Dafür konvergiert die Sekantenmethode schneller und in vorhersagbarer Weise: mit dem goldenen Schnitt ϕ = (1 + 5)/ lim ǫ k+1 ǫ k ϕ (10) k Situation, in der beide Methoden extrem langsam konvergieren: 4

5 Sekantenmethode: regula falsi: 5

6 Newton-Raphson Wenn die 1.Ableitung von f(x) analytisch zur Verfügung steht, kann man statt lokaler Sekantenapproximationen auch die Tangente verwenden, um eine neue Approximation an die Nullstelle zu konstruieren. Da man für die Sekante zwei Punkte braucht, aber für die Tangente nur einen (und die Steigung), kommt man dann auch ganz ohne Intervallschachtelungen aus: 1. Rate einen Startpunkt x i, i = 1 2. Berechne f(x i ) und f (x i ) 3. Approximiere die Funktion lokal durch die Tangente, d.h. die nächste Approximation für die Nullstelle ist die Nullstelle der Geraden durch den Punkt (x i, f(x i )) mit der Steigung f (x i ). Die Endformel dafür ist: x i+1 = x i f(x i) f (x i ) (11) 4. Wenn die Schrittweite abs(x i+1 x i ) oder der Funktionswert f(x i+1 ) kleiner ist als eine Toleranzgrenze, stop. 5. Sonst i i Gehe zu (2). Beachte: pro Iterationsschritt brauchen wir hier zusätzlich zur Funktionsberechnung auch einmal eine Ableitungsberechnung. Wenn diese Ableitung numerisch approximiert werden muß (finite Differenzen), ist daher besser, regula falsi oder das Sekantenverfahren zu verwenden! 6

7 Vorteile: kein Anfangsintervall nötig, nur ein einzelner Startwert quadratische Konvergenz: Nachteile: die Tangentenextrapolation kann auch spektakulär schiefgehen; keine Möglichkeit, die Nullstellenapproximationen in einem eingrenzenden Intervall zu halten. Fehler im Newton-Verfahren: Divergenz: Fehler im Newton-Verfahren: Oszillation: 7

8 Extremwertsuche = Optimierung Eindimensionale Minimierung Maximierung von f(x) ist Minimierung von f(x), daher ist im folgenden immer nur von Minimierung die Rede. Zur Eingrenzung von Minima braucht man nicht zwei, sondern drei Punkte: Die stetige Funktion f(x) hat im Intervall [a, b] mit a < c < b ein Minimum, wenn f(c) < f(a) und f(c) < f(a). Die drei Punkte a, b, c sind jedoch im Prinzip leichter zu finden als bei der Nullstellensuche: Die Vorschrift gehe runter (ggf. in immer größeren Schritten), bis die Funktion wieder ansteigt, ist sehr oft erfolgreich, aber auch nicht immer: 2 Beispiele für Fehlersituationen:

9 Intervallschachtelung nach dem goldenen Schnitt Minimierung in Analogie zur Bisektion bei der Nullstellensuche (ebenfalls mit einer Funktionsauswertung pro Iteration): 1. Gegeben sei ein Intervall [a, b] und ein weiterer Punkt c, die ein Minimum eingrenzen (s.o.). 2. Konstruiere einen neuen Punkt d im größeren der beiden Intervalle [a, c] bzw. [c, b] (dies sei z.b. [c, b]), sodaß d im größeren der beiden Intervalle (hier: [c, b]) liegt und zwar von c aus gesehen um die Strecke w (b c) in dieses Intervall hinein, mit w = (3 5)/2 (dadurch erreicht man eine über die sukzessiven Intervallschachtelungen skaleninvariant optimale Unterteilung, siehe Numerical Recipes) 3. Abbruch, wenn die Punkte c, d ausreichend dicht beieinander liegen; beste Approximation ans Minimum: der kleinere der beiden Werte f(c), f(d). Sonst: 4. Wähle aus den jetzt vier Punkten a, c, d, b ein neues Triplett von Punkten, sodaß das neue Triplett das mit den niedrigst möglichen Funktionswerten ist und gleichzeitig noch das Minimum eingrenzt. 5. Gehe zu (2). Das jeweils nächste Intervall ist hier mal so breit wie das vorige; nicht ganz so gut wie das Verhältnis 0.5 bei Bisektion (in beiden Fällen ist die Konvergenz linear). 9

10 Inverse parabolische Interpolation Ähnlich wie eine Funktion in der Nähe einer Nullstelle näherungsweise linear ist, ist eine Funktion in der Nähe eines Minimums näherungsweise parabolisch. Das Pendant zu den Sekantenmethoden ist daher die inverse parabolische Interpolation: 1. Gegeben sei ein Intervall [a, b] und ein weiterer Punkt c, die ein Minimum eingrenzen (s.o.). 2. Konstruiere eine Parabel durch a, c, b; der neue Punkt d ergibt das Minimum dieser Parabel und ist explizit gegeben durch: d = b 1 (b a) 2 [f(b) f(c)] (b c) 2 [f(b) f(a)] 2 (b a)[f(b) f(c)] (b c)[f(b) f(a)] (12) 3. Abbruch, wenn die Punkte c, d ausreichend dicht beieinander liegen; beste Approximation ans Minimum: der kleinere der beiden Werte f(c), f(d). Sonst: 4. Wähle aus den jetzt vier Punkten a, c, d, b ein neues Triplett von Punkten, sodaß das neue Triplett das mit den niedrigst möglichen Funktionswerten ist und gleichzeitig noch das Minimum eingrenzt. 5. Gehe zu (2). Problematisch dabei ist, daß Gl.12 genausogut zu einem Maximum wie zu einem Minimum führen kann und natürlich versagt, wenn die Funktionsform stark von einer Parabel abweicht. 10

11 Ein robusteres Praxisverfahren ist daher die Minimierung nach Brent, bei der je nach Erfolg Schritte gemäß inverser parabolischer Interpolation bzw. gemäß goldenem Schnitt eingesetzt werden. 1.Ableitungsinformation kann in unterschiedlicher Weise eingesetzt werden, zwischen folgenden Extremen: konservativ: nur zur Entscheidung, ob ein neuer Punkt d in [a, c] oder in [c, b] liegen sollte; aggressiv: Konstruktion von interpolierenden Polynomen höherer Ordnung, unter Verwendung von Funktions- und Ableitungsinformation einiger alter Punkte. Welche Strategierichtung erfolgreicher ist, hängt davon ab, wie pathologisch die untersuchte Funktion ist. Multidimensionale Minimierung Hier haben wir eine zunächst unbekannte Funktion f( x) (die wir jedoch an einzelnen Punkten berechnen können). Von dieser Funktion suchen wir Minima, Maxima, Sattelpunkte, usw. Anwendungsbeispiel: die potentielle Energie V als Funktion der Molekülgeometrie (berechnet mit ab-initio-methoden, semiempirischen Methoden, Kraftfeldern,...). Dann sind Minima = (meta)stabile Molekülkonfigurationen; Sattelpunkte 1. Ordnung = (mögliche) Übergangszustände chemischer Reaktionen. Daher sind multidimensionale Optimierungsverfahren Teil der meisten Chemie-Programmpakete. Offensichtlich braucht man dabei hocheffiziente Varianten, weil jede einzelne Funktions- /Ableitungsberechnung extrem zeitaufwendig sein kann. Im Unterschied zu 1D ist in nd eine strikte Eingrenzung meist unmöglich bereits in 2D schlicht schon deshalb, weil es ausgehend von einem Punkt unendlich viele verschiedene Richtungen weg von diesem Punkt gibt. Daher kann ich in der Praxis i.d.r. nicht garantieren, daß es in alle diese Richtungen immer nur aufwärts geht! Daher gibt es keine (exakten) hochdimensionalen Analogien zu den 1D-Intervallteilungsverfahren. Natürlich sind trotzdem alle Verfahren iterativ, d.h. sie benötigen einen (geratenen) Startpunkt. Eine 1D-Minimierung findet mit möglichst wenigen Funktionsberechnungen das Minimum in einer gegebenen Richtung (von a nach b). Beim nd-fall kommt ein zweites Problem hinzu: In welche Richtung sollte man überhaupt gehen? 11

12 Methode des steilsten Abstiegs 1. Gegeben sei ein Startpunkt x i, i = 1, im Suchraum. 2. Berechne den Gradienten g i = f( x i ); die Richtung des steilsten Abstiegs ist dann gegeben durch g i. 3. Verwende einen beliebigen 1D-Minimierungsalgorithmus, um in dieser Richtung das Minimum zu finden. 4. Wenn abs(f( x i ) f( x i 1 )) kleiner als eine gegebene Toleranz, stop. 5. Sonst: i i Gehe zu (2). Wesentlicher Nachteil: Sukzessive Schrittrichtungen stehen per Konstruktion aufeinander senkrecht. Dies führt jedoch im allgemeinen nicht direkt zum Minimum bzw. ist schlecht an schwierigere Funktionsformen angepaßt: 12

13 Bessere Algorithmen verwenden mehr Information über die zu minimierende Funktion. Dazu approximieren wir die unbekannte Funktion lokal durch eine quadratische Form (vgl. Abschnitt nichtlineare Regression in Kapitel 6!): f( x) = c g x + 1 x A x + (13) 2 Im Unterschied zur nichtlinearen Regression ist von der analytischen Form von f( x) hier jedoch gar nichts bekannt, also haben wir auch keine Information über analytische Formen von Gradient oder Hesse-Matrix. Trotzdem können wir Information aus diesem Taylorreihenansatz gewinnen: A) Bei der nichtlinearen Regression hatten wir bereits verwendet: x min = x i A 1 g xi (14) Ein solcher Newton-Schritt führt uns von einem beliebigen Punkt x i zum Minimum x min der approximativen quadratischen Form. Dazu müssen wir allerdings die Hesse-Matrix (exakt!) kennen, machen aber trotzdem einen Fehler, weil die quadratische Form nur eine lokale Approximation an die eigentliche zu minimierende Funktion ist. B) Statt der zueinander senkrechten Schrittvektoren des steilsten Abstiegs x i x i+1 = 0 (15) können wir sogenannte zueinander konjugierte Richtungen verwenden: x i A x i+1 = 0 (16) n Schritte entlang konjugierter Richtungen (mit jeweils einer 1D-Minimierung) führen in n Dimensionen exakt ins Minimum der approximativen quadratischen Form. Man unterscheidet zwei Hauptklassen von Verfahren: quasi-newton (variable metric): Wir starten mit einer geratenen Hesse-Matrix und machen Newton-artige Schritte; die dabei gewonnene Information über die Funktion wird zur Korrektur der Hesse-Matrix verwendet. Richtungsmethoden (conjugate gradient u.a.): Mit sehr viel Raffinesse ist es möglich, Schritte in zueinander konjugierte Richtungen zu machen und dabei die Hesse-Matrix indirekt zu berücksichtigen, ohne sie jemals explizit berechnen zu müssen. Bei quasi-newton-verfahren muß also die Hesse-Matrix abgespeichert werden, was bei hochdimensionalen Problemen (z.b. Strukturoptimierung von Proteinen mit Kraftfeldmethoden) schwierig werden kann; dort werden bevorzugt Richtungsmethoden verwendet. In anderen Fällen sind quasi-newton-verfahren evtl. etwas besser; z.b. gibt es hier spezielle Varianten, die keine exakten 1D-Minimierungen entlang jeder Richtung benötigen. Wie bei der Extremwertsuche in einer Dimension finden all diese Verfahren auch Sattelpunkte erster und höherer Ordnung aufgrund numerischer Instabilitäten aber nur, wenn der Startpunkt nahe genug am Sattelpunkt liegt. Alle diese Verfahren finden nur den Extremwert, in dessen Einzugsbereich der Startpunkt liegt, und enden dort. Eine systematische Suche z.b. nach den energetisch tiefstliegenden Molekülkonfigurationen erfordert Methoden, die solchen lokalen Minima entkommen können und mehr oder weniger gezielt globale Minima finden. 13

14 Mehrdimensionale nichtlineare Nullstellensuche Eine Möglichkeit, das Problem f( x) = 0 zu lösen, ist eine einfache Erweiterung von 1D-Newton-Raphson: Wir entwickeln f in eine Taylorreihe: mit der Jacobi-Matrix J: f( x + δ x) = f( x) + J δ x + O(δ x 2 ) (17) J ij = f i x j (18) Wenn wir quadratische und höhere Terme vernachlässigen (! lineare Approximation, i.ggs. zur quadratischen bei der multidimensionalen Minimierung) und f( x + δ x) = 0 setzen, finden wir als Korrekturschritt δ x zur Nullstelle: x i+1 = x i + δ x = x i J 1 f (19) Dummerweise ist die direkte Verwendung dieser Vorschrift in nd erheblich kritischer als die Verwendung von Newton-Raphson in 1D. Die i.a. zu gefährlichen Newton-Raphson-Schritte lassen sich jedoch folgendermaßen entschärfen: Für die Hilfsfunktion F = 1 2 f f ist der Schritt nach Gl.19 ein Schritt steilsten Abstiegs: F δ x = ( fj) ( J 1 f) = f f < 0 (20) Also kann man zunächst immer den Schritt nach Gl.19 versuchen. Wenn sich dadurch jedoch F nicht verkleinert, reicht es aus, in derselben Richtung weniger weit zu gehen (backtracking), bis sich eine akzeptable Schrittweite ergibt. 14

15 Warum ist nd-nullstellensuche schwieriger als nd-minimierung? Wir können zwar hoffen, n Unbekannte mit n Gleichungen bestimmen zu können, aber es gibt keine Garantie, daß eine Lösung existiert. Bei der oben vorgestellten nd-minimierung sind die Gradientenkomponenten voneinander abhängig. Das ganze Problem ist vorstellbar als die Suche nach einem tiefsten Punkt in einer hügeligen Landschaft. Es gibt daher lokale Information (Gradient steilster Abstieg), die zwangsläufig zum Erfolg führen muß. Im Gegensatz dazu sind n nichtlineare Gleichungen i.a. unabhängig voneinander. Für nur zwei Funktionen f(x, y) = 0 und g(x, y) = 0 ist das wie unten abgebildet vorstellbar. Lösungen sind an den Schnittpunkten der Null-Konturen f = 0 und g = 0, die völlig unabhängig voneinander sind und jeweils auch aus mehreren unzusammenhängenden Teilen bestehen können. Um festzustellen, ob es Lösungen gibt und wenn ja, wie viele, müßte man alle diese Teil-Konturen komplett nach Schnittpunkten absuchen. Die Situation wird dadurch noch weiter verkompliziert, daß die oben eingeführte Hilfsfunktion F multiple Minima hat, z.b. an allen Stellen, an denen sich f = 0 und g = 0 nahe kommen, wie etwa im Punkt M dort befindet sich jedoch keine Lösung des Gleichungssystems. 15