Numerische Methoden und Algorithmen in der Physik

Transkript

1 Numerische Methoden und Algorithmen in der Physik Hartmut Stadie, Christian Autermann Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 1/ 18

2 Einführung Einführung Verfahren für eindimensionale Probleme Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 2/ 18

3 Übersicht Einführung Informationen Einführung Verfahren für eindimensionale Probleme Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 3/ 18

4 Informationen Ablauf: Vorlesung: donnerstags 8:30 Hörsaal, Geb. 61, DESY Übung: im Anschluss an die Vorlesung Material: Stroustrup: The C++ Programming Language, 3rd edition cpp/ Press et al: Numerical Recipes, 3rd edition Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 4/ 18

5 Übersicht Einführung Einführung Einführung Verfahren für eindimensionale Probleme Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 5/ 18

6 Optimierung Suche Minimum einer Funktion: typische Anforderungen an Algorithmen: schnell kostengünstig geringer Speicherverbrauch robust Herausforderungen: lokale Minima aufwendige Funktionsauswertungen mehrdimensionale Fälle Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 6/ 18

7 Optimierung Suche Minimum einer Funktion: Verfahren: in einer Dimension: Methode des goldenen Schnitts (f (x)) Parabelnäherung (f (x)) Simulierte Abkühlung (f (x)) in mehreren Dimensionen: Downhill-Simplex-Verfahren (f (x)) Gradientenverfahren (f (x), f ) Konjugierte-Gradienten-Verfahren (f (x), f ) Newton-Verfahren (f (x), f, H(f )) Quasi-Newton-Verfahren (f (x), f ) Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 7/ 18

8 Übersicht Einführung Einführung Verfahren für eindimensionale Probleme Klammern Methode des goldenen Schnitts Parabelnäherung Brents Methode Simulierte Abkühlung Ausblick Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 8/ 18

9 Klammern(bracketing) Minimum in Intervall [a, c]: wenn f (b) < f (a) und f (b) < f (c) für a < b < c Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 9/ 18

10 Methode des goldenen Schnitts Extremwertbestimmung analog zur Bisektion Mit a < b < c und f (b) < f (a) und f (b) < f (c) R = x 0 = a, x 3 = c und c b > b a : x 1 = b und x 2 = b + (1 R)(c b) c b b a : x 2 = b x 1 = b (1 R)(b a) Wiederhole, solange x 3 x 0 > ɛ(x 1 + x 2 ): f (x 2 ) < f (x 1 ): x 0 = x 1, x 1 = x 2, x 2 = R x 2 + (1 R) x 3 f (x 2 ) f (x 1 ): x 3 = x 2, x 2 = x 1, x 1 = R x 1 + (1 R) x 0 gebe x 1 bzw. x 2 als Minimum zurück Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 10/ 18

11 Erwartete Genauigkeit Habe die Funktion f (x) ein Minimum bei b und sei ɛ die Rechengenauigkeit: Taylor-Entwicklung um b: f (x) f (b) f (b)(x b) 2 Keine weitere Verbesserung, wenn zweiter Term kleiner ɛ f (b). 1 2 f (b)(x b) 2 < ɛ f (b) (x b) 2 2 f (b) < ɛ f (b) x b < 2 f (b) ɛ f (b) x b < 2 f (b) ɛ b b 2 f (b) Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 11/ 18

12 Parabelnäherung Nähere Funktion mit Parabel an: f (x) P(x) = c 1 + c 2 x + c 3 x 2 und f (a) = P(a) f (b) = P(b) f (c) = P(c) Lösung des Gleichungssytems: c 1 (a f (c) c f (a))b2 +(c 2 f (a) a 2 f (c))b+ac(a c)f (b) (a b)(a c)(c b) c 2 a2 (f (c) f (b))+c 2 (f (b) f (a))+b 2 (f (a) f (c)) c 3 (a b)(a c)(c b) c(f (b) f (a))+b(f (a) f (c))+a(f (c) f (b)) (a b)(a c)(b c) Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 12/ 18

13 Benutze Minimum der Parabel Minimum von P(x): 0 = P (x m ) = c 2 + 2c 3 x m x m = (f (b) f (c))a2 +c 2 (f (a) f (b))+b 2 (f (c) f (a)) 2(c(f (a) f (b))+a(f (b) f (c))+b(f (c) f (a))) Algorithmus: Finde neuen Punkt u mit Parabelfit durch x,v und w, wobei x,v,w die bisher gefundenen Punkte mit den kleinsten Funktionswerten sind und f (x) < f (v) < f (w) u = x 1 (x v) 2 [f (x) f (w)] (x w) 2 [f (x) f (v)] 2 (x v)[f (x) f (w)] (x w)[f (x) f (v)] Berechne f (u) und wähle entsprechend neue Punkte x,v und w. Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 13/ 18

14 Brents Methode Probleme mit Parabelnäherung Parabel kann Maximum oder Minimum beschreiben, daher keine garantierte Konvergenz Brents Methode Verwende Parabelnäherung für schnelle Konvergenz und falle auf die Methode des goldenen Schnitts zurück, wenn jene scheitert. Kriterien fürs Scheitern: neuer Punkt u nicht in [a, b] Schritt d = u x größer als der halbe vorletzte Schritt Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 14/ 18

15 Simulierte Abkühlung(simulated annealing) Grundidee: Nachbildung eines Abkühlungsprozesses: langsame Abkühlung sorgt dafür, dass die Moleküle ausreichend Zeit haben, sich zu ordnen und stabile Kristalle zu bilden. Dadurch wird ein energiearmer Zustand, nahe am Optimum erreicht Einfache Anwendung: 1 wähle zufälligen Schritt d zwischen [ δ, δ] mit u = x + d 2 wenn E(u) < E(x) wähle x = u 3 sonst: wähle x = u mit Wahrscheinlichkeit p(u) exp( E(u) E(x T ) 4 erniedrige langsam T und die maximale Schrittweite δ Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 15/ 18

16 Simulierte Abkühlung Grundlage: Metropolisalgorithmus Akzeptiere immer Schritte bergab und manchmal Schritte bergauf (engl.: Metropolis-Hastings algorithm Metropolis et. al. 1953) Eigenschaften der Simulierten Abkühlung: findet globale Minima auch für kombinatorische Probleme anwendbar z.b. Handlungsreisendenproblem wenn Schrittrichtung zufällig, fast immer falsch bei mehrdimensionalen Räumen viele Funktionsauswertungen gutes Abkühlungsschema muss wolhüberlegt sein oder empirisch gefunden werden Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 16/ 18

17 Beispiel Aufgabe: Suche Minimum von f (x) = x sin(x) zwischen 4 und 6. Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 17/ 18

18 Ausblick weitere Ideen: Benutze mehrere Pfade in der simulierte Abkühlung, um sicher das globale Minimum zu finden(genetische Algorithmen). Minimierung in mehreren Dimensionen: Benutze Gradienten (und Hesse-Matrix), um die Richtung zum Minimum zu finden. Benutze dann die bekannten Minimierungsalgorithmen in einer Dimensionen, um die Länge des Schritts zu finden. Beispiele: Gradientenverfahren Konjugierte-Gradienten-Verfahren Quasi-Newton-Verfahren Numerische Methoden und Algorithmen in der Physik Hartmut Stadie 18/ 18