6. Numerische Lösung des. Nullstellenproblems

Transkript

1 6. Numerische Lösung des Nullstellenproblems 1

2 Problemstellung Zwischenwertsatz: Sei f : [a,b] R stetig und c R mit f(a) c f(b) oder f(b) c f(a). Dann gibt es ein x [a,b] mit f(x) = c. Frage: Wie lässt sich x bestimmen? Nullstellenproblem: c = 0. 2

3 Bisektionsverfahren Einfache Methode: Unterteile Intervall in der Mitte und berechne den Wert. Der gesuchte Wert muss in einer der beiden Teilintervalle liegen. Für eine Nullstelle: Gegeben sei f : [a 0,b 0 ] R mit f(a 0 ) f(b 0 ) < 0. Erzeuge rekursiv die Intervalle falls f ( a i +b i 2 ) f(ai ) 0 [a i+1,b i+1 ] := [ ai, a ] i+b i 2 ] [ ai +b i 2,b i sonst Die Nullstelle liegt im Intervall [a i,b i ] und es gilt lim (b b a i a i ) = lim i i 2 i = 0. 3

4 Fixpunktiteration (1) Definition: Eine Gleichung der Form F(x) = x heißt Fixpunktgleichung. Ihre Lösungen, also x mit F( x) = x heißen Fixpunkte Definition: Gegeben sei F : [a,b] R, x 0 [a,b]. Die rekursive Folge x n+1 := F(x n ), n = 0,1,... heißt Fixpunktiteration von F zum Startwert x 0. X 3 X 2 X 1 X 0 X 1 X 2 X 3 4

5 Fixpunktiteration (2) Beispiel Bestimme die Nullstelle von p(x) = x 3 x+0.3. Methode: Führe die Fixpunktiteration x n+1 = F(x n ) = x 3 n+0.3, durch Ergebnis: Startwert x 0 = 1: konvergiert gegen x = Startwert x 0 = 0 : konvergiert gegen x = Startwert x 0 = 1: divergiert Z.B. kann die Gleichung x = 2sin(x)+1 nur iterativ gelöst werden! 5

6 Fixpunktiteration (3) Satz Sei F : [a,b] R mit stetiger Ableitung F und x [a,b] ein Fixpunkt von F. Dann gilt für die Fixpunktiteration x n+1 = F(x n ) Ist F ( x) < 1, so konvergiert x n gegen x, falls der Startwert x 0 nahe genug bei x liegt. Der Punkt x heißt anziehender Fixpunkt. Ist F ( x) > 1, so konvergiert x n für keinen Startwert x 0 x. Der Punkt x heißt abstoßender Fixpunkt. In unserem Beispiel ist nur der Fixpunkt bei x = anziehend. Die anderen beiden Fixpunkte (liegen bei den anderen beiden Nullstellen von p(x)) sind abstoßend. 6

7 Fixpunktiteration (4) Sehr einfaches Anwendungsbeispiel Zur diskreten Zeit t i sind k i Menschen an einer Grippe erkrankt Die Zahl der Neuerkrankungen ist proportional zur Zahl der möglichen Begegnungen zwischen kranken und gesunden Menschen. Ein zum Zeitpunkt t i kranker Menschen ist zum Zeitpunkt t i+1 wieder gesund. Die Übertragungsrate sei α, falls alle innerhalb eines Zeitintervalls miteinander in Kontakt sind. Frage: Wie entwickelt sich die Anzahl der Kranken? Antwort: Iteriere k i+1 = αk i (1 k i ) 7

8 Fixpunktiteration (5) Iterationsfunktion: F(x) = αx(1 x) anziehender Fixpunkt: x = F( x) = α x(1 x) x = α 1 α oder x = 0 Geometrische Interpretation: Der Fixpunkt ist der Schnittpunkt der Kurven y = F(x) und y = x. Die aktuellen Modelle zur Schweinegrippe oder Vogelgrippe funktionieren analog, sind nur erheblich komplizierter. 8

9 Banachscher Fixpunktsatz (1) Sei F : [a,b] [a,b] eine kontrahierende Abbildung, d.h. es existiere eine Konstante α < 1 mit Dann gilt F(x) F(y) α x y für alle x,y [a,b]. F hat genau einen Fixpunkt x in [a,b]. Die Fixpunktiteration x n+1 = F(x n ) konvergiert gegen x für alle Startwerte x 0 [a,b]. Es gelten die Fehlerabschätzungen x n x αn 1 α x 1 x 0 x n x α 1 α x n x n 1 a-periori-abschätzung a-posteriori-abschätzung 9

10 Banachscher Fixpunktsatz (2) Beweis von Abschätzung 1: mit x n+1 = F(x n ) gilt: x n+1 x n = F(x n ) F(x n 1 ) α x n x n 1 Damit gilt für zwei Werte x n und x k α 2 x n 1 x n 2... α n x 1 x 0 x n x k = (x n x n 1 )+(x n 1 x n 2 )+...+(x k+1 x k ) (x n x n 1 ) + (x n 1 x n 2 ) (x k+1 x k ) (α n 1 +α n α k ) x 1 x 0 = ( n 1 i=0 α i k 1 i=0 α i ) x 1 x 0 = Für lim n wird x n x und α n 0 und damit x x k αk 1 α x 1 x 0 ( 1 α n 1 α 1 αk 1 α ) x 1 x 0 10

11 Newtonverfahren (1) Gesucht ist die Nullstelle einer stetig differenzierbaren Funktion f : [a,b] R, also f( x) = 0. Zurückführung auf das Fixpunktproblem über Taylorentwicklung f(x+h) = f(x)+f (x) h+o(h 2 ) mit x+h = x und x = x k und damit h = x x k 0 = f( x) = f(xk)+f (xk)( x xk)+o(( x xk) 2 ). x = x k f(x k) f (x k ) +O(( x x k) 2 ) Setze x x k+1. Falls f (x k ) 0 verwende die Iterationvorschrift unter Vernachlässigung des Terms 2. Ordnung x k+1 = x k f(x k) f (x k ) 11

12 Newtonverfahren (2) Geometrische Interpretation: Ersetze f(x) lokal an der Stelle x k durch die Tangente t(x) = f(x k )+f (x k )(x x k ) und bestimme die Nullstelle der Tangente. Verwende diesen Wert als Näherung der gesuchten Nullstelle. f(x ) 0 y x x 1 0 f(x) t(x) Tangente x Problem: Ist die Ableitung klein, konvergiert das Verfahren eventuell nicht. 12

13 Newtonverfahren (3) Da das Problem ist äquivalent zum Fixpunktproblem x = F( x) mit der Fixpunktfunktion F(x) = x f(x) f (x), gelten die Aussagen über Iterationsgleichungen wie z.b. der Banachsche Fixpunktsatz. Definition Konvergenzordnung: Sei x n eine Folge mit lim n = x. Dann hat das Verfahren die Konvergenzordnung q 1, wenn es eine Konstante c > 0 gibt mit x n+1 x c x n x q Ist q = 1, wird zusätzlich verlangt: c < 1. 13

14 Newtonverfahren (4) Das Newtonverfahren für eine stetig differenzierbare Funktion f mit einfacher Nullstelle x ist lokal quadratisch konvergent. Beweis: Taylorentwicklung liefert 0 = f( x) = f(x k )+f (x k )( x x k )+ 1 2 f (z)( x x k ) 2 mit einer Zwischenstelle z. ( x x k )+ f(x k) f (x k ) = ( x x k+1) = 1 f (z) 2f (x k ) ( x x k) 2 x x k+1 = 1 f (z) 2f (x k ) x x k 2 = C x x k 2 C ist beschränkt, falls f (x) 0 in der Umgebung von x 14

15 Sekantenverfahren Anstatt die Ableitung zu berechnen, verwende einen Differenzenquotient. Mit f (x k ) f(x k) f(x k 1 ) x k x k 1 = f D (x k) und f(x ) 0 y f(x) t(x) Sekante S(x) = f(x k )+f D (x k)(x x k ) folgt f(x ) 1 x x 2 1 x 0 x x k+1 = x k x k x k 1 f(x k ) f(x k 1 ) f(x k) Vorteil: Berechnung der Ableitungen fällt weg. Nachteil: Es werden zwei Startwerte benötigt und die Konvergenz ist langsamer. 15

16 Newton-Verfahren für Polynome Betrachte Polynom mit n reelle Nullstellen ξ 1 > ξ 2 >... > ξ n. Das Newton-Verfahren konvergiert für x 0 > ξ 1 gegen die größte Nullstelle. Methode für alle Nullstellen: Bestimme die größte Nullstelle und führe Polynomdivision mit (x ξ 1 ) durch. Führe die Prozedur so lange durch, bis alle Nullstellen gefunden wurden. Achtung: Polynomdivision kann zu großen Rundungsfehlern führen (es gibt Tricks, diese zu vermeiden). 16

17 Newtonverfahren in mehreren Dimensionen (1) Im Allgemeinen liegen mehrere Funktionen f = f 1,f 2,...,f n, abhängig von mehreren Variablen x = x 1,x 2,...,x n vor. Frage: Wo liegt die Stelle x, an der f Null wird? Antwort: Verallgemeinere das Newton-Verfahren unter der Verwendung der so genannten Jacobi-Matrix, die die Ableitungen der Funktionen nach allen Variablen enthält. J = f 1 x 1 f 1 x n..... f n x 1 f n x n 17

18 Newtonverfahren in mehreren Dimensionen (2) Jetzt: Anstelle für die Variable x x (k+1) = x (k) (f (x (k) )) 1 f(x (k) ) lautet nun die Iterationsvorschrift für den Vektor x x (k+1) = x (k) J 1 f(x (k) ) Benötigt wird die Berechnung der inversen Jacobi-Matrix: J J 1 = I ergibt n 2 Gleichungen für n 2 Unbekannte in J 1. (da gibt es viel bessere Verfahren) 18

19 Newtonverfahren in mehreren Dimensionen (3) Einfaches Beispiel aus Knorrenschild Bestimme die Nullstelle von ( 2x1 +4x f(x 1,x 2 ) = 2 4x 1 +8x 3 2 ) oder 2x 1 +4x 2 = 0 4x 1 +8x 3 2 = 0 Jacobi-Matrix: ( 2 4 ) J = 4 24x 2 2 Iterationsvorschrift x (k+1) = x (k) J 1 f(x (k) ) oder J δ (k) = J (x (k+1) x (k) ) = f(x (k) ) 19

20 Newtonverfahren in mehreren Dimensionen (4) Wähle z.b. den Startvektor Damit folgt: Löse: J(x (0) ) = J δ (k) = f(x (k) ) ( ) x (0) = ( ( 4 2 ) und f (0) = f(4,2) = ) δ (0) = ( ) ( ) δ (0) = ( Erste Näherung: ( ) x (1) = x (0) +δ (0) 32 = Nach 4 Iterationen wird die ersten der drei Nullstellen auf 3 Stellen genau gefunden. 20 )

21 Optimierungsproblem Häufige Anwendungen: Gesucht ist das Minimum einer Funktion in Abhängigkeit von vielen Variablen. Methode: Bestimme die Nullstelle der ersten Ableitung. In einer Variablen: x k+1 = x k f (x k ) f (x k ) Mit mehreren Variablen ist gesucht min F(x x 1,...,x 1,...,x n ) n Minimum ist dort, wo die Tangenten waagerecht sind. 21

22 Optimierungsproblem (1) Das ist dort, wo der Gradientenvektor F = F x 1. F x n := f 1. f n := f eine Nullstelle hat. Das Problem ist äquivalent zum Newtonverfahren in mehreren Dimensionen. Berechnet werden muss die Ableitung von f bzw. F, also die 2. Ableitung von F, die Matrix mit den Elementen f i x j = 2 F x i x j Die Matrix heißt Hesse-Matrix. 22

23 Optimierungsproblem (2) Bei einem Optimierungsproblem, also der Suche nach einem Minimum (Maximum) gibt es im Allgemeinen nicht ein Minimum, sondern viele Minima. Dann wir das Minimum dadurch gesucht, dass die Werte entlang des negativen Gradienten geändert werden, und zwar mit einem variablen Vorfaktor, bis ein Minimum gefunden wurde (hoffentlich ein gutes ). In einer Dimension: x k+1 = x k ηf (x k ) Zur zeit populärste Anwendung: Neuronale Netze bzw. Maschine Learning Algorithmen oder KI 23

24 Optimierungsproblem (3) Zu minimierende Funktion: Analog zur linearen Ausgleichsrechnung ein Fehlerfunktional als quadratische Differenz zwischen berechneten Werten und Trainingsdaten. Da die Parameter nicht-linear in die Funktion eingehen, ist nur eine iterative Lösung möglich. Gesucht wird das Minimum des Fehlerfunktionals. Methode: Gehe entlang des negativen Gradienten in den nichtlinearen Paramtern, bis ein hoffentlich guten Minimum gefunden wurde. w i k+1 = wi k η E(w1,...,w i,...,w n ) w i 24

25 Anwendungen (1) Diverse weitere Variationen dieser Verfahren existieren. Einige Anwendungen: Neuronale Netze Optimierungsprobleme Iterationsvorschriften als chaotische Systeme, z.b. für Computergrafiken Biologische Systeme Mein Vortrag in der Vortragsreihe WS 2008/2009 des FB03s, Thema: Hat eine Gleichung eine Lösung? Ein Computerbeweis Mein Vortrag in der Vortragsreihe SS 2016 des FB03s, Thema: Wie fängt eine Eule eine Maus: Eine biologisch motivierte Simulation 25

26 Anwendungen (2) Iterative Verfahren werden in vielen weiteren Bereichen angewendet, z.b. die Nobelpreisträger für Wirtschaftswissenschaften 2011, Thomas Sargent und Christopher Sims haben den Nobelpreis für ihre empirische Untersuchung von Ursache und Wirkung in der Makroökonomie bekommen. Ihr Modell ist ein Satz linearer iterativer Gleichungen X t = a 1 +a 2 X t 1 +a 3 Y t 1 +e x,t Y t = a 4 +a 5 X t 1 +a 6 Y t 1 +e y,t, um gesamtwirtschaftliche Vorgänge zu beschreiben. 26

27 Anwendungen (3) Wurzelziehen und Division auf einen Rechner (C t 2013, Heft 12) Es wird zuerst trickreich eine Näherung bestimmt, neuen Recheneinheiten verwenden einfach interne Tabellen. (FDIV-Bug des Pentium- Prozessors). Die Tabellen sind auf ca. 12 Stellen genau. Anschließend wird das Ergebnis per Newton-Iteration (bei der Division nach Newton Raphson) verbessert. Die Tabellen können in den SSE-Einheiten per Pipeline direkt verwendet werden (Compiler-Flags). Falls viele Werte benötigt werden, kann das Nachschärfen über wenige Newton-Iterationen auch per Hand geschehen. Das Ergebnis ergibt sich dann bei gleicher Genauigkeit schneller als durch 1.0/x durch Verwendung der SSE-Einheiten. 27

28 Anwendungen (4) Geht es um Performance wie z.b. bei Computersimulationen wird mit allen Tricks gearbeitet. Wurzelberechnung über f(x) = x 2 a liefert x n+1 = (x n +a/x n ) 0.5 Wurzelberechnung über f(x) = 1 a/x 2 liefert x n+1 = x n (3 x 2 n/a) 0.5 Das 2. Verfahren ist schneller, falls viele Werte berechnet werden sollen, da nur eine Division benötigt wird und dann das Ganze über SSE-Einheiten in einer Pipeline ablaufen kann. Wird die inverse Wurzel benötigt, ist das sogar noch schneller: f(x) = 1/x 2 a liefert x n+1 = x n (3 a x 2 n) 0.5 ohne Division. 28