Numerik 1 Eine Zusammenfassung

Transkript

1 Numerik 1 Eine Zusammenfassung Steffi, Balthasar, Julian und Julian WS 2009/ M Bause Contents 1 Fehleranalyse 3 11 Kondition eines Problems Definition einer Norm Relative & absolute Kondition Fehler der Ausgabe Lineare Abbildungen Satz Rundungs- Maschinenegenauigkeit relative Rundungsfehler 4 13 Stabilitaet eines Algorithmus Leitlinien 4 2 Direkte Lösungsverfahren für lineare Gleichungssysteme 5 21 Zeilenskalierung 5 22 Dreiecksmatrizen Vorwärts- und Rückwärtseinsetzen 6 23 Gauß-Elimination und LR-Zerlegung Gauß-Elimination ohne Pivotisierung LR-Zerlegung Gauß-Elimination mit Spaltenpivotisierung Anwendungen der LR-Zerlegung Cholesky-Zerlegung 8 24 QR-Zerlegung Givens-Rotationen Householder-Transformationen 10 3 Lineare Ausgleichsrechnung Kondition des Problems Numerische Lösung Lösung über Normalengleichungen Lösung über QR-Zerlegung Singulärwertzerlegung Berechnung der Singulärwerte Pseudoinverse Bestimmung des Rangs 14 4 Lösungsverfahren für nichtlineare Gleichungssysteme Kondition Fixpunktiteration Konvergenzordnung und Fehlerschätzung Nullstellenberechnung skalarer Gleichung 16 1

2 CONTENTS Bisektion Newton-Verfahren Sekanten-Verfahren Newton-Verfahren für Systeme Vereinfachtes Newton-Verfahren Numerische Berechnung der Jacobi-Matrix Gedämpftes Newton-Verfahren 18 5 Nichtlineare Ausgleichsrechnung Gauß-Newton-Verfahren Levenberg-Marquardt-Verfahren 19 6 Interpolation Lagrange-Polynominterpolation Auswertung an bestimmten Stellen: Neville-Aitken-Schema Explizite Darstellung Potenzform Newton sche Interpolationsformel Fehler Hermite-Interpolation Numerische Differentiation 22

3 1 FEHLERANALYSE 3 1 Fehleranalyse 11 Kondition eines Problems unabhaengig vom Algorithmus gibt an welche Genauigkeit (bei exater Rechnung) mit gestoerten Eingabedaten erwartet werden kann Eingabedaten Ausgabedaten xex Problem, Prozess y = f( x)ey behaftet mit Fehler: f mit Fehlern: x = x x y = f( x) f(x) 111 Definition einer Norm (N1) v 0veV und v = 0 impliziert v = 0 (N2) Fuer alle aek, vev gilt: av = a V (N3) Fuer alle v, w e V gilt die Dreiecksungleichung v + w v + w Bei einem durch eine Lipschitz-stetige Abbildung beschriebenen Problem laesst sich also die absolute Kondition des Problems gleichmaesig durch die Lipschitz-Konstante beschraenken 112 Relative & absolute Kondition absolute Fehler: x X, y Y relative Fehler: δx = x X x X δy relative Kondition: δx,δy = y Y y Y absolute Kondition: y Y x X je kleiner die relative Kondition ( mit δx 0) desto besser ist das Problem konditioniert 113 Fehler der Ausgabe f( x) f(x) f(x) = n j=1 φ j(x) xj xj x j mit Fehlerverstaerkung: φ j (x) = f(x) x j x j f(x) f( x) f(x) κ rel (x) n j=1 xj j f(x) x j mit κ rel (x) = κ rel (x) = max φ j(x) vereinfachter Fall: f ist nur von einer Variablen abhaengig: f( x) f(x) = κ rel (x) x x f(x) mit κ rel (x) := x f (x) x f(x) 114 Lineare Abbildungen Satz 219 Eine Abbildung L : X Y ist linear, wenn fuer alle x, z X und α, β R gilt: L(αx+βz) = αl(x) + βl(z) L x y := sup x X=1 L(x) y L x y := L(x) y x X L y L X Y x X, x X

4 1 FEHLERANALYSE 4 Identitaet I: X X I X := I X X = sup x X=1 Ix X = 1 relative Kondition einer linearen Abbildung: L( x) L(x) Y L(x) Y κ(l) x x X x X mit κ(l) = sup x X=1 L(x) Y L(x) X Y = mit κ(l) ist das Verhaeltnis von inf x X=1 L(x) Y inf x X=1 L(x) Y maximaler Dehnung zur staekstmoeglichen Stauchung der Einheitskugel K X (0, 1) unter der Abbildung L : x L(x) (jeweils gemessen in der Bildnorm Y 12 Rundungs- Maschinenegenauigkeit 121 relative Rundungsfehler fl(x) x x b: Basis des Zahlensystems e: Exponent f: Mantisse m: Mantissenlaenge fl(x): gerundete Zahl eps: relative Maschinengenauigkeit b m 2 be b 1 b e = b1 m 2 =: eps 13 Stabilitaet eines Algorithmus Stabilitaet: Ein Algorithmus heisst gutartig oder stabil, wenn die durch ihn im Laufe der Rechnung erzeugten Fehler in der Groessenordnung des durch die Kondition des Problems bedingten unvermeidbaren Fehlers bleiben exakte Daten x f (exakt) f (x) Rueckwaertsfehler f(numerisch) Fehler im Resultat exakte Daten x f (exakt) f(x) = f( x) 131 Leitlinien Kenntisse ueber die Kondition eines Problems sind oft fuer die Interpretation oder Bewertung der Ergebnisse von entscheidender Bedeutung Multiplikation/Division sind fuer alle Eingangsdaten gut konditioniert Subtraktion zweier annaehernd gleicher Zahlen sind schlecht konditioniert (Ausloeschung) Rundungsfehler koennen enorm verstaerkt werden In einem Loesungsverfahren sollen (wegen der Stabilitaet) Ausloeschungsefekte vermieden werden Bei einem stabilen Loesungsverfahren bleiben die im Laufe der Rechung erzeugten Rundungsfehler in der Groessenordnung der durch die Kondition des Problems bedingten vermeidbaren Fehler

5 2 DIREKTE LÖSUNGSVERFAHREN FÜR LINEARE GLEICHUNGSSYSTEME 5 Im Rahmen der Gleitpunktarithmetik sollen Abfragen, ob eine Groesse gleich Null ist oder ob zwei Zahlen gleich sind, vermieden werden Auf Grund der Aufloesbarkeit bis auf Maschinengenauigkeit ist diese Frage nicht entscheidbar im Sinne einer essentiellen Voraussetzung fuer weitere Entscheidungen und Schritte Vorteilhafte Reihenfolgen bei der Summenbildung sollen beruecksichtigt werden 2 Direkte Lösungsverfahren für lineare Gleichungssysteme Häufig gilt es Probleme der Form Ax = b mit A R n n, x, b R n zu lösen Die Verfahren dazu werden hier zusammengefasst Verfahren zu einer nichtquadratischen Matrix A werden in der linearen Ausgleichsrechnung behandelt 21 Zeilenskalierung Die Kondition eines linearen Gleichungssystems wird durch die Konditionszahl κ(a) = A A 1 beschrieben Dh beim Lösen mit einer Maschinengenauigkeit eps tritt ein unvermeidbarer Fehler in der Größenordnung κ(a) eps auf Es ist also von Vorteil, eine möglichst geringe Konditionszahl zu erreichen Dazu verwendet man eine Diagonalmatrix D, die jede Zeile der Matrix A skaliert: d DA = 0 d a 11 a 1n 22 0 a n1 a nn 0 0 d nn Dabei ist die D z diejenige Diagonalmatrix, für die gilt: κ (D z A) κ (DA) Damit ist die Kondition des Problems optimal und man nennt die Matrix D z A (zeilenweise) äquilibriert 22 Dreiecksmatrizen Besonders einfach lassen sich Gleichungssysteme der Form Ax = b lösen, wenn die Matrix A eine obere- oder untere Dreiecksmatrix ist:

6 2 DIREKTE LÖSUNGSVERFAHREN FÜR LINEARE GLEICHUNGSSYSTEME 6 r 11 r 21 r 1n obere Dreiecksmatrix R = 0 r r nn l untere Dreiecksmatrix L = l 21 l 22 0 l n1 l n,n 1 l nn Diagonalmatrix obere- und untere Dreiecksmatrix Stehen auf der Diagonalen der Dreiecksmatrix nur Einsen, spricht man von einer normierten Dreiecksmatrix 221 Vorwärts- und Rückwärtseinsetzen Mit Dreiecksmatrizen lassen sich die Einträge x j des Lösungsvektors x durch Vorwärts- bzw Rückwärtseinsetzen lösen Rückwärtseinsetzen bei oberen Dreiecksmatrizen n x j = (b j r j,k x k )/r j,j j = n,,1 k=j+1 Vorwärtseinsetzen bei unteren Dreicksmatrizen j 1 x j = (b j l j,k x k )/l j,j k=1 j = 1,,n Aufwand 1 2 n2 Operationen 23 Gauß-Elimination und LR-Zerlegung Die Lösung von Ax = b ändert sich nicht, wenn man Vielfache einer Gleichung (Zeile) von einer anderen Gleichung (Zeile) abzieht Für k = 1,,n 1 zieht man ein Vielfaches der k-ten Zeile der Matrix A von allen folgenden Zeilen ab, so dass in der k-ten Spalte alle Einträge unterhalb der k-ten Zeile Null werden Auf diese Weise überführt man die Matrix A in eine obere Dreiecksmatrix R Die rechte Seite b muss dabei ebenfalls entsprechend angepasst werden! Wird ein Eintrag a j j (so genanntes Pivotelement) auf der Hauptdiagonalen während der Umformungen Null, so versagt der Algorithmus 231 Gauß-Elimination ohne Pivotisierung 1 Überführe Ax = b in Rx = c 2 Löse Rx = c

7 2 DIREKTE LÖSUNGSVERFAHREN FÜR LINEARE GLEICHUNGSSYSTEME LR-Zerlegung Notiert man sich während der Überführung die Koeffizienten jeder Zeilenumformung in einer Matrix, ergibt sich eine untere Dreiecksmatrix L = l l n1 l n,n 1 1 wobei der Eintrag l kj den Koeffizient zur Umformung der k-ten Zeile darstellt, so dass die j-te Spalte Null wird Auf diese Weise erhält man eine Faktorisierung der Matrix A: A = LR 233 Gauß-Elimination mit Spaltenpivotisierung Verschwindet während des Eliminationsverfahrens ein Pivotelement, so ist eine Zeilenvertauschung notwendig Dazu wird einfach die j-te Zeile durch eine k-te Zeile k > j ersetzt Ebenfalls ist es auf diese Weise möglich Rundungsfehler zu reduzieren, wenn immer das Spaltenmaximum als Pivotelement verwendet wird Die Spaltenvertauschung lässt sich durch eine Pivotmatrix P ausdrücken: PA = LR Beispiel: PA = = Vorgehen: 1 Bestimme Diagonalmatrix D, so dass DA zeilenweise äquilibriert ist 2 Wende Gauß-Elimination mit Spaltenpivotisierung an, dh suche für jeden Schritt das betragsmäßig größte Element in der ersten Spalte der Restmatrix und tausche gegebenenfalls Faktorisierung: P DA = LR Aufwand: 1 3 n3 Totalpivotisierung Um noch günstigere Pivotelemente zu bekommen, lässt sich auch noch die Reihenfolge der Unbekannten (dh Spalten) ändern Allerdings ist der Aufwand dafür sehr groß 234 Anwendungen der LR-Zerlegung Lösen eines Gleichungssystems Die LR-Zerlegung erlaubt, ein lineares Gleichungssystem in zwei Schritten zu lösen: 1 Ly = Pb durch Vorwärtseinsetzen 2 Rx = y durch Rückwärtseinsetzen Ax = b PAx = LRx = Pb

8 2 DIREKTE LÖSUNGSVERFAHREN FÜR LINEARE GLEICHUNGSSYSTEME 8 Aufwand 1 3 n3 + }{{} 2n 2 }{{} Vorwärts- und Rückwärtseinsetzen Zerlegung Berechnung der Inversen Sei A 1 = (a 1 a 2 a n ), dh a i die i-te Spalte der Inversen Mit AA 1 = I gilt Aa i = e i 1 Bestimme LR-Zerlegung P A = LR 2 Löse die Gleichungssysteme LRa i = Pe i Aufwand 4 3 n3 Berechnung von Determinanten Mit PA = LR gilt: deta = detldetr detp n = ( 1) #Zeilenvertauschungen R j=1 Nachiteration Da die begrenzte Genauigkeit der Rechnerarithmetik nur fehlerbehaftete Ergebnisse x, L, R liefert, gilt für das Residuum r = b A x 0 Betrachtet man x 0 = x und r 0 = b Ax 0 erhält man den Fehler δ 0 = x x 0 durch Lösung des Defektsystems Aδ 0 = Ax Ax 0 = b Ax 0 = r 0 Dies ist zb durch eine bereits bekannte Faktorisierung A = LR einfach möglich Dadurch erhält man ein genaueres x 1 = x 0 + δ 0 Wiederholt durchgeführt kann man so die Genauigkeit der Lösung erhöhen 235 Cholesky-Zerlegung Ist die Matrix A symmetrisch positiv definit, so existiert die Choleskyzerlegung A = LDL T mit einer normierten unteren Dreiecksmatrix L und einer Diagonalmatrix D mit d i,i > 0, i = 1,, n Diese lässt sich einfach bestimmen durch k 1 d k,k = a k,k j=1 l 2 k,jd j,j k 1 l i,k = (a i,k l i,j d j,j l k,j )/d k,k j=1 Aufwand 1 6 n3

9 2 DIREKTE LÖSUNGSVERFAHREN FÜR LINEARE GLEICHUNGSSYSTEME 9 Symmetrisch positiv definit Eine Matrix A R n n heißt symmetrisch positiv definit (spd), falls und für alle x R n, x 0 gilt Für A gilt: A T = A x T Ax > 0 (symmetrisch) (positiv definit) A ist invertierbar und A 1 ist spd Alle Eigenwerte λ i > 0 Jede Hauptuntermatrix von A ist spd det(a) > 0 Der betragsgrößte Eintrag der Matrix befindet sich auf der Hauptdiagonalen 24 QR-Zerlegung Orthogonalität Eine Matrix Q R n n ist orthogonal, falls Q T Q = I dh die Spalten von Q bilden eine Orthonormalbasis Für Q gilt: Idee 1 Q 1 = Q T ist ebenfalls orthogonal 2 Qx 2 = x 2 3 A 2 = QA 2 = AQ 2 4 κ 2 (Q) = 1 5 κ 2 (A) = κ 2 (QA) = κ 2 (AQ) 6 Q sei orthogonal, dann ist Q Q orthogonal 1 Zerlege A R n n in A = QR Q: orthogonal, R: obere Dreiecksmatrix 2 Löse Ax = b QRx = b Rx = Q T b Dafür ist lediglich Rückwärtseinsetzen nötig! Die QR-Zerlegung kann dabei für beliebige rechteckige Matrizen durchgeführt werden! Zur Durchführung stehen zwei Methoden zur Verfügung: Givens-Rotationen und Householder- Transformationen 241 Givens-Rotationen Givens-Rotationen nehmen eine Drehung der Spalten von A vor Mit einer Folge von Rotationen kann man eine Matrix auf obere Dreiecksgestalt transformieren: G T i N,k N G T i 1,k 1 A = R

10 2 DIREKTE LÖSUNGSVERFAHREN FÜR LINEARE GLEICHUNGSSYSTEME 10 Vorgehen Nullsetzen des Eintrags (i, j) der Matrix A 1 Berechne r ij = sign(a ij ) a 2 jj + a2 ij wobei sign(0) = 1 2 Berechne c ij = ajj r ij und s ij = aij r ij 3 Stelle die Givens-Matrix auf: j i j 0 c 0 0 s G ij = i s 0 0 c Wiederhole für nächsten Eintrag bis A obere Dreiecksgestalt besitzt Vorsicht: Für die Wiederholung verwende die neu erzeugte Matrix A = G ij A! Damit erhält man eine Faktorisierung Zusammenfassung sehr stabil A = G 2,1 G n,n 1 R = QR Berücksichtigung vorhandener Nulleinträge ist möglich Aufwand 4 3 n3 für m n, sonst 2mn Householder-Transformationen Hosueholder-Transformationen nehmen eine Spiegelung der Matrix A an (Hyper-)Ebenen durch den Ursprung vor, um diese auf obere Dreicksform zu bringen Dies erfolgt durch orthogonale Householder-Matrizen Q v mit v als Normalenvektor der (Hyper-)Ebene: Q v = I 2 v T v vvt Den zugehörigen Normalenvektor zur i-ten Spalte erhält man mit v i = a i + α i e i wobei mit sign(0) = 1 α i = sign(a ii ) a i 2

11 3 LINEARE AUSGLEICHSRECHNUNG 11 Vorgehen Nullsetzen der Einträge unterhalb der Hauptdiagonalen in der i-ten Spalte der Matrix A 1 Bestimme α i und v i 2 Berechne die erste Spalte der neuen Matrix A (i+1) mit Q i a i = αe 1 3 Berechne die übrigen Spalten A : A = ( a i A ) mit Q i A = A 2 v it v i vi v it A 4 Fahre mit der Untermatrix Ã(i+1) : Q i A (i) 0 = Ã (i+1) = A(i+1) 0 fort, bis A obere Dreicksgestalt besitzt Damit erhält man eine Faktorisierung Zusammenfassung sehr stabil Aufwand 2 3 n3 für m n, sonst mn 2 A = Q T 1 QT n 1 R = QR 3 Lineare Ausgleichsrechnung Problemstellung Bestimme ein x R n zu A R m n und b R m für das gilt: Ax b 2 = min x R n Ax b 2 mit m: Anzahl der Messungen und n: Anzahl der unbekannten, wobei i A m n 31 Kondition des Problems Bezüglich Störungen in b ergibt sich: x x 2 x 2 κ 2(A) cosθ b b 2 b 2 mit cosθ = Ax 2 b 2 und κ 2 (A) = max x 0 Ax 2 x 2 /min x 0 Ax 2 x 2 Bezüglich Störungen in A ergibt sich: x x 2 x 2 (κ 2 (A) + κ 2 (A) 2 tanθ) Ã A 2 A 2 mit tan θ = b Ax 2 Ax 2 Falls die Norm des Residuums klein ist gegenüber der Norm der Eingabe, ist das Problem ähnlich einem linearen Gleichungssystem konditioniert

12 3 LINEARE AUSGLEICHSRECHNUNG Numerische Lösung 321 Lösung über Normalengleichungen Das Problem der linearen Ausgleichsrechnung lässt sich umformen zu A T Ax = A T b A T A ist spd, dh über Cholesky-Zerlegung lösbar: 1 Berechne A T A, A T b 2 Führe Cholesky-Zerlegung durch: LDL T = A T A 3 Löse Ly = A T b L T x = D 1 y Aufwand: 1 2 mn2 + 1 }{{} 6 n3 + }{{} n 2 }{{} Nachteile Für große m aufwändig Gefahr von Genauigkeitsverlusten durch Auslöschung bei Skalarprodukten Fehlerverstärkung durch κ 2 (A T A) = (κ 2 (A)) 2, dh möglicherweise nicht stabil 322 Lösung über QR-Zerlegung Suche die Orthogonalmatrix Q R m m so dass gilt: ( ) R QA = R = und Qb = 0 mit oberer Dreicksmatrix R R n n Vorgehen ( b1 b 2 ) 1 Bestimme QR-Zerlegung von A: 2 Berechne Qb = ( b1 b 2 ) QA = ( ) R 0, R R n n 3 Löse Rx = b 1 Aufwand mn }{{} 2 + }{{} 2mn+ 1 2 n2 1 2 }{{} 3 Zusammenfassung Aufwand etwa um Faktor 2 höher als bei Lösung über Normalengleichungen Kondition und damit Stabilität wesentlich besser, da κ 2 (A) = κ 2 ( R)

13 3 LINEARE AUSGLEICHSRECHNUNG Singulärwertzerlegung Zu jeder Matrix A R m n existieren orthogonale Matrizen u R m m, V R n n und eine Diagonalmatrix Σ = diag(σ 1,,σ p ) R m n, p = min{m, n} mit den Singulärwerten σ 1 σ 2 σ p 0, so dass Damit ergeben sich folgende U T AV = Σ Eigenschaften u i, v i seien die i-ten Spalten der Matrizen U, V Av i = σ i u i und A T u i = σ i v i mit i = 1,,p Rang(A) = r Bild(A) = span{u 1,,u r } und Kern(A) = span{v r+1,,v n } A 2 = σ 1 Konditionszahl, falls Rang(A) = n m: κ 2 (A) = κ 2(A) = max x 2=1 Ax 2 min x 2=1 Ax 2 Singulärwerte: {σ i i = 1,,r} = { λ i (A T A) i = 1,,r} wobei λ i die Eigenwerte von A T A darstellen 331 Berechnung der Singulärwerte Die Multiplikation mit Orthogonalmatrizen ändert die Singulärwerte einer Matrix nicht Vorgehen 1 Umformung von A mit Householdertransformationen auf Bidiagonalmatrix: Q m 1 Q m 2 Q 1 A ˆQ 1 ˆQ n 2 = B = Q i setzt dabei die Einträge unterhalb der Bidiagonalen in der i-ten Spalte auf 0, ˆQi setzt die Einträge rechts der Bidiagonalen in der i-ten Zeile auf 0 2 Berechne die Eigenwerte der Tridiagonalmatrix B T B 3 Bestimme die Singulärwerte σ i = λ i (B T B) Die Berechnung der Eigenwerte einer Tridiagonalmatrix fällt wesentlich leichter als die direkte Berechnung der Eigenwerte von A T A, deshalb der Umweg über die Transformationen

14 4 LÖSUNGSVERFAHREN FÜR NICHTLINEARE GLEICHUNGSSYSTEME Pseudoinverse Die Gleichung A T Ax = A T b lässt sich umschreiben zu x = (A T A) 1 A T b Die Matrix A + = (A T A) 1 A T heißt Pseudoinverse von A Für m = n gilt: A + = A 1 Die Pseudoinverse ist explizit bestimmbar über A + = V Σ + U T wobei Σ + = diag(σ 1 1,, σ 1 r, 0,,0) Rn m und σ 1 σ r > σ r+1 = = σ p = 0, p = min{m, n} 333 Bestimmung des Rangs Da die Anzahl der Singulärwerte ungleich Null dem Rang der Matrix entspricht, ist prinzipiell die Bestimmung des Rangs über die Singulärwerte möglich Jedoch ist im Allgemeinen aufgrund von Rundungsfehlern der Rang so nicht bestimmbar, da zb σ k = 0 nicht entscheidbar ist Jedoch ist es möglich den numerischen Rang zu bestimmen: Rang num (Ã) = min{1 k p σ k+1 σ 1 mn eps} wobei à R m n, σ p+1 = 0 und eps die Maschinengenauigkeit darstellt 4 Lösungsverfahren für nichtlineare Gleichungssysteme Besteht kein linearer Zusammenhang für die Eingangsvariablen, handelt es sich um folgende Problemstellung Suche x = (x 1,,x n )T R n zu gegebenem f = (f 1 f n ) T : R n R n mit f 1 (x 1,, x n ) = 0 oder kurz f n (x 1,, x n) = 0 f(x ) = 0 41 Kondition Brauchen wir das? 42 Fixpunktiteration f(x ) = 0 lässt sich umschreiben zu x = x M x f(x ) mit M x R n n als von x abhängige, invertierbare Matrix Daraus erhält man das Fixpunktproblem x = Φ(x ) mit Φ(x) = x M x f(x) 1 Wähle Startwert x 0 (in Umgebung von x ) 2 Bilde x k+1 = Φ(x k ) k = 0, 1, 2, Die Fixpunktiteration beschreibt der

15 4 LÖSUNGSVERFAHREN FÜR NICHTLINEARE GLEICHUNGSSYSTEME 15 Banach sche Fixpunktsatz X sei ein linearer normierter Raum mit der Norm und Φ eine Selbstabbildung auf E X: Φ : E E sowie eine Kontraktion auf E: Dann gilt: Φ(x) Φ(y) L x y x, y E mit L < 1 1 Es existiert genau ein Fixpunkt x von Φ auf E 2 Für beliebiges x 0 E konvergiert gegen x 3 A-priori-Fehlerabschätzung: x k+1 = Φ(x k ), k = 0, 1, 2, x k x Lk 1 L x 1 x 0 4 A-posteriori-Fehlerabschätzung (genauer als a-priori-abschätzung): x k x L 1 L x k x k 1 Für die notwendige Anzahl k an Iterationen, um eine Genauigkeit ε zu erreichen, gilt: L k 1 L x 1 x 0 ε k log( ε(1 L) x 1 x 0 ) log L 43 Konvergenzordnung und Fehlerschätzung Ziel ist es, eine Annäherung an x möglichst schnell zu erreichen Über die Geschwindigkeit der Annäherung einer Folge {x k } k N gibt die Konvergenzordnung p Auskunft: x k+1 x c x k x p für alle k k 0 N gilt, wobei 0 < c < 1 falls p = 1 Abhängig von der Konvergenzordnung lässt sich eine vereinfachte a-posteriori-fehlerschätzung vornehmen: skalare Folgen p = 1: x x k A k 1 A k (x k x k 1 ) wobei A k = x k x k 1 x k 1 x k 2 etwa konstant sein sollte p > 1: x x k x k+1 x k Vektorfolgen p = 1: keine allgemeine Formel bekannt p > 1: x k x x k+1 x k

16 4 LÖSUNGSVERFAHREN FÜR NICHTLINEARE GLEICHUNGSSYSTEME Nullstellenberechnung skalarer Gleichung Ein häufig zu lösendes Problem, ist die Nullstellenfindung einer stetigen Funktion f, also eine Problemstellung der Form f(x ) = Bisektion Zwei Werte a k < b k seien bekannt, für die f(a k ) f(b k ) < 0 gilt, dh eine Nullstelle findet sich in [a k, b k ] Berechne x k = 1 2 (a k + b k ) und bestimme so die neuen Ausgangswerte a k+1, b k+1 mit [a k+1, b k+1 ] = [a k, x k ] oder [a k+1, b k+1 ] = [x k, b k ], so dass gilt: f(a k+1 ) f(b k+1 ) 0 Konvergenzordnung: p = Newton-Verfahren Zur Nullstellensuche kann man eine Fixpunktiteration x k+1 = Φ(x k ) aufstellen: x k+1 = x k f(x k) f, k = 0, 1, 2, (x k ) Geometrisch stellt das Newton-Verfahren die Konstruktion von Tangenten im Punkt x k dar, deren Nullstelle x k+1 den Ausgangspunkt für den nächsten Iterationsschritt darstellt Konvergenzordnung: p = 2, jedoch nur in einer Umgebung von x, dh ein geeigneter Startwert muss vorliegen 443 Sekanten-Verfahren Ähnlich dem Newton-Verfahren nähert das Sekanten-Verfahren die Nullstelle einer Funktion über die Nullstellen von Geraden an Jedoch wird dort jeweils eine Sekante durch die Punkte x k, x k 1 gelegt und deren Nullstelle x k+1 gewählt: x k x k 1 x k+1 = x k f(x k ) f(x k ) f(x k 1 ) Konvergenzordnung: p 16, jedoch entfällt die häufig teure Berechnung der Ableitung f und das Verfahren ist somit meist sehr effizient Nachteilig ist die Notwendigkeit von zwei Startwerten 45 Newton-Verfahren für Systeme Das Newton-Verfahren lässt sich für mehrdimensionale Probleme verallgemeinern auf die Form x k+1 = x k [f (x k )] 1 f(x k )

17 4 LÖSUNGSVERFAHREN FÜR NICHTLINEARE GLEICHUNGSSYSTEME 17 Vorgehen Zu einem Startwert x 0 für k = 0, 1, 2, 1 Berechne f(x k ), f (x k ) 2 Löse das Lineare Gleichungssystem für s k : f (x k )s k = f(x k ) 3 Setze x k+1 = x k + s k wobei f 1(x) x 1 f (x) = f n(x) x 1 f 1(x) x n f n(x) x n Jacobi-Matrix Konvergenz Sei Ω R n, f : Ω R n, f (x) eine invertierbare Jacobi-Matrix und für alle x Ω sowie f Lipschitz-stetig auf Ω: [f (x)] 1 β f (x) f (y) γ x y, x, y Ω Existiert eine Lösung x von f(x) = 0 und ein Startwert x 0 K ω (x ) = {x R n x x < ω} mit ω 2 βγ Dann konvergiert {x k } k=0 quadratisch: x k+1 x βγ 2 xk x 2, k = 0, 1, 2, 451 Vereinfachtes Newton-Verfahren Die Berechnung der Jacobi-Matrix ist sehr aufwendig, deshalb erlaubt das vereinfachte Newton-Verfahren, diese nur im ersten Schritt zu berechnen und auch in den folgenden zu verwenden: f (x k ) = f (x 0 ) Nachteil: keine quadratische Konvergenz mehr, deshalb wird in der Praxis häufig die Jacobi-Matrix alle 3 bis 5 Schritte neu berechnet 452 Numerische Berechnung der Jacobi-Matrix Bei der Berechnung der Jacobi-Matrix kann man die partiellen Ableitungen annähern über einen Differenzenquotienten: f i (x) x j f i(x + h e j ) f i (x) h e j : j-ter Basisvektor h: muss abhängig von der Aufgabe gewählt werden; ein kleinerer Wert verbessert die Annäherung, provoziert jedoch auch Auslöschung

18 5 NICHTLINEARE AUSGLEICHSRECHNUNG Gedämpftes Newton-Verfahren Mit der Schrittweite s k = f(xk ) f (x k ) kann es zugunsten einer bessern Annäherung sinnvoll sein, nur einen Teil des Schrittes zu machen, also x k+1 = x k + λ s k 5 Nichtlineare Ausgleichsrechnung Ähnlich wie bei der Linearen Ausgleichsrechnung, kann es auch bei nichtlinearen Problemen nötig sein, zu einer Reihe von Messwerten eine Lösung anzunähern Problemstellung Bestimme x R n so, dass mit f : R n R m, oder äquivalent F(x ) 2 = min x R n F(x) 2 F i (x) = y(t i, x) b i, i = 1,,m Φ(x ) = min x R nφ(x) wobei Φ : R n R, Φ(x) = 1 2 F(x) 2 2 = 1 2 F(x)T F(x) Dabei gilt: Φ(x) = F (x) T F(x)

19 5 NICHTLINEARE AUSGLEICHSRECHNUNG 19 Φ (x) = F (x) T F (x) + 51 Gauß-Newton-Verfahren m i=1 F i (x)f i (x) Annähern der Lösung des nichtlinearen Problems über eine Reihe geeigneter linearer Probleme: Wähle einen Startwert x 0 Für k = 0, 1, 2, 1 Berechne F(x k ), F (x k ) 2 Löse für s k das lineare Ausgleichsproblem 3 Setze x k+1 = x k + s k F (x k )s k + F(x k ) 2 = min s R n F (x k )s + F(x k ) 2 Als Abbruchkriterium formuliert man häufig F (x k ) T F(x k ) 2 ε da die Ableitung von Φ in diesem Punkt (fast) Null wird Die Gauß-Newton-Methode ist eine Fixpunktiteration Eigenschaften Wenn Gauß-Newton-Methode konvergiert, tut sie das i A nicht schneller als linear Kritische Punkte x, die ein Maximum oder Sattelpunkt darstellen (dh deren Ableitung ebenfalls Null ist), sind abstoßend für das Newton-Verfahren, können also nicht fälschlich gefunden werden lokale Konvergenz, wenn (k) F(x ) 2 < 1 ( (k): Spektralradius (k) = max λ k ) 52 Levenberg-Marquardt-Verfahren Eine dem gedämpften Gauß-Verfahren ähnliche Methode ist das Levenberg-Marquardt- Verfahren Problemstellung Finde s k R n, so dass wobei µ > 0 oder äquivalent F (x k )s k + F(x k ) µ 2 s k 2 2 = min ( F (x k ) µi ) s k + ( ) F(x k ) = min 0 2 Somit besitzt das Problem immer vollen Rang und eine eindeutige Lösung Die Korrektur in jedem Schritt beträgt somit s k 2 F(xk ) 2 µ kann also durch µ gedämpft werden Auch das Levenberg-Marquardt-Verfahren ist eine Fixpunktiteration

20 6 INTERPOLATION 20 Vorgehen Wähle Startwert x 0 und einen Anfangswert für µ Für k = 0, 1, 2, 1 Berechne F(x k ), F (x k ) 2 Löse das lineare Ausgleichsproblem ( F (x k ) µi ) s k + ( ) F(x k ) = min Teste, ob die Korrektur x k akzeptabel ist Wenn nicht: passe µ an und wiederhole Schritt 2 4 Setze x k+1 = x k + s k 6 Interpolation Problemstellung Die Berechnung von beliebigen Funktionswerten einer Funktion, die nur an diskreten Stellen bekannt ist, durch das Finden einer Funktion, die an den bekannten Stellen mit den gegebenen Werten übereinstimmt 61 Lagrange-Polynominterpolation Aufgabe Finde zu Daten f(x 0 ), f(x 1 ),, f(x n ) ein Polynom P n Π n mit P n (x j ) = f(x j ), j = 0, 1,, n Das Lagrange-Interpolationspolynom ist stets eindeutig lösbar zu gegebenen, beliebigen Daten f(x 0 ), f(x 1 ),, f(x n ) als wobei P n (x) = l jn (x) = n f(x j )l jn (x) j=0 n k=0 k j x x k x j x k die so genannten Lagrange-Fundamentalpolynome sind 611 Auswertung an bestimmten Stellen: Neville-Aitken-Schema Häufig sind nur wenige interpolierte Werte nötig, dh keine explizite Bestimmung des Polynoms Diese zu bestimmen erlaubt das Neville-Aitken-Schema: P i,0 P i,1 P i,2 P i,n x 0 f(x 0 ) x 1 f(x 1 ) P 1,1 x 2 f(x 2 ) P 2,1 P 2,2 x n f(x n ) P n,1 P n,2 P n,n mit P i,k = P i,k 1 + x xi x i x i k (P i,k 1 P i 1,k 1 ) Aufwand n 2

21 6 INTERPOLATION Explizite Darstellung Will man das Polynom explizit bestimmen, gibt es zwei Möglichkeiten: die simple Potenzform oder die Newtonform 621 Potenzform Die Darstellung in der klassischen Potenzform P(f x 0,,x n )(x) = a 0 + a 1 x + a 2 x a n x n ist einfach über ein lineares Gleichungssystem zu bestimmen: 1 x 0 x 2 0 x n 0 a 0 f(x 0 ) 1 x 1 x 2 1 x n 1 a 1 = f(x 1 ) 1 x n x 2 n x n a n n f(x n ) Dieses ist mit den bekannten Verfahren lösbar Allerdings ist die Kondition des Systems schlecht und somit Rundungsfehler sehr groß Für numerische Berechnungen ist diese Darstellung nicht geeignet Liegt dennoch ein Polynom in dieser Form vor, so lässt es sich mit dem Horner-Schema auswerten: Setze b n = a n Berechne für k = n 1, n 2,,0 Dann ist p(x) = b 0 b k = a k + xb k+1 Aufwand Gegenüber naivem Vorgehen spart das Horner-Schema ca n Operationen 622 Newton sche Interpolationsformel Eine numerisch stabilere Darstellung ist die Newton-Form: P(f x 0,,x n ) = [x 0 ]f + (x x 0 )[x 0, x 1 ]f + (x x 0 )(x x 1 )[x 0, x 1, x 2 ]f + + (x x 0 ) (x x n 1 )[x 0,,x n ]f wobei f(x i ) P i 1 (x i ) [x 0,,x i ]f = (x x 0 ) (x x i 1 ) = [x 1, x i ]f [x 0,,x i 1 ]f x i x 0 und [x 0 ]f = f(x 0 ) Die praktische Berechnung ist mit dem Schema der dividierten Differenzen möglich: [x i ]f [x i, x i+1 ]f [x i, x i+1, x i+2 ]f [x i, x i+1, x i+2, x i+3 ]f x 0 [x 0 ]f > [x 0, x 1 ]f x 1 [x 1 ]f > [x 0, x 1, x 2 ]f > [x 1, x 2 ]f > [x 0, x 1, x 2, x 3 ]f x 2 [x 2 ]f > [x 1, x 2, x 3 ]f x 3 [x 3 ]f > [x 2, x 3 ]f Die gesuchten Koeffizienten treten am oberen Rand der Tafel auf

22 6 INTERPOLATION 22 Aufwand ca 1 2 n2 Divisionen und n(n + 1) Additionen Eigenschaften dividierter Differenzen 1 [x 0,, x n ]f ist eine symmetrische Funktion, die Reihenfolge der Stützstellen ist deshalb egal (zb [x 0, x 1, x 2 ]f = [x 1, x 0, x 2 ]f) 2 Für Q Π k 1 gilt: [x 0,, x k ]Q = Fehler Sei a = min{x 0,,x n }, b = max{x 0,, x n }, x R und I = [min{a, x}, max{b, x}] Dann existiert für f C n+1 (I) ein ξ I so, dass und f(x) P(f x 0,, x n )(x) = (x x 0 ) (x x n ) f(n+1) (ξ) (n + 1)! max x [a,b] f(x) P(f x 0,,x n )(x) max x [a,b] Zusammenfassung n f (n+1) (x) (x x j ) max x [a,b] (n + 1)! Eine höhere Anzahl an Stützstellen reduziert den Fehler im Intervall, erhöht jedoch die Oszillation und den Fehler am Rand des Intervalls j=0 Eine geringere Schrittweite verbessert die Interpolation Die Qualität der Interpolation ist also begrenzt Eine bessere Annäherung als eine polynomielle Funktion, ist eine Approximation, die stückweise polynomial ist Dies erfolgt bei Splinefunktionen 63 Hermite-Interpolation Die Lagrange-Interpolation ist nur dann wohldefiniert, wenn die Stützstellen paarweise verschieden sind und f stetig ist Bei mehrfachen Stützstellen lässt sich das Interpolationspolynom über die Hermite-Interpolation bestimmen: Zu x 0 x 1 x n definiere für j = 0, 1,, n µ j (P n ) = µ j (f) = f (lj) (x j ), j = 0, 1,,n wobei l j = max{r x j = x j r } Die Bestimmung des Polynoms erfolgt ebenfalls über dividierte Differenzen, wobei { ([x0,, x i 1, x i+1,,x k ]f [x 0,, x j 1, x j+1,,x k ]f)/(x j x i ) falls x i x j [x 0,,x k ]f = f (k) (x 0) k! falls x 0 = = x k Fehler Für den auftretenden Fehler gilt das gleiche wie bei der Lagrange-Interpolation 64 Numerische Differentiation Für Funktionen, deren Werte nur an diskreten Stellen bekannt sind, ist eine numerische Annäherung der Ableitungen über Differenzenquotienten möglich: f f(x + h) f(x) (x) = h f (x) = f(x h) f(x 1 2 h) h f f(x + h) 2f(x) + f(x h) (x) = h 2 h 2 f (ξ) (Vorwärtsdifferenzen) h2 24 f (ξ) (zentrale Differenzen) h2 12 f(4) (ξ)

23 6 INTERPOLATION 23 Fehler Bei der numerischen Differentiation treten sowohl Rundungsfehler als auch Diskretisierungsfehler auf, die sich addieren: h f (x) h h + }{{} h f (x) }{{} 4εh 2 + ch 2 Rundungsfehler Diskretisierungsfehler wobei im Allgemeinen der Rundungsfehler kleiner als der Diskretisierungsfehler sein sollte!