Numerische Mathematik

Transkript

1 Numerische Mathematik (Wintersemester 2003/04, 2004/05, 2005/06) Dirk Praetorius Institut für Analysis und Scientific Computing Technische Universität Wien

2 Vorwort Bei dem vorliegenden Skript handelt es sich um die Ausarbeitung der Vorlesung Numerische Mathematik, die ich im Wintersemester 2003/04, 2004/05 und 2005/06 an der Technischen Universität Wien gelesen habe. Die Ausarbeitung in LATEX erfolgte im Wesentlichen parallel zur Vorlesung im Wintersemester 2004/05, und es haben sich sicherlich noch etliche kleinere Tippfehler eingeschlichen. Für Anmerkungen zu Fehlern und Tippfehlern bin ich dankbar. Mein Dank gilt Frau Claudia Steinwender, die die Abschnitte über die Lagrange-Interpolation ausgearbeitet hat. Herr Stephan Krenn hat eine erste Vorlesungsmitschrift in L A TEX erstellt und mir dadurch sehr viel Arbeit abgenommen. Herrn Alexander Schiftner danke ich für das ausführliche Korrekturlesen der bereits ausgearbeiteten Abschnitte. Auch Herr Michael Szell war so nett, mir seine Anmerkungen zugänglich zu machen. Im Wintersemester 2005/06 sind mir besonders Frau Satke, Herr Dörsek und Herr Morgenbesser im Gedächtnis geblieben, die mich auf Fehler im Skript hingewiesen haben. Dieses Skript ist weiterhin nur eine vorläufige Endversion. Eigentlich wollte ich noch Matlab- Implementierungen und numerische Beispiele zu den einzelnen Kapiteln erstellen, sodass (möglichst) alle vorgestellten numerischen Verfahren mit Experimenten und Anmerkungen zur Realisierung versehen sind. Ich scheiterte aber an meinen eigenen Ansprüchen. Da ich diese Vorlesung voraussichtlich erst wieder im Wintersemester 2008/09 lese, soll diese Version des Skriptes wenigstens den aktuellen Stand der Korrekturen wiedergeben. ;-) last modified: 30. Juni 2006

3 Inhaltsverzeichnis 1 Grundbegriffe der Numerischen Mathematik Gegenstand der Numerischen Mathematik Gleitkommazahlen und Rundungsfehler Kondition und Stabilität Verfahrensfehler Matrixnormen und Konditionierung Operatornorm Kondition einer Matrix Vorkonditionierung Eliminationsverfahren Dreiecksmatrizen LU-Zerlegung nach Crout LU-Zerlegung und Gauß-Verfahren Cholesky-Zerlegung QR-Zerlegung Lineare Ausgleichsprobleme Singulärwertzerlegung Interpolation Lagrange-Polynominterpolation Čebyšev-Knoten Auswertung von Lagrange-Interpolationspolynomen Hermite-Polynominterpolation Spline-Interpolation Diskrete und Schnelle Fourier-Transformation Extrapolation Richardson-Extrapolation Aitkinsches 2 - Verfahren Quadratur Konvergenz von Quadraturverfahren Interpolatorische Quadraturformeln Gauß sche Quadraturformeln

4 7 Iterative Lösung von Gleichungssystemen Fixpunktprobleme Newton-Verfahren zur Lösung nichtlinearer GLS Stationäre Iterationsverfahren zur Lösung linearer GLS Konvergenz der stationären linearen Iteration Konvergenz von Jacobi- und Gauß-Seidel-Iteration Krylov-Verfahren zur Lösung linearer GLS

5 Kapitel 1 Grundbegriffe der Numerischen Mathematik 1.1 Gegenstand der Numerischen Mathematik Von der Realität bis zur Interpretation einer Simulation ist ein weiter Weg. Zunächst wird versucht, die Realität mit Hilfe mathematischer Formeln zu beschreiben. Es entsteht das sogenannte mathematische Modell. Dies liegt bei physikalischen Problemen in der Regel in Form einer oder mehrerer Differentialgleichungen mit Nebenbedingungen vor. Die wenigsten Differentialgleichungen können analytisch gelöst werden. Man muss also durch eine numerische Simulation eine Lösung approximieren. Aus der numerischen Simulation erhalten wir eine numerische Lösung, die dann geeignet interpretiert werden muss. Regelmäßig zerfällt die numerische Simulation in kleinere numerische Probleme, die geeignet zu lösen sind. Die elementarsten numerischen Probleme sind Gegenstand dieser Einführungsveranstaltung. Jede numerische Simulation ist fehlerbehaftet. Wir unterscheiden dabei wie folgt: Modellfehler: Regelmäßig ist das mathematische Modell eine Vereinfachung der Realität. Datenfehler: Die Eingangsdaten der numerischen Simulation erhält man durch Messungen physikalischer Größen. Jede Messung unterliegt einer gewissen Genauigkeit. Rundungsfehler: Auf Rechnern ersetzen die sogenannten Gleitkommazahlen das Kontinuum R. Da die Menge aller Gleitkommazahlen endlich ist, muss es sowohl bei der Eingabe der Eingangsdaten als auch bei der internen Rechnung zu Rundungsfehlern kommen. Verfahrensfehler: Viele Probleme werden mathematisch in unendlich-dimensionalen Räumen oder mit Limes-Begriffen formuliert. Beides steht im Rechner nicht zur Verfügung und muss daher geeignet diskretisiert werden. Dies führt zu zusätzlichen Fehlern. 1

6 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK In der Vorlesung werden wir uns nur mit den Rundungsfehlern und den Verfahrensfehlern für elementare numerische Probleme beschäftigen. Unter einem numerischen Problem verstehen wir dabei eine elementare mathematische Aufgabe, deren Lösung aus der Berechnung von Zahlen besteht, z.b. das Lösen eines Gleichungssystems Ax = b mit regulärer Matrix A K n n. Ein Algorithmus ist eine schematische Methode, um die Lösung eines numerischen Problems zu berechnen, z.b. das Gauß-Verfahren zur Lösung von Ax = b. Der Aufwand eines Algorithmus beschreibt den Speicherbedarf und die Anzahl an benötigten mathematischen Operationen. Ziel der Numerischen Mathematik ist die Entwicklung von Algorithmen, die mit möglichst geringem Aufwand eine möglichst große Klasse numerischer Probleme lösen können. 1.2 Gleitkommazahlen und Rundungsfehler Die Definition der Gleitkommazahlen erfordert den folgenden Satz aus der Grundvorlesung zur Analysis, siehe z.b. Forster [3, Kapitel 5]. Satz 1.1. Zu fixierter Basis b N 2 und gegebenem x R\{0} existieren ein Vorzeichen σ {±1}, Ziffern a j {0,1,...,b 1} und ein Exponent e Z mit x = ( σ a k b k) b e und a 1 0. (1.1) k=1 Man bezeichnet diese Darstellung als normalisierte Gleitkommadarstellung oder b-adische Darstellung von x. Bemerkung. Man beachte, dass die Darstellung aufgrund periodischer Darstellungen nicht eindeutig ist. Es gilt beispielsweise 1 = 0.9. Beispiel (Dezimalsystem b = 10). Unsere alltägliche Zahldarstellung basiert auf dem Dezimalsystem. Die Zahl besitzt gemäß Satz 1.1 eine Darstellung = Es gelten also σ = 1, a 1 = 1, a 2 = 4, a 3 = 7, a 4 = 4, b = 10 und e = 3. Beispiel (Binärsystem b = 2). Auf Computern werden Zahlen regelmäßig im Binärsystem dargestellt. Dies hat Konsequenzen. So ist z.b. die Zahl 1/10 im Binärsystem nur durch eine unendliche Reihe darstellbar. Definition. Zu gegebener Basis b N 2, Mantissenlänge t N und Exponentialschranken e min < 0 < e max definieren wir die Menge der normalisierten Gleitkommazahlen F := F(b,t,e min,e max ) R durch {( F = {0} σ t a k b k) b e σ {±1},aj {0,...,b 1},a 1 0,e Z,e min e e max }. k=1 Die endliche Summe a = t k=1 a kb k bezeichnet man als (normalisierte) Mantisse einer Gleitkommazahl. Dadurch, dass wir bei der Definition von Gleitkommazahlen die unendliche Reihe durch eine endliche Summe ersetzen, sind periodische Darstellungen ausgeschlossen. Man überlegt sich leicht, dass 2

7 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK damit die Darstellung einer normalisierten Gleitkommazahl eindeutig ist. Ferner ist F offensichtlich eine endliche Teilmenge von R. Der folgende Satz stellt die wesentlichen Eigenschaften von F zur Verfügung. Satz 1.2. Für F := F(b,t,e min,e max ) gelten die folgenden Aussagen: (i) Zu x F\{0} existieren eindeutig das Vorzeichen σ {±1}, die Mantisse a = t k=1 a kb k und der Exponent e mit x = σab e. (ii) x min := min { x F } x > 0 = b e min 1, x max := max { x F } x > 0 = b e max (1 b t ). (iii) Für e min e e max und M := b t b t 1 N gilt F [b e 1,b e ) = { (b 1 + jb t )b e j = 0,...,M 1 }. (iv) Für x R mit x min x x max gilt min z F z x x eps := 1 2 b1 t. Die Zahl eps heißt Maschinengenauigkeit. Beweis. (i) sei dem Leser zur Übung überlassen. (ii) Für eine Mantisse a = t k=1 a kb k gilt b 1 a t (b 1)b k = k=1 t (b k+1 b k ) = 1 b t. k=1 Multiplikation mit b e min bzw. b emax zeigt die Behauptung. (iii) Für die erste Ziffer a 1 {1,...,b 1} gibt es nach Definition (b 1) verschiedene Möglichkeiten, für a 2,...,a t {0,...,b 1} jeweils b viele Möglichkeiten. Also gibt es insgesamt (b 1)b t 1 = b t b t 1 = M verschiedene Mantissen. Der Abstand zweier benachbarter Mantissen ist gerade b t, d.h. es gilt a = b 1 + jb t für ein j = 0,...,M 1. (iv) Ohne Beschränkung der Allgemeinheit gilt x 0 sowie x [b e 1,b e ] mit e min e e max. Die Gleitkommazahlen z F [b e 1,b e ] liegen gleichverteilt mit Abstand b e t. Also existiert ein z F mit z x 1 2 be t. Mit x b e 1 folgt die Behauptung. Insgesamt ist F eine endliche Teilmenge von F := [ x max, x min ] {0} [x min,x max ]. Um die Null klafft eine Lücke. Die Abstände zwischen den Gleitkommazahlen nehmen mit dem Betrag zu, der relative Fehler bleibt aber beschränkt. Bemerkung. Für x,y R bezeichnet man x y als absoluten Fehler von y zu x. Ist x 0, so bezeichnet man x y / x als relativen Fehler von y zu x. Die Maschinengenauigkeit eps gibt den maximalen relativen Fehler, wenn eine reelle Zahl x F in eine Gleitkommazahl (durch Rundung) konvertiert wird. Für die Menge F definieren wir die Rundung rd : F F implizit durch x rd(x) = min x z, z F (1.2) wobei rd(x) das betragsgrößere z F sei, falls die Minimalstelle nicht eindeutig ist. Nach Satz 1.2 existiert zu x F \{0} ein ε R mit ε eps und rd(x) = x(1 + ε), denn Umformung zeigt ε = (rd(x) x)/x und daher ε eps. 3

8 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK Generalvoraussetzung. Für die Rundungsfehleranalyse machen wir die folgende idealisierte Annahme: Die arithmetischen Operationen (+,,, :) sowie alle mathematischen Funktionen (z.b. sin, cos, ) werden im Rechner exakt durchgeführt und liefern als Gleitkomma-Ergebnis das gerundete exakte Ergebnis, z.b. x y := rd(x + y) für alle x,y F mit x + y F, wobei die Rechneraddition bezeichne und wir stets annehmen, dass kein Überlauf (Betrag des Ergebnis > x max ) oder Unterlauf (Betrag des Ergebnis < x min ) auftrete. Matlab-Beispiel: Rundungsfehler Die Rechnung x = (116/100) 100 liefert augenscheinlich als Ergebnis x = 116. Rundet man aber mittels floor(x) auf die nächste ganze Zahl nach unten, so erhält man als Ergebnis ans = 115. Dies ist kein Phänomen der Funktion floor, sondern basiert auf Rundungsfehlern in IEEE double-arithmetik! Eingabe von floor(116) liefert als Ergebnis ans = 116. Bemerkung (Nicht-Assoziativität der Rechnerarithmetik). Für die Rechnerarithmetik gilt kein Assoziativgesetz, z.b. gilt für b = 10 und t = = rd( ) = rd( ) = 100. Ferner gilt 100 (4 4) = rd( ) = 110. Insgesamt erhalten wir also (100 4) 4 = = 100 (4 4). Bemerkung (Numerische Konvergenz bei mathematischer Divergenz). Die harmonische Reihe k=1 1 k ist divergent. In Gleitkommaarithmetik beobachtet man aber Konvergenz, denn sobald 1/j klein genug ist, gilt 1 j j 1 k=0 1 k = j 1 k=0 1 k. Bemerkung (Auslöschung). Subtrahiert man zwei annähernd gleiche Zahlen, so werden die rundungsfehlerbehafteten hinteren Stellen plötzlich signifikant, und der relative Fehler ist wesentlich größer als eps. Wir betrachten das folgende Beispiel: = = = In Rechnerarithmetik mit b = 10 und t = 4 gilt ( ) = = Der relative Fehler beträgt also 25%, bereits die erste Ziffer ist fehlerbehaftet. 4

9 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK Denormalisierte Gleitkommazahlen nach IEEE 754-Standard Für die meisten Rechner, insbesondere für gewöhnliche PCs, gilt der sogenannte IEEE 754-Standard des Institute of Electrical and Electronics Engineers. Dabei wird die Menge F der Gleitkommazahlen erweitert zu {( F := F σ t a k b k) } b e min σ {±1},a j {0,...,b 1}, k=1 d.h. für den Exponenten e = e min ist auch a 1 = 0 erlaubt. F heißt denormalisiertes Gleitkommazahlsystem. Gegenüber F gelten die zusätzlichen Eigenschaften sowie x min := min { x F x > 0 } = b e min t < b e min 1 = x min. F [ b e min,b e min ] = { jb e min t j = b t,...,b t} Die Standardformate nach IEEE 754-Standard sind das einfach-genaue Format (oder single-format) F(2,24, 125,128) mit eps sowie das doppelt-genaue Format (oder double-format) F(2,53, 1021,1024) mit eps Beide Formate stehen auch in Matlab zur Verfügung, wobei Variablen in Matlab standardgemäß vom Typ double sind. Es sei denn, sie werden explizit deklariert. Bemerkung (Speicherung von Variablen nach IEEE 754-Standard). Eine Variable vom Typ single wird in 4 Bytes, d.h. 32 Bits gespeichert: Ein Bit speichert das Vorzeichen. Die Mantisse für eine normalisierte Gleitkommazahl benötigt 23 Bit bei 24 Ziffern, denn es gilt a 1 = 1. Der Exponent wird in den restlichen 8 Bit gespeichert. Mit 8 Bit lassen sich 2 8 = 256 verschiedene Exponenten darstellen, tatsächlich werden aber durch e min = 125 und e max = 128 nur 254 verschiedene Exponenten benutzt. Die beiden verbleibenden Kombinationen werden wie folgt verwendet: Die Nullbitfolge signalisiert denormalisierte Gleitkommazahlen, d.h. es gilt a 1 = 0. Die Einserbitfolge im Exponenten signalisiert einen Ausdruck der Form Not a Number, Overflow oder Underflow. Die Speicherung einer Variablen vom Typ double erfolgt analog in 8 Bytes, d.h. 64 Bits (1 Bit Vorzeichen, 52 Bit Mantisse, 11 Bit Exponent). Weitere Informationen finden sich beispielsweise in Plato [5, Kapitel 16]. 5

10 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK 1.3 Kondition und Stabilität In diesem Abschnitt betrachten wir ein abstraktes numerisches Problem der folgenden Gestalt: Werte eine Funktion φ : X Y bei x X aus. Dabei sind X und Y geeignete normierte Räume. Die Kondition eines Problems gibt Aussagen darüber, wie stark sich Änderungen in x, z.b. unvermeidliche Rundungsfehler, auf das Ergebnis φ(x) auswirken. Ist φ ein Algorithmus zur Berechnung von φ(x), so erhalten wir als Lösung φ( x). Die Stabilität eines Algorithmus gibt Aussagen darüber, ob der Fehler der Berechnung φ(x) φ( x) und der unvermeidliche Fehler φ(x) φ( x) von derselben Größenordnung sind. 1 Definition. Das Problem ist bezüglich dem absoluten Fehler schlecht konditioniert, wenn es eine kleine Störung x von x gibt, z.b. x = rd(x), sodass gilt φ(x) φ( x) x x. (1.3) In diesem Fall kann also eine kleine Störung in x eine große Störung in φ(x) bewirken. Analog sagt man, dass Problem sei bezüglich dem relativen Fehler schlecht konditioniert, falls anstelle von (1.3) gilt φ(x) φ( x) φ(x) x x. (1.4) x Anderenfalls bezeichnet man ein Problem als gut konditioniert (bezüglich relativem oder absolutem Fehler). Bemerkung (Konditionszahlen). Ist die Funktion φ differenzierbar in x, d.h. es gilt φ(x) φ( x) = Dφ(x)(x x) + O( x x ) für x x, so beschreibt offensichtlich die Ableitung Dφ(x) L(X, Y ) die Auswirkung von Fehlern. Oft bezeichnet man daher κ abs (x) := Dφ(x) (1.5) als absolute Konditionszahl und κ rel (x) := Dφ(x) x φ(x) (1.6) als relative Konditionszahl. Bisweilen werden auch partielle relative Konditionszahlen κ jk := k φ j (x) x k / φ j (x) betrachtet, vgl. beispielsweise Brokate [1, Abschnitt 1]. Beispiel (Schlechte Kondition bei Auslöschung). Wir betrachten die Funktion φ : R 2 R,(x,y) x y und auf R 2 die euklidische Norm 2. Dann gilt Dφ 2 = 2 und damit κ rel = 2 (x,y) 2 x y 0 für x y, 1 Es wäre sicherlich förderlich, wenn man die Kondition und die Stabilität an der vom Benutzer gewünschten Genauigkeit festmacht, d.h. wenn man beide Begriffe relativ zur Zielgenauigkeit definiert. 6

11 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK d.h. die Subtraktion zweier annähernd gleicher Zahlen ist bezüglich dem relativen Fehler schlecht konditioniert. Beispiel (Kondition einer Matrix). Es sei eine Norm auf K n. Wir verwenden dieselbe Notation für die induzierte Operatornorm A := Ax sup x K n \{0} x für eine reguläre Matrix A K n n. (1.7) Die Größe κ := A A 1 1 heißt Konditionszahl der Matrix bezüglich. Betrachtet man als numerisches Problem die Lösung des Gleichungssystems Ax = b, so ist κ eine scharfe obere Abschätzung der relativen Konditionszahlen: Definiert man die Lösungsfunktion φ : K n K n,b A 1 b, so hat φ die relative Konditionszahl κ rel (b) = Dφ(b) b φ(b) = A 1 Ax x κ mit x = A 1 b. Man kann sich leicht überlegen, dass diese Abschätzung scharf ist, d.h. es gilt κ rel (b) = κ für mindestens ein b K n. Definition. Das numerische Problem, φ : X Y bei x X auszuwerten, erlaubt i.a. mehrere (oder sogar unendlich viele) Realisierungen. Sei φ ein Algorithmus, der φ realisiert. Ein Algorithmus ist instabil bezüglich dem relativen Fehler, falls es eine Störung x von x gibt, sodass φ( x) φ(x) φ(x) φ( x) φ(x). φ(x) Anderenfalls bezeichnet man einen Algorithmus als stabil. Beispiel. Wir betrachten das Problem, die Funktion φ(x) = 1 x 1 x+1 für große x R auszuwerten. Mögliche Algorithmen sind neben der naiven direkten Realisierung φ 1 (x) = 1 x 1 x+1, die Berechnung von φ(x) mittels φ 2 (x) = 1 x(x+1). Bei Algorithmus φ 1 erwarten wir Instabilität aufgrund von Auslöschungseffekten. Algorithmus φ 2 erweist sich als stabil. (Lineare) Vorwärtsanalyse Wir brauchen eine mathematische Entscheidungsgrundlage, ob ein Algorithmus stabil oder instabil bezüglich unvermeidlichen Rechenfehlern ist. Eine Möglichkeit ist die sogenannte (lineare) Vorwärtsanalyse. Dabei handelt es sich in gewissem Sinne um ein Kochrezept für eine Worst-Case- Analyse: Erweitere jeden Rechenschritt um einen (1 + ε)-term mit ε eps, denn nach unserer Voraussetzung liefert die Gleitpunktrechnung das gerundete exakte Ergebnis. Man ersetzt also beispielsweise x+y durch x y = (x+y)(1+ε) oder x durch x(1+ε) und erhält insgesamt eine Formel für den Algorithmus in Gleitkommarechnung. 7

12 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK Wenn (1 + ε)-terme Argumente von Funktionen sind, verwende man die Linearisierung der Funktion mittels Taylor-Formel, f(x + h) = f(x) + f (x)h + O(h 2 ) = f(x) + f (x)h, wobei das Symbol = die Terme höherer Ordnung vernachlässigt (sog. Gleichheit in erster Näherung). Beispielsweise gilt ε = 1 + ε/2 oder = 1 ε. Höhere Potenzen von ε-termen werden vernachlässigt, z.b. (1 + ε 1 )(1 ε 2 ) = 1 + ε 1 ε 2. Dieses Vorgehen liefert (in erster Näherung) eine Formel für φ( x). Der Vergleich mit φ(x) zeigt Stabilität oder Instabilität. Als Anwendung für die Vorwärtsanalyse verwenden wir die Auswertung der Funktion φ(x) = 1 x 1 x+1 für große x R. Behauptung. Die Auswertung von φ(x) ist gut konditioniert (bzgl. dem relativen Fehler) Beweis. Es gelten φ(x) = 1 x(x+1) sowie φ (x) = 2x+1, und damit ergibt sich (x 2 +x) 2 κ rel (x) = 2x+1 (x 2 +x) 2 x 1 x 2 +x = 2x2 + x x 2 + x = x x 1+ε 2 für große x 0. Insbesondere gilt für den unvermeidlichen Fehler φ(ex) φ(x) φ(x) ex x x eps für x = rd(x). Behauptung. Naive Realisierung φ 1 (x) = 1 x 1 x+1 Beweis. Gleitkommarechnung mit Algorithmus φ 1 liefert als Ergebnis { 1 + ε2 φ 1 ( x) = x(1 + ε 1 ) 1 + ε } 4 (1 + ε 5 ) {x(1 + ε 1 ) + 1}(1 + ε 3 ) ist instabil im Sinne der Vorwärtsanalyse. mit ε j R, ε j eps, wobei wir die fünf Rechenschritte bis zum Endergebnis sukzessive durchgegangen sind und alle Rundungen berücksichtigt haben. Nun verwenden wir die Linearisierungen ε j = 1 ε j sowie 1+ε 1 +1/x = 1 ε 1 1/x, wobei letztere voraussetzt, dass x vergleichsweise groß ist. Dies liefert { 1 φ 1 ( x) = x (1 ε 1)(1 + ε 2 ) 1 } x (1 ε 1 1/x)(1 ε 3 )(1 + ε 4 ) (1 + ε 5 ) Nun folgt für x 0 = 1 x (1 ε 1 + ε 2 + ε 5 ) 1 x (1 ε 1 ε 3 + ε 4 + ε 5 ) + 1 x 2(1 ε 3 + ε 4 + ε 5 ) = 1 x (ε 2 + ε 3 ε 4 ) + 1 x 2(1 ε 3 + ε 4 + ε 5 ). φ 1 ( x) φ(x) φ(x) = (x + 1)(ε 2 + ε 3 ε 4 ) + x + 1 x (1 ε 3 + ε 4 + ε 5 ) 1 = (x + 1)(ε2 + ε 3 ε 4 ) + (1 + 1/x)( ε 3 + ε 4 + ε 5 ) + 1/x. 8

13 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK Im schlimmsten Fall folgt also φ 1 ( x) φ(x) φ(x) Dies zeigt die Nicht-Stabilität. = (x /x)3eps + 1/x eps φ( x) φ(x). φ(x) Behauptung. Die Auswertung von φ(x) in der Form φ 2 (x) = 1 x(x+1) Beweis. Mit geeigneten ε j eps folgt 1 + ε 4 φ 2 ( x) = x(1 + ε 1 ){x(1 + ε 1 ) + 1}(1 + ε 2 )(1 + ε 3 ) = ε 4 x ε (ε 1 + 1/x) (1 + ε 2 )(1 + ε 3 ) Dies liefert = 1 x 2 {1 ε 1 1/x}(1 ε 1 ε 2 ε 3 + ε 4 ) = 1 x 2(1 2ε 1 ε 2 ε 3 + ε 4 ) 1 x 3(1 ε 1 ε 2 ε 3 + ε 4 ). φ 2 ( x) φ(x) φ(x) = = x + 1 ist stabil. x (1 2ε 1 ε 2 ε 3 + ε 4 ) x + 1 x 2 (1 ε 1 ε 2 ε 3 + ε 4 ) 1 ( 1 (1 + 1/x)( 2ε 1 ε 2 ε 3 + ε 4 ) x + 1 ) x 2 ( ε 1 ε 2 ε 3 + ε 4 ) 1 x 2 1 x 2 + 5eps(1 + 1/x)2 5eps für große x 0. Bemerkung. Die gewählten Linearisierungen sind in gewissem Sinne willkürlich. Anstelle von 1 x(1 + ε 1 ) + 1 = 1 x (1 ε 1 1/x) könnte man auch die Linearisierung 1 x(1 + ε 1 ) + 1 = 1 (x + 1) + ε 1 x = 1 x + 1 ε 1x (x + 1) 2 verwenden, sofern ε 1 x klein genug ist. Analoge Rechnung führt dann im schlimmsten Fall auf φ e 1 (ex) φ(x) φ(x) = (3 + 7x)eps sowie e φ 2 (ex) φ(x) φ(x) 5eps und sei dem Leser zur Übung überlassen. 1.4 Verfahrensfehler Im Wesentlichen gibt es zwei Arten von sogenannten Verfahrensfehlern, die Abbruchfehler und die Diskretisierungsfehler. Abbruchfehler entstehen dann, wenn wir einen konvergenten (aber unendlichen) Algorithmus nach endlich vielen Schritten abbrechen, um in endlicher Zeit ein numerisches Ergebnis zu erhalten. 9

14 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK Beispiel (Berechnung der Quadratwurzel). Für x > 0 definieren wir die Folge (y n ) n N induktiv durch y 1 := 1 2 (1 + x) und y n+1 := 1 2 (y n + x/y n ). Dann gilt lim n y n = x. Man beachte, dass für x 1 stets y n x gilt, denn eine elementare algebraische Umformung zeigt, dass die Gleichheit x = 1 2 (y + x/y) genau dann erfüllt ist, wenn bereits y = x gilt. Ferner steht die Numerik vor dem Problem, dass kontinuierliche Größen wie beispielsweise Ableitung oder Integral vom Rechner entweder nicht analytisch berechnet werden können oder ihre analytische Berechnung mittels Formelmanipulation viel zu aufwändig ist. Man diskretisiert daher kontinuierliche Größen: Statt Ableitungen berechnet man Differenzenquotienten, statt Integralen berechnet man gewisse endliche (Riemann-) Summen. Beispiel (Numerische Differentiation, einseitiger Differenzenquotient). Es sei f : R R eine differenzierbare Funktion. Um für ein festes x R die Ableitung Φ := f (x) zu approximieren, berechnen wir den einseitigen Differenzenquotienten Φ h := f(x+h) f(x) h für ein festes h > 0. Nach Definition der Ableitung, gilt Φ Φ h = f f(x + h) f(x) (x) 0 für h 0. h Diese Konvergenz kann aber theoretisch beliebig langsam sein. Man interessiert sich deshalb in der Numerik auch für Aussagen darüber, wie schnell eine diskrete Größe Φ h gegen die kontinuierliche Größe Φ konvergiert: Für f C 2 (R) folgt mit dem Mittelwertsatz die Existenz von η,ζ mit x η ζ x + h mit f (x) für h 0. f(x + h) f(x) h = f (x) f (ζ) = f (η) x ζ f,[x,x+h] h = O(h) Definition. Es sei Φ eine kontinuierliche Größe und Φ h eine Diskretisierung von Φ, wobei h > 0 den Diskretisierungsparameter bezeichnet. Eine Abschätzung der Form Φ Φ h = O(h α ) (1.8) bezeichnet man als a priori Fehlerabschätzung für den Diskretisierungsfehler. Die Zahl α > 0 bezeichnet man als Konvergenzordnung. Bemerkung. In der Praxis treten nicht nur ganzzahlige Konvergenzordnungen α > 0 auf. Im Beispiel des einseitigen Differenzenquotienten liegt dies an zusätzlichen Eigenschaften der Funktion f. Im Kontext der klassischen Numerischen Mathematik betrachtet man oft die sogenannten Hölder-stetigen Funktionen f C m,α (Ω) mit 0 α 1. Dabei gilt für ein offenes Intervall Ω { C m,α (Ω) := f C m (Ω) sup x,y Ω x y f (m) (x) f (m) (y) } x y α <. (1.9) Offensichtlich ist C 0,1 gerade die Menge der Lipschitz-stetigen Funktionen. Ist nun f C 1,α lokal um x, so folgt für den einseitigen Differenzenquotienten offensichtlich f (x) f(x + h) f(x) h = f (x) f (ζ) = O(h α ) 10

15 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK für h 0, d.h. wir erhalten eine verminderte Konvergenzordnung, falls f nicht in C 2 ist. Bei vielen Algorithmen stellt sich die Frage, ob es nicht möglich ist, einen Algorithmus zu finden, der unter gewissen Zusatzvoraussetzungen sogar besser konvergiert. Im Falle der numerischen Differentiation ist dies einfach möglich. Beispiel (Numerische Differentiation, zentraler Differenzenquotient). Anstelle von Φ = f (x) berechnen wir Φ h := f(x+h) f(x h) 2h. Schreibt man diesen sogenannten zentralen Differenzenquotienten in der Form Φ h = f(x+h) f(x) 2h + f(x) f(x h) 2h, so gilt offensichtlich lim Φ h = Φ, h 0 wenn f : R R differenzierbar ist bei x R. Für f C 2 folgt analog zu oben Φ Φ h = O(h) für h 0. Mit Taylor-Entwicklungen für x ± h ergibt sich f(x ± h) = f(x) ± f (x)h + f (x) 2 Durch Subtraktion beider Gleichungen folgt h 2 ± f (ζ ± ) 6 h 3 mit x h ζ ± x + h geeignet. Φ Φ h 1 6 f,[x h,x+h] h 2 = O(h 2 ) für h 0. Sofern f also glatter ist um x, z.b. f C 3, führt der zentrale Differenzenquotient auf eine höhere Konvergenzordnung. In der Regel sind Rundungsfehler und Verfahrensfehler im Widerstreit. Zur Illustration betrachten wir das folgende Beispiel, e = exp (1) exp(1 + h) exp(1 h). 2h Für h = 10 8 erwarten wir deshalb einen (relativen) Fehler von der Größenordnung Aufgrund von Auslöschung erhalten wir aber in Matlab einen tatsächlichen relativen Fehler in der Größenordnung Pauschal formuliert, gilt die folgende Faustregel: Ist der Diskretisierungsparameter h > 0 klein, so erhalten wir einen kleinen Verfahrensfehler, aber große Rundungsfehler. Ist der Diskretisierungsfehler h > 0 groß, so dominiert der Verfahrensfehler gegenüber dem Rundungsfehler. Beispiel (Numerische Integration, summierte Trapezregel). Ziel ist die numerische Berechnung des Integrals Φ := b a f dx mit stetigem Integranden f : [a,b] R. Dazu definieren wir die summierte Trapezregel Φ h := h { n 1 } f(a) + 2 f(a + jh) + f(b) 2 j=1 mit n N und h := (b a)/n. 11

16 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK Zur Veranschaulichung definieren wir Knoten x j := a + jh mit j = 0,...,n. Verbindet man die Funktionswerte f(x j 1 ) und f(x j ) affin, so ist das Integral dieser affinen Funktion gerade h 2( f(xj 1 ) + f(x j ) ). De facto ersetzen wir also f durch den interpolierenden affinen Streckenzug und berechnen dann das Integral für diesen exakt. Für f C 2 [a,b] kann man Φ Φ h = O(h 2 ) zeigen. Dazu betrachten wir zunächst ein Teilintervall [x j 1,x j ] von [a,b]. Ohne Beschränkung der Allgemeinheit sei a = 0 und j = 1, d.h. [x j 1,x j ] = [0,h]. Es sei p : [0,h] R eine affine Funktion, die f in 0 und h interpoliert, d.h. p(0) = f(0) und p(h) = f(h). Dann gilt h f(0)+f(h) 0 p dx = h 2, und wir erhalten h 0 f dx h f(0) + f(h) 2 = h 0 (f p)dx h f p,[0,h]. Wir müssen also nur noch den Interpolationsfehler abschätzen. Dazu sei x (0, h) beliebig. Wir definieren F(y) := ( f(x) p(x) ) y(h y) ( f(y) p(y) ) x(h x). F hat Nullstellen bei 0,x,h. Nach Mittelwertsatz hat F zumindest zwei Nullstellen 0 < ζ 1 < x < ζ 2 < h, und schließlich hat F zumindest eine Nullstelle ζ 1 < ζ < ζ 2. Es folgt damit 0 = F (ζ) = 2 ( f(x) p(x) ) f (ζ)x(h x). Umformung zeigt f(x) p(x) = f (ζ) 2 x(h x) für x [0,h] und ζ geeignet und deshalb f p,[0,h] h 2 f /8, denn die Parabel x(h x) nimmt ihr Maximum bei x = h/2 an. Auf jedem Intervall gilt also xj f dx h f(x j 1) + f(x j ) x j 1 2 f h 3. 8 Summation über alle n = (b a)/h Teilintervalle beweist schließlich b a f dx Φ h (b a) f 8 h 2 = O(h 2 ). Numerische Bestimmung der Konvergenzordnung Es sei Φ die kontinuierlich berechnete Größe und Φ h die diskrete (d.h. über ein numerisches Verfahren berechnete) Größe zum Diskretisierungsparameter h > 0. Besitzt das Verfahren Ordnung α > 0, so gelten (ansatzweise) für den Fehler e h = Φ Φ h und Diskretisierungsparameter h,h/2 e h = C h α und e h/2 = C (h/2) α mit der Konvergenzordnung α > 0 und einer Konstante C > 0. Elementare Umformung liefert e h/2 = C h α 2 α = e h 2 α. 12

17 KAPITEL 1. GRUNDBEGRIFFE DER NUMERISCHEN MATHEMATIK Man erhält also die Formeln α = log(e h /e h/2 )/ log(2) und C = e h /h α, d.h. die experimentelle Konvergenzordnung α (sowie die zugehörige Konstante C) sind a posteriori berechenbar, wenn man die Werte von e h und e h/2 kennt. Zur numerischen Verifikation von a priori Fehlerabschätzungen berechnet man mit einer Folge von Schrittweiten h,h/2,h/4,... die zugehörigen Werte von α und C für jeweils zwei aufeinanderfolgende Werte e h. e (1) h e (1) h α (1) C (1) e (2) h α (2) C (2) e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e 01 1/ e e e e / e e e e / e e e e 18 Tabelle 1.1: Numerische Differentiation mittels einseitigem und zentralem Differenzenquotienten Φ (1) h bzw. Φ (2) h zur Approximation von e = exp (1): Für den einseitigen Differenzenquotienten beobachten wir die experimentelle Konvergenzordnung 1, d.h. e Φ (1) h = O(h). Den zentrale Differenzenquotient liefert e Φ(1) h = O(h2 ), wobei die Konvergenz im letzten Schritt aufgrund von Auslöschungseffekten zusammenbricht. e (2) Beispiel (Numerische Differentiation). Wir betrachten als Beispiel die Approximation von e = exp(1) durch den einseitigen und zweiseitigen Differenzenquotienten Φ (1) h bzw. Φ(2) h. Tabelle 1.1 gibt die entsprechenden Ergebnisse wieder. Wir beobachten die vorhergesagten Konvergenzordnungen e Φ (1) = O(h) und e Φ(1) h = O(h2 ). Für h = 2 18 = 1/ bricht h die Konvergenz für den zentralen Differenzenquotienten aufgrund von Auslöschungseffekten zusammen. Man beachte, dass auch die Konstante C (2) a priori vorhergesagt werden kann. Nach der Fehleranalysis für den zentralen Differenzenquotienten gilt Φ Φ (2) h 1 6 exp,[1 h,1+h] h 2, und die Konstante vor der h-potenz konvergiert gegen e/ Diese wird experimentell durch C (2) scharf geschätzt. Die Konstante C (1) lässt sich a priori wie folgt vorhersagen: Mit Taylor-Entwicklung gilt Φ Φ (1) h = 1 2 exp (ζ) h für ein geeignetes 1 ζ 1 + h. Wir erhalten also Konvergenz dieser Konstante gegen e/ Dies ist gerade die experimentell beobachtete Konstante C (1). 13

18 Kapitel 2 Matrixnormen und Konditionierung 2.1 Operatornorm Lemma 2.1. Zu fixierten Normen auf K m bzw. K n definieren wir die Operatornorm A := Ax sup x K n \{0} x für A K m n. (2.1) Dann gelten die folgenden Aussagen: (i) Die Operatornorm definiert eine Norm auf K m n, (ii) A = sup Ax = sup Ax = inf { C > 0 x K n Ax C x }, x =1 x 1 (iii) im Fall A 0 folgt für x K m mit x 1 und Ax = A bereits x = 1, (iv) aufgrund der endlichen Dimension werden alle Infima und Suprema angenommen. Beweis. Die Behauptung (i) ist klar. Mit Ax / x = A(x/ x ) folgt die Ungleichung Ax A sup Ax sup Ax sup x =1 x 1 x 1 x sup Ax x K n \{0} x = A. Die Gleichheit A = inf { C > 0 x K n Ax C x } ist klar. (iii) Es gilt A = Ax A x, also x 1. (iv) ergibt sich aus Stetigkeitsgründen. Im Folgenden sei stets vorausgesetzt, dass (beliebige) Normen auf K m, K n etc. fixiert seien, und bezeichne jeweils die induzierte Operatornorm. Insbesondere betrachten wir für m = n nur den Fall, dass beide Normen übereinstimmen. Das folgende Lemma stellt einige Rechenregeln bereit. Lemma 2.2. (i) Für Matrizen A K l m und B K m n gilt die Idealeigenschaft AB A B. (ii) Die Identität I : K n K n erfüllt I = 1. (iii) Ist A K n n invertierbar, so gilt ( ) 1 A 1 = inf Ax. (2.2) x =1 14

19 KAPITEL 2. MATRIXNORMEN UND KONDITIONIERUNG Beweis. (i) Nach Lemma 2.1 gilt für x K n die Abschätzung ABx A Bx A B x. (ii) ist offensichtlich. (iii) Aufgrund der Bijektivität von A gilt A 1 = A 1 x sup x K n \{0} x = sup y K n \{0} y Ay = sup y K n \{0} Mit der Linearität von A folgt schließlich die letzte Behauptung. ( Ay ) 1 ( = y inf y K n \{0} Ay ) 1. y Beispiel (Spaltensummennorm 1 ). Auf K n wird durch x 1 := n j=1 x j die sog. l 1 -Norm definiert. Betrachtet man auf K m und K n die l 1 -Norm, so erhält man als induzierte Operatornorm die Spaltensummennorm A 1 = max k=1,...,n j=1 Für x K n gilt nämlich Ax 1 m j=1 m a jk für A K m n. (2.3) n a jk x k k=1 n ( m ) a jk x k max k=1 j=1 k=1,...,n j=1 m a jk x 1 Dies zeigt A 1 max n k=1 m j=1 a jk. Wählt man den Index k, bei dem das Maximum angenommen wird und den zugehörigen Standardeinheitsvektor e k K n, so folgt die Gleichheit. Insgesamt haben wir also gesehen, dass die Operatornorm in einem der Standardeinheitsvektoren angenommen wird. Beispiel (Zeilensummennorm ). Auf K n wird durch x := max n j=1 x j die sog. l - Norm definiert. Betrachtet man auf K m und K n die l -Norm, so erhält man als induzierte Operatornorm die Zeilensummennorm n A = max a jk für A K m n. (2.4) j=1,...,m k=1 Für x K n gilt analog zu oben Ax max j=1,...,m n a jk x k k=1 max j=1,...,m k=1 n a jk x, also A max m j=1 n k=1 a jk. Um die Gleichheit zu zeigen, fixieren wir zunächst den Index j, für den das Maximum angenommen wird. Dann definieren wir x K n durch x k := sign(a jk ) mit dem (komplexen) Vorzeichen sign(z) = z /z für z 0. Es folgt x = 1 und Ax = n k=1 a jk. Bemerkung. Dass beispielsweise die Spaltensummennorm in einem Eckpunkt der l 1 -Einheitsspähre S n 1 := { x K n x 1 = 1 } angenommen wird, lässt sich mathematisch wie folgt erklären: Ist eine Norm auf K n, so wird die Operatornorm einer Matrix A K m n in einem Extremalpunkt der Einheitssphäre S := { x K n x = 1 } angenommen. Dabei heißt ein Punkt Extremalpunkt, wenn er nicht die Konvexkombination von zwei anderen Punkten der Sphäre ist, d.h. die Menge der Extremalpunkte ist E := S\ { x S y,z S,x y λ (0,1) : x = λy + (1 λ)z }. 15

20 KAPITEL 2. MATRIXNORMEN UND KONDITIONIERUNG Dies entspricht anschaulich gerade den Eckpunkten von S. Gilt für x S gerade Ax = A, d.h. die Operatornorm wird in x angenommen, und ist x kein Extremalpunkt, so existieren y, z S und λ (0,1) mit x = λy + (1 λ)z. Die Dreiecksungleichung A = Ax λ Ay + (1 λ) Az A zeigt, dass dann die Operatornorm auch in y und z angenommen wird. Abschließend sei angemerkt, dass der Satz von Krein-Milman gerade besagt, dass jeder Nicht-Extremalpunkt in S die Konvexkombination zweier Extremalpunkte ist. Definition. Jede Matrix A K n n hat (gezählt gemäß algebraischer Vielfachheit) n komplexe Eigenwerte. Den Betrag des betragsgrößten Eigenwerts bezeichnet man als Spektralradius von A, ρ(a) := max { λ λ C ist Eigenwert von A } (2.5) Beispiel (Frobenius-Norm ist keine Operatornorm). Die Frobenius-Norm ( n A F := a jk 2) 1/2 j,k=1 für A K n n (2.6) ist eine Hilbert-Norm auf K n n, d.h. (K n n, F ) ist ein Hilbert-Raum. Ferner gilt A 2 A F, denn aus der Cauchy-Schwarz-Ungleichung folgt n Ax 2 2 = j=1 n 2 a jk x k k=1 n ( n a jk 2)( n x k 2) = A 2 F x 2 2. j=1 k=1 Für n 2 ist die Frobenius-Norm keine Operatornorm, denn I F = n 1. Auch die skalierte Frobenius-Norm A bf := (1/ n) A F definiert keine Operatornorm, denn jede Operatornorm erfüllt ρ(a) A. Diese Abschätzung folgt für einen Eigenvektor x K n und den dazugehörigen Eigenwert λ C mit λ = ρ(a) elementar aus Ax = λx = ρ(a) x. Definiert man nun die Matrix A K n n durch a jk := δ jk δ j1, A = , k=1 so gelten für den Spektralradius ρ(a) = 1, aber A b F = 1/ n < ρ(a). Beispiel (Spektralnorm 2 ). Auf K n wird durch x 2 := ( n j=1 x j 2) 1/2 die sog. l2 -Norm definiert. Betrachtet man auf K m und K n die l 2 -Norm, so erhält man als induzierte Operatornorm die Spektralnorm A 2 = ρ(a T A). (2.7) 16

21 KAPITEL 2. MATRIXNORMEN UND KONDITIONIERUNG Zum Beweis betrachten wir die selbstadjungierte Matrix B := A T A, d.h. B = B T. Nach Linearer Algebra existiert eine Orthonormalbasis von Eigenvektoren {u 1,...,u n } von B bezüglich dem euklidischen Skalarprodukt x y := n j=1 x j y j, und die zugehörigen Eigenwerte λ j R sind stets reell. Es gelten also Bu j = λ j u j sowie u j u k = δ jk. Es sei x K n dargestellt in dieser Basis als x = n j=1 α ju j. Elementare Rechnung zeigt x 2 2 = x x = n j,k=1 α j α k u j u k = Ax 2 2 = (Ax) (Ax) = (Bx) x = n α j 2, j=1 n j,k=1 λ j α j α k u j u k = n λ j α j 2, wobei man die erste Gleichheit in der Funktionalanalysis als Parseval-Gleichung bezeichnet. Insbesondere folgern wir n Ax 2 2 ρ(b) α j 2 = ρ(b) x 2 2. j=1 j=1 Ferner gilt offensichtlich A 2 2 max Au j 2 2 = max λ j = ρ(b). j=1,...,n j=1,...,n Beispiel (Spektralnorm für selbstadjungierte Matrizen). Ist A K n n eine selbstadjungierte Matrix, so gilt für die Spektralnorm A 2 = ρ(a). Dies zeigt man wie folgt: Nach Linearer Algebra ist A diagonalisierbar, d.h. es gilt A = TΛT 1 mit einer regulären Matrix T und einer Diagonalmatrix Λ. Hierbei stehen die Eigenwerte von A auf der Diagonalen von Λ und T enthält als Zeilen die entsprechenden Eigenvektoren. Es folgt A T A = A 2 = TΛ 2 T 1 und damit insbesondere ρ(a) 2 = ρ(a 2 ), was den Beweis beschließt. 2.2 Kondition einer Matrix In diesem Abschnitt ist A K n n eine reguläre Matrix, und ist eine fixierte Norm auf K n nebst induzierter Operatornorm auf K n n. Definition. Die Größe cond(a) := A A 1 bezeichnet man als Konditionszahl der regulären Matrix A. Im Fall der l p -Normen notieren wir die Konditionszahl mit dem entsprechenden Index, z.b. cond (A) := A A 1 im Fall der Zeilensummennorm p =. Nach den bewiesenen Eigenschaften der Operatornorm gilt cond(a) = max Ax / min Ax, x =1 x =1 d.h. geometrisch gibt die Kondition eine Aussage über die Verzerrung des Raums K n durch A. Wie im ersten Abschnitt gibt die Konditionszahl eine Aussage darüber, wie stark sich der relative Fehler in der rechten Seite b K n auf die Lösung des Gleichungssystems Ax = b auswirkt. 17

22 KAPITEL 2. MATRIXNORMEN UND KONDITIONIERUNG Lemma 2.3. Es seien A K n n eine reguläre Matrix und x, x,b, b K n \{0} Vektoren mit Ax = b und A x = b. Dann gilt x x x cond(a) b b b. (2.8) Beweis. Es gilt x x = A 1 ( b b) A 1 b b sowie b A x. Multipliziert man beide Abschätzungen folgt die Behauptung. Mit etwas größerem Aufwand kann man auch abschätzen, wie sich ein zusätzlicher Fehler bei der Matrix A auf das berechnete Ergebnis auswirkt. Satz 2.4. Es seien A,à Kn n Matrizen und x, x,b, b K n Vektoren mit Ax = b und à x = b. Die Matrix A sei regulär, und es gelte à A < 1/ A 1. Dann ist auch à regulär, und es gilt x x x cond(a) 1 cond(a) e A A A ( à A A Beweis. Das Beweis erfolgt in drei Schritten. + b b ) b 1. Schritt. Ist M K n n mit M < 1, so ist (I + M) regulär, und es gilt (I + M) 1 (2.9) 1 1 M. (2.10) Mit der Dreiecksungleichung gilt (I + M)x = x + Mx x Mx (1 M ) x für alle x K n. Insbesondere gilt (I + M)x = 0 genau dann, wenn x = 0 gilt, d.h. (I + M) ist injektiv und daher regulär. Mit der Inversen B := (I + M) 1 gilt B (1 M ) B MB B + MB = (I + M)B = 1. Dies zeigt die Abschätzung (2.10). 2. Schritt. à ist regulär, und es gilt A 1 à 1 1 A 1 à A. Wir definieren M := A 1 (à A) und wenden Schritt 1 an, denn es gilt M A 1 à A < 1. Also ist I + M = A 1 (A + à A) = A 1 à regulär und damit auch Ã. Ferner gilt à 1 à 1 A A 1 = (I + M) 1 A 1 A 1 1 A 1 (à A) A 1 1 A 1 à A. 3. Schritt. Schließlich zeigen wir Abschätzung (2.9). Es gilt Ã(x x) = Ãx b = (b b) (A Ã)x und deshalb mit Schritt 2 x x à 1 ( b b + A à x ) cond(a) ( A à b b ) 1 cond(a) A A e x + A A A 18

23 KAPITEL 2. MATRIXNORMEN UND KONDITIONIERUNG Aus b A x folgt 1/ A x / b. Die Kombination mit der vorausgegangen Abschätzung und Division durch x zeigt die Behauptung. Bemerkung. (i) Der Beweis des ersten Schrittes basiert wesentlich auf der endlichen Dimension. Die Aussage gilt aber auch in beliebigen Banach-Räumen und wird dann (nicht viel schwerer) mit Hilfe der Neumannschen Reihe bewiesen. (ii) Insbesondere zeigt der Satz, dass die Menge U := { M K n n } M regulär eine offene Teilmenge von K n n ist, denn jede hinreichend kleine Störung einer regulären Matrix ist regulär. Wir werden von dieser Feststellung später noch Gebrauch machen. 2.3 Vorkonditionierung Beim Lösen des Gleichungssystems Ax = b mit regulärer Matrix A K n n werden Rundungsfehler im Wesentlichen mit dem Faktor cond(a) verstärkt. Dabei bezeichnet wieder cond(a) = A A 1 die Konditionszahl bezüglich einer fixierten Norm auf K n (und zugehöriger Operatornorm). Definition. Ist A K n n eine reguläre Matrix, so versteht man unter Vorkonditionierung die numerische Konstruktion einer regulären Matrix B K n n, sodass cond(ba) cond(a) gilt. Man löst in diesem Fall nicht mehr das Gleichungssystem Ax = b, sondern das Gleichungssystem BAx = Bb, da Rundungsfehler dann weniger verstärkt werden. Die Matrix B soll folgende Eigenschaften besitzen: Die Berechnung von B ist kostengünstig. Die Berechnung von BA ist kostengünstig. Die beste Wahl von B wäre B = A 1. In der Regel ist aber A 1 nicht bekannt und kann nur sehr aufwändig berechnet werden. Häufig ergibt sich die Lösung eines Gleichungssystem A h x = b als letzter Schritt in einem numerischen Diskretisierungsverfahren, und cond(a h ) hängt vom Diskretisierungsparameter h > 0 ab, z.b. cond(a h ) = O(h 1 ). Dies wird z.b. bei Interpolationsproblemen der Fall sein, siehe Kapitel 4. In diesem Fall ist man an einer Folge von Vorkonditionierungsmatrizen B h interessiert, sodass möglichst cond(b h A h ) = O(1) gilt. In der Regel verwendet man schwach besetzte Matrizen B im Extremfall Diagonalmatrizen zur Vorkonditionierung. Für die Zeilensummennorm und Vorkonditionierung mit Diagonalmatrizen ist Zeilenäquilibrierung optimal. Definition. Eine Matrix A K n n heißt zeilenäquilibriert, falls gilt n a jk = 1 für alle j = 1,...,n. (2.11) k=1 19

24 KAPITEL 2. MATRIXNORMEN UND KONDITIONIERUNG Satz 2.5. (i) Es sei A K n n zeilenäquilibriert und regulär. Dann gilt für jede reguläre Diagonalmatrix D K n n die Abschätzung cond (A) cond (DA). (ii) Für eine reguläre Matrix A K n n definiere die Diagonalmatrix D := diag(α 1 1,...,α 1 n ) mit α j := Dann gilt cond (DA) cond (A). n a jk. Beweis. (ii) folgt unmittelbar aus (i), denn DA ist zeilenäquilibriert, und damit gilt k=1 cond (DA) cond (D 1 DA) = cond (A). Zum Beweis von (i) beachte man A = max n j=1 n k=1 a jk = 1 und insbesondere DA = max 1 j n Daraus folgt n k=1 d j a jk = max 1 j n d j = D cond (A) = A 1 (DA) 1 D = cond (DA). 20

25 Kapitel 3 Eliminationsverfahren zur Lösung linearer Gleichungssysteme In diesem Abschnitt liegt der Schwerpunkt auf den sogenannten Eliminationsverfahren oder Direkten Lösern. Im einfachsten Fall ist ein lineares Gleichungssystem Ax = b mit regulärer Matrix A K n n und rechter Seite b K n gegeben und die Lösung x K n gesucht. Eliminationsverfahren sind Algorithmen, die nach endlich vielen Rechenoperationen die Lösung von Ax = b liefern. Dabei sind i.a. nur die Einträge von A bekannt und nicht, ob A regulär ist oder weitere Eigenschaften besitzt. Die Algorithmen müssen in diesem Fall gegebenfalls abbrechen. Bemerkung (Berechnung der Inversen). Die wichtigste Regel der Numerik ist, dass man die Inverse A 1 einer regulären Matrix A K n n nicht berechnen sollte: Es gibt keinen stabilen Algorithmus zur Berechnung der Inversen und häufig kann auch auf die explizite Berechnung von A 1 verzichtet werden. Will man beispielsweise zu gegebenem Vektor y K n x = A 1 By berechnen, so geht man in zwei Schritten vor: Man berechnet z = By. Man löst das Gleichungssystem Ax = z. Falls die Berechnung von A 1 wirklich nötig ist, berechnet man zunächst eine geeignete Faktorisierung von A (z.b. die LU- oder die QR-Zerlegung). Dann löst man (mittels dieser Faktorisierung) die Gleichungssysteme Ax (j) = e j für alle j = 1,...,n. Die Matrix B = (x (1),...,x (n) ) K n n ist dann die (fehlerbehaftete Approximation der) Inverse A Dreiecksmatrizen Definition. Eine Matrix L K n n heißt untere Dreiecksmatrix, falls l jk = 0 gilt für alle Indizes j < k. In diesem Fall verschwinden also alle Einträge oberhalb der Matrix-Diagonalen. Analog dazu heißt eine Matrix U K n n obere Dreiecksmatrix, falls u jk = 0 gilt für j > k. Es 21

26 KAPITEL 3. ELIMINATIONSVERFAHREN gilt also schematisch l l 21 l L = und U = u 11 u u 1n 0 u 22 u u 2n l n1 l n l nn u nn Bemerkung. Für eine Dreiecksmatrix D K n n gilt det(d) = n j=1 d jj. Insbesondere ist D genau dann regulär, wenn alle Diagonalelemente ungleich Null sind. Algorithmus 3.1: Lösung eines oberen Dreieckssystems Input: reguläre obere Dreiecksmatrix U K n n, rechte Seite b K n for j = n:-1:1 x j = ( b j n k=j+1 u ) jkx k /ujj end Output: Vektor x K n Behauptung. Algorithmus 3.1 ist wohldefiniert und berechnet in insgesamt n 2 arithmetischen Operationen die eindeutige Lösung x K n von Ux = b. Beweis. Das Gleichungssystem Ux = b ist äquivalent zu den folgenden n Gleichungen: u 11 x 1 + u 12 x u 1n x n = b 1 u 22 x u 2n x n = b 2. u nn x n = b n Der Algorithmus löst dieses Gleichungssystem durch Rückwärtseinsetzen, insbesondere sind die im Algorithmus benötigten x k bereits berechnet. Deshalb und wegen u jj 0 ist Algorithmus 3.1 wohldefiniert. Im j-ten Schritt sind jeweils (n j) Multiplikationen und Subtraktionen sowie 1 Division durchzuführen. Die Gesamtanzahl arithmetischer Operationen ist also n ( j= (n j) ) = n + 2 n 1 k=1 k = n + 2 (n 1)n 2 = n 2. 22

27 KAPITEL 3. ELIMINATIONSVERFAHREN Auf analoge Weise löst man ein lineares System mit einer regulären unteren Dreiecksmatrix L. Algorithmus 3.2: Lösung eines unteren Dreieckssystems Input: reguläre untere Dreiecksmatrix L K n n, rechte Seite b K n for j = 1:n x j = ( b j j 1 k=1 l ) jkx k /ljj end Output: Vektor x K n Behauptung. Algorithmus 3.2 ist wohldefiniert und berechnet in insgesamt n 2 arithmetischen Operationen die eindeutige Lösung x K n von Lx = b. Die Menge U der oberen Dreiecksmatrizen ist abgeschlossen bezüglich der Matrizenmultiplikation. Die Untermenge der regulären oberen Dreiecksmatrizen bildet eine Gruppe. Lemma 3.3. Es sei U = { U K n n U obere Dreiecksmatrix }. Dann gelten: (i) Für A,B U ist das Produkt AB U. (ii) Für eine reguläre Matrix A U gilt B := A 1 U und b jj = a 1 jj für alle j = 1,...,n. Beweis. (i) Nach Voraussetzung gilt a ij = 0 für i > j und b jk = 0 für j > k, insbesondere erfüllen die Einträge von C := AB K n n deshalb n c ik = a ij b jk = j=1 k a ij b jk, (3.1) j=i und es folgt c ik = 0 für i > k, d.h. C U. (ii) Es sei b (k) K n die k-te Spalte von B = A 1. Dann gilt Ab (k) = e k. Rückwärtseinsetzen zeigt b jk = b (k) j = 0 für j > k. Insgesamt folgt deshalb B U. Abschließend folgt aus (3.1) und I = AB sofort 1 = a jj b jj. Das Lemma überträgt sich offensichtlich auf die Menge L = { L K n n } L untere Dreiecksmatrix, indem man von L L zur transponierten Matrix L T U übergeht. Lemma 3.4. Es sei L = { L K n n L untere Dreiecksmatrix }. Dann gelten: (i) Für A,B L ist das Produkt AB L. (ii) Für eine reguläre Matrix A L gilt B := A 1 L und b jj = a 1 jj für alle j = 1,...,n. 23

28 KAPITEL 3. ELIMINATIONSVERFAHREN 3.2 LU-Zerlegung nach Crout Im ganzen Abschnitt sei A K n n eine reguläre Matrix und b K n. Das Ziel ist die Faktorisierung A = LU von A in eine untere Dreiecksmatrix L und eine obere Dreiecksmatrix U, sodass das Gleichungssystem Ax = b mit den Algorithmen aus Abschnitt 3.1 in zwei Schritten gelöst werden kann: Berechne die Lösung y von Ly = b. Berechne die Lösung x von Ux = y. Dann gilt insgesamt Ax = b. Der erste Schritt verstärkt einen etwaigen relativen Fehler in b mit dem Faktor cond(l). Im zweiten Schritt wird der relative Fehler in y mit cond(u) verstärkt. Insgesamt kann sich ein relativer Fehler in b also mit cond(l)cond(u) auf den relativen Fehler in x auswirken. Deshalb ist diese Lösungsstrategie nur dann stabil, wenn cond(a) cond(l) cond(u). Im allgemeinen gilt aber lediglich cond(a) cond(l) cond(u). Definition. Eine Faktorisierung A = LU mit L K n n unterer Dreiecksmatrix und U K n n oberer Dreiecksmatrix heißt LU-Zerlegung von A. Bemerkung. Da die Matrix A insgesamt n 2 Einträge hat, eine LU-Zerlegung aber n 2 +n = n(n+1) Einträge, kann man die Eindeutigkeit der LU-Zerlegung nur erwarten, wenn man n Zusatzbedingungen an L und U stellt. In der Regel fordert man die Normalisierung l jj = 1 für alle j = 1,...,n. Satz 3.5. Für die Matrix A K n n sind die folgenden Aussagen äquivalent: (i) Alle Untermatrizen A k := (a ij ) k i,j=1 Kk k sind regulär. (ii) Es existiert eine LU-Zerlegung von A. In diesem Fall hat A eine eindeutige normalisierte LU-Zerlegung A = LU mit l jj = 1 für alle j = 1,...,n. Beweis. (ii) (i): Da A regulär ist, sind L und U regulär und insbesondere L k und U k regulär. Aus A = LU folgt insbesondere A k = L k U k für die entsprechenden Untermatrizen, also ist auch A k regulär. (i) (ii) wird durch Induktion nach n bewiesen. Wir zeigen, dass eine eindeutige normalisierte LU- Zerlegung existiert. Der Induktionsanfang n = 1 ist klar. Im Induktionsschritt existieren eindeutige Dreiecksmatrizen L n 1,U n 1 mit A n 1 = L n 1 U n 1 und l jj = 1 für alle j = 1,...,n 1. Mit dem Ansatz ( ) An 1 b A = c T a nn a nn für geeignete b,c K n 1 und a nn K ist zu zeigen, dass eindeutige l,u K n 1 und ρ K existieren, sodass gilt ( ) ( )( ) An 1 b Ln 1 0 Un 1 u c T = l T. (3.2) 1 0 ρ Unter der Induktionsvoraussetzung ist (3.2) äquivalent zu den drei linearen Gleichungen b = L n 1 u, c = U T n 1 l und a nn = l T u + ρ. (3.3) 24