Im Allgemeinen gibt es drei verschiedene Ursachen der numerischen Fehler:

Transkript

1 Numerik I. Version: Fehleranalyse Im Allgemeinen gibt es drei verschiedene Ursachen der numerischen Fehler: Rundungsfehler Approximationsfehler Konditionsfehler (Instabilität) Alle diese Fehler können zu inakzeptabel großen Abweichungen des Outputs vom wahren Wert führen. 3.1 Rundungsfehler und Maschinenzahlen Offensichtlich kann der Rechner nur endlich viele Ziffern speichern. Jede reelle Zahl hat eine eindeutige Darstellung in der Dezimalentwicklung. Im Allgemeinen fixiert man eine natürliche Zahl b 2 (Basis, meistens b = 2 oder b = 10) und betrachtet die Entwicklung x = ( 1) s b N c j b j (3.1) für jede reelle Zahl x 0, wobei j=1 s {0, 1} N Z das Signum von x ist der Exponent von x ist und c j {0, 1,...b 1} sind die Koeffizienten oder Ziffern von x. Um die Eindeutigkeit zu sichern, fordert man die Normalisierungsbedingung c 1 0 und, dass nicht alle Ziffer (abgesehen von endlichen vielen) gleich b 1 sind: K N j K, c j b 1 Zum Beispiel, wenn b = 10 und x = , dann schreibt man x = = ( 1) ( )

2 Numerik I. Version: d.h. N = 3, s = 0, c 1 = 1, c 2 = 9, c 3 = 5, c 4 = 3, c 5 = 4. Wenn x = 0.034, dann gilt x = ( 1) ( ) d.h. N = 1, s = 1, c 1 = 3, c 2 = 4. Die Rechner benutzen eine endliche Darstellung der reellen Zahlen, die sog. Gleitpunkt- Maschinenzahlen (floating point numbers). Meistens wird die Basis b = 2 benutzt. In der IEEE standard single precision Darstellung mit b = 2 ist der Exponent N nur aus der Menge { 126,..., 126, 127} erlaubt (sonst: Null oder OVERFLOW) und es werden nur die ersten 23 Ziffern, c 1, c 2,...,c 23 {0, 1} behalten. Zusammen mit dem Signum braucht man 32 Bits, (=4 Bytes) um eine reelle Zahl darzustellen (N braucht 8 Bits). Folglich betrachtet man statt x die folgende Darstellung x 0 falls N < 126 OV ERFLOW falls N > 127 ( 1) s 2 N 23 j=1 c j 2 j andernfalls wobei x in Form (3.1) dargestellt wird. Zum Beispiel: x = 7 3 = 21 3 = }{{} binary ( 1) 1 2 2( ) Dieses Verfahren rundet die letzte Ziffer immer herunter. Die sog. Standardrundung rundet die letzte Ziffer aufwärts, wenn die nächste Ziffer mindestens b/2 ist (in der Binärentwicklung b/2 = 1). Diese Rundung wird von einer Funktion 0 falls N < 126 x fl(x) := OV ERFLOW falls N > 127 ( 1) s 2 N 23 j=1 c j 2 j falls c 24 = 0 ( 1) s 2 N( 23 j=1 c j 2 j ) falls c 24 = 1 beschrieben, dabei steht f l(x) für die Gleitpunktdarstellung (floating point representation) der Zahl x. Der Grenzbereich des Overflow ist , dies ist die größte Zahl in dieser Arithmetik.

3 Numerik I. Version: Der Grenzbereich des Underflow ist , dies ist die kleinste Zahl (im Absolutbetrag), die noch nicht als Null betrachtet wird: fl(x) = 0 falls x < Z.B. werden sich zwei Zahlen, x, y, deren Differenz kleiner als ist, x y < in unserer Arithmetik nicht unterscheiden lassen. Wichtiger ist der relative Rundungsfehler, d. h. die Größe x fl(x) x 2 23, (3.2) wobei 2 23 die kleinste positive Zahl ε > 0 ist, so dass 1 + ε und 1 sich in unserer Arithmetik unterscheiden lassen, d.h fl(1 + δ) = 1 wenn δ < Diese Zahl wird auch als relative Maschinengenauigkeit bezeichnet. Aufgabe 3.1 Beweisen Sie, dass (3.2) für alle Zahlen x mit x 0, x gilt. Die praktische Folgerung ist: nur die ersten 7-8 signifikanten dezimalen Ziffern in der single precision Arithmetik werden behalten. [Die erste signifikante dezimale Ziffer einer Zahl heißt die erste Ziffer in dezimaler Form, die nicht Null ist.] Die sog. IEEE standard double precision Darstellung verwendet 64 Bits für jede reelle Zahl. 11 bits werden dem Exponent N gewidmet, 52 Bits den Ziffern und 1 Bit dem Signum. Die kleinste Zahl in dieser Darstellung ist , der Grenzwert von Overflow ist und die relative Maschinengenauigkeit wird auf verbessert. Die Maschinenarithmetik mit Gleitpunktzahlen wird Gleitpunktarithmetik (floating point arithmetics) genannt. In dieser Arithmetik wird jede arithmetische Operation (Addition, Subtraktion usw.) von einer Rundungsoperation gefolgt: x y := fl(x + y) x y := fl(x y) usw. Aufgabe 3.2 Finden Sie Beispiele, die zeigen, dass die Assoziativität der Addition und die Distributivität bei der Gleitpunktarithmetik (leider!) verloren gehen. Maschinen benutzen irgendeine Form der Gleitpunktarithmetik. Die genaue Definition ist für uns nicht so wichtig. Jedoch gibt es zwei wichtige Daumenregeln als praktische Folgerung:

4 Numerik I. Version: (i) Die Subtraktion von zwei großen Zahlen, x, y, die ganz nah beieinander liegen, ist ganz gefährlich. In diesem Fall können sich die führenden Ziffern von x und y auslöschen und die führenden Ziffern von x y werden von den wenigen zuverlässigen letzten Ziffern von x, y bestimmt. Dieses Phänomen kann ganz wichtig sein, wenn das Programm eine Abzweigung (IF... THEN... ELSE) enthält, die vom Signum einer Zahl abhängt. Z.B. prüft das Gaußsche Verfahren, ob das Pivotelement Null ist. Ein Pivotelement, das in der Realität Null ist, kann wegen Rundungsfehlern als nicht Null erscheinen und das ganze Verfahren irreführen, z.b. der Rang der Matrix wird dann falsch ausgerechnet. (ii) Ein Overflow kann das ganze Programm sperren. In vielen Rechnern ist es fast unvorhersagbar, wie die Maschine einen Overflow als Input der nächsten Rechnungschritte betrachtet. Der gute Ratschlag ist: In kritischen Punkten des Programms soll man explizit vorschreiben, in welche Richtung der Algorithmus fortsetzen soll, falls ein Overflow auftritt. 3.2 Approximationsfehler Viele numerische Verfahren sind iterativ und würden das genaue Ergebnis nur im Limes, nach unendlich vielen Schritten liefern. Z.B. konvergiert das Newtonsche Iterationsverfahren zur Lösung sehr schnell, aber es erreicht sie niemals. Natürlich beendet man die Berechnung nach endlich vielen Schritten, aber man muss den auftretenden Fehler beachten. In den meisten Fällen ist die Konvergenzgeschwindigkeit ganz schnell (exponentiell), und mit wenig Aufwand kann man den Approximationsfehler unter den Rundungsfehler bringen. Wenn in einem iterativen Verfahren der Limeswert besser als der Rundungsfehler approximiert wird, ergibt es keinen Sinn, das Verfahren fortzusetzen. 3.3 Die Symbole O und o Meistens interessieren wir uns nicht für die exakte Größe der Fehler, sondern nur für die Größenordnung, die durch eine einfache Funktion (z.b. Polynom oder Exponentialfunktion) beschrieben werden kann. Definition 3.3 Seien f und g zwei reelle Funktionen, wobei g(x) 0. Dann heißt f(x) = O(g(x)) im Punkt x 0 [f ist groß- O von g in x 0 ], falls lim sup x x 0 f(x) <. g(x) Ähnlich heißt f(x) = o(g(x)) im Punkt x 0 [f ist klein - o von g in x 0 ], falls f(x) lim = 0. x x 0 g(x)

5 Numerik I. Version: In beiden Fällen ist x 0 = oder x 0 = erlaubt. Statt im Punkt x 0 schreiben wir manchmal x x 0 oder falls x x 0 1. Der Punkt x 0 ist in den meisten Anwendungen selbsverständlich, und ist fast immer 0. Praktisch in allen Fällen wird g ein Monom sein (g(x) = x k, k Z). Falls es zu keinem Missverständnis führt, können wir dann auch f = O(g) und f = o(g) schreiben. Aufgabe 3.4 Zeigen Sie, dass f(x) = O(g(x)) im Punkt x 0 genau dann, wenn zwei positive Konstanten K und δ existieren, so dass f(x) K g(x) für alle x x 0 δ f(x) = o(g(x)) im Punkt x 0 genau dann, wenn für beliebig kleine positive ε ein positives δ existiert, so dass f(x) ɛ g(x) für alle x x 0 δ Beispiel. Die Taylor-Formel mit Restglied kann mit dieser Notation ausgedrückt werden: Im Fall einer C 4 -Funktion (viermal stetig differenzierbare Funktion) in der Umgebung von 0 z.b. f(x) = f(0) + f (0)x + f (0) 2! e x = 1 + O(x), x 2 + f (0) x 3 + O(x 4 ) 3! e x = 1 + x + O(x 2 ) usw. Achten Sie auf eine kleine Schlamperei: man sollte O( x ) schreiben (das Argument von O muss immer nichtnegativ sein), aber in den meisten Fällen lassen wir den Absolutwert aus. Aufgabe 3.5 Formulieren Sie die Definition 3.3 im Sinne der vorherigen Aufgabe um, falls x 0 =. Aufgabe 3.6 (i) Zeigen Sie, dass sin x = O(x), aber sin x o(x) im Punkt x 0 = 0. (ii) Zeigen Sie, dass x 2 = o(x) in x 0 = 0, aber x 2 o(x) in allen anderen Punkten. (iii) Zeigen Sie, dass f(x) = o(g(x)) und g(x) = o(f(x)) in demselben Punkt gleichzeitig unmöglich sind, sofern beide f und g in einer Umgebung von diesem Punkt nicht identisch Null sind.

6 Numerik I. Version: Aufgabe 3.7 Sei f 1 = O(g 1 ) und f 2 = O(g 2 ) im Punkt x 0. Entscheiden Sie, ob die folgenden Aussagen wahr oder falsch sind. Beweisen Sie, oder finden Sie ein Gegenbeispiel. (Alle Relationen beziehen sich auf denselben Punkt x 0 ) (i) f 1 + f 2 = O(g 1 + g 2 ) (ii) f 1 f 2 = O(g 1 g 2 ) (iii) f 1 f 2 = O(g 1 + g 2 ) (iv) f 1 f 2 = O(g 1 g 2 ) (v) f 1 f 2 = O( g 1 g 2 ) im Fall f 2 0, g 2 0. Aufgabe 3.8 Sei f 1 = O(g 1 ) und f 2 = o(g 2 ) im Punkt x 0. Was können Sie über die Größenordnung von f 1 + f 2, f 1 f 2 und f 1 /f 2 sagen? Bemerkung 3.9 Ähnliche Definitionen existieren für den Vergleich von Folgen, z.b. a n = O(b n ) heißt, dass eine Konstante K existiert, so dass a n Kb n für jedes n. Daumenregel: [partielle Antwort auf Aufgabe 3.7] Die folgenden Operationen sind immer erlaubt: O(g 1 ) + O(g 2 ) = O(g 1 + g 2 ) O(g 1 )O(g 2 ) = O(g 1 g 2 ) O(g 1 + g 2 ) = O(g 2 ), falls g 1 Kg 2 in einer Umgebung. Dieselben Relationen gelten für o statt O: o(g 1 ) + o(g 2 ) = o(g 1 + g 2 ) o(g 1 )o(g 2 ) = o(g 1 g 2 ) o(g 1 + g 2 ) = o(g 2 ), falls g 1 Kg 2 in einer Umgebung. Darüber hinaus: o(g 1 )O(g 2 ) = o(g 1 g 2 ). Division ist immer gefährlich, aber wird typischerweise durch die folgende Identität ersetzt: 1 = 1 + O(g) (3.3) 1 + O(g) falls g = o(1). Zum Beweis von (3.3), sei f = O(g), d.h. es gibt δ > 0 und K < mit f(x) K g(x) für alle x x 0 δ. Wegen g = o(1), gibt es ein δ mit g(x) 1 2K x x 0 δ. Wähle wir δ := min{δ, δ }, dann f(x) 1 2, x x 0 δ, für alle

7 Numerik I. Version: und die geometrische Reihe f(x) = 1 f(x) + f2 (x) f 3 (x) +... konvergiert für x x 0 δ. Dann folgt für (3.3) f(x) + f 2 (x) f 3 (x) +... = f(x) ( 1 + f(x) + f(x) ) 2 f(x) = O(g). Mit diesen Daumenregeln kann man Folgendes berechnen: e x = 1 + O(x), sin x = x + O(x 3 ) im Punkt x 0 = 0 (aus Taylor-Entwicklung) dann e x + sin x = 1 + x + O(x) + O(x 3 ) = 1 + O(x) e x sin x = x + xo(x) + O(x 3 ) + O(x)O(x 3 ) = x + O(x 2 ) e x sin x = 1 + O(x) x + O(x 3 ) = 1 x 1 + O(x) 1 + O(x 2 ) = 1 x (1 + O(x))(1 + O(x2 )) = 1 x (1 + O(x)) = 1 x + O(1) Eine Approximation der höheren Ordnung erfordert eine präzisere Taylor-Entwicklung: und dann, z.b. = 1 x 1 1 x2 6 e x = 1 + x + O(x 2 ), e x sin x = 1 + x + O(x2 ) x x3 + 6 O(x5 ) = 1 x x3 6 ( x (1 + x + O(x 2 )) = 1 x In der ersten Zeile hatten wir die Identität sin x = x x3 6 + O(x5 ) 1 + x + O(x2 ) 1 + O(x 4 ) = 1 x( 1 + x + O(x 2 ) ) = 1 x O(x). x x3 6 + O(x5 ) = ( x x3 ) (1 + O(x 4 )) O(x4 ) ) (1 + x + O(x 2 )) benutzt. Um die Regel (3.3) zu verwenden, mußten wir den Nenner x x3 6 + O(x5 ) in der Form x x3 6 + O(x5 ) = ( Explizit (ohne O) ) (1 + O(x α )) mit einem geeigneten α schreiben. Dann ist es klar, daß Explizit = x x3 6 und deshalb ist α = 4. ( x x 3 6 ) (1 + O(x α )) = x x3 6 + O(xα+1 )

8 Numerik I. Version: Kondition eines Problems Jeder mathematische Algorithmus kann als eine Maschine betrachtet werden, die die Ausgabe (Output) aus den Eingaben (Input) liefert. Der Output muss vom Input eindeutig bestimmt werden, so dass es sich um eine Funktion f auf der Menge der Eingaben handelt. Bei der Veränderung der Eingaben, ändert sich das Ergebnis. Die Frage ist: wie empfindlich die Outputänderung gegenüber der Inputänderung ist. Diese Empfindlichkeit wird durch den Begriff der Kondition des Problems beschrieben. Für eine quantitative Beschreibung führt man eine Zahl, die Kondition, ein. Die Bedeutung dieses Begriffs ist offensichtlich: Die Eingaben sind nie exakt. Um etwas über die Zuverlässigkeit des Outputs zu wissen, muss man nicht nur die Zuverlässigkeit des Inputs, sondern auch den Vergrößerungsfaktor des Inputfehlers kennen. Der Einfachheit halber nehmen wir an, dass f : U R, wobei U R n. Z.B. im Fall des Multiplikationsalgorithmus betrachtet man U = R 2 und berechnet f(x 1, x 2 ) = x 1 x 2. Im Fall des Divisionsalgorithmus ist U = R (R\{0}) und f(x 1, x 2 ) = x 1 /x 2. Im Fall des Algorithmus der Lösung der quadratischen Gleichung x 2 + px + q = 0 hat man f(p, q) = p+ p 2 4q 2 p p 2 4q 2 und die Lösung ist ein Element aus C 2, und liegt nicht mehr in R. Seien x die wahre Größe des Inputs und x die Messdaten für x, die zur Verfügung stehen. Das wahre Ergebnis wäre f(x), aber unser Output ist f( x). Erinnern Sie sich an die Norm eines Vektors x = (x 1, x 2,...,x n ) R n (oder C n ): x := x x x n 2 (3.4) Definition 3.10 Der absolute Fehler im Input eines numerischen Verfahrens ist die Abweichung der wahren Größe x der Eingabedaten von den Wert x, der zur Verfügung steht: x x Der absolute Fehler im Output ist die Abweichung der wahren Größe f(x) von dem ausgerechneten Wert f( x) f(x) f( x) Zum Beispiel, wenn die wahre Größe x = 1 ist, und die Abweichung in x von x aus der 3 Rundung nach der dritten Dezimalen stammt, erhält man x = und einen absoluten Eingabefehler x x = = =

9 Numerik I. Version: Sei f(x) := x 2. Die Maschine rechnet x 2 = = und der absolute Fehler ist f(x) f( x) = = Diese Berechnung setzt voraus, dass am Ende keine Rundung gibt. Falls f explizit bekannt und glatt ist, kann man die Taylor-Entwicklung einsetzen, um die Abweichung zu bestimmen: f( x) f(x) = f(x) ( x x) + O( x x 2 ) wenn x x 1. (3.5) Falls x x klein ist, können wir die Terme zweiter Ordnung vernachlässigen (weil sie viel kleiner als die Terme erster Ordnung sind), und wir erhalten oder wobei f( x) f(x) = f(x) ( x x) + Terme der höheren Ordnung (THO) f( x) f(x). = f(x) ( x x). = für die Approximation in erster Ordnung steht. Dies gilt nur, falls f(x) 0, sonst wird der nächste Term der führende Term sein. Erinnern Sie sich, dass der Gradient f in jedem Punkt ein n-vektor ist. Der absolute Fehler im Output kann durch den absoluten Fehler im Input abgeschätzt werden: f( x) f(x) }{{} absoluter Fehler im Output f(x) x x }{{} absoluter Fehler im Input (3.6) Der absolute Fehler hat sich um den Faktor κ abs := f(x) vergrößert. Beachten Sie, dass diese Gleichung nur eine Abschätzung ist und den größten anzunehmenden Unfall zeigt (worst-case scenario). In den meisten Fällen ist der relative Fehler wichtiger und informativer als der absolute Fehler. Ein Fehler von 1 Millimeter bei Erdarbeiten ist unbedeutend, aber das ist ganz anders bei der Chipherstellung... Definition 3.11 Der relative Fehler eines numerischen Verfahrens/Problems ist das Verhältnis des absoluten Fehlers zu der wahren Größe: f( x) f(x) Relative Fehler =. f(x)

10 Numerik I. Version: BEDEUTUNG: Falls der relative Fehler kleiner als 10 k ist, bedeutet das, dass die ersten k signifikanten Ziffern zuverlässig sind. [Die erste signifikante Ziffer einer Zahl heißt die erste Ziffer in dezimaler Form, die nicht Null ist.] Die Abschätzung der Verstärkung des relativen Fehlers lautet: folglich f( x) f(x) f(x) }{{} relativer Fehler im Output f( x) f(x) = n i=1 n i=1 f(x) ( x i x i ) + (THO) x i f(x) x i x i f(x) }{{} i-ter Verstärkungsfaktor x i x i x }{{ i } relativer Fehler im i-ten Input Dieser Ausdruck berücksichtigt jede Koordinateneingabe separat. Der gesamte Verstärkungsfaktor ist der größte unter allen Faktoren, der auch relative (koordinatenweise) Kondition bestimmt: κ rel := max f(x) x i. (3.7) i=1,...,n x i f(x) Später werden wir eine koordinatenunabhängige Definition der relative Kondition geben; die endgültige Version ist Definition Definition 3.12 Ein Problem f : U R ist gut konditioniert, wenn die relative Kondition nicht zu groß ist, sonst ist es schlecht konditionert. Beachten Sie, dass der Begriff nicht zu groß keine exakte mathematische Bedeutung hat. In der Praxis ist κ rel 10 eine ganz angenehme Kondition, und κ rel 100 ist eben ganz akzeptabel. Falls κ rel 10 k, verliert man höchstens k zuverlässige Ziffern im Output im Vergleich zum Input. Man kann eine andere relative Fehlerabschätzung auch von (3.6) erhalten: f( x) f(x) f(x) }{{} relativer Fehler im Output f(x) x x x f(x) x }{{}}{{} Verstärkungsfaktor relativer Fehler im Input (3.8) Die Verstärkungsfaktoren in (3.7) und (3.8) sind nicht identisch. Die Abschätzung (3.7) ist schärfer und der Unterschied kann ganz signifikant sein. Beispiel 3.13 Wir berechnen beide Verstärkungsfaktoren im Fall der Multiplikation x = ( ) x1 x 2 f(x) = x 1 x 2 f(x) = ( ) x2 x 1

11 Numerik I. Version: So ist f(x) x 1 x 1 = f(x) f(x) x 2 x 2 = 1 f(x) und κ rel = 1. Dies zeigt, dass die Multiplikation (koordinatenweise) gut konditionert ist. Die Formel (3.8) liefert einen Verstärkungsfaktor f(x) x f(x) = x2 1 + x2 2 x 1 x 2, der immer größer (oder gleich) 2 ist (warum?), und er kann sehr groß sein, falls x 1 x 2 oder x 2 x 1. Dies zeigt, dass die Multiplikation als eine Funktion von beiden Variabeln schlecht konditioniert ist. Aufgabe 3.14 Berechnen Sie die beiden Verstärkungsfaktoren im Fall der Addition ( ) ( ) x1 1 x = f(x) = x 1 + x 2 f(x) =. 1 x 2 Zur Beachtung: Aus dem Ergebnis geht hervor, dass die Addition (auch koordinatenweise) schlecht konditioniert ist, wenn x 1 x 2, d.h. wenn es um die Subtraktion gleich großer Zahlen geht. In diesem Fall können sich die führenden Ziffern auslöschen. Das Ergebnis der Subtraktion = ist ganz unzuverlässig, weil ihre erste signifikante Ziffer von der fünften Ziffer der Eingabe abhängt. Beispiel 3.15 Die (koordinatenweise) Kondition κ rel der Division, f(x 1, x 2 ) = x 1 /x 2, ist auch κ rel = 1 (Berechnen Sie das!). Aber wir wissen aus unseren Erfahrungen, dass die Division durch eine Zahl, die fast Null ist, ganz gefährlich ist. Die Auflösung dieses Widerspruchs kommt aus dem zweiten, vernachlässigten Term der Taylor-Entwicklung. Betrachten wir nur den einfachsten Fall, die Berechnung des Reziproken: f(x) = 1/x. Aus der Taylor-Entwicklung mit zwei Termen erhalten wir 1 x = 1 x + ( 1 ) 1 ( 2 ) ( x x) + ( x x) 2 + O( x x 3 ) x 2 2! x 3 deshalb 1 1 x x 1 x x + x x 2 + O ( x x 3) x x x x Der Term x x 2, der wegen seiner höheren Ordnung in der Differenz x x 2 in der Berechnung x von κ rel vernachlässigt wurde, kann sogar größer als der Term x x sein, falls x mit dem x absoluten Fehler x x vergleichbar ist. Schlussfolgerung: die Division ist schlecht konditionert, falls der Nenner von derselben Größenordnung (oder eben kleiner) wie der absolute Fehler ist.

12 Numerik I. Version: Aufgabe 3.16 Beweisen Sie diese Aussage im allgemeinen Fall der Division: f(x 1, x 2 ) = x 1 /x 2. Dieses Problem mit der nicht erlaubten Vernachlässigung von Termen höherer Ordnung erfordert eine genauere Definition der Kondition. Darüber hinaus möchten wir eine Definition erhalten, die keine Differenzierbarkeit voraussetzt. Definition 3.17 Betrachten wir ein Problem, das durch die Funktion f : U R n definiert ist. Sei x U und δ > 0. Das Problem f in der Umgebung B δ (x) := { x : x x δ} heißt gut gestellt (well-posed), falls es eine endliche Konstante K gibt, so dass f( x) f(x) f(x) x x K x (3.9) für alle x B δ (x) gilt, wobei x 0, f(x) 0. Sonst heißt das Problem schlecht gestellt (ill-posed). Sei K(δ) die minimale (beste) Konstante, damit (3.9) gilt. Definition 3.18 Die relative Kondition des Problems f im Punkt x definieren wir durch [Warum existiert der Limes?] κ rel := lim δ 0 K(δ) Das Problem ist gut konditioniert, falls κ rel klein (etwa 1 100) ist. Beachten Sie, dass die Division aufgrund dieser Definition wegen des Limes δ 0 gut konditioniert ist. Aber die Division ist in der Umgebung B δ (x) schlecht gestellt, falls δ x ist. D.h. ein Problem kann in einer Umgebung schlecht gestellt sein (d.h. es ist keine endliche Abschätzung vorhanden), doch in einer kleineren Umgebung gut gestellt sein. Für nichtlineare Probleme ist die Kondition ein infinitesimaler Begriff (d.h. gilt nur für eine ganz kleine Umgebung) und ohne effektive Abschätzung für die Größe der Umgebung, in der das Problem gut gestellt ist, kann sie irreführend sein. Definition 3.19 Sei A R m n eine m n Matrix. Die (Euklidische) Norm von A ist durch definiert. Ax A := sup x =0 x (3.10)

13 Numerik I. Version: Bemerkung 3.20 Erinnern Sie sich, dass eine Matrix A auch als eine lineare Transformation betrachtet werden kann. In diesem Sinn kann man die Vergrößungsfaktoren der Abbildung x Ax betrachten, wobei die Länge der Vektoren x R n und Ax R m durch die Norm (3.4) gegeben wird. Die Norm der Matrix A ist der Vergrößungsfaktor in am meisten expandierende Richtung. Insbesondere gilt Ax A x. (3.11) Beachten Sie, dass die drei Normen in dieser Ungleichung unterschiedlich sind. Die erste Norm ist die Vektornorm (3.4) im R m, die zweite ist die in (3.10) definierte Matrixnorm und die dritte ist die Vektornorm im R n. Die Matrixnorm hängt von der ausgewählten Vektornorm ab; wir sagen, die Vektornorm induziert diese Matrixnorm. Aufgabe 3.21 Zeigen Sie, dass das Supremum in der Definition durch Maximum ersetzt werden kann. Satz 3.22 Es sei U R n und sei f : U R m stetig differenzierbar in der Umgebung eines Punktes x U, wobei x 0, f(x) 0. Die relative Kondition des Problems f : U R m im Punkt x ist κ rel = Df(x) Hier bezeichnet Df(x) R m n die Jacobi-Matrix von f im Punkt x. x f(x). (3.12) Bemerkung: Diese Formel sieht etwas anders als unsere vorläufige Definition (3.7) aus (siehe auch die Bemerkung nach (3.7)). In dieser Definition wurde die Kondition bezüglich jeder Koordinate berechnet und der i-te Verstärkungsfaktor f x i (3.13) x i f(x) ist einfach die Kondition (=Empfindlichkeit des relativen Fehlers) der Funktion x i f(x 1,...x i 1, x i, x i+1,...) von einer (der i-ten) Variablen, falls alle anderen Variablen festgehalten werden. Wenn man f als eine Funktion von x i betrachtet, sind (3.12) und (3.13) identisch. In den meisten Fällen ist die Kondition bezüglich aller möglichen Störungs- oder Fehlervektoren und nicht nur für die Koordinatenrichtungen wichtig, deshalb werden wir (3.7) nicht mehr benutzen. Die korrekte Definition ist Definition 3.18.

14 Numerik I. Version: Beweis. Aufgrund der Taylor-Entwicklung in Integralform gilt f( x) f(x) = 1 0 Df ( (1 s)x + s x ) ( x x)ds (Achten Sie auf die Matrix-Vektor Multiplikation innerhalb des Integrals) also folgt f( x) f(x) Deshalb gilt 1 0 Df ( (1 s)x + s x ) x x ds ( sup y B δ (x) K(δ) und aufgrund der Stetigkeit der Ableitung Df folgt: lim K(δ) δ 0 x f(x) Df(y) ) x x. x f(x) sup Df(y) (3.14) y B δ (x) ( lim sup sup δ 0 y B δ (x) Df(y) ) = Df(x) x f(x). Dies hat bewiesen. κ rel Df(x) x f(x) (3.15) [Warnung: Man kann den Limes in einer Ungleichung nicht ohne weiteres nehmen. Sei M(δ) := x f(x) sup y B δ (x) Df(y) die Funktion auf der rechten Seite von (3.14). Wir wissen, dass K(δ) M(δ) für alle δ > 0 gilt. Daraus folgt aber nicht, dass lim K(δ) lim M(δ) δ 0 δ 0 weil die Existenz des Limes nicht garantiert ist. Die folgenden Aussagen sind immer korrekt: und lim sup δ 0 lim inf δ 0 K(δ) lim sup M(δ) δ 0 K(δ) lim inf δ 0 M(δ) Falls wir die Existenz des Limes auf einer Seite wissen, können wir lim sup oder lim inf auf derselben Seite durch lim ersetzen, aber a priori nicht an der anderen Seite. In unserem Fall folgt die Existenz des Limes auf der linken Seite aus der Monotonie der Funktion K(δ). An der rechten Seite folgt sie aus der Stetigkeit der Jacobimatrix und der Norm (Zum Nachdenken!).]

15 Numerik I. Version: Für die andere Richtung sei v ein Einheitsvektor der Df(x) v = Df(x) v (3.16) erfüllt. Ein solcher Vektor existiert wegen der Minimaleigenschaft der Matrixnorm und Kompaktheit (Überlegen Sie!). Betrachten wir x := x + δv, wobei δ klein ist: 1 f( x) f(x) = δ Df ( (1 s)x + s x ) v ds 0 = δdf(x)v + δ 1 0 [ Df ( (1 s)x + s x ) Df(x) ] v ds Es folgt, mittels (3.16), x x = δ und der Dreiecksungleichung (in der Form a+b a b ) f( x) f(x) f(x) { [ x Df(x) f(x) 1 0 Df ( (1 s)x + s x ) ]} x x Df(x) ds x Der zweite Term verschwindet im Limes δ 0, weil Df(x), als stetige Funktion auf einem kompakten Gebiet B δ (x), gleichmäßig stetig ist: lim δ Df ( (1 s)x + s x ) Df(x) ds = 0 Der erste Term liefert die Gegenrichtung der Ungleichung (3.15). 3.5 Stabilität eines Verfahrens Die relative Kondition eines Problems bestimmt die Fehlerverstärkung (oder Fehlerdämpfung). Im vorherigen Kapitel wurde dieses Phänomen als eine objektive Tatsache des Problems betrachtet. In der Praxis teilt man die numerische Aufgabe auf kleinere Unterprobleme auf (z.b. jeder Algorithmus der Multiplikation von Zahlen besteht aus Additionen). Der Outputfehler jedes Schrittes wird als Inputfehler der nächsten Schritte auftreten. Im schlimmsten Fall werden sich diese Verstärkungsfaktoren multiplizieren. Auch wenn jeder Schritt gut gestellt ist (z. B. κ rel 2), kann man nach n Schritten einen exponentiellen großen Verstärkungfaktor 2 n sammeln. Die Gefahr ist, dass man ein ursprünglich gut gestelltes Problem durch einen Algorithmus löst, der entweder ein schlecht gestelltes Unterproblem enthält, oder zu viele Unterprobleme verwendet, deren Kondition größer als eins ist. In beiden Fälle wird ein gut gestelltes physikalisches Problem künstlich in ein schlecht gestelltes mathematisches Problem umgewandelt. Ein numerisches Verfahren wird stabil oder gutartig genannt, wenn der Fehlerverstärkungsfaktor des Verfahrens nicht (zu viel) größer als die Kondition des Problems ist. D.h. der Fehler des Verfahrens nicht (zu viel) größer als der unvermeidbare Fehler ist.

16 Numerik I. Version: Das folgende Beispiel zeigt, dass man manchmal mit einfachen Tricks einen instabilen Algorithmus durch einen stabilen ersetzen kann. Beispiel. Sei x die kleinere der beiden Nullstellen von x 2 2bx + c = 0 und nehmen wir an, dass b 2 c > 0. Die Lösung ist durch x = b b 2 c (3.17) gegeben. Weil b 2 c, gilt b 2 c b, und eine Auslöschung der führenden Ziffern tritt auf. Der von (3.17) beschriebene Algorithmus besteht aus vier elementaren Unterproblemen (dabei bezeichnen y 1, y 2,... die Zwischenresultate): Schritt 1. y 1 := b b Schritt 2. y 2 := y 1 c Schritt 3. y 3 := y 2 Schritt 4. x = y 4 := b y 3 Die ersten drei Schritte sind gut gestellt, aber der letzte ist es nicht (man benutzt (3.7)): κ rel (letzter Schritt) = y 4 y3 = y 3 y 4 b 2 c b b 2 c = (b + b 2 c) b 2 c c b 2 1 c Glücklicherweise kann man die Lösung auch in der folgenden Form aufschreiben: Der neue Algorithmus ist Schritt 1. y 1 := b b Schritt 2. y 2 := y 1 c Schritt 3. y 3 := y 2 Schritt 4. y 4 := b + y 3 Schritt 5. x = y 5 = c/y 4 x = c b + b 2 c (3.18) Die Kondition der letzten zwei Schritte ist κ rel (Schritt 4 und 5) = y 5 c y3 = y 3 (b + (b + b2 c) b 2 c b2 c b 2 c) 2 = c b + b 2 1 c y 5 Beide Algorithmen sind mathematisch äquivalent. Vom numerischen (praktischen) Standpunkt wird der zweite bevorzugt, weil er (im Bereich b 2 c) stabil ist. Aufgabe 3.23 Betrachten Sie dasselbe Problem in dem Parameterbereich b 2 c (d.h. b 2 c b 2 ). Welcher Algorithmus ist stabil? Ist das Problem gut gestellt? [Vorsicht: die Antwort ist anders als Sie oberflächlich denken könnten!]

17 Numerik I. Version: Allgemeine Normen auf einem Vektorraum Definition: Sei V ein Vektorraum (reell oder komplex). Eine Funktion : V [0, ) heißt Norm, falls sie die folgenden drei Eigenschaften erfüllt: [Dreiecksungleichung: triangle inequality] x 0 und x = 0 x = 0 ; (3.19) λx = λ x, wobei λ R, (C) (3.20) x + y x + y. (3.21) Bemerkung 3.24 Erinnern Sie sich, dass man für die Definition eines Vektorraums einen Körper [der Körper der Skalaren: Zahlen ] braucht. In der Praxis ist dieser Körper immer der Körper der reellen oder der komplexen Zahlen (R oder C). Wir formulieren alle unsere Definitionen und Aussagen für reelle Zahlen, Vektoren und Matrizen, aber genau dieselben gelten für komplexe Zahlen. Wir weisen auf diesen Unterschied hin, wenn es wichtig ist. Das bekannteste Beispiel ist die Euklidische Norm auf V = R n oder V = C n : x := x x x n 2 In den meisten Fällen wird die Euklidische Norm als Vektornorm benutzt. Weitere wichtige Beispiele (auf R n oder C n ) sind: n x 1 := x i Summennorm (3.22) i=1 x := max i=1...n x i Maximumnorm (3.23) Wenn es nötig ist, um Missverständnisse zu vermeiden, kann man die euklidische Norm durch einen Index 2 von anderen Normen unterscheiden: x 2 := x x n 2 Wenn es keinen Index gibt, bezeichnet x die euklidische Norm. Aufgabe 3.25 Beweisen Sie, dass alle diese Normen die natürlichen Eigenschaften(3.19), (3.20),(3.21) einer Norm erfüllen.

18 Numerik I. Version: Diese Normen sind spezielle Fälle der so genannten p-normen (oder l p -Normen), die durch die Formel definiert werden, wobei 1 p < ist. Aufgabe 3.26 Beweisen Sie, dass x p := ( x 1 p x n p) 1/p lim x p = max x i, p i=1...n (3.24) deshalb ist die Notation x gerechtfertigt, obwohl diese Norm nicht direkt aus der Formel (3.24) stammt. Aufgabe 3.27 Beweisen Sie, dass x p wirklich eine Norm ist, d.h. sie erfüllt die Eigenschaften (3.19), (3.20), (3.21), falls 1 p <. Aufgabe 3.28 Beweisen Sie, dass im Fall 0 < p < 1 die Dreiecksungleichung x + y p x p + y p nicht immer gilt. Damit ist x p in diesem Fall keine Norm. 3.7 Die Normen einer Matrix Unser Ziel ist zu verstehen, was mit der Matrix in Kapitel 2.2 schiefgegangen ist. Wir müssen geeignete Begriffe einführen, um die Größe einer Matrix zu messen. Wir wiederholen die Definition der Norm einer allgemeinen m n Matrix. Zuerst setzen wir voraus, dass beliebige Vektornormen auf R n und auch auf R m gegeben werden. Definition 3.29 Sei A R m n eine reelle m n Matrix. Die Norm von A ist durch definiert. Ax A := sup x =0 x (3.25) Genauso wie im Euklidischen Fall (Aufgabe 3.21) kann das Supremum durch das Maximum ersetzt werden. Offensichtlich hängt die Matrixnorm von den ausgewählten Vektornormen ab; wir sagen, dass gegebene Vektornormen auf R n und R m eine Matrixnorm auf dem Raum der m n Matrizen durch die Formel (3.25) induzieren. Im Allgemeinen wird die Norm (3.25) als die von der Vektornorm induzierte Matrixnorm bezeichnet.

19 Numerik I. Version: Aufgabe 3.30 Beweisen Sie, dass die von (3.25) definierte Größe eine Norm auf dem Vektorraum der m n Matrizen ist, d.h. sie erfüllt die folgende Bedingungen (entsprechend den Gleichungen (3.19), (3.20), (3.21) ) A 0, und A = 0 A = 0 ; λa = λ A, wobei λ R A + B A + B. Darüber hinaus gelten I = 1 und die zusätzliche Relation AB A B, (3.26) falls die Matrizen A und B wegen ihrer Dimensionen multipliziert werden können. Aufgabe 3.31 Beweisen Sie, dass die Maximumnorm (3.23) die folgende, sogenannte Zeilensummennorm auf dem Raum der m n Matrizen induziert: n A := max A ij (3.27) i=1...m j=1 Beweisen Sie auch, dass die Summennorm (3.22) die Spaltensummennorm induziert, die man durch die Formel berechnen kann. m A 1 := max A ij (3.28) j=1...n i=1 Bemerkung 3.32 Die Menge der m n Matrizen bildet einen Vektorraum mit den natürlichen Operationen (Vektoraddition und Multiplikation mit Konstanten). Man kann unterschiedliche Normen auf diesem Vektorraum definieren und nicht alle Normen werden von einer Vektornorm durch (3.25) definiert. Es gibt Matrixnormen, die nicht von einer Vektornorm induziert sind. Das wichtigste Beispiel ist die Frobeniusnorm (oder Hilbert-Schmidt- Norm) der Matrix A, die durch A Frob := A HS := Sp(A A) = Sp(AA m n ) = A ij 2 (3.29) i=1 j=1 definiert wird. Erinnern Sie sich, dass A die adjungierte Matrix [adjoint matrix] ist: A = A t (transponierte Matrix) im Falle des reellen Körpers und A = A t (Hermitische transponierte

20 Numerik I. Version: Matrix [hermitian transpose]) im Falle des komplexen Körpers [complex field]. Sp bezeichnet die Spur [trace] der quadratischen Matrix, n Sp M = Tr M = M ii. i=1 Die Frobeniusnorm der Identitätsmatrix I ist I HS = n und jede Norm von I, die durch (3.25) definiert wird, ist offensichtlich 1. Oberflächlich betrachtet, scheint dieses Problem nur eine falsche Normalisierung zu sein. Wenn eine Norm ist, dann ist auch := c eine Norm für alle positiven Konstanten c. Mit anderen Worten kann jede Norm so normalisiert werden, dass I = 1 ist. Zum Beispiel, die modifizierte Frobeniusnorm A Frob := 1 m n A ij n 2 (3.30) i=1 j=1 erfüllt I Frob sein. = 1 und ist ein natürlicher Kandidat, um von einer Vektornorm induziert zu Aufgabe 3.33 Beweisen Sie, dass die modifizierte Frobeniusnorm (3.30) nicht von irgendeiner Vektornorm im R m und R n induziert werden kann. Hinweis: Beweisen Sie, dass jede von einer Vektornorm induzierte Matrixnorm die Relation (3.26) erfüllt, aber die modifizierte Frobeniusnorm nicht. Warnung: Trotz aller Ähnlichkeiten, ist die Frobeniusnorm nicht die von der euklidischen 2 Vektornorm induzierte Matrixnorm! Leider ist keine einfache Formel (ähnlich zu (3.27), (3.28)) für die von der euklidischen Norm induzierten Matrixnorm A 2 verfügbar. Definition 3.34 Für jede quadratische n n Matrix M bezeichnet r(m) := max{ λ : λ C ist Eigenwert von M} (3.31) den Spektralradius von M. Bemerkung 3.35 Die Eigenwerte können auch im Fall reeller Matrizen komplexe Zahlen sein. Die grundlegende Tatsache, dass jede n n Matrix (reell oder komplex) genau n Eigenwerte besitzt, gilt nur unter der Voraussetzung, dass alle komplexen Eigenwerte auch mitgezählt werden, und jeder Eigenwert mit seiner Vielfachheit in Betracht gezogen wird.

21 Numerik I. Version: Satz 3.36 Die von der euklidischen Vektornorm induzierte Matrixnorm ist durch A 2 = r(a A) (3.32) zu berechnen. Wenn A symmetrisch ist, A = A, erhält man die einfachere Formel A 2 = r(a). (3.33) Beweis. A A ist eine symmetrische, positiv semidefinite Matrix, so dass es ein vollständiges System x 1,...,x n von orthonormierten Eigenvektoren von A A gibt: A Ax k = λ k x k wobei λ k 0, k = 1, 2,..., n. Sei x R n beliebig, dann erhält man die Basisdarstellung x = k c k x k. Dann Ax 2 2 = x A Ax = k Dies hat A 2 λ k c k 2 ( max k λ k ) k c k 2 = ( ) max λ k x 2 2 = r(a A) x 2 2. k r(a A) bewiesen. Die andere Ungleichung erhält man mit der Wahl x = x m, wobei x m ist der Eigenvektor zu einem maximalen Eigenwert ist. Im Falle einer symmetrischen Matrix ist A A = A 2, und offensichtlich r(a 2 ) = r(a) 2, weil die Eigenwerte von A 2 das Quadrat der Eigenwerte von A sind. Deshalb ist r(a A) = r(a 2 ) = r(a). Warnung: Die einfachere Formel (3.33) gilt nur für symmetrische Matrizen. Ein Gegenbeispiel ist A = ( ) Satz 3.37 Für jede Matrix gilt A 2 = A 2. Insbesondere r(a A) = r(aa ), folglich kann man die einfachere (kleinere) Matrix unter A A und AA bei der Berechnung der Matrixnorm A 2 betrachten. Beispiel: Berechne die Norm von A = ( )

22 Numerik I. Version: Wir können zwei verschiedene Matrizen, A A und AA bilden: A ( ) A = AA = Wir müssen die Eigenwerte berechnen und es ist klar, dass dies für die kleinere Matrix (etwas) einfacher ist. Die Eigenwerte sind λ(aa ) = {202.41, 1.58} und die Norm ist A 2 = = Die Eigenwerte der anderen Matrix sind λ(a A) = {202.41, 1.58, 0, 0}. Es gilt immer, dass die Eigenwerte von A A und die Eigenwerte von AA (mit Vielfachheiten mitgerechnet) identisch sind, abgesehen von zusätzlichen Null-Eigenwerten. Beweis des Satzes Es gilt für jeden Vektor y y 2 = max{v y : v 2 = 1} (Variationsprinzip Aufgabe). Folglich A 2 = max{ Ax 2 : x 2 = 1} = max{v Ax : x 2 = v 2 = 1} = max{(a v) x : x 2 = v 2 = 1} = max{ A v 2 : v 2 = 1} = A. Die natürliche Frage taucht auf: wenn die durch die Euklidische Vektornorm induzierte Matrixnorm so schwierig zu berechnen ist (im Vergleich zu den einfacheren Formeln (3.27), (3.28)), warum benutzen wir meistens dennoch diese Norm? Warum nicht 1 oder? Die Antwort: die Euklidische Norm ist durch ein Skalarprodukt induziert. Diese zusätzliche Struktur, die nur im Fall der Norm 2 verfügbar ist, ermöglicht viele Berechnungen. In einem Vektorraum mit Skalarprodukt kann man vieles berechnen! 3.8 Die Konditionszahl einer Matrix Sei A R n n nichtsingulär und b R n gegeben. Das Problem des linearen Gleichungssystems Ax = b ist durch die Funktion f(b) = A 1 b gelöst. Die Jacobi-Matrix ist Df(b) = A 1 (konstante Matrix). Also ist die Kondition des Problems durch die Formel (3.12) berechenbar: κ rel = A 1 b A 1 b = A 1 Ax x A A 1,

23 Numerik I. Version: wobei alle Matrixnormen von einer festen Vektornorm induziert sind. In den meisten Fällen wird die euklidische Norm benutzt. Definition 3.38 Die Konditionszahl (oder einfach die Kondition) einer nichtsingulären Matrix ist κ(a) := A A 1 wobei eine induzierte Matrixnorm ist. Im Falle der euklidischen Norm gilt κ(a) = max λ(a A) min λ(a A) (3.34) im Fall der allgemeinen regulären Matrizen, und κ(a) = max λ(a) min λ(a) im Fall der symmetrischen Matrizen. Dabei bezeichnet λ(m) = { λ 1 (M), λ 2 (M),..., λ n (M) } die Menge der Absolutbeträge der Eigenwerte von M. Offensichtlich gilt für jede Matrix. κ(a) 1 Für den Beweis der Formel (3.34) beachten Sie dass A 1 2 = r ( ) (A 1 )(A 1 ) = r ( ) 1 (A A) 1 = min λ(a A) weil die Eigenwerte von (A A) 1 die Kehrwerte der Eigenwerte von A A sind. Bemerkung 3.39 Die Konditionszahl hängt von der angewandten Vektornorm und der davon induzierten Matrixnorm ab. Im Falle der von der euklidischen Vektornorm induzierten Matrixnorm = 2, nennt man κ(a) die spektrale Kondition der Matrix A (Formel (3.34)). Oft wird die Notation κ 2 (A) benutzt. Offensichtlich liefert die spektrale Konditionszahl der Matrix A eine obere Abschätzung für die Kondition des Problems der Lösung der Gleichung Ax = b. Wenn κ(a) groß ist, ist dieses Problem schlecht konditioniert: Eine kleine Störung im Input b kann zu einer großen Änderung im Output führen.

24 Numerik I. Version: Fehlerabschätzung für lineare Gleichungssysteme mit gestörten rechten Seiten Satz 3.40 Es sei A eine reguläre Matrix und b,x und b, x seien Vektoren mit Ax = b, A(x + x) = b + b (3.35) Dann gelten für den absoluten, bzw. relativen Fehler die folgenden Abschätzungen x A 1 b, x x κ(a) b b. Die Bedeutung dieses Satzes ist, dass die Konditionszahl den Verstärkungsfaktor der relativen Fehler bei der Lösung eines linearen Gleichungssystems nach oben abschätzt. Der Vektor x löst die ursprüngliche Gleichung Ax = b. Man stört die rechte Seite der Gleichung von b zu b + b, wobei b ein beliebiger Vektor ist (in der Praxis ist b viel kleiner als b, aber der Satz benutzt diese Tatsache gar nicht). Die Lösung des gestörten Problems hat sich von x zu x + x geändert. Beweis. Aus (3.35) erhält man A x = b, woraus die erste Abschätzung des Satzes folgt. Dann benutzt man diese Abschätzung für die Berechnung des relativen Fehlers x x A 1 b Ax b x κ(a) b b wobei Ax = b in zweitem Schritt benutzt wurde. Das folgende Problem ist absolut wichtig. Es wird in jeder Numerik Prüfung gefragt. Aufgabe 3.41 Ihr Boss fragt nach der Lösung der Gleichung Dabei ist A = ( ) Ax = b ( ) 1 und b = 4 (i) Die Eingabe b auf der rechten Seite wird gemessen. Wie genau muss die Messung sein, damit der relative Fehler des Resultats x kleiner als 10 2 ist? (ii) Nehmen wir an, dass die Elemente von A mit Genauigkeit (=relativer Fehler) 10 3 gemessen wurden. Ist es möglich eine Genauigkeit von 10 2 in der Lösung x zu erreichen? Wenn ja, was ist der größte erlaubte Fehler bei der Messung von b?

25 Numerik I. Version: Bemerkung 3.42 (Wichtig!!) Beachten Sie, dass der Satz 3.40 stärker ist als die ursprüngliche Berechnung von κ(a), die sich auf den Satz 3.22 stützt. Satz 3.22 behauptet, dass der relative Fehler höchstens um einen Faktor von ca. κ rel verstärkt wird, vorausgesetzt, dass der relative Fehler des Inputs klein war. [Bitte stellen Sie sicher, dass Sie die Bedeutung der K(δ) und κ rel gut verstanden haben!!]. Wie klein dieser Fehler sein soll, ist im Satz 3.22 nicht angegeben, weil der Limes in Definition 3.18 keine effektive Kontrolle hat. Deshalb ist der Satz 3.22 (in der vorliegenden Form) in der Praxis nutzlos. Ähnlich sind alle Sätze in der Praxis nutzlos, die das erwünschte Ergebnis nur nach einem Limesübergang ohne Kontrolle der Abweichung vom Limes erhalten. Dagegen gilt Satz 3.40 für alle relativen Fehler, und liefert eine effektive Abschätzung für den relativen Fehler ohne Limes. Man kann Satz 3.22 verbessern, um eine effektive Abschätzung für die Differenz K(δ) κ rel bezüglich der δ zu erhalten. Dafür muss man eine stärkere Bedingung bezüglich der Differenzierbarkeit der Funktion f voraussetzen. Aufgabe 3.43 Nehmen Sie an, dass f im Satz 3.22 zweimal stetig differenzierbar ist und alle Ableitungen bis zur zweiten Ordnung gleichmäßig beschränkt sind: [ max f(x) + Df(x) + D 2 f(x) ] C x wobei C eine Konstante ist. Schätzen Sie die Differenz K(δ) κ rel von oben ab Was ging schief mit der Matrix in Kapitel 2.2? Jetzt können wir erklären, warum die Inversion der Matrix in Kapitel 2.2 so schlecht konditioniert war. Die Matrix in (2.4) ist symmetrisch, deshalb A = r(a) = max{ λ : λ Eigenwert von A} (für die Eigenwerte, siehe (2.7)). Die Eigenwerte der Inversen von A sind die Kehrwerte der Eigenwerte von A, deshalb gilt A 1 = r(a 1 ) = max{ λ : λ Eigenwert von A 1 } = max{ λ 1 : λ Eigenwert von A} = Die Kondition von A ist 1 min{ λ : λ Eigenwert von A} = κ(a) = A A 1 = = 2984

26 Numerik I. Version: Sei A eine nichtsinguläre symmetrische Matrix, und seien v max, v min die normalisierten Eigenvektoren zu den maximalen, bzw. minimalen (im Absolutbetrag) Eigenwerten λ max, λ min. Das schlimmste Szenario bei der Lösung der Ax = b ist, wenn b der Eigenvektor v max ist, und die Eingabe b in die Richtung des Eigenvektors v min gestört wird: b b := b + εv min. Die Lösung der ursprünglichen Aufgabe, Ax = v max, ist offensichtlich x = λ 1 max v max. Die Lösung der gestörten Aufgabe, A x = v max + εv min, folgt Der relative Fehler der Lösung ist x = A 1 (v max + εv min ) = λ 1 maxv max + ελ 1 minv min x x x während der relative Fehler der Eingabe nur = ε λ max λ min, b b b = ε ist. Dieses Beispiel zeigt, dass im schlimmsten Falle der Verstärkungsfaktor der relativen Fehler, κ(a) = λ max /λ min, erreicht werden kann. Aufgabe 3.44 Prüfen Sie nach, dass dieses Szenario im Kapitel 2.2 aufgetreten ist Fehlerabschätzung für lineare Gleichungssysteme mit gestörter Matrix Unseres Ziel ist, die Lösungen von Ax = b, (A + A)(x + x) = b + b zu vergleichen, wobei A eine reguläre Matrix ist. Beachen Sie, dass die gestörte Matrix A+ A singulär sein kann und es keine Garantie dafür gibt, dass die zweite Gleichung überhaupt eine Lösung hat. Glücklicherweise ist die Inversion der regulären Matrizen eine stetige Operation, und die Menge der regulären Matrizen ist offen. D.h. wenn A regulär und A genügend klein ist, ist A + A regulär. Im Folgenden setzen wir voraus, dass die Matrixnorm von einer Vektornorm induziert wurde. Lemma 3.45 Sei B eine Matrix mit B < 1. Dann ist I + B regulär und es gilt (I + B) B (3.36)

27 Numerik I. Version: Beweis. Für alle Vektoren x gilt (I + B)x x Bx x B x = (1 B ) x und die Regularität folgt. Die Substitution y := (I + B)x, d.h. x = (I + B) 1 y liefert dann daraus erhält man (3.36).. (I + B) 1 y 1 1 B y, Lemma 3.46 Sei A eine reguläre Matrix. Für jede Matrix A mit A < 1/ A 1 ist A + A regulär, und ihre Inverse ist durch (A + A) 1 1 A 1 1 A (3.37) beschränkt. Die Operation der Inversion ist stetig mit einer effektiven Kontrolle: (A + A) 1 A 1 C A, für A 1 2 A 1 (3.38) wobei die Konstante C := 2 A 1 2 gewählt werden kann. Beweis. Schreiben wir A + A = A(I + A 1 A). Wegen A 1 A A 1 A < 1 ist nach dem vorherigen Lemma die Matrix A + A regulär (Produkt zweier regulärer Matrizen) und (A + A) 1 = (I + A 1 A) 1 A 1 liefert (3.37). Die Abschätzung (3.38) folgt aus der Darstellung und aus (3.37). A 1 1 A 1 A A 1 1 A 1 A (A + A) 1 A 1 = (A + A) 1 ( A)A 1 [Prüfen Sie es nach!] Satz 3.47 Es sei A eine reguläre Matrix, A eine andere Matrix mit A < A 1 1 und b, x und b, x seien Vektoren mit Ax = b, (A + A)(x + x) = b + b (3.39) Dann gilt die folgende Abschätzung für den relativen Fehler x x κ(a) ( A 1 A 1 A A + b ). (3.40) b

28 Numerik I. Version: Beweis. Aus den Gleichungen (3.39) folgt unmittelbar und aus der Abschätzung (3.37) x (A + A) x = b ( A)x 1 ( ) b + A x A 1 1 A Division durch x und b A x liefert (3.40).