Numerik für ingenieur- und naturwissenschaftliche. Antje Franke-Börner (Skript nach M. Eiermann und O. Ernst)

Transkript

1 Numerik für ingenieur- und naturwissenschaftliche Studiengänge Antje Franke-Börner (Skript nach M. Eiermann und O. Ernst)

2 Numerik f. Ingenieure und Naturwissenschaftler INHALT 1. Einleitung 2. Einführung und Begriffe 2.1 Mathematische Modellbildung und numerische Simulation am Beispiel eines Wasserkreislaufs 2.2 Linearisierung und Iterationsverfahren am Beispiel des Newton-Verfahrens 2.3 Diskretisierung und Stabilität am Beispiel der Wärmeleitungsgleichung 3. Gleitpunktarithmetik und Fehleranalyse 3.1 Ein einführendes Beispiel - Berechnung von π 3.2 Gleitpunktzahlen 3.3 Rundung 3.4 Der IEEE-754 Standard INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 1

3 Numerik f. Ingenieure und Naturwissenschaftler INHALT II 3.5 Korrekt gerundete Gleitpunktarithmetik 3.6 Numerische Stabilität und Fehleranalyse 3.7 Ein abschließendes Beispiel 4. Direkte Verfahren zur Lösung linearer Gleichungssysteme 4.1 Vorbemerkungen 4.2 Was ist ein lineares Gleichungssystem? 4.3 Das Lösen von Dreieckssystemen 4.4 Gauß-Elimination Geschichtliches Der Algorithmus 4.5 Pivotisierung 4.6 Vektor- und Matrixnormen 4.7 Stabilität bei der Gauß-Elimination INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 2

4 Numerik f. Ingenieure und Naturwissenschaftler INHALT III 4.8 Die Cholesky-Zerlegung 4.9 Bandmatrizen, Tridiagonalmatrizen 5. Lineare Ausgleichsrechnung 5.1 Ausgleichspolynome 5.2 Die Normalgleichungen 5.3 Total Least-Squares 5.4 Die Singulärwertzerlegung 5.5 Orthogonale Matrizen und QR-Zerlegung 5.6 Die Kondition des linearen Ausgleichsproblems 6. Interpolation und numerische Approximation 6.1 Polynominterpolation 6.2 Spline-Interpolation 6.3 Trigonometrische Interpolation INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 3

5 Numerik f. Ingenieure und Naturwissenschaftler INHALT IV 6.4 Schnelle Fourier-Transformation (FFT) 6.5 Anwendung der FFT 7. Numerische Integration 7.1 Newton-Cotes-Formeln 7.2 Zusammengesetzte Integrationsformeln 7.3 Adaptive Integrationsverfahren 7.4 Gauß-Quadratur 8. Iterationsverfahren zur Lösung von Gleichungssystemen 8.1 Der Banachsche Fixpunktsatz 8.2 Konvergenzordnung 8.3 Nullstellen reellwertiger Funktionen 8.4 Das Newton-Verfahren im R n 8.5 Modifikationen des Newton-Verfahrens INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 4

6 Numerik f. Ingenieure und Naturwissenschaftler INHALT V 8.6 Nichtlineare Ausgleichsprobleme 8.7 Klassische Iterationsverfahren für lineare Systeme 8.8 Gradientenverfahren INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 5

7 Einleitung VORBEMERKUNGEN Die Numerik oder numerische Mathematik ist ein Teilgebiet der angewandten Mathematik. Die Aufgabe der Numerik ist die Konstruktion und Analyse von Algorithmen zur Lösung mathematischer Probleme. Diese Probleme stammen ursprünglich aus Technik, Naturwissenschaften, Sozial- oder Wirtschaftswissenschaften, liegen aber in mathematischer Form, z.b. als Gleichungssystem, Differentialgleichung oder Optimierungsproblem vor. In dieser Vorlesung konzentrieren wir uns auf numerische Grundaufgaben, welche immer wieder als Teilprobleme in komplexeren Anwendungen auftreten. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 6

8 Einleitung THEMEN DIESER VORLESUNG Themen dieser Vorlesung sind Gleitpunktarithemtik, das Lösen von linearen Gleichungssystemen, Ausgleichsrechnung, die Approximation komplizierter Funktionen durch einfachere, die näherungsweise Berechnung eines Integrals, das Lösen nichtlinearer Gleichungssysteme. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 7

9 Einleitung LITERATUR I James W. Demmel. Applied Numerical Linear Algebra. SIAM, Philadelphia Gene H. Golub, Charles F. Van Loan. Matrix Computations (3rd edition). The Johns Hopkins University Press, Baltimore Eugene Isaacson, Herbert Bishop Keller. Analysis of Numerical Methods. Dover Publications, Inc., New York Alfio Quarteroni, Riccardo Sacco, Fausto Saleri. Numerische Mathematik 1 und 2. Springer, Berlin Josef Stoer, Roland Bulirsch. Numerische Mathematik 1 und 2. Springer, Berlin 1999, E-Book. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 8

10 Einleitung LITERATUR II Endre Süli and David F. Mayers. An Introduction to Numerical Analysis. Cambridge University Press, Cambridge Lloyd N. Trefethen, David Bau, III. Numerical Linear Algebra. SIAM, Philadelphia Hans R. Schwarz, Norbert Köckler. Numerische Mathematik. Vieweg+Teubner, E-Book. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 9

11 Einführung und Begriffe INHALT 1. Einleitung 2. Einführung und Begriffe 2.1 Mathematische Modellbildung und numerische Simulation am Beispiel eines Wasserkreislaufs 2.2 Linearisierung und Iterationsverfahren am Beispiel des Newton-Verfahrens 2.3 Diskretisierung und Stabilität am Beispiel der Wärmeleitungsgleichung 3. Gleitpunktarithmetik und Fehleranalyse 3.1 Ein einführendes Beispiel - Berechnung von π 3.2 Gleitpunktzahlen 3.3 Rundung 3.4 Der IEEE-754 Standard 3.5 Korrekt gerundete Gleitpunktarithmetik 3.6 Numerische Stabilität und Fehleranalyse INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/ Ein abschließendes Beispiel

12 Einführung und Begriffe NUMERISCHE SIMULATION Simulation ist die Nachbildung eines dynamischen Prozesses in einem Modell, um zu Erkenntnissen zu gelangen, die auf die Wirklichkeit übertragbar sind (VDI-Richtlinie 3633). Zum einen ist die rechnerische Simulation dann unumgänglich, wenn reale Experimente mit den Untersuchungsobjekten undurchführbar sind: Denken Sie etwa an die Entstehung von Galaxien oder an Untersuchungsobjekte, die erst geplant sind, also noch gar nicht existieren. Aber auch wenn reale Experimente möglich sind, ist es oft kostengünstiger und ressourcenschonender, stattdessen numerische Simulationen einzusetzen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 11

13 Einführung und Begriffe BEISPIEL WASSERKREISLAUF U, V, W, R : Wassermengen (Volumina) in den Behältern. f 1,..., f 5 : Abflussraten INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 12

14 Einführung und Begriffe PHYSIKALISCHE GRUNDLAGEN Torricellische Gesetze der Hydraulik (Evangelista Torricelli, ): Abflussgeschwindigkeit v = 2gh, g = 9.81 ms 2 g... Gravitationsbeschleunigung, h... Höhe des Wasserspiegels. Abflussrate als Funktion des im Behälter befindlichen Wasservolumens V (falls es sich um einen Zylinder mit Grundfläche A handelt) f = a 2gV/A = c V mit c := a 2g/A. Der Parameter c kann über a (Fläche der Austrittsöffnung) variiert werden, wenn der Abfluss einen Hahn besitzt. Wir sprechen von einem Steuerungsparameter. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 13

15 Einführung und Begriffe MATHEMATISCHES MODELL U(t), V (t), W (t), R(t) f 1,..., f 5 p = p(t) Wassermengen zur Zeit t in den Behältern. Abflussfunktionen mit den Steuerungsparametern c 1,..., c 5. Pumpenfunktion Änderungsraten der Wasservolumina: Abflüsse, d.h. Zuflüsse weniger U (t) = p(t) f 1 (U(t)) f 2 (U(t)) V (t) = f 1 (U(t)) f 3 (V (t)) f 4 (V (t)) W (t) = f 2 (U(t)) + f 4 (V (t)) f 5 (W (t)) R (t) = f 3 (V (t)) + f 5 (W (t)) p(t). Diese Gleichungen, sog. (gewöhnliche) Differentialgleichungen, heißen die Kontinuitätsgleichungen unseres Systems. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 14 (1)

16 Einführung und Begriffe ANFANGSZUSTAND Der Anfangszustand des Systems wird beschrieben durch die Wassermengen in den Behältern zu einem festen Zeitpunkt, etwa für t = 0. Das Verhalten unseres Systems ist für alle Zeiten t > 0 durch die obigen Differentialgleichungen eindeutig bestimmt. Die Aufgabe, eine Lösung des Systems (1) zu bestimmen, welche gegebene Anfangsbedingungen erfüllt, nennt man ein Anfangswertproblem. Addiert man alle Gleichungen, so ergibt sich U (t) + V (t) + W (t) + R (t) = 0, ein globales Erhaltungsprinzip, welches besagt, dass sich die Gesamtwassermenge in unserer Apperatur nicht verändert. Es handelt sich hier um ein geschlossenes System. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 15

17 Einführung und Begriffe ALGORITHMUS I Anfangswertprobleme lassen sich nur in Ausnahmefällen geschlossen lösen (reine Mathematik: in unserem Fall gibt es genau eine Lösung). Aufgabe der Numerik: Bereitstellung von Näherungslösungen. Idee: Wir betrachten die Gleichungen nicht mehr für jeden beliebigen Zeitpunkt, sondern nur noch zu bestimmten diskreten Zeitpunkten, etwa für t 0 = 0, t 1 = 1,... (Diskretisierung). U n := U(t n ),..., R n := R(t n ) bezeichnen dann die Volumina, die sich zum Zeitpunkt t n in den Behältern U,..., R befinden. Die Änderungsrate U (t n ) wird durch U(t n+1 ) U(t n ) = U n+1 U n approximiert. Wir nähern hier eine Tangentensteigung durch eine Sekantensteigung an. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 16

18 Einführung und Begriffe ALGORITHMUS II Damit ergibt sich aus Gleichungen (1) U n+1 = U n + p n f 1 (U n ) f 2 (U n ) V n+1 = V n + f 1 (U n ) f 3 (V n ) f 4 (V n ) W n+1 = W n + f 2 (U n ) + f 4 (V n ) f 5 (W n ) R n+1 = R n + f 3 (V n ) + f 5 (W n ) p n. (2) Diese vier Gleichungen heißen die diskreten Kontinuitätsgleichungen unseres Kreislaufs (System von vier Differenzengleichungen). Addition liefert das globale Erhaltungsprinzip U n+1 + V n+1 + W n+1 + R n+1 = U n + V n + W n + R n. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 17

19 Einführung und Begriffe ALGORITHMUS III Legt man noch einen Anfangszustand fest (etwa U 0 = V 0 = W 0 = 0 sowie R 0 = Gesamtwassermenge = 100) und wählt geeignete Werte für die Parameter, etwa c 1 = 12, c 2 = c 4 = 2, c 3 = 1, c 5 = 2 sowie p = 17, so können wir unser Modell laufen lassen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 18

20 Einführung und Begriffe SIMULATION U n V n W n R n 70 Wassermenge Zeit INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 19

21 Einführung und Begriffe GLEICHGEWICHTSWERTE Man sieht in der Simulation: Jede der Größen U n, V n, W n und R n nähert sich mit zunehmendem n einem Gleichgewichtswert U, V, W, R, wenn wir die Steuerungsparameter nicht ändern. Bestimme Gleichgewichtswerte ohne (zeitaufwendige) Simulation: p = f 1 (U ) + f 2 (U ) f 1 (U ) = f 3 (V ) + f 4 (V ) f 5 (W ) = f 2 (U ) + f 4 (V ). Die vierte Gleichung (p = f 3 (V ) + f 5 (W )) ist redundant. Hier sind im Gegensatz zur Praxis Gleichungen einfach (Dreiecksform). Vorsicht: Die theoretisch ermittelten Gleichgewichtswerte können, aber müssen nicht im Fassungsbereich der Behälter liegen (Nebenbedingungen). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 20

22 Einführung und Begriffe STEUERUNG I Wesentliches Ziel von Simulationen ist die Optimierung des Systemverhaltens bzw. Entscheidungshilfen für die Steuerung des Systems zu geben. In unserem Beispiel heißt das etwa: Wie muss man die Steuerungsparameter wählen, damit sich ein erwünschter (vorgegebener) Gleichgewichtszustand einstellt? Auch hier sind u.u. Nebenbedingungen zu beachten, z.b. kann man die Hähne nicht beliebig weit öffnen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 21

23 Einführung und Begriffe STEUERUNG II Fixiert man p, so führt dies in unserem Fall zu drei Bedingungen für die fünf Parameter c 1,..., c 5 : c 1 = c 2 + p/ U c 4 = c 3 + c 1 U / V c 5 = c 2 U / W + c 4 V / W. In realen Systemen ist ein solches Steuerungsproblem nicht explizit lösbar, man wird es nur näherungsweise und iterativ lösen können. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 22

24 Einführung und Begriffe KRITIK Realität mathematisches Modell Algorithmus numerische Simulation der Realität. Bei jedem dieser drei Übergänge haben wir Fehler begangen. Modellierungsfehler. Unser Modell setzt wirbelfreien Wasserfluss voraus; in der Realität werden sich aber Wirbel bilden. Die Torricellische Ausflussformel ist nur gültig, wenn sich die Spiegelhöhe langsam ändert und keine Druckdifferenz zwischen Spiegel und Austrittsöffnung besteht, Voraussetzungen, die in der Realität nicht immer erfüllt sind. Diskretisierungsfehler. Wir haben den stetigen Strom des Wassers durch Durchschnittswerte (bez. Zeit und Raum) ersetzt. Rundungsfehler. Computer rechnen falsch. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 23

26 Einführung und Begriffe NEWTON-VERFAHREN PROBLEM Aufgabe:Bestimme die Nullstelle(n) einer Funktion f : R D R, x f(x), bzw. die Lösung(en) der Gleichung f(x) = 0, x D. Konkreter: Bestimme a, a > 0, d.h. die positive Nullstelle der Funktion f : R R, x x 2 a, mit Hilfe der Grundrechenarten. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 25

27 Einführung und Begriffe MATHEMATISCHER HINTERGRUND I Niels Henrik Abel ( ), Evariste Galois ( ): Es ist unmöglich, die Nullstellen allgemeiner nichtlinearer Funktionen elementar zu berechnen. Präziser: Die n Lösungen einer Gleichung der Form x n + a n 1 x n a 1 x + a 0 = 0 können für n > 4 i. Allg. nicht mit Hilfe der Grundrechenarten und der Wurzelfunktionen durch die Koeffizienten dargestellt werden. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 26

28 Einführung und Begriffe MATHEMATISCHER HINTERGRUND II Für n = 2: x 1,2 = a 1 ± a 2 1 4a 0. 2 Für n = 3 und n = 4 gibt es ähnliche (kompliziertere) Formeln, d.h.: Bei der Nullstellenbestimmung nichtlinearer Funktionen (oder, was dasselbe ist, bei der Lösung nichtlinearer Gleichungen) ist man so gut wie immer auf numerische Verfahren angewiesen! INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 27

29 Einführung und Begriffe TAYLOR-ENTWICKLUNG I Angenommen, x 0 ist Näherung für a mit dem Fehler e: a = x0 + e (z.b. x 0 = a). Gesucht ist eine bessere Näherung x 1. Taylor-Entwicklung (Brook Taylor, ): f( a) = f(x 0 + e) = f(x 0 ) + f (x 0 ) e + 1 }{{} 2 f (ξ) e 2 = 0 Taylor-Polynom mit ξ (x 0, a), falls x 0 < a, bzw. ξ ( a, x 0 ), falls x 0 > a. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 28

30 Einführung und Begriffe TAYLOR-ENTWICKLUNG II Man kann die Gleichung 0 = f(x 0 ) + f (x 0 ) e f (ξ) e 2 nicht nach e auflösen (ξ ist unbekannt!). Ist e aber klein, so ist e 2 noch viel kleiner und wir vernachlässigen den Term mit dem Faktor e 2, d.h. wir betrachten die lineare Gleichung mit der Lösung 0 = f(x 0 ) + f (x 0 ) e e = f(x 0) f (x 0 ) (falls f (x 0 ) 0). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 29

31 Einführung und Begriffe ITERATIONSVERFAHREN Dann ist x 1 := x 0 + e = x 0 f(x 0 )/f (x 0 ) zwar keine Nullstelle von f, aber (hoffentlich) eine bessere Näherung für eine Nullstelle von f als x 0. Auf die gleiche Weise gewinnt man aus x 1 eine neue Näherung x 2 usw. Man setzt ein Iterationsverfahren ein: Wähle eine Ausgangsnäherung x 0. Für m = 1, 2,... iteriere gemäß x m := x m 1 f(x m 1) f (x m 1 ). (3) Dies ist das Newton-Verfahren (Sir Isaac Newton, ). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 30

32 Einführung und Begriffe ITERATIONSVORSCHRIFT Für f(x) = x 2 a ergibt sich als Iterationsvorschrift x m := 1 ( x m 1 + a ) (m = 1, 2,...). (4) 2 x m 1 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 31

33 Einführung und Begriffe GRAPHISCHE VERANSCHAULICHUNG x 2 x 1 x INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 32

34 Einführung und Begriffe LINEARISIERUNG I Man ersetzt das komplizierte Problem f(x) = 0 durch das lineare Problem f(x m 1 ) + f (x m 1 )e = 0 und korrigiert x m = x m 1 + e. Äquivalent: Wir betrachten die Tangente an den Graphen von f im Punkt (x m 1, f(x m 1 )), y = f(x m 1 ) + f (x m 1 ) (x x m 1 ), und berechnen die Nullstelle x m dieser linearen Funktion. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 33

35 Einführung und Begriffe LINEARISIERUNG II Die Idee der Linearisierung lässt sich also wie folgt beschreiben: Ersetze ein kompliziertes Problem durch ein benachbartes lineares Problem (bzw. durch eine Folge solcher Probleme). In unserem Beispiel wurde die komplizierte Gleichung f(x) = 0 durch eine Folge linearer Gleichungen, nämlich der Tangentengleichungen, ersetzt. Eine Linearisierung führt fast immer auf ein Iterationsverfahren, weil ein Korrekturschritt i. Allg. nicht ausreicht, um eine brauchbare Näherung für die Lösung des komplizierten Ausgangsproblems zu bestimmen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 34

36 Einführung und Begriffe AUFGABE NEWTON-VERFAHREN Wir betrachten die Funktion f(x) = x 2 a mit a = 2. Aufgaben a) Wie lautet die Iterationsvorschrift für das Newton-Verfahren? b) Berechnen Sie ausgehend vom Startwert x 0 = 1 die Näherungslösungen x 1,..., x 4! c) Welche Werte x 1,..., x 4 ergeben sich für x 0 = 2? d) Überprüfen Sie die Fehlerformel 2 x m x m 2! f) Untermauern Sie die Fehlerformel aus d) mit Hilfe der Taylor-Entwicklung! INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 35

37 Einführung und Begriffe LINEARISIERUNG III Für f(x) = x 2 a mit a = 2: x 0 x 1 x 2 x 3 x (Nur die korrekten Ziffern von x 2, x 3 und x 4 sind angeben.) Es stellen sich folgende Fragen: 1. Konvergiert das Verfahren, d.h. gilt lim m x m = a, für jede Wahl des Startwerts x 0? Offenbar nicht, z.b. für x 0 = 0 ist x 1 noch nicht einmal definiert. 2. Also, für welche x 0 konvergiert die Folge {x m } m 0 gegen a? 3. Wann bricht man das Verfahren ab? Schranken für den Abbruchfehler x m a sind erforderlich. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 36

39 Einführung und Begriffe BEISPIEL WÄRMELEITUNGSGLEICHUNG PROBLEM Aufgabe. Die Temperatur u(x, t), 0 x π, in einem homogenen Stab mit konstantem Querschnitt habe zur Zeit t = 0 den Wert u(x, 0) = f(x). Der Stab sei wärmeisoliert außer an den Rändern x = 0 und x = π, wo die Temperatur konstant auf u(0, t) = u(π, t) = 0 gehalten wird (t > 0). Bestimme die Wärmeverteilung u(x, t ), 0 x π, im Stab zur Zeit t > 0. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 38

40 Einführung und Begriffe MATHEMATISCHES MODELL I Energieerhaltungssatz und Fouriersches Gesetz (Jean-Baptiste-Joseph Fourier, ), Wärme fließt in Richtung abfallender Temperatur und zwar umso intensiver, je größer die Temperaturdifferenzen sind, führen auf das folgende Problem. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 39

41 Einführung und Begriffe MATHEMATISCHES MODELL II Gesucht ist eine Funktion u : [0, π] [0, ) R, welche die folgenden Eigenschaften besitzt: (x, t) u(x, t), u t (x, t) = γ2 2 u (x, t), 0 < x < π, t > 0 (5a) x2 mit einer Materialkonstanten γ( 1). Außerdem gelten u(x, 0) = f(x), 0 x π, (Anfangsbedingung) (5b) z.b. f(x) = 3 sin(x) sin(2x) + sin(3x) und u(0, t) = u(π, t) = 0, t 0, (Randbedingungen). (5c) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 40

42 Einführung und Begriffe GRAPHISCHE VERANSCHAULICHUNG Waerme Zeit Ort INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 41

43 Einführung und Begriffe KORREKT GESTELLTES PROBLEM Gleichung (5a) heißt Wärmeleitungsgleichung. Für komplizierte Anfangs- und Randbedingungen oder ortsabhängige Materialkonstanten kann man die Lösung solcher Probleme nicht explizit angeben. Es lässt sich jedoch beweisen, dass (5a), (5b), (5c) auch dann ein korrekt (sachgemäß) gestelltes Problem (im Sinne von Jacques Salomon Hadamard, ) ist: 1. Es besitzt eine Lösung. 2. Diese Lösung ist eindeutig. 3. Sie hängt stetig von den Daten (den Anfangs- und Randbedingungen) ab! INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 42

44 Einführung und Begriffe FINITE-DIFFERENZEN-DISKRETISIERUNG I Diskretisierung durch finite Differenzen: Bestimme u nur noch auf einem Gitter oder Netz Ω h,k = {(x i, t j ) : x i = ih für i = 0, 1,... n + 1, t j = jk für j = 0, 1,...}. Dabei sind h := π/(n + 1) bzw. k > 0 die Schrittweiten (Gitteroder Netzweiten) in x- bzw. t-richtung. Unsere Näherung für u(x i, t j ) werden wir mit u i,j bezeichnen. In einem zweiten Schritt müssen wir die partiellen Ableitungen u/ t bzw. 2 u/ x 2 aus (5a) durch Ausdrücke annähern, die wir auf dem Gitter bestimmen können. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 43

45 Einführung und Begriffe FINITE-DIFFERENZEN-DISKRETISIERUNG II Dazu betrachten wir zuerst eine Funktion in einer Variablen, f : R I = [α, β] R, x f(x), und nehmen an, dass f in x 0 I differenzierbar ist. Weil f (x 0 ) = lim h 0 f(x 0 + h) f(x 0 ) h gilt, liegt es nahe, f (x 0 ) etwa durch eine der drei Formeln f(x 0 + h) f(x 0 ) h (Vorwärtsdifferenz) (6) f(x 0 ) f(x 0 h) h (Rückwärtsdifferenz) (7) f(x 0 + h) f(x 0 h) 2h (zentrale Differenz) (8) anzunähern. Dabei soll die Schrittweite h klein sein. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 44

46 Einführung und Begriffe FINITE-DIFFERENZEN-DISKRETISIERUNG III Die zweite Ableitung f (x 0 ) approximieren wir durch eine zentrale Differenz zweiter Ordnung f (x 0 ) f (x 0 + h) f (x 0 ) h f(x 0 +h) f(x 0 ) h f(x 0) f(x 0 h) h h (9) = f(x 0 + h) 2f(x 0 ) + f(x 0 h) h 2. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 45

47 Einführung und Begriffe DISKRETISIERUNGSFEHLER Zur Abschätzung des Diskretisierungsfehlers: a) Ist f in I zweimal stetig differenzierbar, so gilt f(x 0 + h) f(x 0 ) = f (x 0 ) + C 1 h h mit C max x I f (x) (analog für Rückwärtsdifferenz). b) Ist f in I dreimal stetig differenzierbar, so gilt f(x 0 + h) f(x 0 h) = f (x 0 ) + C 3 h 2 2h mit C max x I f (x). c) Ist f in I viermal stetig differenzierbar, so gilt f(x 0 + h) 2f(x 0 ) + f(x 0 h) h 2 = f (x 0 ) + C 4 h 2 mit C max x I f (4) (x). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 46

48 Einführung und Begriffe AUFGABE DISKRETISIERUNGSFEHLER Aufgabe Beweisen Sie mit Hilfe einer Taylor-Entwicklung die Fehlerschätzungen a) bis c)! a) Ist f in I := [a, b] R zweimal stetig differenzierbar, so gilt f(x 0 + h) = f(x 0 ) + f (x 0 )h f (ζ)h 2 mit einer Zwischenstellen ζ, woraus folgt f(x 0 + h) f(x 0 ) h b) und c) Hausaufgabe = f (x 0 ) f (ζ)h. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 47

49 Einführung und Begriffe KONVERGENZORDNUNG Analog bei partiellen Ableitungen, z.b.: u u(x, t + k) u(x, t) (x, t) = + O(k) für k 0,, t k u u(x + h, t) u(x, t) (x, t) = + O(h) für h 0 x h und 2 u u(x + h, t) 2u(x, t) + u(x h, t) (x, t) = x2 h 2 + O ( h 2) für h 0. O (h p ) für h 0 (sprich: Groß O von h p ) ist eines der Landau-Symbole (Edmund Georg Hermann Landau, ) und wie folgt definiert: f(y) = g(y) für y a : f(y)/g(y) ist beschränkt für y a. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 48

50 Einführung und Begriffe AUFGABEN KONVERGENZORDNUNG Aufgaben Schreiben Sie die folgenden Ausdrücke in der Form f(h) = O(h p ) für h 0 mit möglichst großem p N bzw. g(n) = O(n q ) für n mit möglichst kleinem q N! a) f(h) = 4(h 2 + h) 2 4h 4 b) g(n) = 4(n 2 + n) 2 4n 4 c) f(h) = eh e h 2h 1 d) g(n) = 2n 2 Liegen f(n) = 2 (n+1) und g(n) = 2 2n für n in O(2 n )? INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 49

51 Einführung und Begriffe DISKRETE WÄRMELEITUNGSGLEICHUNG Approximiere u/ t(x, t 0 ) durch eine Vorwärtsdifferenz und u 2 / x 2 (x, t 0 ) durch eine zentrale Differenz zweiter Ordnung. Für n = 4 ergibt sich dann u 1,1 u 1,0 k u 2,1 u 2,0 k u 3,1 u 3,0 k u 4,1 u 4,0 k = u 0,0 2u 1,0 + u 2,0 h 2, = u 1,0 2u 2,0 + u 3,0 h 2, = u 2,0 2u 3,0 + u 4,0 h 2, = u 3,0 2u 4,0 + u 5,0 h 2. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 50

52 Einführung und Begriffe DISKRETES GLEICHUNGSSYSTEM Wir lösen diese Gleichungen nach u i,1 auf und setzen τ := k/h 2. (Beachte u 0,0 = u 5,0 = 0, Randbedingungen!) u 1,1 u 2,1 u 3,1 u 4,1 = u 1,0 u 2,0 u 3,0 u 4,0 + τ u 1,0 u 2,0 u 3,0 u 4,0. Alle Einträge auf der rechten Seite dieser Gleichung sind bekannt aus der Anfangsbedingung, wir können also die Näherungswerte u i,1 für die Zeitschiene t = k bestimmen. Analog kann man danach aus den Werten u i,1 die Werte u i,2 für die Zeitschiene t = 2k berechnen, usw. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 51

53 Einführung und Begriffe EXPLIZITES EULER-VERFAHREN Explizites Euler-Verfahren nach Leonhard Euler ( ): Berechne Näherungen u i,j für die Lösung u(ih, jk) von (5a), (5b), (5c), wobei 1 i n, 1 j m. Bestimme u (0) := [u 1,0, u 2,0,..., u n,0 ] T = [f(x 1 ), f(x 2 ),..., f(x n )] T aus der gegebenen Anfangsbedingung. Für j = 1, 2,..., m berechne u (j) = [u 1,j, u 2,j,..., u n,j ] T durch u (j) = [I + τa h ] u (j 1). (10) Dabei bezeichnen I die (n n)-einheitsmatrix, τ = k/h 2, A h die Tridiagonalmatrix A h = tridiag(1, 2, 1) R n n und u (j) den Vektor, der die Näherungen für die Temperatur zur Zeit t = jk enthält. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 52

54 Einführung und Begriffe NÄHERUNGSLÖSUNG EXPL. EULER-VERF. I Für k = 1/11, h = π/30: Waerme Zeit Ort INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 53

55 Einführung und Begriffe NÄHERUNGSLÖSUNG EXPL. EULER-VERF. II Die folgende Tabelle zeigt, dass man für kleinere Werte von k sogar noch unsinnigere Werte erhält. Erst wenn die Zeitschrittweite k winzig ist, ergeben sich brauchbare Näherungen. k u(7h, 1) u(14h, 1) u(21h, 1) u(28h, 1) 1/ / / / / / (für h = π/30, k = 0 sind hier bei den zugehörigen u-werten die Funktionswerte der exakten Lösung angegeben.) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 54

56 Einführung und Begriffe IMPLIZITES EULER-VERFAHREN I Der einzige Unterschied vom impliziten zum expliziten Verfahren besteht darin, dass die Zeitableitung mittels Rückwärtsdifferenz approximiert wird: u t u(x, t) u(x, t k) (x, t). k Nun ergibt sich für die Gitterpunkte auf der ersten Zeitschiene t = k (im Spezialfall n = 4) u 1,1 u 1, u 1,1 u 2,1 u 3,1 = u 2,0 u 3,0 + τ u 2, u 3,1. u 4,1 u 4, u 4,1 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 55

57 Einführung und Begriffe IMPLIZITES EULER-VERFAHREN II Die Unbekannten auf der neuen Zeitschiene sind hier implizit durch die Werte auf der alten Zeitschiene gegeben, nämlich als Lösung eines linearen Gleichungssystems. D.h. in jedem Zeitschritt des impliziten Euler-Verfahrens muss ein lineares Gleichungssystem gelöst werden. Bestimme u (0) := [u 1,0, u 2,0,..., u n,0 ] T = [f(x 1 ), f(x 2 ),..., f(x n )] T aus der gegebenen Anfangsbedingung. Für j = 1, 2,..., m berechne u (j) = [u 1,j, u 2,j,..., u n,j ] T als Lösung von [I τa h ]u (j) = u (j 1). (11) Für k = 1/11 und h = π/30 ergibt sich: INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 56

58 Einführung und Begriffe NÄHERUNGSLÖSUNG IMPL. EULER-VERFAHREN 5 Anfangswert (t=0) 1.5 exakte Loesung (t=1) numerische Loesung (t=1) 0.06 Fehler INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 57

59 Einführung und Begriffe AUFGABE EULERVERFAHREN Aufgabe Wir betrachten den harmonischen Oszillator mit der Schwingungsgleichung [ dx dt dv dt m d2 x dt 2 + kx = 0 und den Anfangsbedingungen x(0) = x 0 und dx dt (0) = 0. Zur Simulation der Schwingung muss das Gleichungssystem ] [ ] [ ] 0 1 x(t) = k m 0 v(t) gelöst werden. Wie lautet das diskrete Gleichungssystem bei Anwendung des a) expliziten und b) impliziten Eulerverfahrens? INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 58

60 Einführung und Begriffe GLOBALER DISKRETISIERUNGSFEHLER Warum verhalten sich explizites und implizites Verfahren so unterschiedlich? Bezeichnungen: Exakte Lösung für t = jk u (j) (h, k) := [u(h, jk), u(2h, jk),..., u(nh, jk)] T R n. Näherungslösung für t = jk u (j) (h, k) Rn mit Verf {ex, im}. Verf Der globale Diskretisierungsfehler dieser Verfahren ist e (j) Verf (h, k) := u(j) (h, k) u (j) (h, k). Verf Von einem vernünftigen Verfahren wird man erwarten, dass der globale Diskretisierungsfehler gegen Null strebt, wenn die Schrittweiten klein werden, e (j) (h, k) 0 für jk fixiert und h, k 0. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 59

61 Einführung und Begriffe LOKALER DISKRETISIERUNGSFEHLER Der lokale Diskretisierungsfehler der beiden Verfahren ist durch d (j) ex (h, k) := u (j) (h, k) [I + τa h ]u (j 1) (h, k), im (h, k) := [I τa h]u (j) (h, k) u (j 1) (h, k) d (j) (τ = k/h 2 ) erklärt. Er gibt an, wie gut die exakte Lösung die jeweilige Differenzenapproximation erfüllt (vgl. Gleichungen (10) und (11)). Es gilt [d (j) Verf (h, k)] l k(c 1 k+c 2 h 2 ) (l = 1, 2,..., n), Verf {ex, im}, wobei C 1, C 2 unabhängig sind von h, k, j und l. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 60

62 Einführung und Begriffe KONSISTENZ Die lokalen Diskretisierungsfehler der beiden Verfahren sind qualitativ gleich. Insbesondere erfüllen sie d (j) (h, k) 0 für k, h 0. Solche Verfahren nennt man konsistent. Dass sich die globalen Diskretisierungsfehler trotzdem erheblich unterscheiden, liegt am unterschiedlichen Stabilitätsverhalten der beiden Algorithmen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 61

63 Einführung und Begriffe DISKRETISIERUNGSFEHLER I Entscheidend: Zusammenhang zwischen globalen und lokalen Diskretisierungsfehlern ex (h, k) = [I + τa h ]e ex (j 1) (h, k) + d (j) ex (h, k), e (j) [I τa h ]e (j) im (h, k) = e(j 1) im (h, k) + d(j) (h, k). im INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 62

64 Einführung und Begriffe DISKRETISIERUNGSFEHLER II Einheitliche Schreibweise: e (j) (h, k) = B h,k e (j 1) (h, k) + g (j) h,k (12) mit der Fehlerfortpflanzungsmatrix { I + τah für das explizite Euler-Verfahren, B h,k := (I τa h ) 1 für das implizite Euler-Verfahren (13) und einem Vektor { g (j) h,k := d (j) ex (h, k) (explizit), (I τa h ) 1 d (j) im (h, k) (implizit). (14) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 63

65 Einführung und Begriffe FEHLERFORTPFLANZUNG I Betrachten wir nun ganz abstrakt das Wachstumsverhalten einer Vektorfolge {e (j) } j=0,1,..., die rekursiv durch e (j) := Be (j 1) + g (j) (j = 1, 2,...) mit e (0) = 0 gegeben ist. Es gilt e (1) = g (1), e (2) = Be (1) + g (2) = Bg (1) + g (2), e (3) = Be (2) + g (3) = B 2 g (1) + Bg (2) + g (3),. =. e (j) = Be (j 1) + g (j) = j B j m g (m). m=1 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 64

66 Einführung und Begriffe FEHLERFORTPFLANZUNG II Das bedeutet e (j) 2 = j B j m g (m) 2 m=1 [ ] j max 1 m j g(m) 2 m=1 j m=1 B j m 2 g (m) 2 B j m 2. (15) Der erste Faktor max 1 m j g (m) 2 wird bei beiden Euler-Verfahren (wie bei allen konsistenten Differenzenschemata) beliebig klein, wenn h und k nur genügend klein gewählt sind. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 65

67 Einführung und Begriffe FEHLERFORTPFLANZUNG III Der zweite Faktor, j m=1 { B j m j, falls B 2 = 1, 2 = ( B j 2 1)/( B 2 1), falls B 2 1, ist beschränkt falls B 2 < 1 (nämlich durch 1/(1 B 2 )). Ist aber B 2 1, so wächst er über alle Schranken. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 66

68 Einführung und Begriffe KONVERGENZ Wir nennen nun ein Differenzenverfahren stabil, wenn die Norm der zugehörigen Fehlerfortpflanzungsmatrix kleiner als 1 ist. Andernfalls heißt das Verfahren instabil). Mit (15) haben wir ein Metatheorem der numerischen Mathematik bewiesen: Stabilität (dh. der zweite Faktor auf der rechten Seite von (15) ist beschränkt) und Konsistenz (dh. der erste Faktor strebt mit h und k gegen 0) eines Differenzenschemas implizieren, dass der globale Diskretisierungsfehler ebenfalls gegen 0 geht (für h, k 0) man spricht dann von einem konvergenten Verfahren, kürzer gefasst: Stabilität + Konsistenz Konvergenz. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 67

69 Einführung und Begriffe STABILITÄT Für das explizite Euler-Verfahren gilt B h,k 2 = I+τA h 2 < 1 genau dann, wenn τ = k h Das explizite Euler-Verfahren ist nur bedingt stabil, d.h. unter der oben angegebenen Bedingung, während das implizite Euler-Verfahren unbedingt stabil ist, d.h. ohne Bedingungen an h und k, B h,k 2 = (I τa h ) 1 2 < 1 für alle h und k. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 68

70 Gleitpunktarithmetik und Fehleranalyse INHALT 1. Einleitung 2. Einführung und Begriffe 2.1 Mathematische Modellbildung und numerische Simulation am Beispiel eines Wasserkreislaufs 2.2 Linearisierung und Iterationsverfahren am Beispiel des Newton-Verfahrens 2.3 Diskretisierung und Stabilität am Beispiel der Wärmeleitungsgleichung 3. Gleitpunktarithmetik und Fehleranalyse 3.1 Ein einführendes Beispiel - Berechnung von π 3.2 Gleitpunktzahlen 3.3 Rundung 3.4 Der IEEE-754 Standard 3.5 Korrekt gerundete Gleitpunktarithmetik 3.6 Numerische Stabilität und Fehleranalyse INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/ Ein abschließendes Beispiel

71 Gleitpunktarithmetik und Fehleranalyse BEISPIEL: BERECHNUNG VON π π = Umfang eines Kreises mit Radius r = 1 2, U n = Umfang eines einbeschriebenen regelmäßigen n-ecks = n sin(π/n). y (cos(2π/n)/2, sin(2π/n)/2) x 1/2 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 70

72 Gleitpunktarithmetik und Fehleranalyse BERECHNUNG VON π EIN ALGORITHMUS Klar: lim n U n = lim n n sin(π/n) = π (unbrauchbar!) Setze A n = U 2 n (Umfang des regelmäßigen 2 n -Ecks). Dann gelten: A 2 = U 4 = 4 (1/2) 2 + (1/2) 2 = 2 2, A n+1 = 2 n 2(1 1 (A n /2 n ) 2 ), n = 2, 3,... (Rekursionsformel!) Archimedes von Syrakus (ca v. Chr.): A 3 = , A 4 = , A 5 = INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 71

73 Gleitpunktarithmetik und Fehleranalyse BERECHNUNG VON π EINE FEHLERABSCHÄTZUNG Zunächst gilt für h > 0: sin(h) h h3 (Taylorformel). 6 Setze h = π/n (und multipliziere mit N): D.h. (N = 2 n ): N sin(π/n) π π3 6 N 2. A n π π3 6 4 n (< für n 18). Auf zum Rechner... INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 72

74 Gleitpunktarithmetik und Fehleranalyse BERECHNUNG VON π ERNÜCHTERUNG Fehler A n π Fehlerschranke π 3 /(6*(4 n )) n Die berechnete Folge {A n } verhält sich völlig anders als die wirkliche Folge {A n }! Wie ist das möglich? INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 73

76 Gleitpunktarithmetik und Fehleranalyse GLEITPUNKTZAHLEN Gleitpunktzahlen sind rationale Zahlen der Form ±(d 0.d 1 d 2 d 3... d p 1 ) b b e, b N (b > 1) m := (d 0.d 1 d 2 d 3... d p 1 ) b e Z, e min e e max wobei Basis, Mantisse (zur Basis b) und Exponent genannt werden. Die Ziffern d 0, d 1, d 2,..., d p 1 sind jeweils ganze Zahlen zwischen 0 und b 1, womit für die Mantisse 0 m b(1 b p ) folgt. Die Anzahl p N der Ziffern heißt Mantissenlänge. Beispiel: Die Gleitpunktzahl x = ( ) besitzt die Dezimaldarstellung ( ) 2 1 = = INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 75

77 Gleitpunktarithmetik und Fehleranalyse GLEITPUNKTZAHLEN WAHL DER BASIS Frage Welche Basen sind Ihnen aus welchen Zusammenhängen geläufig? INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 76

78 Gleitpunktarithmetik und Fehleranalyse GLEITPUNKTZAHLEN WAHL DER BASIS Verschiedene Werte von b sind möglich bzw. werden verwendet, etwa b = 10: die Basis des täglichen Lebens, wird auch intern von vielen Taschenrechnern verwendet; b = 16: in den 60er und 70er Jahren von IBM Mainframe-Computern (Baureihe 360/370) benutzt; b = 3: Forschungsrechner SETUN, Moskauer Staatsuniversität, Ende der 50er Jahre; b = 2: inzwischen auf allen Rechnern üblich, diese Wahl besitzt viele Vorteile sowohl technischer als auch mathematischer Natur. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 77

79 Gleitpunktarithmetik und Fehleranalyse NORMALISIERTE GLEITPUNKTZAHLEN Um möglichst viele Stellen einer Gleitpunktzahl in der Mantisse unterzubringen wird der Exponent so gewählt, dass die erste Ziffer der Mantisse (d.h. die erste gültige Ziffer) von Null verschieden ist. Solche Zahlen nennt man normalisiert; nicht normalisierte Zahlen werden auch subnormal oder denormalisiert genannt. Im Fall b = 2 ist die erste (höchstwertige) Ziffer (=Bit) stets eine Eins, man kann sich deren explizite Darstellung daher sparen (verstecktes Bit, hidden bit). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 78

80 Gleitpunktarithmetik und Fehleranalyse MASCHINENGENAUIGKEIT Die kleinste normalisierte Gleitpunktzahl mit Mantissenlänge p x = ±(d 0.d 1 d 2... d p 1 ) b b e, d 0 0, welche noch größer als Eins ist, lautet ( ) b b 0 = 1 + b (p 1). Den Abstand ε := b (p 1) dieser Zahl zu Eins bezeichnet man als Maschinengenauigkeit (machine epsilon). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 79

81 Gleitpunktarithmetik und Fehleranalyse ULP Allgemeiner definiert man für die obige Gleitpunktzahl ulp(x) := ( ) b b e = b (p 1) b e = ε b e. Ulp steht für unit in the last place, d.h. Stellenwert der letzten Ziffer, und gibt den Abstand zur betragsmäßig nächstgrößeren Gleitpunktzahl an. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 80

82 Gleitpunktarithmetik und Fehleranalyse GLEITPUNKTZAHLEN SONDERFALL NULL b = 2: Ist das höchstwertige Bit versteckt, so stellt eine Mantisse (1.d 1 d 2... d p 1 ) 2, d 1 = = d p 1 = 0 aus lauter Nullen nicht Null, sondern die Eins dar. Es ist daher erforderlich, einen Wert des Exponenten für die Darstellung der Null zu reservieren. Ältere Implementierungen arbeiteten aus diesem Grund ohne verstecktes Bit, mussten dafür aber bei gleicher Wortbreite eine um Eins kürzere Mantissenlänge in Kauf nehmen. Auch die Frage, ob zwischen ±0 unterschieden werden soll, hat praktische Konsequenzen (W. Kahan, 1987). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 81

83 Gleitpunktarithmetik und Fehleranalyse GLEITPUNKTZAHLEN EIN SPIELZEUGBEISPIEL Wir betrachten das binäre Gleitpunktsystem bestehend aus Zahlen der Form ±(d 0.d 1 d 2 ) 2 2 e, e { 1, 0, 1}. Die normalisierten Mantissen dieses Systems sind (1.00) 2 = 1 (1.01) 2 = 1.25 (1.10) 2 = 1.5 (1.11) 2 = 1.75 Damit ergeben sich 24 normalisierte Gleitpunktzahlen, zusammen mit der Null also INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 82

84 Gleitpunktarithmetik und Fehleranalyse SPIELZEUGBEISPIEL CHARAKTERISTISCHE GRÖSSEN DES SYSTEMS Mantissenlänge: p = 3 größte normalisierte Zahl: N max = (1.11) = 3.5 kleinste normalisierte positive Zahl: N min = (1.00) = 0.5 Maschinengenauigkeit: ε = (1.01) 2 (1.00) 2 = 0.25 ε/2 e = 1 ulp((d 0.d 1 d 2 ) 2 2 e ) = ε e = 0 2ε e = 1. Wir bemerken ferner: Die Abstände zwischen den Gleitpunktzahlen nehmen von der Null weg zu. (Ihre Beträge ebenfalls.) Aufgrund der Normalisierung klafft eine Lücke zwischen Null und der kleinsten normalisierten Zahl. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 83

85 Gleitpunktarithmetik und Fehleranalyse SPIELZEUGBEISPIEL CHARAKTERISTISCHE GRÖSSEN DES SYSTEMS Frage Wie können die Lücken zwischen Null und den betragsmäßig kleinsten normalisierten Zahlen gefüllt werden? INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 84

86 Gleitpunktarithmetik und Fehleranalyse SPIELZEUGBEISPIEL SUBNORMALE ZAHLEN Die eben erwähnte Lücke kann geschlossen werden, wenn wir für Zahlen mit Exponenten e min auch denormalisierte Mantissen zulassen. In unserem Beispiel kommen dadurch die sechs Zahlen ±(0.01) = 0.125, ±(0.10) = 0.25, ±(0.11) = hinzu. Der Abstand dieser Zahlen zur nächstgelegenen Gleitpunktzahl ist allerdings groß relativ zu deren Betrag INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 85

87 Gleitpunktarithmetik und Fehleranalyse AUFGABE GLEITPUNKTZAHLEN Aufgabe Schreiben Sie als Dezimalzahlen! a) (1.001) b) (5.45) c) (8.23) d) (1.11) Schreiben Sie als (normalisierte) Gleitpunktzahlen zur Basis b! a) , b = 10 b) 190, b = 2 c) , b = 2 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 86

89 Gleitpunktarithmetik und Fehleranalyse RUNDUNG MASCHINENZAHLEN Sei M := Menge der Zahlen eines Gleitpunktsystems =: Maschinenzahlen. Liegt eine Eingangsgröße (etwa 1/10 im Binärsystem) oder ein Zwischenergebnis x in R \ M, so muss hierfür ein Ersatz x M bestimmt werden, ein Vorgang den wir mit Rundung bezeichnen: rd : R M, x rd(x). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 88

90 Gleitpunktarithmetik und Fehleranalyse RUNDUNG... ZUR NÄCHSTGELEGENEN MASCHINENZAHL Üblich ist die Rundung zur nächstgelegenen Maschinenzahl: Ist (hier b = 10) x = ±(d 0.d 1 d 2... d p 1 d p...) e mit e min e e max aber möglicherweise unendlich langer Mantisse, so setzen wir { rd(x) := ±(d 0.d 1 d 2... d p 1 ) e d p 1 falls d p 4,, dp 1 = d p falls d p 5. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 89

91 Gleitpunktarithmetik und Fehleranalyse RUNDUNG DRIFT Ist d p 1 = 9, so entsteht ein Übertrag und d p 2, möglicherweise auch d p 3,... sowie e, müssen modifiziert werden. Für p = 4 gilt etwa rd(4.4499) = und rd(9.9999) = Unschöne Eigenschaft dieser Rundung (hier stets e = 0): rd(1.0005) = 1.001, rd(rd( ) ) = rd( ) = rd(1.0005) = Dieses Phänomen bezeichnet man als Drift. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 90

92 Gleitpunktarithmetik und Fehleranalyse RUNDUNG ABSOLUTER FEHLER (Absoluter) Fehler bei Rundung: Für eine Zahl x = ±m 10 e im normalisierten Bereich von M (d.h. 1 m < 10, e min e e max ) gilt x rd(x) (p 1) 10 e. Allgemein: (Basis b, 1 m < b) x rd(x) 1 2 b (p 1) b e = 1 2 ulp(x). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 91

93 Gleitpunktarithmetik und Fehleranalyse RUNDUNG RELATIVER FEHLER Relativer Fehler bei Rundung: x rd(x) 1 x 2 b (p 1) b e m b e 1 2 b (p 1) = 1 2ε =: u. u heißt Rundungseinheit (unit roundoff). Anders formuliert rd(x) = (1 + δ)x mit δ u. Vorsicht: Manchmal wird auch u als Maschinengenauigkeit definiert. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 92

95 Gleitpunktarithmetik und Fehleranalyse DER IEEE-754 STANDARD Nach eine langen Zeit des Wildwuchses im Bereich der Gleitpunktarithmetik auf Computern fand Ende der 70er Jahre ein Standardisierungsprozess statt. Dieser führte schließlich 1985 zur Verabschiedung des IEEE-754 Standards für binäre Gleitpunktarithmetik 1, der inzwischen von nahezu allen Computerherstellern befolgt wird. Der IEEE-Standard enthält drei wesentliche Forderungen: Darstellung. Konsistente Darstellung von Gleitpunktzahlen auf allen konformen Maschinen Rundung. Korrekt gerundete Gleitpunktoperationen bezüglich verschiedener Rundungsmodi Ausnahmen. Wohldefiniertes Verhalten bei Ausnahmesituationen (wie etwa Division durch Null) 1 IEEE = Institute for Electrical and Electronics Engineers INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 94

96 Gleitpunktarithmetik und Fehleranalyse SONDERZAHLEN IN IEEE-754 ± : Manchmal ist es sinnvoll, mit Ausdrücken wie 1/0 weiterzurechnen, anstatt das Programm abzubrechen. In IEEE-Arithmetik sind hierfür die Sonderzahlen ± definiert, welche folgenden Konventionen unterliegen: a + = (a > ), a = (a < ), a = (a > 0), a/0 = (a > 0) usw. NaNs: Ist das Ergebnis einer arithmetischen Operation undefiniert, so wird dieses auf den Wert NaN (Not a Number) gesetzt. Beispiele:, 0, 0/0 etc. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 95

97 Gleitpunktarithmetik und Fehleranalyse SONDERZAHLEN IN IEEE-754 0: IEEE-Arithmetik unterscheidet 0 von +0. So gilt a/( 0) =, (a > 0) und umgekehrt wenn a < 0. Achtung: Es gilt zwar 0 = 0, aber. Aus diesem Grund ist a = b nicht äquivalent mit 1/a = 1/b, etwa wenn a = 0 und b = 0. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 96

98 Gleitpunktarithmetik und Fehleranalyse DER IEEE-754 STANDARD DARSTELLUNG IEEE-Arithmetik spezifiziert vier Formate für Gleitpunktzahlen: Single Double (optional, aber vom C-Standard verlangt), so gut wie überall verfügbar Single-extended (optional) Double-extended (optional) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 97

99 Gleitpunktarithmetik und Fehleranalyse SINGLE-FORMAT IM IEEE-STANDARD FORTRAN: REAL*4, C: float = 1 Wort = 32 Bits, ± Exp. Mantisse Vorzeichen (1 Bit) 1 Bit, 0 = +, 1 = Exponent (8 Bits) Anstatt durch Vorzeichen-Betrag oder Zweierkomplement wird der Exponent verschoben dargestellt (biased Exponent), d.h. der Wert e des Exponenten ergibt sich aus e = E 127, 1 E 254, d.h. 126 e 127, wobei E die durch die 8 Bits dargestellte Zahl bezeichnet. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 98

100 Gleitpunktarithmetik und Fehleranalyse SINGLE-FORMAT IM IEEE-STANDARD Die Werte E = 0, 255 sind reserviert für Sonderzahlen: E = 0 für subnormale Zahlen und Null, E = 255 für ± und NaN. Mantisse (23 Bits) Diese Ziffern stellen den Binärbruch dar. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 99

101 Gleitpunktarithmetik und Fehleranalyse DIE IEEE-SINGLE-ZAHLEN IM ÜBERBLICK Bitmuster E im Exponenten dargestellte Gleitpunktzahl ( ) 2 = 0 ±(0.d 1 d 2... d 23 ) ( ) 2 = 1 ±(1.d 1 d 2... d 23 ) ( ) 2 = 127 ±(1.d 1 d 2... d 23 ) ( ) 2 = 128 ±(1.d 1 d 2... d 23 ) ( ) 2 = 254 ±(1.d 1 d 2... d 23 ) ( ) 2 = 255 ± falls d 1 = = d 23 = 0, sonst NaN INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 100

102 Gleitpunktarithmetik und Fehleranalyse IEEE-SINGLE-FORMAT CHARAKTERISTISCHE GRÖSSEN Mantissenlänge: p = 24 größte normalisierte Zahl: N max = ( ) = 2( ) kleinste normalisierte positive Zahl: N min = ( ) = kleinste positive Zahl: M min = ( ) = Maschinengenauigkeit: ε = ( ) 2 ( ) 2 = INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 101

103 Gleitpunktarithmetik und Fehleranalyse DOUBLE-FORMAT IM IEEE-754 STANDARD FORTRAN: REAL*8, C: double = 2 Worte = 64 Bits, ± Exp. Man- tisse d.h. 1 Bit Vorzeichen, 11-Bit Exponent und (1+)52-Bit Mantisse. Charakteristika: p = 53 e min = = 1022 e max = = 1023 N min = N max M min = ε = INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 102

104 Gleitpunktarithmetik und Fehleranalyse RUNDUNG IN IEEE-ARITHMETIK Zu x R seien x, x + M die nächstgelegenenen Maschinenzahlen kleiner bzw. größer als x. IEEE-Arithmetik definiert rd(x) := x falls x M, andernfalls hängt der Wert rd(x) vom aktuell eingestellten Rundungsmodus ab, welcher einer der folgenden vier sein kann: Abrunden. rd(x) = x Aufrunden. rd(x) = x + Rundung zur Null. rd(x) = x, falls x 0 und rd(x) = x + falls x 0. Rundung zur nächsten Maschinenzahl (Default). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 103

105 Gleitpunktarithmetik und Fehleranalyse RUNDUNG IN IEEE-ARITHMETIK Rundung zur nächsten Maschinenzahl rd(x) erhält den näher an x liegenden Wert unter x und x +. Liegt x genau zwischen x und x +, so wird diejenige Zahl als rd(x) gewählt, deren niedrigstwertiges Bit Null ist. (Dies verhindert Drift.) Weitere Ausnahme: rd(x) = falls x > N max und rd(x) = falls x < N max. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 104

106 Gleitpunktarithmetik und Fehleranalyse AUSNAHMESITUATIONEN (EXCEPTIONS) IEEE-Arithmetik definiert fünf Ausnahmesituationen sowie für jede dieser eine Standardreaktion: invalid operation (ungültige Operation) 0/0, /,, 1 und dergleichen division by zero (Division durch Null) overflow (Exponentüberlauf) Ergebnis einer Operation größer als N max underflow (Exponentunterlauf) Ergebnis einer Operation kleiner als N min Das Weiterrechnen mit denormalisierten Maschinenzahlen bezeichnet man als gradual underflow. inexact (ungenaues Ergebnis) Resultat keine Maschinenzahl (dies ist eigentlich keine Ausnahme) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 105

107 Gleitpunktarithmetik und Fehleranalyse PHILOSOPHIE BEI AUSNAHMESITUATIONEN IEEE-754 fordert, dass beim Eintreten einer Ausnahmesituation ein Statusbit gesetzt wird, welches explizit wieder gelöscht werden muss (sticky bit). Ferner legt der Standard nahe, dass dem Programmierer die Möglichkeit gegeben wird, entweder die Behandlung dieser Ausnahmesituation durch speziellen Code selbst zu bestimmen (exception handling) oder die Ausnahmesituation zu ignorieren und weiterzurechnen (exception masking). Dies gestattet es, nur in (seltenen) problematischen Fällen auf aufwendigere Varianten eines Programmcodes zurückzugreifen, um korrekte Behandlung des Rundefehlers zu gewährleisten. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 106

108 Gleitpunktarithmetik und Fehleranalyse STANDARDREAKTIONEN Standardreaktionen invalid operation Setze Ergebnis auf NaN division by zero Setze Ergebnis auf ± overflow Setze Ergebnis auf ± oder ±N max underflow Setze Ergebnis auf ±0, ±N min oder subnormal inexact Setze Ergebnis auf korrekt gerundeten Wert Exponentüberlauf kann durch geeignete Skalierung oft auf Kosten eines harmlosen Unterlaufs vermieden werden. Beispiel: c = a 2 + b 2 mit a = und b = 1 (Rechnung mit vier Dezimalstellen in Mantisse und zwei Dezimalstellen im Exponent). Standardauswertung verursacht Überlauf. Besser: c = s (a/s) 2 + (b/s) 2 mit s = max{ a, b }. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 107

110 Gleitpunktarithmetik und Fehleranalyse KORREKTE RUNDUNG Die Maschinenzahlen M sind bezüglich der elementaren arithmetischen Operationen (Addition, Subtraktion, Multiplikation und Division) nicht abgeschlossen (selbst wenn wir für die Exponenten beliebige Werte erlauben). Beispiele: x = ist eine Gleitpunktzahl zur Basis 10 mit der Mantissenlänge 2, während x x = eine dreistellige Mantisse besitzt. Im IEEE-Single Format sind 1 und 2 24 beides Maschinenzahlen, deren Summe hingegen nicht. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 109

111 Gleitpunktarithmetik und Fehleranalyse KORREKTE RUNDUNG Für jede der Operationen {+,,, /} wird die entsprechende korrekt gerundete Gleitpunktoperation definiert durch fl(x y) := rd(x y), x, y M. Für alle x, y M gilt daher, falls weder Unter- noch Überlauf eintritt, fl(x y) = (1 + δ)(x y) mit δ u. Auf dieser Annahme fußt der Großteil moderner Rundungsfehleranalyse. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 110

112 Gleitpunktarithmetik und Fehleranalyse KORREKTE RUNDUNG BEISPIEL Man beachte aber, dass die neuen Operationen den klassischen Gesetzen der Arithmetik (wie etwa den Kommutativ-, Assoziativ- und Distributivgesetzen) nicht mehr genügen. Z.B. in vierstelliger Gleitpunktarithmetik zur Basis 10: x = , y = M, x + y = , d.h. fl(x + y) = , was fl(x + y) = x bedeutet, obwohl rd(y) 0. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 111

113 Gleitpunktarithmetik und Fehleranalyse GERUNDETE ARITHMETIK IM IEEE-STANDARD IEEE-754 verlangt folgende korrekt gerundete Operationen die vier Grundrechenarten Quadratwurzel und Rest bei Division Formatkonvertierungen Die korrekte Rundung richtet sich nach dem Zielformat, was je nach Variablentyp oder aktueller Hardware (Akkumulator, Register oder Speicherzelle) unterschiedlich sein wird. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 112

114 Gleitpunktarithmetik und Fehleranalyse KORREKTE RUNDUNG Warum ist korrekte Rundung so wichtig? Man betrachte etwa die folgenden vier Fragen: Frage 1: Gilt fl(1 x) = x für x M? Frage 2: Gilt fl(x/x) = 1 für x M, x 0, x endlich? Frage 3: Gilt fl(0.5 x) = fl(x/2) für x M? Frage 4: Folgt aus fl(x y) = 0 für x, y M auch x = y? In IEEE-Arithmetik kann man jede dieser Fragen bejahen. In den 60er und 70er Jahren existierte zu jeder Frage ein (jeweils weit verbreitetes) Computersystem, bei welchem für bestimmte Daten die Antwort nein lautete. Insbesondere kann man für IEEE-Arithmetik Frage 4 bejahen aufgrund der Verwendung subnormaler Zahlen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 113

115 Gleitpunktarithmetik und Fehleranalyse BEISPIEL Frage Welchen Wert x liefert das Programm x = 1; while 1+x ~= 1, x = x/2; end while output x in p-stelliger Gleitpunktarithmetik (zur Basis 2)? INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 114

116 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG ADDITION UND SUBTRAKTION Gegeben: zwei IEEE-Single Zahlen x = m x 2 ex, y = m y 2 ey. Gilt e x = e y, so ergibt sich fl(x + y) aus (m x + m y ) 2 ex mit anschließender Normalisierung. Beispiel: 3 + 2: ( ) ( ) = ( ) Normalisierung: ( ) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 115

117 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG ADDITION UND SUBTRAKTION Ist e x > e y, so müssen die Mantissen zuerst angepasst werden, z.b. bei 3 + 3/4: ( ) ( ) = ( ) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 116

118 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG HILFSZIFFERN (GUARD DIGITS) Betrachte die Operation : ( ) ( ) = ( ) Abgerundet: ( ) Aufgerundet: ( ) In diesem Fall muss gerundet werden, da das Ergebnis keine Maschinenzahl ist. Allerdings erfordert die Berechnung des korrekt gerundeten Resultats eine Hilfsziffer rechts vom niedrigstwertigen Bit. Bei der Rundung zur nächstgelegenen Maschinenzahl würde hier aufgerundet (warum?). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 117

119 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG AUSLÖSCHUNG Wir betrachten die Subtraktion der (benachbarten) Zahlen x = 1 und y = ( ) : ( ) ( ) = ( ) Normalisierung: ( ) Man spricht hier von Auslöschung, da sich alle Ziffern bis auf die letzte wegheben. Auch hier ist eine Hilfsziffer unabdingbar für korrekte Rundung. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 118

120 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG NOTWENDIGKEIT MEHRERER HILFSZIFFERN Betrachte x y mit x = 1 und y = ( ) Bei der Verwendung von 25 Hilfsziffern erhalten wir ( ) ( ) = ( ) = ( ) = ( ) 2 2 1, wobei der Rundungsmodus Rundung zur nächsten Maschinenzahl ist. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 119

121 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG NOTWENDIGKEIT MEHRERER HILFSZIFFERN Aufgabe Berechnen Sie x y mit x = 1 und y = ( ) unter Verwendung von a) 3 b) 4 c) 5 Hilfsziffern! INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 120

122 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG NOTWENDIGKEIT MEHRERER HILFSZIFFERN Weniger als 25 Hilfsziffern hätten hier nicht genügt, um das korrekt gerundete Ergebnis zu berechnen (nachprüfen!). Bei Rechnern der Firma CRAY Research war bis vor kurzem die Subtraktion aufgrund fehlender Hilfsziffern nicht korrekt gerundet. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 121

123 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG NOTWENDIGKEIT MEHRERER HILFSZIFFERN Man kommt aber mit weniger Hilfsbits aus: Wir verwenden nun zwei Hilfsziffern und ein zusätzliches Hilfsbit, welches dann gesetzt wird, wenn beim Shiften der Mantisse mindestens ein von Null verschiedenes Bit verlorengegangen (d.h. jenseits der zweiten Hilfsziffer gewandert) ist. Dieses Bit setzen wir vor der Subtraktion an die dritte Hilfsziffer: ( ) ( ) = ( ) Normalisierung: ( ) Rundung: ( ) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 122

124 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG NOTWENDIGKEIT MEHRERER HILFSZIFFERN Man kann zeigen, dass für korrekt gerundete Subtraktion nicht mehr als diese zwei Hilfsziffern und das Hilfsbit (sticky bit) benötigt werden. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 123

125 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG MULTIPLIKATION UND DIVISION Hier ist ein Anpassen der Mantissen nicht notwendig: Multiplikation von x = m x 2 ex mit y = m y 2 ey ergibt xy = (m x m y ) 2 ex+ey. Somit besteht die Multiplikationsoperation aus den drei Schritten Multiplikation der Operandenmantissen, Addition der Operandenexponenten und Normalisierung des Ergebnisses. (Analog bei Division). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 124

126 Gleitpunktarithmetik und Fehleranalyse IMPLEMENTIERUNG RECHENGESCHWINDIGKEITEN Relative Geschwindigkeit von Multiplikation/Division im Vergleich zu Addition/Subtraktion: Im Prinzip gleich schnell in Hardware realisierbar, allerdings mit wesentlich mehr Aufwand. Aktueller Kompromiss beim Chipentwurf: Multiplikation ungefähr so schnell wie Addition/Subtraktion, Division deutlich langsamer. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 125

128 Gleitpunktarithmetik und Fehleranalyse NUM. STABILITÄT UND FEHLERANALYSE Es sei ŷ = fl(f(x)) das in Gleitpunktarithmetik berechnete Ergebnis einer Funktion y = f(x). Wie beurteilt man die Qualität von ŷ? (Relativer) Vorwärtsfehler: (y ŷ)/y. (Relativer) Rückwärtsfehler: (x ˆx)/x, dabei ist ˆx das (ein) Eingabedatum, das bei rundungsfreier Rechnung zu ŷ führt: f(ˆx) = ŷ (Rundungsfehler werden als Datenfehler interpretiert). Mit Störungstheorie kann man Vorwärtsfehler durch Rückwärtsfehler abschätzen. Faustregel: Vorwärtsfehler Konditionszahl Rückwärtsfehler. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 127

129 Gleitpunktarithmetik und Fehleranalyse exakt y x (absoluter) Rueckwaertsfehler (absoluter) Vorwaertsfehler ^x berechnet exakt ^y Daten Ergebnisse INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 128

130 Gleitpunktarithmetik und Fehleranalyse STABILITÄT Ein Algorithmus heißt vorwärtsstabil, wenn der Vorwärtsfehler klein ist, rückwärtsstabil, wenn der Rückwärtsfehler klein ist; was klein bedeutet, hängt vom Problem und der Maschinengenauigkeit ab. Die Kondition(szahl) eines Problems (hat nichts mit Gleitpunktarithmetik zu tun!!) ist ein Maß dafür, wie empfindlich das Ergebnis auf Störungen der Daten reagiert. Ein Problem ist gut (schlecht) konditioniert, wenn seine Konditionszahl klein (groß) ist. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 129

131 Gleitpunktarithmetik und Fehleranalyse KONDITIONSZAHL Bestimme y = f(x) mit Störung der Daten x ŷ = f(x + x) = f(x) + f (x) x f (ζ)( x) 2. x klein: ŷ = f(x + x) f(x) + f (x) x = y + f (x) x oder f(x + x) f(x) f(x) = ŷ y y xf (x) x f(x) x. (Relative) Konditionszahl von f an der Stelle x: c f (x) = xf (x) f(x). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 130

132 Gleitpunktarithmetik und Fehleranalyse RELATIVE KONDITIONSZAHL BEISPIEL Beispiel: f(x) = log(x) c f (x) = x/x 1 = moderat für sehr kleine und sehr log(x) log(x) große (positive) x, riesig für x 1. x 1 = 0.01: c f (x 1 ) = , x 2 = 0.99: c f (x 2 ) = , x 3 = 100.: c f (x 3 ) = INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 131

133 Gleitpunktarithmetik und Fehleranalyse RELATIVE KONDITIONSZAHL BEISPIEL Frage: Wie wirkt sich eine relative Störung von ε x = ( x)/x = aus? Prognose für den Vorwärtsfehler: f(x k x k ) f(x k ) f(x k ) c f (x k ) = log(x k ). k rel. Fehler Prognose INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 132

134 Gleitpunktarithmetik und Fehleranalyse ABSOLUTER FEHLER Allgemeiner: y = f(x 1, x 2,..., x n ). Absolute Störungen der Daten, x k (k = 1, 2,..., n), verursachen absoluten Fehler im Ergebnis: y = f(x 1 + x 1,..., x n + x n ) f(x 1,..., x n ) d k = f(x 1, x 2,..., x n ) x k n d k x k, k=1 (absolute Konditionszahlen von f). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 133

135 Gleitpunktarithmetik und Fehleranalyse RELATIVER FEHLER Relative Störungen der Daten, ε k = x k /x k (k = 1, 2,..., n), verursachen relativen Fehler im Ergebnis: ε y = f(x 1 + x 1,..., x n + x n ) f(x 1,..., x n ) f(x 1,..., x n ) c k = x k f(x 1, x 2,..., x n ) f(x 1, x 2,..., x n ) x k n c k ε k, k=1 (relative Konditionszahlen von f). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 134

136 Gleitpunktarithmetik und Fehleranalyse BEISPIELE GRUNDOPERATIONEN y = f(x 1, x 2 ) = x 1 x 2. D.h. c 1 = 1 und c 2 = 1 (unproblematisch). y = f(x 1, x 2 ) = x 1 /x 2. D.h. c 1 = 1 und c 2 = 1 (unproblematisch). y = f(x 1, x 2 ) = x 1 + x 2. D.h. c 1 = x 1 /(x 1 + x 2 ) und c 2 = x 2 /(x 1 + x 2 ). y = f(x 1, x 2 ) = x 1 x 2. D.h. c 1 = x 1 /(x 1 x 2 ) und c 2 = x 2 /(x 1 x 2 ). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 135

137 Gleitpunktarithmetik und Fehleranalyse BEISPIELE GRUNDOPERATIONEN Bei den Operationen ± können die Konditionszahlen riesig werden: x 1 x 2 : Addition schlecht konditioniert. x 1 x 2 : Subtraktion schlecht konditioniert. (Auslöschung!) Etwa: x 1 = , x 2 = x 1 = 10 5, x 2 = , dh. ε , ε y = x 1 x 2 = (Auslöschung führender Ziffern). (x 1 + x 1 ) (x 2 + x 2 ) = Also ε y = Prognose: c 1 = , c 2 = , ε y c 1 ε 1 + c 2 ε ( ) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 136

139 Gleitpunktarithmetik und Fehleranalyse EIN ABSCHLIESSENDES BEISPIEL Die quadratische Gleichung hat die Lösungen x 2 bx + c = 0 x 1/2 = b ± b 2 4c. 2 Für b = und c = erhält man nach Rechnung mit fünfstelliger Dezimalmantisse Warum? x 1 = (rel. Fehler: ), x 2 = (rel. Fehler: ). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 138

140 Gleitpunktarithmetik und Fehleranalyse Schritt Ergebnis rel. Fehler 1. b c b 2 4c b 2 4c b b 2 4c (b b 2 4c)/ b + b 2 4c (b + b 2 4c)/ x 2 = c/x INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 139

141 Gleitpunktarithmetik und Fehleranalyse BERECHNUNG VON π Beispiel aus der Einleitung dieses Kapitels: A n+1 = 2 n [2 (1 ) 1 (A n /2 n ) 2 ] 1/2. } {{ } Auslöschung! Setze R n := (A n /2 n ) 2, d.h. A n+1 = 2 n R n. 2 Beachte: R n = 4Z n und Z n ist (die kleinere) Lösung von X 2 X (A n/2 n ) 2 = X 2 X + (A n /2 n+1 ) 2 = 0. Alter Trick: 2(A n /2 n+1 ) 2 Z n = (A n /2 n ), R 2 n = 4Z n, A n+1 = 2 n R n. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 140

142 Gleitpunktarithmetik und Fehleranalyse Fehler der Naeherungen an π instabile Formel stabile Formel stabile Formel single Fehlerschranke Maschinengenauigkeit single Maschinengenauigkeit double INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 141

143 Gleitpunktarithmetik und Fehleranalyse SCHWERPUNKTE DIESES KAPITELS Aufbau eines Gleitpunktarithmetik-Systems (Mantisse(nlänge), Exponent(bereich), Maschinengenauigkeit) subnormale Zahlen, Ulp Abschätzung von Rundefehlern Zahlenformate im IEEE-754-Standard, Sonderzahlen korrekt gerundete Gleitpunktarithmetik, Auslöschung, Hilfsziffern Vorwärts-/Rückwärtsfehler, Vorwärts-/Rückwärtsstabilität, Konditionszahl INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 142

144 Gleitpunktarithmetik und Fehleranalyse ÜBUNGSAUFGABEN 1. Berechnen Sie die relative Konditionszahl c f folgender Ausdrücke (1) x a d = 0, a > 0 (2) d x + 1 = 0, d ist das Datum, a ein Parameter und x die Unbekannte! 2. Zeigen Sie, dass die Formel A(T ) = p(p a)(p b)(p c) zur Berechnung der Fläche A eines Dreiecks T mit den Seiten a, b und c im Fall stark deformierter Dreiecke (a b + c) an Genauigkeit verliert, wobei p der halbe Umfang von T ist! INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 143

145 Gleitpunktarithmetik und Fehleranalyse ÜBUNGSAUFGABEN 3. Gegeben ist die quadratische Gleichung x x = 0, deren 2 Lösungen bekannterweise durch x 1 = p 2 + (p 2 ) 2 q und x2 = p 2 (p 2 ) 2 q gegeben sind. Berechnen Sie diese beiden Lösungen. Können diese Ergebnisse stimmen? Benutzen Sie andere Varianten zur Bestimmung der Lösungen x 1 und x 2. (Hinweis: Wurzelsatz von VIETA: x 1 x 2 = q.) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 144

146 Direkte Verfahren zur Lösung linearer Gleichungssysteme INHALT 1. Einleitung 2. Einführung und Begriffe 2.1 Mathematische Modellbildung und numerische Simulation am Beispiel eines Wasserkreislaufs 2.2 Linearisierung und Iterationsverfahren am Beispiel des Newton-Verfahrens 2.3 Diskretisierung und Stabilität am Beispiel der Wärmeleitungsgleichung 3. Gleitpunktarithmetik und Fehleranalyse 3.1 Ein einführendes Beispiel - Berechnung von π 3.2 Gleitpunktzahlen 3.3 Rundung 3.4 Der IEEE-754 Standard 3.5 Korrekt gerundete Gleitpunktarithmetik 3.6 Numerische Stabilität und Fehleranalyse INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/ Ein abschließendes Beispiel

147 Direkte Verfahren zur Lösung linearer Gleichungssysteme VORBEMERKUNGEN The simplest model in applied mathematics is a system of linear equations. It is also by far the most important... (Gilbert Strang, Introduction to Applied Mathematics, Wellesley (CA) 1986, p. 1). Spötter behaupten, dass numerischen Berechnungen ausschließlich aus dem Lösen linearer Systeme bestehen. Richtig ist, dass sehr viele Aufgaben der Numerik durch Diskretisierung und Linearisierung auf das Lösen solcher Systeme reduziert werden. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 146

148 Direkte Verfahren zur Lösung linearer Gleichungssysteme VORBEMERKUNGEN Wir haben in Abschnitt 2.3 gesehen, dass beim impliziten Euler-Verfahren für jeden Zeitschritt ein lineares Gleichungssystem entsteht. Typisch ist hier, dass diese Systeme nur Hilfsmittel sind, um ganz andere Probleme zu lösen (in unserem Beispiel ein parabolisches Anfangsrandwertproblem). Typisch ist aber auch, dass die Rechenzeit, die zur Berechnung der Wärmeverteilung erforderlich ist, überwiegend zur Lösung linearer Systeme eingesetzt wird. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 147

149 Direkte Verfahren zur Lösung linearer Gleichungssysteme AUFGABE Bestimmen Sie x 1, x 2 als Lösung des linearen Gleichungssystems mittels x x x 3 = 2 x 1 + x 2 + x 3 = 2 3 x x 2 + x 3 = 0 a) Gaußschem Eliminationsverfahren b) Gauß-Jordan-Verfahren c) Cramerscher Regel! INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 148

151 Direkte Verfahren zur Lösung linearer Gleichungssysteme LINEARE GLEICHUNGSSYSTEME x 1 x 2 = 0 3 x 2 = 1 2 x 1 + x 2 = 1 ist ein System von 3 Gleichungen in 2 Unbekannten. Allgemeiner und abstrakter: a 1,1 x 1 + a 1,2 x a 1,n x n = b 1 a 2,1 x 1 + a 2,2 x a 2,n x n = b 2... a m,1 x 1 + a m,2 x a m,n x n = b m ist ein System von m linearen Gleichungen in den n Unbekannten x 1, x 2,..., x n. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 150

152 Direkte Verfahren zur Lösung linearer Gleichungssysteme LINEARE GLEICHUNGSSYSTEME Kurzschreibweise: bzw. mit [ x1 x 2 Ax = b A = [a i,j ] 1 i m,1 j n R m n, x = ] = x 1. x n R n, b = A ist die Koeffizientenmatrix und b die rechte Seite des linearen Gleichungssystems. b 1. b m R m. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 151

153 Direkte Verfahren zur Lösung linearer Gleichungssysteme GEOMETRISCHE DEUTUNG Jede der m Gleichungen repräsentiert eine Hyperebene im R n : A(i, :)x = b i mit A(i, :) = [a i,1, a i,2,..., a i,n ] Gesucht ist der Durchschnitt dieser Hyperebenen. (i = 1, 2,..., m). 1 x 1 x 2 = x 2 = x 1 + x 2 = INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 152

154 Direkte Verfahren zur Lösung linearer Gleichungssysteme ANALYTISCHE DEUTUNG Mit A(:, j) = [a 1,j, a 2,j,..., a m,j ] T lässt sich Ax = b auch als schreiben. x 1 A(:, 1) + x 2 A(:, 2) + + x n A(:, n) = b Gesucht sind also Koeffizienten x j, mit deren Hilfe man die rechte Seite b als Linearkombination der Spalten von A darstellen kann. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 153

155 Direkte Verfahren zur Lösung linearer Gleichungssysteme EXISTENZ UND EINDEUTIGKEIT DER LÖSUNG Definiert man das Bild von A (engl. range) durch R(A) := {y R m : x 1, x 2,..., x n mit y = dann folgt: n x j A(:, j)}, j=1 Ax = b besitzt genau dann (mindestens) eine Lösung, wenn b R(A). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 154

156 Direkte Verfahren zur Lösung linearer Gleichungssysteme EXISTENZ UND EINDEUTIGKEIT DER LÖSUNG In unserem Beispiel, d.h. für A = [ ], gilt R(A) = span {Ae 1, Ae 2 } = span α β = 3β : α, β R. 2α + β 1 0 2, D.h. dass unser Beispielsystem Ax = [0, 1, 1] T lösbar ist (α = β = 1/3), während etwa Ax = [1, 0, 0] T keine Lösung besitzt. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 155

157 Direkte Verfahren zur Lösung linearer Gleichungssysteme EXISTENZ UND EINDEUTIGKEIT DER LÖSUNG Der Kern oder Nullraum von A ist durch definiert. Es gelten: N (A) := {z R n : Az = 0} Ax = b und z N (A) = A(x + z) = b, Ax = b und A x = b = A(x x) = 0, dh. x x N (A). Das bedeutet: Ax = b besitzt genau dann höchstens eine Lösung, wenn N (A) = {0}. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 156

158 Direkte Verfahren zur Lösung linearer Gleichungssysteme EXISTENZ UND EINDEUTIGKEIT DER LÖSUNG Für A = [ Das bedeutet: ] ist N (A) = {[ 0 0 ]}. Ist Ax = b für ein b R 3 lösbar, dann ist es eindeutig lösbar. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 157

159 Direkte Verfahren zur Lösung linearer Gleichungssysteme QUADRATISCHE MATRIZEN A Für quadratische Matrizen A C n n (in diesem Kapitel werden wir uns ausschließlich mit solchen Matrizen befassen) heißt das: Ax = b ist genau dann eindeutig lösbar, wenn A invertierbar ist. Theorem 1 Für eine quadratische Matrix A C n n sind die folgenden fünf Aussagen äquivalent: (a) A ist invertierbar. (b) N (A) = {0}. (c) R(A) = C n. (d) Alle Eigenwerte von A sind ungleich 0. (e) det(a) 0. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 158

161 Direkte Verfahren zur Lösung linearer Gleichungssysteme DAS LÖSEN VON DREIECKSSYSTEMEN Die Grundidee vieler Algorithmen der numerischen linearen Algebra besteht darin, die zu lösende Aufgabe in eine einfache Form zu transformieren, bei der die Lösung (mehr oder weniger) abgelesen werden kann. Sehr einfach zu lösende Gleichungssysteme sind sogenannte Dreieckssysteme, mit deren Lösung wir uns zunächst beschäftigen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 160

162 Direkte Verfahren zur Lösung linearer Gleichungssysteme DAS LÖSEN VON DREIECKSSYSTEMEN Ein lineares Gleichungssystem der Form r 1,1 x 1 + r 1,2 x r 1,n x n = c 1 r 2,2 x r 2,n x n = c r n,n x n = c n oder kurz: Rx = c mit einer oberen Dreiecksmatrix R = [r i,j ] 1 i,j n R n n, r i,j = 0 i > j, heißt (oberes) Dreieckssystem. Untere Dreieckssysteme Lx = d mit unteren Dreiecksmatrizen L = [l i,j ] 1 i,j n R n n (l i,j = 0 i < j) werden analog definiert. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 161

163 Direkte Verfahren zur Lösung linearer Gleichungssysteme DAS LÖSEN VON DREIECKSSYSTEMEN Ist det(r) 0, d.h. r i,i 0 i = 1, 2,..., n, so besitzt Rx = c genau eine Lösung, die man durch Rückwärts-Substitution, x j = 1 r j,j (c j r j,j+1 x j+1 r j,n x n ) (j = n, n 1,..., 1), mit n Divisionen, n(n 1)/2 Multiplikationen und n(n 1)/2 Additionen, also mit insgesamt n 2 Gleitpunktoperationen berechnen kann. Untere Dreieckssysteme Lx = d werden falls det(l) 0 analog durch Vorwärts-Substitution, x j = 1 l j,j (d j l j,1 x 1 l j,j 1 x j 1 ) in n 2 Gleitpunktoperationen gelöst. (j = 1, 2,..., n), INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 162

165 Direkte Verfahren zur Lösung linearer Gleichungssysteme GESCHICHTE DER GAUSS-ELIMINATION 220 v. Chr. 9 n. Chr. Chiu Chang Suan Shu (Neun Kapitel über Arithmetik). China. Kapitel 8 enthält eine Anleitung, LGS bis zur Dimension 5 mittels Elimination zu lösen Gabriel Cramer ( ): Cramersche Regel. Theoretisch einwandfrei aber praktisch unbrauchbar. (Lösung eines Problems erfordert ca. 300 Mio Multiplikationen.) 1809,1823. Carl Friedrich Gauß ( ): Theoria motus corporum... und Theoria combinationis observationum.... Beschreibt Eliminationsverfahren für symmetrische Matrizen aus der Ausgleichsrechnung. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 164

166 Direkte Verfahren zur Lösung linearer Gleichungssysteme GESCHICHTE DER GAUSS-ELIMINATION Wilhelm Jordan ( ): Handbuch der Vermessungskunde. Erste schriftliche Erwähnung des Gauß-Jordan-Algorithmus Alan Mathison Turing ( ): Darstellung der Gauß-Elimination als Folge von Multiplikationen mit unteren Dreiecksmatrizen James Hardy Wilkinson ( ): Rundungsfehleranalyse zur Gauß-Elimination. Stand der Kunst. Zuverlässige Lösung von sehr großen Systemen möglich (N 10 5 für vollbesetzte, N 10 7 für dünn besetzte Matrizen). Software von hoher Qualität verfügbar (z.b. LAPACK). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 165

167 Direkte Verfahren zur Lösung linearer Gleichungssysteme GAUSS-ELIMINATION Idee: Transformiere Ax = b, A R n n mit det(a) 0, auf ein oberes Dreieckssystem Rx = c, ohne die Lösung zu verändern. Löse dann Rx = c durch Rückwärts-Substitution. Die Lösung eines Gleichungssystems verändert sich nicht, wenn man es einer der drei folgenden Umformungen unterzieht: Subtrahiere von einer Gleichung das λ-fache einer anderen. Vertausche zwei Gleichungen. Vertausche zwei Variablen (hier muss man sich allerdings merken, welche Unbekannten vertauscht wurden). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 166

168 Direkte Verfahren zur Lösung linearer Gleichungssysteme BEISPIEL x 1 x 2 x 3 x 4 = Schritt: Eliminiere x 1 aus der zweiten, dritten und vierten Gleichung. Um das zu erreichen, subtrahiert man das l i,1 = a i,1 a 1,1 -fache der ersten Gleichung von der i-ten (i = 2, 3, 4). Hier: l 2,1 = 2, l 3,1 = 3, l 4,1 = 1. Mit 0 L 1 = I l 2,1 l 3,1 [ ] = l 4, INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 167

169 Direkte Verfahren zur Lösung linearer Gleichungssysteme ergibt sich L 1 [A b] = Schritt: Eliminiere x 2 aus der dritten und vierten Gleichung, d.h. subtrahiere das l i,2 = a i,2 a 2,2 -fache der zweiten Gleichung von der i-ten (i = 3, 4). Hier: l 3,2 = 2, l 4,2 = 3. Mit L 2 = I 0 0 l 3,2 l 4,2 [ ] = INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 168

170 Direkte Verfahren zur Lösung linearer Gleichungssysteme ergibt sich L 2 L 1 [A b] = Schritt: Eliminiere x 3 aus der vierten Gleichung, d.h. subtrahiere das l i,3 = a i,3 a 3,3 -fache der dritten Gleichung von der i-ten (i = 4). Hier l 4,3 = 5. Mit L 3 = I 0 0 [ ] = l 4, INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 169

171 Direkte Verfahren zur Lösung linearer Gleichungssysteme ergibt sich [R b] = L 3 L 2 L 1 [A b] = Die Eliminationsphase ist jetzt abgeschlossen und wir können x 4, x 3, x 2, x 1 durch Rückwärts-Substitution bestimmen: x 4 = 1, x 3 = 1 2 [1 7x 4] = 3, x 2 = 1 2 [ 10 3x 3 + 5x 4 ] = 2, x 1 = 1 2 [1 + x 2 + 3x 3 3x 4 ] = 9 2. Das Gaußsche Eliminationsverfahren liefert eine LR-Zerlegung von A, d.h. eine Faktorisierung A = L R mit einer normierten unteren Dreiecksmatrix L und einer oberen Dreiecksmatrix R. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 170

172 Direkte Verfahren zur Lösung linearer Gleichungssysteme Im allgemeinen: L n 1 L 2 L 1 A = R, d.h. A = (L n 1 L 2 L 1 ) 1 R = ( L 1 1 L 1 2 L n 1) R =: L R. In unserem Beispiel: L = = = , INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/

173 Direkte Verfahren zur Lösung linearer Gleichungssysteme also A = L R Lemma Mit e i R n bezeichnen wir den i-ten Einheitsvektor. Sei m i = [0,..., 0, l i+1,i,..., l n,i ] T C n (1 i n 1). Für die Matrizen L i = I m i e T i C n n gelten: (a) L 1 i = I + m i e T i. (b) L 1 1 L 1 2 Ln 1 1 = I + m 1e T 1 + m 2e T m n 1e T n 1. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 172

174 Direkte Verfahren zur Lösung linearer Gleichungssysteme Bei der numerischen Rechnung wird die Matrix A durch die Zwischenmatrizen überschrieben (analog für die rechte Seite). Außerdem müssen die Nullen unterhalb der Hauptdiagonalen nicht gespeichert werden, man verwendet diese Felder für die Zahlen l i,j. Pseudocode: Aufwand: 2 3 n3 +O(n 2 ) flops. for j = 1 : n 1 do if a j,j = 0 then stop else for i = j + 1 : n do a i,j := a i,j /a j,j b i := b i a i,j b j for k = j + 1 : n do a i,k := a i,k a i,j a j,k INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 173

175 Direkte Verfahren zur Lösung linearer Gleichungssysteme In unserem Beispiel: INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 174

176 Direkte Verfahren zur Lösung linearer Gleichungssysteme INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 175

178 Direkte Verfahren zur Lösung linearer Gleichungssysteme PIVOTISIERUNG Das Eliminationsverfahren bricht (bereits im ersten Schritt) zusammen, wenn es auf die Matrix A = [ ] angewandt wird (obwohl det(a) 0). Einfache Abhilfe: Vertausche die Zeilen (Gleichungen) von A, damit das Pivotelement a 1,1 von 0 verschieden ist. Kleine Pivotelemente können zu ungenauen Ergebnissen führen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 177

179 Direkte Verfahren zur Lösung linearer Gleichungssysteme BEISPIEL Beispiel: mit der Lösung x = [ ] x = [ ] [ 1 0 ] [ 1 1 Gauß-Elimination (mit Maschinengenauigkeit ε = ): x 1 + x 2 = 1 ]. ( )x 2 = 10 20, gerundet x 2 = 10 20, d.h. x 2 = 1, x 1 = 0. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 178

180 Direkte Verfahren zur Lösung linearer Gleichungssysteme Bzw. statt [ L = [ L = ] ] und R = und R = Das bedeutet [ ] L R = statt LR = 1 0 [ [ [ ] ]. ] = A. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 179

181 Direkte Verfahren zur Lösung linearer Gleichungssysteme Standard-Abhilfe: Spaltenpivotsuche Bestimme im j-ten Eliminationsschritt den Index j 0 {j, j + 1,..., n} mit a j0,j = max j k n a k,j und vertausche die Zeilen (Gleichungen) j und j 0. Obiges Beispiel: [ ] [ ] 1 1 x = 1 x 2 [ 0 1 ] bzw. [ ] [ x1 x 2 ] = [ 0 1 ] liefert x 2 = 1 und x 1 = 1. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 180

182 Direkte Verfahren zur Lösung linearer Gleichungssysteme Diese Pivotstrategie kann leicht ad absurdum geführt werden, wenn man die verschiedenen Gleichungen unterschiedlich wichtet: Beispiel (wie oben, nur erste Gleichung wurde mit multipliziert) [ ] [ ] [ ] x führt bei Rechnung = (mit Spaltenpivotsuche), ε 10 16, x 2 wie oben auf x 2 = 1 und x 1 = 0. A heißt zeilenäquilibriert, wenn in jeder Zeile die Betragssumme der Einträge gleich ist, n a i,j = 1 (i = 1, 2,..., n). j=1 Man kann das leicht dadurch erreichen, indem man die i-te Zeile vorab mit 1/ n j=1 a i,j multipliziert. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 181

183 Direkte Verfahren zur Lösung linearer Gleichungssysteme IMPLEMENTIERUNG Programm zur Eliminationsphase (mit Spaltenpivotsuche) for i = 1:n d(i) = 1/sum(abs(A(i,1:n))) for j = 1:n-1 m = j for i = j+1:n if d(i)*abs(a(i,j)) > d(m)*abs(a(m,j)), m = i p(j) = m Vertausche Zeile j und Zeile p(j) (ab Spalte j) Vertausche d(j) und d(p(j)) for i = j+1:n A(i,j) = A(i,j)/A(j,j) for k = j+1:n A(i,k)= A(i,k) - A(i,j)*A(j,k) Aufwand: 2 3 n3 Gleitpunktoperationen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 182

184 Direkte Verfahren zur Lösung linearer Gleichungssysteme (passendes) Programm für die Substitutionsphase for j = 1:n-1 m = p(j) Vertausche b(j) und b(m) for i = j+1:n b(i) = b(i) - A(i,j)*b(j) x(n) = b(n)/a(n,n) for j = n:-1:1 x(j) = b(j) for i = n:-1:j+1 x(j) = x(j) - A(j,i)*x(i) x(j) = x(j)/a(j,j) Aufwand: 2n 2 Gleitpunktoperationen INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 183

185 Direkte Verfahren zur Lösung linearer Gleichungssysteme In der Praxis häufig: Löse mehrere (etwa m) Systeme Ax k = b k (k = 1,..., m) mit gleicher Matrix aber verschiedenen rechten Seiten. Dann muss die Eliminationsphase nur einmal durchgeführt werden. Formal: 1. Bestimme LR-Zerlegung von A: A = LR. 2. Für k = 1, 2,..., m löse Ly k = b k, löse Rx k = y k. Aufwand: 2 3 n3 + 2mn 2 Gleitpunktoperationen INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 184

186 Direkte Verfahren zur Lösung linearer Gleichungssysteme ERGÄNZUNGEN 1. Ist A (streng) diagonaldominant, d.h. a i,i > a i,j für alle i = 1, 2,..., n, j i oder symmetrisch und positiv-definit, d.h. x Ax > 0 für alle x 0, so kann theoretisch auf Spaltenpivotsuche verzichtet werden. 2. Man kann die Qualität einer berechneten Lösung x durch Nachiteration verbessern: a) Berechne Residuum r = b A x (doppelt genau). b) Löse Ah = r (verwende LR-Zerlegung). c) Setze x = x + h. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 185

188 Direkte Verfahren zur Lösung linearer Gleichungssysteme VEKTOR- UND MATRIXNORMEN Um die Länge von Vektoren (und damit den Abstand zweier Vektoren) zu messen, definieren wir Normen, das sind Abbildungen : R n R + 0, x x, die positiv definit, d.h. x > 0 x R n, x 0, sowie homogen, d.h. αx = α x α R, x R n, sind und außerdem der Dreiecksungleichung, dh. x + y x + y x, y R n, genügen. Abstand zweier Vektoren x, y R n (bez. der Norm ): x y. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 187

189 Direkte Verfahren zur Lösung linearer Gleichungssysteme VEKTOR- UND MATRIXNORMEN Die wichtigsten Normen im R n sind: n x 1 := x i (Summennorm), i=1 [ n ] 1/2 x 2 := x i 2 (Euklid-Norm), i=1 x := max 1 i n x i (Maximumnorm) (x = [x 1, x 2,..., x n ] ). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 188

190 Direkte Verfahren zur Lösung linearer Gleichungssysteme VEKTOR- UND MATRIXNORMEN Obwohl alle Normen im R n äquivalent sind (hier: x 2 x 1 n x 2, x x 2 n x, bzw. x x 1 n x für alle x R n ), d.h. sie erzeugen dieselbe Topologie (Grenzwerte, Stetigkeit), gibt es deutliche Unterschiede: Einheitskreisscheibe {x R 2 : x 1} bez. 1, 2 und : INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 189

191 Direkte Verfahren zur Lösung linearer Gleichungssysteme VEKTOR- UND MATRIXNORMEN Eine Matrixnorm ist eine Abbildung : R n n R + 0, A A, die positiv definit, d.h. A > 0 A R n n, A O, sowie homogen, d.h. αa = α A α R, A R n n, ist und der Dreiecksungleichung, d.h. A + B A + B A, B R n n, genügt. Zusätzlich soll sie submultiplikativ sein, d.h. AB A B A, B R n n. Beispiel: Frobenius-Norm (A = [a i,j ] 1 i,j n R n n ) A F := n a i,j 2 i,j=1 1/2 = [ spur(a A)] 1/2. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 190

192 Direkte Verfahren zur Lösung linearer Gleichungssysteme VEKTOR- UND MATRIXNORMEN Jede Vektornorm V im R n induziert durch A M := max Ax Ax V V = max x V =1 x 0 x V eine Matrixnorm in R n n, die von V induzierte Matrixnorm. Es ist üblich, für V und M das gleiche Symbol zu verwenden. So induzieren n 1 die Spaltensummennorm A 1 = max a i,j, 1 j n i=1 2 die Spektralnorm A 2 = λ max (A A), n die Zeilensummennorm A = max a i,j. 1 i n j=1 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 191

193 Direkte Verfahren zur Lösung linearer Gleichungssysteme VEKTOR- UND MATRIXNORMEN Eine Vektornorm V und eine Matrixnorm M sind miteinander verträglich (oder passen zueinander), wenn Ax V A M x V x R n, A R n n gilt. Bezeichnet M die von der Vektornorm V induzierte Matrixnorm, so sind V und M miteinander verträglich. M ist die kleinste Matrixnorm, die mit V verträglich ist: Für alle A R n n gilt A M = min{ A : ist mit V verträglich}. Die Euklidsche Vektornorm 2 ist mit der Frobenius-Norm F verträglich. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 192

195 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION Nicht verwechseln darf man: Die Stabilität eines mathematischen Problems (hier: eines linearen Gleichungssystems mit invertierbarer Koeffizientenmatrix), die beschreibt, wie sich die Lösung bei exakter Rechnung verändert, wenn die Daten gestört werden. Die Stabilität eines numerischen Verfahrens (hier: der Gauß-Elimination mit Spaltenpivotsuche), die beschreibt, wie sich die in Gleitpunktarithmetik berechnete Lösung von der exakten Lösung unterscheidet. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 194

196 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION Beispiel: (Instabilität des mathematischen Problems) A = , b = 23 33, b = , x := A 1 b = 1 1, x := A 1 b = Erklärung: cond (A) = , also 13.6 = x x x cond (A) b b b = ( ) = INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 195

197 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION 1. Es gibt Systeme, die so schlecht konditioniert sind, dass sie durch kein Verfahren zuverlässig gelöst werden können!! Kondition eines linearen Gleichungssystems bezüglich Störungen in A (A invertierbar) und/oder b 0: Seien x bzw. x die (exakten) Lösungen von Ax = b und Ã x = b. Dann: [ x x cond (A) A Ã + x A 1 cond (A) A Ã A ] b b b mit cond (A) := A A 1 (falls die beteiligten Vektor- und Matrixnormen zueinander passen). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 196

198 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION Interpretation: Relative Fehler in den Daten A und b verstärken sich mit dem Faktor cond(a) ins Ergebnis x = A 1 b. Auf einem Rechner mit Maschinengenauigkeit ε muss man also mindestens mit einem Fehler der Größenordnung cond(a)ε in x rechnen ein LGS Ax = b ist durch kein Verfahren zuverlässig lösbar, wenn cond(a) 1/ε gilt. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 197

199 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION Ein weiteres Beispiel: Die Hilbert-Matrix (David Hilbert, ) der Dimension n H n = n. 1 n n n n n+2 2n 1 ist symmetrisch und positiv definit, insbesondere also invertierbar. Ihre Konditionszahl cond 2 (H n ) wächst wie e 7n/2 : n cond 2(H n) cond (H n) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 198

200 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION Wir lösen H 12 x = b mit Rundungseinheit u = (die rechte Seite b wurde so gewählt, dass A 1 b = [1,..., 1] T gilt). 1.4 exakte Lösung Lösung durch GE 1.2 x j j INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 199

201 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION 2. Bei (sehr) speziellen Matrizen ist Gauß-Elimination mit Spaltenpivotsuche (rückwärts) instabil!! Wie wir an einfachen Beispielen gesehen haben, kann auf Pivotsuche i.a. nicht verzichtet werden. Analyse des Rückwärtsfehlers bei Gauß-Elimination mit Spaltenpivotsuche: Es seien A R n n invertierbar und b R n. In Gleitpunktarithmetik (mit Maschinengenauigkeit ε) werde durch Gauß-Elimination (mit Spaltenpivotsuche) eine Näherung x der Lösung des Systems Ax = b berechnet. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 200

202 Direkte Verfahren zur Lösung linearer Gleichungssysteme Dann gilt: Dabei ist (A + A) x = b mit A 3 ρ n 3 A ε, ρ := max 1 i,j n r i,j max 1 i,j n a i,j der sog. Wachstumsfaktor bei Gauß-Elimination mit Spaltenpivotsuche. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 201

203 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION Man wird also mit numerischen Schwierigkeiten bei der Gauß-Elimination rechnen, wenn Einträge r i,j in der Matrix R (= oberer Dreiecksfaktor aus der Gauß-Elimination) groß werden. Bei Gauß-Elimination mit Spaltenpivotsuche gilt: ρ 2 n 1 (!!). Diese obere Schranke wird angenommen für A = , d.h. R = INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 202

204 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION Gauß-Elimination mit Spaltenpivotsuche ist potentiell instabil (bei sehr speziellen Matrizen). In der Praxis ist das Verfahren aber stabil, trotzdem ist Vorsicht angebracht. Für gewisse Klassen von Matrizen wächst der Wachstumsfaktor ρ wesentlich langsamer, z.b. gilt ρ 2, falls A tridiagonal ist. In der Praxis beobachtet man i.a. ein Anwachsen von ρ wie bei n 2/3. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 203

205 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION Rückwärtsanalyse (interpretiere Rundefehler als Datenfehler) (A + A) x = b mit A 3 ρ n 3 A u und Konditionsanalyse (wie wirken sich Datenfehler in exakter Arithmetik auf das Ergebnis aus) [ ] x x A cond (A) Ã b b + x A b mit cond (A) := A A 1 liefern insgesamt x x x 3 n 3 ρ cond (A) u. Gauß-Elimination mit Spaltenpivotsuche ist stabil, wenn Wachstumsfaktor ρ und Konditionszahl cond(a) klein sind. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 204

206 Direkte Verfahren zur Lösung linearer Gleichungssysteme STABILITÄT BEI DER GAUß-ELIMINATION Zusammenfassung Wir haben gesehen, dass ρ 2 n 1 für alle A R n n gilt und dass diese Schranke angenommen wird. In der Praxis wächst ρ aber wesentlich langsamer mit n, so dass Gauß-Elimination mit Spaltenpivotsuche praktisch rückwärts stabil ist. Ob dieser Algorithmus auch vorwärts stabil ist, hängt von A bzw. von cond(a) ab. Wie wir am Beispiel der Hilbert-Matrix gesehen haben, gibt es invertierbare Matrizen A, die extrem schlecht konditioniert sind, aber auf den ersten Blick ganz unverdächtig aussehen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 205

208 Direkte Verfahren zur Lösung linearer Gleichungssysteme DIE CHOLESKY-ZERLEGUNG Eine symmetrische Matrix A R n n heißt positiv definit, wenn x T Ax > 0 x 0 gilt. Positiv definite Matrizen besitzen nur positive Hauptdiagonaleinträge, a i,i > 0, und nur positive Eigenwerte, λ i > 0 (wobei Av i = λ i v i für ein v i 0). Jede positiv definite Matrix besitzt eine Cholesky-Zerlegung A = LDL T oder A = GG T. Hier ist L eine normierte untere Dreiecksmatrix (d.h. diag(l) = (1,..., 1)), D ist eine Diagonalmatrix mit positiven Hauptdiagonalelementen und G = LD 1/2 ist eine untere Dreiecksmatrix mit positiven Hauptdiagonalelementen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 207

209 Direkte Verfahren zur Lösung linearer Gleichungssysteme DIE CHOLESKY-ZERLEGUNG Für A = liefert Gauß-Elimination z.b. die LR-Zerlegung A = LR mit L = und R = = =: DL T INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 208

210 Direkte Verfahren zur Lösung linearer Gleichungssysteme bzw. A = GG T mit G = LD 1/2 = = Durch Ausnutzung der Symmetrie von A lässt sich der Rechenaufwand der Cholesky-Zerlegung auf n 3 /3 Gleitpunktoperationen reduzieren: INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 209

211 Direkte Verfahren zur Lösung linearer Gleichungssysteme DIE CHOLESKY-ZERLEGUNG Pseudocode: Cholesky-Zerlegung for j = 1 : n do ( g j,j := a j,j ) 1/2 j 1 k=1 g2 j,k for i = j + ( 1 : n do g i,j := a i,j ) j 1 k=1 g i,kg j,k /g j,j Aufwand: 1 3 n3 + O(n 2 ) flops. Bemerkung: Der untere -Anteil von A kann mit L überschrieben werden. Der (echte) obere -Anteil von A wird im Algorithmus nicht verwendet. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 210

213 Direkte Verfahren zur Lösung linearer Gleichungssysteme BANDMATRIZEN, TRIDIAGONALMATRIZEN Man nennt A = [a i,j ] C n n eine Bandmatrix mit unterer Bandbreite b L und oberer Bandbreite b R, falls a i,j = 0 für i j > b L und für j i > b R gilt. Eine Bandmatrix T mit b L = b R = 1 heißt Tridiagonalmatrix: a 1 c 1 b 2 a 2 c 2 T = tridiag(b, a, c) = b n 1 a n 1 c n 1 b n a n INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 212

214 Direkte Verfahren zur Lösung linearer Gleichungssysteme BANDMATRIZEN, TRIDIAGONALMATRIZEN Besitzt die Tridiagonalmatrix T eine LR-Zerlegung, dann hat diese die Form 1 r 1 c 1 l 2 1. T = r r n 1 c n 1 l n 1 r n mit r 1 = a 1 und l j = b j /r j 1, r j = a j l j c j 1 (j = 2, 3,..., n). Ist Gauß-Elimination ohne Pivotsuche für T x = d durchführbar, so erfordert sie also einen Aufwand von nur 8(n 1) + 1 Gleitpunktoperationen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 213

215 Direkte Verfahren zur Lösung linearer Gleichungssysteme BANDMATRIZEN, TRIDIAGONALMATRIZEN Dies ist aber nur bei speziellen (z.b. diagonaldominanten oder symmetrisch positiv definiten) T stabil: Beispiel. Sei T = tridiag(2, 1, 3) R n n und d R n so gewählt, dass x = [1, 1,..., 1] T das System T x = d löst. Gauß-Elimination liefert die Lösung x. x x 2 / x 2 x x 2 / x 2 n (ohne Spaltenpivotsuche) (mit Spaltenpivotsuche) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 214

216 Direkte Verfahren zur Lösung linearer Gleichungssysteme BANDMATRIZEN, TRIDIAGONALMATRIZEN Spaltenpivotisierung führt allerdings zu einem sog. fill-in, d.h. auf Positionen, wo die Einträge der Ausgangsmatrix T Null waren, können in der LR-Zerlegung von Null verschiedene Elemente auftreten was zusätzlichen Speicherplatz erfordert. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 215

217 Direkte Verfahren zur Lösung linearer Gleichungssysteme BANDMATRIZEN, TRIDIAGONALMATRIZEN Bei Tridiagonalmatrizen liefert Gauß-Elimination mit Spaltenpivotsuche eine LR-Zerlegung der Form , d.h. der fill-in beschränkt sich auf eine zusätzliche Diagonale in R. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 216

218 Direkte Verfahren zur Lösung linearer Gleichungssysteme BANDMATRIZEN, TRIDIAGONALMATRIZEN Analoge Eigenschaften besitzt die Gauß-Elimination bei allgemeinen Bandmatrizen mit unterer Bandbreite b L und oberer Bandbreite b R : Der Aufwand zur Berechnung der LR-Zerlegung beträgt (etwa) (2b L b R + 1)n flops. Wird nicht pivotisiert, so entsteht kein fill-in, d.h. L besitzt untere Bandbreite b L und R besitzt obere Bandbreite b R. Bei Spaltenpivotsuche verändert sich die Struktur von L nicht, R allerdings besitzt i.a. obere Bandbreite b L + b R. Bei weniger strukturierten schwach besetzen Matrizen werden Umordnungsstrategien (z.b. reverse Cuthill-McKee) zur Bandbreitenminimierung eingesetzt. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 217

219 Direkte Verfahren zur Lösung linearer Gleichungssysteme BANDMATRIZEN, TRIDIAGONALMATRIZEN nz = nz = nz = nz = 657 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 218

220 Direkte Verfahren zur Lösung linearer Gleichungssysteme BANDMATRIZEN, TRIDIAGONALMATRIZEN Legende. Links oben wird die Struktur der symmetrischen positiv definiten Matrix A = CC T gezeigt, wobei die nichtsymmetrische Matrix C R aus der Modellierung eines chemischen Betriebs stammt 2. Rechts oben ist die Besetzungssruktur des Cholesky-Faktors L T A von A geplottet. Nach der umgekehrten Cuthill-McKee-Nummerierung wird aus A die Matrix B, deren Struktur unten links und deren Cholesky-Faktor unten rechts gezeigt werden. A L A B L B # entries (i, j) 0 (i j) 503 (28%) 1073 (61%) 503 (28%) 657 (37%) 2 zu Details siehe chemimp/impcolb.html INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 219

221 Direkte Verfahren zur Lösung linearer Gleichungssysteme SCHWERPUNKTE DIESES KAPITELS (eindeutige) Lösbarkeit von linearen Gleichungssystemen Gauß-Elimination: Anwendung zur Lösung eines LGS, zur LR-Zerlegung einer Matrix Pivotisierung Vektor- und Matrixnormen, deren Verträglichkeit Konditionszahl einer Matrix, Bedeutung bei Lösung linearer Gleichungssysteme Wachstumsfaktor, Instabilität bei Gauß-Elimination Cholesky-Zerlegung Vereinfachungen für Band- und Tridiagonalmatrizen INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 220

222 Lineare Ausgleichsrechnung INHALT 1. Einleitung 2. Einführung und Begriffe 2.1 Mathematische Modellbildung und numerische Simulation am Beispiel eines Wasserkreislaufs 2.2 Linearisierung und Iterationsverfahren am Beispiel des Newton-Verfahrens 2.3 Diskretisierung und Stabilität am Beispiel der Wärmeleitungsgleichung 3. Gleitpunktarithmetik und Fehleranalyse 3.1 Ein einführendes Beispiel - Berechnung von π 3.2 Gleitpunktzahlen 3.3 Rundung 3.4 Der IEEE-754 Standard 3.5 Korrekt gerundete Gleitpunktarithmetik 3.6 Numerische Stabilität und Fehleranalyse INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/ Ein abschließendes Beispiel

223 Lineare Ausgleichsrechnung LINEARE AUSGLEICHSRECHNUNG AUSGLEICHSPOLYNOME Die folgende Tabelle zeigt die Bevölkerungsentwicklung in den U.S.A (Angaben in Millionen Einwohner). Wir wollen eine Prognose für die Anzahl der Einwohner im Jahr 2010 erstellen und berechnen das Interpolationspolynom p 10 vom Grad 10 durch die 11 ersten Datenpaare, das wir an der Stelle 2010 auswerten. Wir erhalten p 10 (2010) = (?!). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 222

224 Lineare Ausgleichsrechnung 400 Bevoelkerung der U.S.A., Extrapolationen, die auf Polynomen hohen Grades beruhen, sind riskant! INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 223

225 Lineare Ausgleichsrechnung Interpolationspolynom Grad 9 Zensusdaten Prognose durch Extrapolation U. S. Bevoelkerung [Millionen] Ebenfalls problematisch: Das Interpolationspolynom p 9 durch die ersten 10 Datenpaare prognostiziert einen Rückgang der Bevölkerungszahl für INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 224

226 Lineare Ausgleichsrechnung AUSGLEICHSPOLYNOME Das Ausgleichspolynom (Kleinste-Quadrate-Polynom) p n vom Grad n ist durch die Forderung m m p n (x j ) y j 2 = min q(x j ) y j 2 : grad(q) n j=1 j=1 bestimmt. Dabei bezeichnen (x j, y j ) (j = 1, 2,..., m) die gegebenen Datenpaare. In unserem Beispiel berechnen wir p 1, p 2 und p 3 sowie die zugehörigen Prognosen p 1 (2010) = , p 2 (2010) = und p 3 (2010) = INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 225

227 Lineare Ausgleichsrechnung AUSGLEICHSPOLYNOME Bevoelkerung der U.S.A, Daten p 1 p p INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 226

228 Lineare Ausgleichsrechnung AUSGLEICHSPOLYNOME Problem. Lege durch (m + 1) Punkte (x i, y i ), i = 0, 1,..., m, ein Polynom vom Grad n p n (ζ) = α 0 + α 1 ζ + + α n ζ n, wobei n m (m + 1 Bedingungen für n + 1 Koeffizienten). Ansatz: α 0 + α 1 x 0 + α 2 x α n x n 0 = y 0 α 0 + α 1 x 1 + α 2 x α n x n 1 = y 1... α 0 + α 1 x m + α 2 x 2 m + α n x n m = y m oder kürzer Aα = y INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 227

229 Lineare Ausgleichsrechnung AUSGLEICHSPOLYNOME mit der (rechteckigen) Vandermonde-Matrix (Alexandre Théophile Vandermonde, ) 1 x 0 x 2 0 x n 0 1 x 1 x 2 1 x n 1 A =.. R(m+1) (n+1). 1 x m x 2 m x n m A besitzt Rang n + 1, wenn x 0, x 1,..., x m verschieden sind. Dann ist das Ausgleichspolynom eindeutig bestimmt. Seine Koeffizienten sind die Lösung des linearen Ausgleichsproblems Aα y 2 min α. Beachte: Ist m = n, dann ist A quadratisch und invertierbar. Das Polynom p n interpoliert in diesem Fall sämtliche Punkte (x i, y i ). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 228

231 Lineare Ausgleichsrechnung DIE NORMALGLEICHUNGEN Das lineare Ausgleichsproblem: Gegeben sind A R m n und b R m. Gesucht ist ein Vektor x R n mit Andere Formulierung: b Ax 2 = min x R n b Ax 2. (LS) Bei gegebenen A und b können wir jedem x R n einen Residualvektor r x := b Ax zuordnen, der misst, wie gut x das Gleichungssystem Ax = b erfüllt. Wir wollen einen Vektor x bestimmen, dessen Residuum (gemessen in der Euklid-Norm) so klein wie möglich ist. Beachte: Ist Ax = b lösbar, dann ist x eine Lösung. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 230

232 Lineare Ausgleichsrechnung DIE NORMALGLEICHUNGEN Theorem 3 1. Ein Vektor x R n ist genau dann eine Lösung von (LS), wenn A T r x = 0 (äquivalent: r x 2 R(A)) gilt. Folglich sind sie Lösungen von (LS) genau die Lösungen der Normalgleichungen A T Ax = A T b. (NG) 2. (NG) ist ein LGS mit einer quadratischen Koeffizientenmatrix, die symmetrisch und positiv semidefinit ist. Außerdem sind die Normalgleichungen immer lösbar, d.h. (LS) besitzt mindestens eine Lösung. 3. Sind die Spalten von A linear unabhängig, d.h rank(a) = n, so ist A T A invertierbar und (LS) besitzt genau eine Lösung x = (A T A) 1 A T b. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 231

233 Lineare Ausgleichsrechnung DIE NORMALGLEICHUNGEN AUSGLEICHSPOLYNOME Zur Erinnerung: Um die Bevölkerungsentwicklung der USA vorherzusagen, sollte ein Ausgleichspolynom der Form p n (ζ) = α 0 + α 1 ζ + + α n ζ n gefunden werden. α i, i = 0, 1,..., n ist zu berechnen aus m + 1 gegebenen Datenpaare (x j, y j ), j = 0, 1,..., m als Lösung des linearen Gleichungssystems Aα = y. Für n = 0: p 0 (ζ) = α 0 mit α 0 = 1 m + 1 m y i. i=0 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 232

234 Lineare Ausgleichsrechnung DIE NORMALGLEICHUNGEN AUFGABE Zeigen Sie, dass für n = 1 gilt p 1 (ζ) = α 0 + α 1 ζ mit m m m α 0 = 1 x 2 i x i y i i=0 i=0 i=0 α D 1 m x i m + 1 m x i y i i=0 i=0 mit [ m m ] 2 D = (m + 1) x 2 i x i! i=0 i=0 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 233

235 Lineare Ausgleichsrechnung DIE NORMALGLEICHUNGEN Bemerkung 1. Ist x Lösung von (LS) bzw. (NG), so ist b = Ax + r x die eindeutige Zerlegung von b in Komponenten aus R(A) und R(A) = N (A T ). Insbesondere gelten Ax = Ay und r x = r y für zwei Lösungen x, y von (LS) bzw. (NG). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 234

236 Lineare Ausgleichsrechnung DIE NORMALGLEICHUNGEN Bemerkung 2. Eine Methode, das lineare Ausgleichsproblem zu lösen: 1. Bestimme die Normalgleichungen. 2. Löse die Normalgleichungen durch Gauß-Elimination. (Beachte: A T A ist immer symmetrisch. Besitzt A vollen Spaltenrang, so ist A T A sogar positiv definit, besitzt also eine Cholesky-Zerlegung.) Weil die Konditionszahl der Koeffizientenmatrix A T A von (NG) sehr groß werden kann, obwohl A selbst nicht extrem schlecht konditioniert ist (cond 2 (A T A) = cond 2 (A) 2!), ist dieses Verfahren aber nicht zu empfehlen. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 235

237 Lineare Ausgleichsrechnung DIE NORMALGLEICHUNGEN Beispiel 1. A = , b = , x = [ 1 1 Erstellt man die Normalgleichungen in sechsstelliger Dezimalarithmetik, so ist A T A = [ ] singulär (obwohl A vollen Rang 2 besitzt und nicht extrem schlecht konditioniert ist, cond 2 (A) = ). ]. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 236

238 Lineare Ausgleichsrechnung DIE NORMALGLEICHUNGEN Beispiel 2. Bestimme Ausgleichsgerade durch (0, 0), (1, 2), (2, 1) bzw. löse das Ausgleichsproblem [ ] α0 min. α Normalgleichungen: [ ] [ 0 α 1 ] = [ 3 4 ]. 2. Cholesky-Zerlegung: [ ] = GGT mit G = [ ]. Ergebnis: α = [α 0, α 1 ] T = [.5,.5] T (die Ausgleichsgerade ist also y =.5 +.5x) mit dem Kleinsten-Quadrate-Fehler [ 3 ] 1/2 y i (α 0 + α 1 x i ) 2 = [ (0.5) 2 + (2 1) 2 + (1 1.5) 2] 1/2 i=1 =.5 6. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 237

239 Lineare Ausgleichsrechnung DIE NORMALGLEICHUNGEN 2 (1,2) (2,1) y=.5+.5x (0,0) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 238

241 Lineare Ausgleichsrechnung TOTAL LEAST-SQUARES Die Lösungen x LS des linearen Ausgleichsproblems (Least-Squares Problems) b Ax 2 min x R n (gegeben: A R m n, b R m ) lassen sich wie folgt charakterisieren: Least-Squares Bestimme b R m mit b 2 = min{ h 2 : Ax = b h ist lösbar} und die Lösungen x LS von Ax = b b. Das motiviert folgende weitere Problemstellungen: Data Least-Squares: Bestimme A R m n mit A F = min{ H F : (A H)x = b ist lösbar} und die Lösungen x DS von (A A)x = b. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 240

242 Lineare Ausgleichsrechnung TOTAL LEAST-SQUARES Total Least-Squares: Bestimme [ A, b] R m (n+1) mit [ A, b] F = min{ [H, h] F : (A H)x = b h ist lösbar} und die Lösungen x TS von (A A)x = b b. In jedem der drei Probleme wird versucht ein (möglicherweise inkonsistentes) LGS Ax b zu lösen. In der Praxis entstehen solche Systeme aus Messungen. Beim klassischen Kleinste-Quadrate-Ansatz geht man davon aus, dass nur b (aber nicht A) mit Messfehlern behaftet ist. Die Annahme, dass b (aber nicht A) exakt gemessen werden kann, führt auf die Data Least-Squares Probleme. Total Least-Squares Aufgaben ergeben sich, wenn sowohl A als auch b fehlerhaft gemessen wurden. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 241

243 Lineare Ausgleichsrechnung LEAST-SQUARES Beispiel Gegeben: A = a = [a 1, a 2,..., a m ] R m 1, b = [b 1, b 2,..., b m ] R m. x LS = m j=1 a jb j. m j=1 a2 j b i a i x LS b_i INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/ a_i

244 Lineare Ausgleichsrechnung DATA LEAST-SQUARES Statt ax b betrachte b/x a: x DS = m j=1 b2 j m j=1 a jb j. b i /x DS a i b_i a_i INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 243

245 Lineare Ausgleichsrechnung TOTAL LEAST-SQUARES Bestimme x = x TS so, dass die Summe der quadrierten Abstände zwischen (a j, b j ) und der Geraden b = ax (d.h. m j=1 (b j a j x) 2 /(1 + x 2 )) minimal wird. b_i 2 b a x /(1+x ) 1/2 i i TS TS a_i INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 244

247 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG Theorem 4 Sei A R m n eine Matrix vom Rang r. Dann gibt es orthogonale Matrizen U R m m und V R n n sowie eine Diagonalmatrix Σ = [ ] Σ r O O O R m n mit Σ r = diag(σ 1, σ 2,..., σ r ) R r r und σ 1 σ 2 σ r > 0, so dass A die Zerlegung besitzt. A = UΣV T (SVD) Die Darstellung (SVD) heißt Singulärwertzerlegung von A. Die positiven Zahlen σ i nennt man die Singulärwerte von A. Schreibt man U = [u 1, u 2,..., u m ] und V = [v 1, v 2,..., v n ], so heißen u i R m bzw. v i R n zugehörige linke bzw. rechte Singulärvektoren. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 246

248 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG Bemerkungen. 1. A = UΣV T = r i=1 σ iu i v T i = [u 1, u 2,..., u r ] Σ r [v 1, v 2,..., v r ] T (Darstellung von A als Summe von r Rang-1-Matrizen). 2. Es gelten: { σi u Av i = i (i = 1, 2,..., r), 0 (i = r + 1, r + 2,..., n) { A T σi v u i = i (i = 1, 2,..., r), 0 (i = r + 1, r + 2,..., m). und 3. {u 1,..., u r } ist eine ON-Basis von R(A). {u r+1,..., u m } ist eine ON-Basis von N (A T ) = R(A). {v 1,..., v r } ist eine ON-Basis von R(A T ) = N (A). {v r+1,..., v n } ist eine ON-Basis von N (A). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 247

249 Lineare Ausgleichsrechnung [ 4. A T A = V Σ T ΣV T = V [ AA T = UΣΣ T U T = U Σ 2 r O O O Σ 2 r O O O ] V T, ] U T. σ1 2,..., σ2 r sind die von Null verschiedenen Eigenwerte von A T A bzw. AA T. Insbesondere sind die Singulärwerte σ 1,..., σ r durch A eindeutig festgelegt. Die rechten Singulärvektoren v 1,..., v n bilden eine ON-Basis des R n aus Eigenvektoren von A T A: A T Av i = { σ 2 i v i (i = 1, 2,..., r), 0 (i = r + 1, r + 2,..., n). Die linken Singulärvektoren u 1,..., u m bilden eine ON-Basis des R m aus Eigenvektoren von AA T : { AA T σ 2 u i = i u i (i = 1, 2,..., r), 0 (i = r + 1, r + 2,..., m). INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 248

250 Lineare Ausgleichsrechnung 5. Ist A R n n symmetrisch mit von Null verschiedenen Eigenwerten λ 1,..., λ r, λ 1 λ r > 0, dann sind σ i = λ i die Singulärwerte von A. 6. Das Bild der (n-dimensionalen) Einheitskugel unter A ist ein Ellipsoid (im R m ) mit Mittelpunkt 0 und Halbachsen σ i u i (σ i := 0 für i > r). 7. Für A R m n gilt A 2 = σ 1. Ist A R n n invertierbar, gilt außerdem A 1 2 = σn 1 und cond 2 (A) = σ 1 /σ n. 8. Besitzt A R m n die SVD A = UΣV T, dann besitzt H = [ ] O A T A O R (m+n) (m+n) die von Null verschiedenen Eigenwerte ±σ i mit zugehörigen (normierten) Eigenvektoren 1 2 [v T i, ±ut i ]T. 9. Analoge Aussagen gelten für komplexe Matrizen A = UΣV H (U, V unitär). (Ersetze in 5. symmetrisch durch normal!) INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 249

251 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG Die geometrische Interpretation der SVD. Besitzt A R m n die SVD [ ] Σr O A = U O O mit Σ r = diag(σ 1, σ 2,..., σ r ), U = [u 1, u 2,..., u m ] und V = [v 1, v 2,..., v n ], so kann man die Abbildungseigenschaften von A (und A T ) leicht beschreiben (vgl. Bemerkung 2). Z.B.: [ ] T 1 1 = (Werte auf 2 Dezimalstellen gerundet). V T INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 250

252 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG 0.8 U(:,1) V(:,1) 0 U(:,2) 0.5 V(:,2) 0.4 U(:,3) Av 1 = 2.68u 1, A T u 1 = 2.68v 1, Av 2 = 0.92u 2, A T u 2 = 0.92v 2, A T u 3 = 0. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 251

253 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG Theorem 5 Es sei A R m n eine Matrix vom Rang r mit SVD A = UΣV T = U [ ] Σ r O O O V T. Dann löst [ ] x Σ 1 r O = V U T b O O das Kleinste-Quadrate-Problem (LS). Darüberhinaus ist x die eindeutig bestimmte Lösung von (LS) mit minimaler Euklid-Norm. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 252

254 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG DIE (MOORE-PENROSE) PSEUDOINVERSE Es sei A R m n eine Matrix vom Rang r mit SVD A = U [ ] Σ r O O O V T. Dann heißt [ ] A Σ 1 r O := V U T R n m O O die (Moore-Penrose) Pseudoinverse von A. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 253

255 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG DIE (MOORE-PENROSE) PSEUDOINVERSE Theorem 6 Für A R m n gelten die folgenden Aussagen: (P1): A AA = A, (P2): AA A = A, (P3): (AA ) T = AA, (P4): (A A) T = A A. Darüberhinaus ist A R n m durch die Eigenschaften (P1) (P4) eindeutig bestimmt. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 254

256 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG DIE (MOORE-PENROSE) PSEUDOINVERSE Bemerkungen: 1. A b ist die Kleinste-Quadrate-Lösung von Ax = b mit minimaler Euklid-Norm. 2. Für m n = r gilt A = (A T A) 1 A T. Ist zusätzlich m = n, so folgt A = A Für n m = r gilt A = A T (AA T ) 1. In diesem Fall löst A b das Problem x 2 min unter allen x mit Ax = b. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 255

257 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG DIE (MOORE-PENROSE) PSEUDOINVERSE Beispiel: = [ ] [ ] / / = (SVD auf 2 Dezimalstellen gerundet). AA = , A A = I [ 5 2 ] INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 256

258 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG DATENKOMPRESSION Theorem 7 Es sei A R m n eine Matrix vom Rang r mit SVD A = UΣV T. Die Approximationsaufgabe min{ A A k 2 : A k R m n und rank(a k ) k} besitzt für k r die Lösung A k = k σ i u i v T i mit A A k 2 = σ k+1. i=1 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 257

259 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG DATENKOMPRESSION Die folgende Graphik zeigt (links oben) das magische Quadrat aus Albrecht Dürers Melancholie I (1514). Die Bildinformation ist in einer Pixelmatrix X der Dimension gespeichert, deren Einträge, ganze Zahlen zwischen 1 und 64, verschiedene Graustufen repräsentieren. Wir approximieren X durch Matrizen niedrigen Rangs k (vgl. Theorem 4): load detail.mat; [U,S,V]=svd(X); X_k=U(:,1:k)*S(1:k,1:k)*V(:,1:k) ; image(x_k), colormap( gray ), axis( image ),axis( off ) Zur Speicherung von X k sind k(m + n) = 730k Zahlen (statt mn = für X) erforderlich. INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 258

260 Lineare Ausgleichsrechnung DIE SINGULÄRWERTZERLEGUNG DATENKOMPRESSION Original k=10 k=20 k=40 INMO A. Franke-Börner Numerik für Ingenieure und Naturwissenschaftler, WS 2013/14 259