Einführung in die Numerik

Transkript

1 Einführung in die Numerik Prof Dr Bstin von Hrrch Goethe-Universität Frnkfurt m Min Institut für Mthemtik Wintersemester 015/016

2

3 Inhltsverzeichnis 1 Numerische Qudrtur 1 11 Einleitung 1 1 Erste Qudrturverfhren 11 Mittelpunkts- und Trpezformel 1 Allgemeine Qudrturverfhren 4 13 Polynominterpoltion 5 14 Newton-Cotes Formeln Konstruktion und Fehlerbschätzung 9 14 Beispiele: Trpez- und Simpsonformel 1 15 Guß-Qudrtur Exktheitsgrd und Orthogonlpolynome Guß-Legendre-Formeln Der Golub-Welsh Algorithmus 1 LGS: Direkte Verfhren 5 1 Die LR-Zerlegung 6 11 Gußsches Elimintionsverfhren: Ein Beispiel 6 1 Die LR-Zerlegung ohne Pivotsuche 7 13 LGS-Lösung mit der LR-Zerlegung Pivotsuche Einschub: Vektor- und Mtrixnormen, Kondition Pivotsuche und Stbilität 37 Die Cholesky-Zerlegung 38 3 Linere Ausgleichsrechnung 4 31 Die Gußschen Normlengleichungen 4 3 Singulärwertzerlegung, Moore-Penrose Inverse Spektrlnorm und Kondition Die QR-Zerlegung 50 4 Ausblick: Eigenwertprobleme Die Potenzmethode 58 4 Ds QR-Verfhren zur Eigenwertbestimmung 59 3 Itertive Verfhren Der Bnchsche Fixpunktstz 63 3 Zwei einfche Itertionsverfhren 66 i

4 Inhltsverzeichnis 4 Nichtlinere Gleichungen Fixpunktitertionen Konvergenz von Fixpunktverfhren Konvergenzgeschwindigkeit 74 4 Nullstellenbestimmung reeller Funktionen Intervllhlbierungsverfhren 77 4 Ds eindimensionle Newton-Verfhren Ds mehrdimensionle Newton-Verfhren 79 5 Splineinterpoltion Motivtion und Definition 85 5 Konstruktion kubischer Splines 87 ii

5 1 Numerische Qudrtur 11 Einleitung Numerische Mthemtik: Wie lässt sich ein konkretes mthemtisches Problem prktisch lösen? Dbei ist meist: ds Problem durch eine prktische Anwendung motiviert der Einstz von Computern notwendig/sinnvoll die Lösung nur näherungsweise möglich Ziel: numerischer Algorithmus, dh ein (rechnergestütztes) Verfhren, ds eine gegen die Lösung konvergierende Folge von Approximtionen erzeugt Beispiel: Berechnung des Integrls (numerische Qudrtur) I[f] = b f(x) dx einer gegebenen integrierbren (zb stetigen) Funktion f : [, b] R und Grenzen, b R, < b Im Allgemeinen lssen sich Integrle nicht in geschlossener Form lösen, zb spielen in der Stochstik Integrle der Form b e x dx eine wesentliche Rolle Für die Guß-Funktion f(x) = e x ist jedoch keine (elementre) Stmmfunktion beknnt Drüber hinus ist in vielen Anwendungen die zu integrierende Funktion f gr nicht explizit beknnt, sondern es existiert lediglich ein Algorithmus mit dem f(x) für ein gegebenes x usgerechnet werden knn Nive Lösungsnsätze: Zeichnen der Funktion uf ein Bltt Ppier, usschneiden und bwiegen einfch, keine Progrmmierkenntisse erforderlich hoher mnueller Arbeitsufwnd, schwer utomtisierbr Genuigkeit nur begrenzt steigerbr Approximtion von f durch einfch integrierbre (zb stückweise konstnte oder stückweise linere) Funktionen 1

6 KAPITEL 1 NUMERISCHE QUADRATUR Computer-implementierbr prinzipiell beliebig hohe Genuigkeit möglich 1 Erste Qudrturverfhren In diesem Kpitel seien stets, b R, < b und f : [, b] R integrierbr 11 Mittelpunkts- und Trpezformel Mittelpunktsformel: b ( ) + b f(x) dx (b )f =: M[f] Trpezformel: b f(x) dx b f() + b f(b) =: T [f] Zusmmengesetzte Formeln: Zerlege [, b] in n gleich große Teilintervlle: x i := + (i 1)h, i = 1,, n + 1, h := b n Zusmmengesetzte Trpezformel: b f(x) dx = n i=1 n i=1 xi+1 x i x i+1 x i f(x) dx (f(x i ) + f(x i+1 )) = h n f() + h f(x i ) + h f(b) =: T n[f] Wir bezeichnen mit C k ([, b]), k N 0 die Menge ller uch über die Rndpunkte hinweg k-ml stetig differenzierbren Funktionen, lso Außerdem sei für f C([, b]) := C 0 ([, b]) i= C k ([, b]) := { f [,b] : f C k (R)} f [,b] := mx x b f(x) die Mximumsnorm über dem Intervl [, b] 1 1 In der Anlysis zeigt mn, dss dies ttsächlich eine Norm uf dem Vektorrum C([, b]) ist C([, b]) ist bzgl dieser Norm vollständig

7 1 ERSTE QUADRATURVERFAHREN Stz 11 (Fehler der Trpezformel) Sei f C ([, b]) Dnn gilt I[f] T n [f] b 1 f [,b] h Beweis: Wir betrchten zuerst n = 1 Es ist Mit folgt I[f] T 1 [f] = = b b = b f(x) dx b (f() + f(b)) ( x ) f() + f (t) dt dx b (f() + f(b)) (f() f(b)) + b x f (t) dt dx {(x, t) : x b, t x} = {(x, t) : t b, t x b} b x f (t) dt dx = b b t f (t) dx dt = Zusmmen mit f() f(b) = b f (t) dt erhlten wir ( b I[f] T 1 [f] = f (t) b t b ) dt = b b f (t)(b t) dt ( ) b + f (t) t dt Nun verwenden wir, dss 1 b+ (t )(t b) eine Stmmfunktion von t ist, und erhlten durch prtielle Integrtion und dmit I[f] T 1 [f] = 1 b f (t)(t )(t b) dt I[f] T 1 [f] 1 b f [,b] (t )(t b) dt = 1 b f [,b] (t )(b t) dt = 1 1 f [,b] ( b 3 3b + 3 b 3) = 1 1 f [,b] (b ) 3 Wir verwenden dieses Ergebnis jetzt für jedes Teilintervll [x i, x i+1 ], i = 1,, n und erhlten I[f] T n [f] n i=1 1 1 f [xi,x i+1 ] h3 1 1 f [,b] h 3 n = b 1 f [,b] h 3

8 KAPITEL 1 NUMERISCHE QUADRATUR 1 Allgemeine Qudrturverfhren Stz 11 zeigt, dss der mit dem Trpezverfhren ermittelte Wert (im Grenzwert der Verwendung unendlich vieler Teilintervlle) gegen den whren Wert des Integrls konvergiert Drüberhinus ermöglicht es Stz 11, die Konvergenzgeschwindigkeit bzuschätzen (zumindest symptotisch, dh bis uf die oft unbeknnte multipliktive Konstnte f [,b] ): Eine Verdopplung der Anzhl der Teilintervlle bewirkt eine Viertelung des Fehlers Um noch schnellere Verfhren zu entwickeln, betrchten wir einen llgemeinen Anstz für eine Qudrturformel Q Es liegt nhe, dss Q nur endlich viele Auswertungen der Funktion f(x i ) benutzen sollte (die Auswertungspunkte x i [, b], i = 1,, m nennen wir Knoten) Außerdem sollte Q liner von den Werten (f(x i )) i=1,,m bhängen Wir mchen dher den Anstz b m I[f] = f(x) dx w i f(x i ) =: Q[f] mit Gewichten w i R Wie bei der Trpezformel erhlten wir us einer Qudrturformel ein (zusmmengesetztes) Qudrturverfhren Q n, indem wir [, b] in n-teilintervlle der Länge h = b n unterteilen, in denen wir jeweils die Qudrturformel nwenden Meist können wir ohne zusätzlich Aufwnd ds noch etws llgemeinere Problem behndeln, ein Qudrturverfhren für Integrle der Form I[f; w] = b i=1 f(x)w(x) dx mit einer festen Gewichtsfunktion w(x) zu entwickeln Im gesmten Kpitel sei dbei stets w C([, b]) und w(x) > 0 für x (, b) Für die Gewichtsfunktion w = 1 nähert die Trpezformel die zu integrierende Funktion durch eine linere Funktion (lso ein Polynom vom Höchstgrd 1) n und verwendet ds Integrl dieses Polynoms ls Näherung n I[f] Ist f selbst ein Polynom vom Grd 1, so liefert dieses Vorgehen bereits den exkten Integrlwert Dies motiviert: Definition 1 Eine Qudrturformel Q für ds Integrl I[ ; w] ht Exktheitsgrd q, flls sie Polynome vom Höchstgrd q exkt integriert, lso Q[p] = I[p; w] p Π q, wobei Π q der Rum der Polynome (mit reellen Koeffizienten) vom Höchstgrd q ist Für die Gewichtsfunktion w = 1 besitzt die Trpezformel lso Exktheitsgrd q = 1 Achtung: Zwischen den Gewichten w i der Qudrturformel und der Gewichtsfunktion w(x) besteht kein unmittelbrer Zusmmenhng (Aber ntürlich wird in die Bestimmung optimler Gewichte die Aufgbenstellung und dmit, b und w(x) einfließen) 4

9 13 POLYNOMINTERPOLATION 13 Polynominterpoltion Um Verfhren höheren Exktheitsgrdes zu konstruieren werden wir die zu integrierende Funktion durch ein Polynom höheren Grdes pproximieren Dzu betrchten wir die folgende Interpoltionsufgbe Gegeben seien m Knoten x i und Werte y i, i = 1,, m Gibt es ein Polynom p, ds diese Werte interpoliert, dh p(x i ) = y i i {1,, m}? Bemerkung 13 (Nheliegender Anstz) Wir schreiben ds zu bestimmende Polynom ls p(x) = α 0 + α 1 x + α x + + α k x k Π k und versuchen die Koeffizienten α 0,, α k R so zu bestimmen, dss die Interpoltionsbedingungen erfüllt sind Wir erhlten m linere Gleichungen α 0 + α 1 x i + α x i + + α k x k i = p(x i ) = y i, i = 1,, m, für die k + 1 Unbeknnten α 0,, α k R Im Allgemeinen können wir Lösbrkeit b k + 1 m erwrten Wir versuchen lso k := m 1 und schreiben ds linere Gleichungssystem in Mtrix-Vektor-Form x 0 1 x 1 1 x m 1 1 x 0 x 1 x m 1 x 0 m x 1 m x m 1 m α 0 α 1 α m 1 = Die Mtrix ist us der Lineren Algebr beknnt ls Vndermonde Mtrix Mit vollständiger Induktion lässt sich zeigen, dss ihre Determinnte gegeben ist durch 1 j<k m (x k x j ) Sind die Knoten prweise verschieden, dnn ist die Mtrix invertierbr Ds Gleichungssystem für die Koeffizienten von p besitzt dnn lso genu eine Lösung, dh es existiert genu ein Interpoltionspolynom p Π m 1 für m vorgegebene (prweise verschiedene) Interpoltionswerte Der nheliegende Anstz führt lso zum Erfolg Es gibt ber einen noch einfcheren und expliziteren Weg, ds Interpoltionspolynome zu konstruieren, wie wir im folgenden zeigen y 1 y y m 5

10 KAPITEL 1 NUMERISCHE QUADRATUR Definition 14 Zu einem Gitter us m prweise verschiedenen, ufsteigend ngeordneten Knoten := {x 1, x,, x m } R, x 1 < x < < x m definieren wir ds Knotenpolynom m ω(x) = (x x i ) Π m i=1 und die Lgrnge-Grundpolynome (i = 1,, m) l i (x) = Offenbr gilt für lle i, j = 1,, m m j=1 j i x x j x i x j Π m 1 l i (x j ) = δ ij := { 1 für i = j, 0 für i j, (11) und mn rechnet leicht nch, dss l i (x) = Stz 15 (Interpoltionspolynom) Zu einem Gitter ω(x) (x x i )ω (x i ) = {x 1, x,, x m } R, x 1 < x < < x m und Werten y i R, i = 1,, m existiert genu ein Interpoltionspolynom vom Höchstgrd m 1, dh genu ein p Π m 1 mit p(x i ) = y i i = 1,, m nämlich m p(x) = y i l i (x) i=1 Beweis: Aus (11) folgt sofort, dss die Interpoltionsufgbe löst m p(x) = y i l i (x) Π m 1 i=1 Um die Eindeutigkeit zu zeigen, seien p, q Π m 1 zwei Interpoltionspolynome Dnn besitzt die Differenz p q Π m 1 m verschiedene Nullstellen, p q muss lso ds Nullpolynom sein 6

11 13 POLYNOMINTERPOLATION Bemerkung 16 () Jedes Polynom p Π m 1 interpoliert seine eigenen Funktionswerte y i = p(x i ) Aus Stz 15 folgt lso m p(x) = p(x i )l i (x) p Π m 1 (1) i=1 (b) Der Polynomrum Π m 1 bildet offensichtlich einen Vektorrum der Dimension m Eine Bsis bilden zb die Monome (x 0, x 1, x,, x m 1 ) Stz 15 zeigt, dss uch die Lgrnge-Grundpolynome (l 1 (x),, l m (x)) eine Bsis des Π m 1 bilden (Die Erzeugendeneigenschft folgt us (1) und die linere Unbhängigkeit us (11)) Stz 17 (Interpoltionsfehler) Sei f C m ([, b]) und p Π m 1 ds Interpoltionspolynom zu m prweise verschiedenen Knoten x 1,, x m [, b], x 1 < x < < x m, und Werten y i = f(x i ), i = 1,, m Dnn gibt es zu jedem x [, b] ein ξ [min{x, x 1 }, mx{x, x m }] [, b] mit f(x) p(x) = f (m) (ξ) ω(x) m! Beweis: Für x = x i ist die Behuptung offenbr richtig Sei lso x x i, i = 1,, m Betrchte (zu diesem festen x) die Funktion h(t) := f(t) p(t) ω(t) (f(x) p(x)), t R ω(x) h C m ([, b]) und h besitzt (mindestens) m + 1 verschiedene Nullstellen t = x i, i = 1,, m und t = x Zwischen je zwei benchbrten Nullstellen, lso n (mindestens) m verschiedenen Werten im Intervll I := [min{x, x 1 }, mx{x, x m }], liegt nch dem Stz von Rolle eine Nullstelle der Ableitung h (t) Zwischen je zwei benchbrten Nullstellen der Ableitung, lso n (mindestens) m 1 verschiedenen Werten in I, liegt wiederum nch dem Stz von Rolle eine Nullstelle der zweiten Ableitung h Wir fhren so fort und erhlten m verschiedene Nullstellen von h, m 3 verschiedene Nullstellen von h (4), usw, und schließlich eine Nullstelle ξ I von h (m) Wegen p Π m 1 ist p (m) = 0 Außerdem ist m ω(x) = (x x i ) = x m + q(x), mit q Π m 1 i=1 und dmit ω (m) (x) = m! Es folgt, dss 0 = h (m) (ξ) = f (m)) (ξ) m! (f(x) p(x)) ω(x) 7

12 KAPITEL 1 NUMERISCHE QUADRATUR Bemerkung 18 () Aus Stz 17 folgt nicht, dss der Interpoltionsfehler für m gegen Null konvergiert Ttsächlich lssen sich selbst uf äquidistnten Gittern Beispiele konstruieren, bei denen ds Interpoltionspolynom nicht punktweise gegen die interpolierte Funktion konvergiert In der Prxis beobchtet mn bei hohem Interpoltionsgrd unerwünschte strke Oszilltionen zwischen den Interpoltionspunkten (vgl Übungsufgbe 4 uf Bltt ) Aus Stz 17 folgt ber f (m) [,b] f(x) p(x) b m m! Für festes m konvergiert der Fehler lso für kleiner werdende Intervllbreite (b ) 0 gegen Null, und m steuert, wie schnell dies geschieht In vielen Teilgebieten der Numerik werden deshlb Funktionen nicht globl durch ein Polynom möglichst hohen Grdes ngenähert, sondern uf möglichst kleinen Stücken durch Polynome vom festen (oder n die Größe der Stücke ngepssten) Grd pproximiert (b) Hermite-Interpoltion: Die Interpoltionsufgbe lässt sich verllgemeinern zu der Aufgbe zu f C m ([, b]) und Knoten x 1 < x < < x m ein Polynom p zu finden, ds f und seine Ableitungen interpoliert, dh p (j) (x i ) = f (j) (x i ), für lle j = 0,, J i 1 N 0, i = 1,, m Es lässt sich zeigen, dss uch für diese Aufgbe genu ein Interpoltionspolynom p Π M 1 existiert, wobei der Höchstgrd M 1 N 0 der entsprechend der Anzhl der Ableitungen mehrfch gezählten Knotennzhl entspricht, m M = J i i=1 Mit dem entsprechend definierten Knotenpolynom m ω(x) = (x x i ) J i Π M i=1 folgt nlog Stz 17 die Fehlerbschätzung f(x) p(x) = f (M) (ξ) ω(x) M! mit einem ξ = ξ(x) [min{x, x 0 }, mx{x, x m }] [, b] 8

13 14 NEWTON-COTES FORMELN 14 Newton-Cotes Formeln 141 Konstruktion und Fehlerbschätzung Es gelte weiterhin, dss, b R, < b f : [, b] R integrierbr seien und für w C([, b]) gelte w(x) > 0 für x (, b) Wir kehren zurück zur Aufgbe, eine Qudrturformel mit möglichst hohem Exktheitsgrd zu entwickeln für I[f; w] = Idee: b f(x)w(x) dx Wir wählen ein Gitter von Knoten = {x 1, x,, x m } [, b], x 1 < x < < x m, m N Wir interpolieren uf diesem Gitter die Funktionswerte durch ein Interpoltionspolynom, dh wir bestimmen p Π m 1 mit p(x i ) = f(x i ) i = 1,, m Wir verwenden ds Integl über ds Interpoltionspolynom p ls Näherung für ds Integrl über die Funktion f: I[f; w] = b f(x)w(x) dx b p(x)w(x) dx Mit der expliziten Drstellung von p us 15 erhlten wir mit dieser Idee die Qudrturformel b b m Q[f] = p(x)w(x) dx = f(x i )l i (x)w(x) dx i=1 m b m = l i (x)w(x) dx f(x i ) = w i f(x i ) i=1 }{{} i=1 =:w i Aufgrund der Konstruktion erwrten wir, dss der Exktheitsgrd von Q (mindestens) m 1 beträgt Ttsächlich ist dies die einzige Möglichkeit (zu gegebenen Knoten) einen so hohen Exktheitsgrd zu erhlten: Stz 19 Q[ ] sei eine Qudrturformel mit Knoten {x 1, x,, x m } [, b], x 1 < x < < x m, m N, 9

14 KAPITEL 1 NUMERISCHE QUADRATUR und Gewichten w i R, i = 1,, m, lso m Q[f] = w i f(x i ) i=1 Q ht genu dnn Exktheitsgrd q m 1, wenn für die Gewichte gilt, dss w i = b l i (x)w(x) dx, i = 1,, m (13) Beweis: Die Qudrturformel hbe Exktheitsgrd q m 1 Dnn integriert sie insbesondere die Lgrnge-Grundpolynome l j Π m 1 exkt, lso b m l j (x)w(x) dx = Q[l j ] = w i l j (x i ) = w j, j = 1,, m i=1 Um die Rückrichtung zu zeigen, sei f Π m 1 Dnn ist f ein Interpoltionspolynom zu seinen eigenen Funktionswerten y i := f(x i ), i = 1,, m Aus Stz 15 folgt, dss m f(x) = f(x i )l i (x) i=1 Erfüllen die Gewichte die Bedingung (13), so folgt wie oben b b m I[f; w] = f(x)w(x) dx = f(x i )l i (x)w(x) dx i=1 m b m = l i (x)w(x) dx f(x i ) = w i f(x i ) = Q[f] i=1 }{{} i=1 =w i f Π m 1 wird lso exkt integriert Bemerkung 110 Stz 19 lässt sich uch wie folgt interpretieren (und beweisen) Die Abbildungen I[ ; w] : f Q[ ] : f b m i=1 f(x)w(x) dx w i f(x i ) sind linere Abbildungen von dem Vektorrum Π m 1 nch R Sie stimmen lso genu dnn uf Π m 1 überein, wenn sie uf einer Bsis des Π m 1 übereinstimmen Die Bedingung (13) ist äquivlent dzu, dss Q[l i ] = I[l i ; w] i = 1,, m und die Lgrnge-Grundpolynome l i bilden nch Bemerkung 16(b) eine Bsis des Π m 1 10

15 14 NEWTON-COTES FORMELN Aus Stz 17 erhlten wir die folgende Fehlerbschätzung: Stz 111 Sei f C m ([, b]) und Q[ ] sei eine Qudrturformel mit Knoten {x 1, x,, x m } [, b], x 1 < x < < x m, m N, und Gewichten gemäß (13) Dnn gilt f (m) [,b] I[f; w] Q[f] m! wobei ω(x) = m i=1 (x x i ) ds Knotenpolynom ist b ω(x) w(x) dx, Beweis: Sei f C m ([, b]) und p Π m 1 ds Interpoltionspolynom mit p(x i ) = f(x i ) für lle i = 1,, m Aus Stz 17 folgt, dss f (m) [,b] f(x) p(x) ω(x) x [, b] m! Wegen Stz 19 ist Q[f] = Q[p] = I[p; w] und dmit I[f; w] Q[f] = I[f p; w] f(x) p(x) w(x) dx f (m) [,b] b ω(x) w(x) dx m! Bemerkung 11 () Aus einer Qudrturformel Q erhlten wir ein (zusmmengesetztes) Qudrturverfhren Q n, indem wir [, b] in n-teilintervlle der Länge h = b unterteilen, in n denen wir jeweils Q nwenden Mit Stz 111 können wir den Fehler uf jedem der n Teilintervlle bschätzen durch f (m) [,b] hh m w m! [,b] und wir erhlten die Fehlerbschätzung b I[f; w] Q n [f] w [,b] (b ) f (m) [,b] h m m! Für festes (hinreichend glttes) f fällt der Fehler (mindestens) so schnell wie h m Den Exponenten m bezeichnet mn uch ls Konsistenzordnung des Verfhrens (b) Im Fll w = 1 und äquidistnter Knoten = x 1 < < x m = b heißen die gemäß Stz 19 ufgestellten Qudrturformeln (bgeschlossene) Newton-Cotes-Formeln (c) Es ist nicht gesichert, dss die gemäß (13) ufgestellten Gewichte positiv sind Bei den (bgeschlossenen) Newton-Cotes-Formeln treten b m = 8 Knoten erstmlig negtive Gewichte uf 11

16 KAPITEL 1 NUMERISCHE QUADRATUR 14 Beispiele: Trpez- und Simpsonformel Die Trpezformel besitzt die Knoten x 1 = und x = b und integriert (bzgl der Gewichtsfunktion w = 1) Polynome 1 Grdes exkt Die Trpezformel ist lso die bgeschlossene Newton-Cotes-Formel mit zwei Knoten Wir bestimmen nun die bgeschlossene Newton-Cotes-Formel S[ ] mit drei Knoten Sie besitzt die äquidistnten Knoten x 1 =, x = + b, x 3 = b und Gewichte gemäß (13) In diesem einfchen Fll lssen sich die Gewichte schneller per Hnd bestimmen, indem wir nsetzen ( ) + b S[f] = w 1 f() + w f + w 3 f(b) und w 1, w, w 3 R so bestimmen, dss S[p] = I[p] für p = 1, p = (x ) und p = (x )(x b) gilt Offenbr bilden uch diese drei Polynome eine Bsis des Π, so dss us der Linerität von S[ ] und I[ ] dnn der gewünschte Exktheitsgrd folgt (vgl Bemerkung 110) Wir erhlten w 1 + w + w 3 = S[1] = I[1] = b w (b )/ + w 3 (b ) = S[x ] = I[x ] = b 1 dx = b (x ) dx = (b ) / w (b ) /4 = S[(x )(x b)] = I[(x )(x b)] = b (x )(x b) dx = ( b) 3 /6 und dmit w = /3(b ), w 3 = 1/6(b ) = w 1 Insgesmt ergibt sich b f(x) dx S[f] = b ( ( ) ) + b f() + 4f + f(b), 6 die sogennnte Simpson-Formel Für ds zusmmengesetzte Simspon-Verfhren zerlegen wir [, b] in n Teilintervlle und wenden uf jedem Teilintervll die Simpsonformel n Abweichend von der bisherigen Nottion nummerieren wir die Knoten über lle Teilintervlle hinweg und verwenden h := (b )/n, und x i := + (i 1)h, i = 1,, n + 1 1

17 14 NEWTON-COTES FORMELN Dmit ist b f(x) dx h 3 (f() + 4f(x ) + f(x 3 ) + 4f(x 4 ) + + f(x n 1 ) + 4f(x n ) + f(b)) =: S n [f] Die Simpson-Formel ist sogr noch besser ls sich us der Konstruktion erwrten lässt Sie ht ufgrund ihrer Symmetrie den Exktheitsgrd 3 Es ist nämlich ( S x + b ) 3 ( = 0 = I x + b ) 3 Einen höheren Exktheitsgrd besitzt sie nicht, für = 1 und b = 1 ist I[x 4 ] = 1 1 x 4 dx = 5 3 = S[x4 ] Entsprechend erhlten wir uch eine höhere Konsistenzordnung: Stz 113 Sei f C 4 ([, b]), n N und h := b Dnn gilt n I[f] S n [f] b 180 f (4) [,b] h 4 Beweis: Sei [c, d] eines der n Teilintervlle der Breite h, uf die die Simpson-Formel ngewndt wird Nch Übungsufgbe uf Bltt existiert ein Polynom p Π 3 mit ( ) ( ) c + d c + d p(c) = f(c), p = f, ( ) ( ) c + d c + d p(d) = f(d), p = f Mit dem Knotenpolynom ω = (x c)(x d) ( ) x c+d folgt us Stz 17 und Bemerkung 18 f (4) [,b] f(x) p(x) ω(x) x [c, d] 4! und dmit f (4) [,b] ( d (f(x) p(x)) dx c = d c 180 d (x c)(d x) 4! c ( ) 4 d c f (4) [,b] x c + d ) dx Mit d c = h folgt die Behuptung durch Summtion über lle Teilintervlle 13

18 KAPITEL 1 NUMERISCHE QUADRATUR 15 Guß-Qudrtur 151 Exktheitsgrd und Orthogonlpolynome Es gelte weiterhin, dss, b R, < b, f : [, b] R integrierbr seien Für die Gewichtsfunktion gelte w C([, b]), w(x) > 0 für x (, b) (bechte ber Bemerkung 119 m Ende dieses Abschnitts) Wir betrchten wieder unseren llgemeinen Anstz für eine Qudrturformel Q[ ] mit Knoten b m f(x)w(x) dx = I[f; w] Q[f] = w i f(x i ) i=1 {x 1, x,, x m } [, b], x 1 < x < < x m, m N, und Gewichten w i R, i = 1,, m Aus Stz 19 wissen wir, dss wir für jede Whl der Knoten stets mindestens Exktheitsgrd m 1 erreichen können und zwr genu ddurch, dss wir die Gewichte gemäß (13) wählen In diesem Abschnitt untersuchen wir, welche Whl der Knoten (zusmmen mit gemäß (13) gewählten Gewichten) optimlen Exktheitsgrd liefert Wir benötigen noch ein Hilfsresultt us der Anlysis Lemm 114 Sei g C([, b]) nichtnegtiv Dnn ist b g(x) = 0 genu dnn wenn g = 0 Beweis: Um die nicht-trivile Impliktion zu zeigen, sei g 0 Dnn existiert ξ (, b) mit g(ξ) > 0 Zu δ := g(ξ)/ > 0 existiert dnn wegen der Stetigkeit ein ɛ > 0, so dss g(x) > δ für x (ξ ɛ, ξ + ɛ) [, b] Also ist b g(x) dx ξ+ɛ ξ ɛ g(x) dx ɛδ > 0 Jetzt können wir den höchstmöglichen Exktheitsgrd ngeben: Stz 115 () Der Exktheitsgrd von Q[ ] ist höchstens m 1 (b) Q[ ] ht genu dnn Exktheitsgrd q = m 1, wenn für ds Knotenpolynom ω = mi=1 (x x i ) gilt b ω(x)p(x)w(x) dx = 0 p Π m 1 (14) und die Gewichte w i durch Integrtion der Lgrnge-Grundpolynome, lso durch (13), bestimmt wurden 14

19 15 GAUß-QUADRATUR Beweis: () Wir betrchten ds qudrierte Knotenpolynom ω (x) Π m Hierfür gilt m Q[ω ] = w i ω (x i ) = 0 i=1 Auf der nderen Seite ist ω (x)w(x) eine stetige, nichtnegtive Funktion, die nicht die Nullfunktion ist Aus 114 folgt lso I[ω ; w] = b ω (x)w(x) dx 0 = Q[ω ] Eine Qudrturformel knn es lso niemls schffen, ihr qudriertes Knotenpolynom exkt zu integrieren (b) Der Exktheitsgrd sei q = m 1 Dnn müssen die Gewichte nch Stz 19 der Bedingung (13) genügen Außerdem wird dnn für lle p Π m 1 ds Polynom pω Π m 1 exkt integriert lso b ω(x)p(x)w(x) dx = I[pω; w] = Q[pω] = 0 Um die Rückrichtung zu zeigen, seien die Gewichte und ds Knotenpolynom so, dss (13) und (14) erfüllt seien Offenbr bildet (x 0, x 1,, x m 1, ω(x), xω(x), x ω(x),, x m 1 ω(x)) eine Bsis des Π m 1 Wegen (13) werden die ersten m Bsiselemente x 0,, x m 1 exkt integriert und (14) grntiert dss I[x j ω; w] = b x j ω(x)w(x) dx = 0 = Q[x j ω] j = 1,, m 1 Aus der Linerität von Q[ ] und I[ ; w] folgt dmit, dss Q Exktheitsgrd m 1 besitzt (vgl Bemerkung 110) Bemerkung 116 (Nheliegender Anstz) Ein nheliegender Anstz ist es zu versuchen, die m Knoten x i [, b] so zu bestimmen, dss (14) erfüllt ist Mit der Monom-Bsis von Π m 1 ist (14) äquivlent zu den m- Gleichungen b m (x x i )w(x)x j dx = 0 j = 0,, m 1 i=1 für die m Unbeknnten x i Die Gleichungen sind nicht-liner und es ist nicht klr, ob überhupt eine Lösung existiert Dieser nheliegende Anstz führt lso nicht zum Erfolg Setzen wir hingegen ω wie in Bemerkung 13 ls llgemeines Polynom in Π m n, dnn ist nicht klr, ob ω von der Form m i=1 (x x i ) mit x i [, b], lso ein geeignetes Knotenpolynom ist Der nächste Stz zeigt, dss dies ber ttsächlich immer der Fll ist 15

20 KAPITEL 1 NUMERISCHE QUADRATUR Stz 117 Erfüllt ein Polynom ω = x m + Π m \ Π m 1 die Bedingung (14), dnn besitzt es m reelle, prweise verschiedene Nullstellen, die lle im offenen Intervll (, b) liegen Beweis: Nch dem Fundmentlstz der Algebr existieren genu m (möglicherweise komplexe und mit Vielfchheit gezählte) Nullstellen x 1,, x m C Angenommen eine der Nullstellen wäre nicht reell, obda sei dies x 1 C \ R D ω reelle Koeffizienten besitzt, ist ω(x 1 ) = ω(x 1 ) = 0, lso ist x 1 eine weitere (von x 1 verschiedene) Nullstelle OBdA sei dies x = x 1 Es gilt lso m ω(x) = (x x 1 )(x x 1 ) (x x i ) i=3 D (x x 1 )(x x 1 ) = x Re(x 1 )x + x 1 ein Polynom mit reellen Koeffizienten, folgt durch Polynomdivision (siehe zb [Fischer, Abschnitt 1310]), dss uch ds Polynom p(x) = m i=3 (x x i ) reelle Koeffizienten besitzt ω(x)p(x) ist dher ein reelles Polynom und ω(x)p(x) = x x 1 p(x) 0 für lle x R D ω(x)p(x)w(x) nur endlich viele Nullstellen besitzt, folgt us 114, dss b ω(x)p(x)w(x) dx > 0 Für dieses p Π m wäre dnn lso die Bedingung (14) verletzt, womit gezeigt ist, dss ω nur reelle Nullstellen besitzen knn Dss die Nullstellen prweise verschieden sind und in (, b) liegen wird in Aufgbe 1 uf Bltt 4 gezeigt Dnk Stz 117 können wir einen Anstz wie in 13 verwenden, um Polynome zu finden, die (14) erfüllen Es geht jedoch noch einfcher: Bemerkung 118 Die Bedingung (14) lässt sich ls Orthogonlitätsbedinung interpretieren Betrchte dzu, : (f, g) f, g := b f(x)g(x)w(x) dx Dies definiert ein Sklrprodukt uf dem Rum C([, b]) (siehe Bltt 4, Aufgbe ) Für ω Π m ist Bedingung (14) äquivlent dzu, dss (bzgl dieses Sklrproduktes) ω Π m 1, dh ω, p = 0 p Π m 1 Aus der Lineren Algebr wissen wir, dss jedes liner unbhängige System in ein Orthogonl-System umgewndelt werden knn (etw mit dem Grm-Schmidtschen-Orthogonlisierungsverfhren, vgl zb [Fischer, Abschnitt 549])) So können wir beginnend mit ω 0 := 1 eine Folge von Orthogonlpolynomen ω m Π m konstruieren mit ω m Π m und ω m ω j für lle j < m, lso ω m Π m 1 16

21 15 GAUß-QUADRATUR Für jedes m erhlten wir so (mit den m Nullstellen von ω m ls Knoten und us (13) bestimmten Gewichten) ein Qudrturverfhren, dss mit m Knoten den mximl möglichen Exktheitsgrd m 1 erreicht Die so konstruierten Verfhren heißen Guß- Verfhren Bemerkung 119 Mn knn zeigen, dss lle bisher gezeigten Resultte uch unter der llgemeineren Vorussetzung gelten, dss die Gewichtsfunktion w nicht-negtiv und integrierbr ist, und nur endlich viele Nullstellen besitzt 15 Guß-Legendre-Formeln Wir betrchten nun die Konstruktion der Guß-Verfhren für die Gewichtsfunktion w = 1 uf dem Intervll [ 1, 1], die sogennnten Guß-Legendre-Formeln G m [ ] In diesem Abschnitt bezieht sich Orthogonlität immer uf ds Sklrprodukt f, g := 1 1 f(x)g(x) dx Beispiel 10 () Für die erste Guß-Legendre Formel benötigen wir ein Polynom ω 1 Π 1, ds senkrecht uf llen Polynomen nullten Grdes steht, lso 1 1 ω 1 dx = ω 1, 1 = 0 Wir erhlten ω 1 = x mit der Nullstelle x 1 = 0 Durch Integrtion des Lgrnge- Grundpolynoms (hier: l 1 = 1) erhlten wir w 1 = und dmit die erste Guß- Legendre Formel, die Mittelpunktsformel mit Exktheitsgrd 1 G 1 [f] = f(0) (b) Für die zweite Guß-Legendre Formel suchen wir ein Polynom mit ω Π 1, Mit ω (x) = x + x + b Π /3 + b = /3 = ω dx = 0 ω x dx = 0 erhlten wir ω (x) = x 1/3 Die Nullstellen sind x 1 = 1 3, x =

22 KAPITEL 1 NUMERISCHE QUADRATUR Durch Integrtion der Lgrnge-Grundpolynome, den Anstz in Abschnitt 14 oder eine schlichte Symmetrieüberlegung erhlten wir die Gewichte w 1 = 1 und w = 1 Die zweite Guß-Legendre Formel lutet lso und besitzt Exktheitsgrd 3 G [f] = f ( 1 3 ) + f ( ) 1 3 Auch für llgemeine m lssen sich die Orthogonlpolynome explizit ngeben: Definition 11 Die Funktionen P m (x) := 1 d m m m! dx m (x 1) m heißen Legendre-Polynome Offenbr gilt P m Π m Stz 1 () Es ist (b) Es gilt P m (x) = 1 1 Insbesondere gilt lso P m Π m 1 Beweis: () folgt us (m)! (m!) m xm + p(x) mit p Π m P n (x)p m (x) dx = P m (x) = dm dx m (x 1) m = dm dx m (xm + q(x)) = (m) (m + 1)x m + dm dx m + 1 δ nm (m)! q(x) = m m! x m + dm dx m q(x) wobei q Π m und p := dm dx m q(x) Π m (b) Ds Polynom (x 1) n besitzt n-fche Nullstellen in 1 und 1, es ist lso d n j dx n j (x 1) n x= 1 = 0 = dn j dx n j (x 1) n x=1, j = 1,, n Durch prtielle Integrtion erhlten wir deshlb n n! m m! = 1 = 1 1 d n 1 1 P n (x)p m (x) dx dx n (x 1) n dm dx m (x 1) m dx d n 1 1 dx n 1 (x 1) n dm+1 dx m+1 (x 1) m dx 1 = = ( 1) n (x 1) n dm+n 1 dx m+n (x 1) m dx 18

23 15 GAUß-QUADRATUR Aus (x 1) m Π m folgt, dss Es gilt lso d m+n dx m+n (x 1) m = 0 flls n > m 1 1 P n (x)p m (x) dx = 0 für m < n und (durch Vertuschung von n und m) uch für m > n Für m = n ist d m+n dx m+n (x 1) m = dm dx m (xm + ) = (m)! und dmit 1 Pm(x) dx = ( 1)m (m)! 1 ( m m!) 1 1 (x 1) m dx Wiederum mit m-mliger prtieller Integrtion erhlten wir 1 lso insgesmt (x 1) m dx = (x 1) m (x + 1) m dx 1 = 1 m + 1 (x 1)m+1 m(x + 1) m 1 dx ( 1) m m! 1 = = (x 1) m dx (m + 1) m 1 = ( 1)m (m!) 1 (m)! m + 1 ( )m+1 P n (x)p n (x) dx = ( 1)m (m)! ( 1) m (m!) ( m m!) (m)! = m m + 1 ( )m+1 Stz 1(b) zeigt, dss die Legendre-Polynome die gesuchten Orthogonlpolynome zur Gewichtsfunktion w = 1 sind Verwenden wir ihre Nullstellen ls Knoten (und wie üblich durch Integrtion der Lgrnge-Grundpolynome gewonnene Gewichte), so erhlten wir eine Qudrturverfhren mit mximlem Exktheitsgrd! Wir zeigen noch eine Fehlerbschätzung für die m-te Guß-Legendre Formel: Stz 13 Für f C m ([ 1, 1]) gilt I[f] G m [f] ɛ m f (m) [ 1,1] 19

24 KAPITEL 1 NUMERISCHE QUADRATUR wobei ɛ m = 4 m (m!) 4 m + 1 ((m)!) 3 π m (4m/e) m wobei hier im Sinne symptotischer Gleichheit zu verstehen ist, dh / π ɛ m m (4m/e) m 1 für m Beweis: Sei f C m ([ 1, 1]) Nch Übungsufgbe 1 uf Bltt existiert ein Polynom p Π m 1, ds f zusmmen mit seiner 1 Ableitung in den Knoten x i der m-ten Guß- Legendre Formel interpoliert, lso Aus Stz 17 und Bemerkung 18 folgt p(x i ) = f(x i ), p (x i ) = f (x i ) i = 1,, m f(x) p(x) Aus Stz 1() wissen wir, dss und erhlten zusmmen mit Stz 1(b) f (m) [ 1,1] (m)! m (x x i ) i=1 m (x x i ) = (m!) m P m (x) i=1 (m)! I[f] G m [f] = I[f] G m [p] f(x) p(x) dx 1 f (m) [,b] ( (m!) m ) 1 P (m)! (m)! m(x) dx 1 f (m) [,b] ( (m!) m ) = (m)! (m)! m + 1 Für den zweiten Teil der Behuptung verwenden wir die Stirling-Formel (siehe zb [Heuser, Abschnitt 96]) m! m m e m πm und erhlten 1 ɛ m = = 4 m (m!) 4 m + 1 ((m)!) 4 m (m m e m πm) 4 3 m + 1 ((m) m e m 4πm) πm π m m em mm m (4m/e) m 0

25 15 GAUß-QUADRATUR 153 Der Golub-Welsh Algorithmus Die Nullstellen der Guß-Legendre Polynome und uch die Knoten der zugehörigen Guß-Legendre-Qudrturformeln können über die Lösung eines Eigenwertproblems bestimmt werden Hierfür benötigen wir noch folgendes Resultt: Stz 14 Die Legendre-Polynome genügen der dreistufigen Rekursionformel (m + 1)P m+1 (x) = (m + 1)xP m (x) mp m 1 (x), m N Beweis: Aus Stz 1() wissen wir, dss (m + )! (m + 1)P m+1 (x) (m + 1) ((m + 1)!) m+1 xm+1 + Π m 1 = (m + 1) (m)! (m!) m xm+1 + Π m 1 (m + 1)xP m (x) (m + 1)x (m)! (m!) m xm + Π m 1 Es ist lso p := (m + 1)P m+1 (x) (m + 1)xP m (x) Π m 1 (15) (P 0,, P m 1 ) bildet eine Orthogonlbsis des Π m 1 Wir entwickeln p in dieser Bsis p = m 1 n=0 n P n, n R und erhlten für die Koeffizienten n = p,pn P n,p n Die Rekursionsformel ist bewiesen, wenn wir zeigen können, dss n = { 0 für n m m für n = m 1 Dzu verwenden wir p, P n = (m + 1)P m+1 (m + 1)xP m, P n = (m + 1) P m+1, P n (m + 1) xp m, P n = (m + 1) P m+1, P n (m + 1) P m, xp n Wegen P m+1 Π m, P m Π m folgt drus direkt n = 0 für lle n m 1

26 KAPITEL 1 NUMERISCHE QUADRATUR Um m 1 uszurechnen, verwenden (15) mit m 1 sttt m und erhlten und dmit xp m 1 + m m 1 P m(x) Π m m 1 = = p, P m 1 P m 1, P m 1 = (m + 1) P m, xp m 1 P m 1, P m 1 (m + 1)m P m, P m m 1 P m 1, P m 1 = m wobei wir im letzten Schritt 1(b) verwendet hben Bemerkung 15 () Die Legendre-Polynome bilden ein Orthogonlsystem ber noch kein Orthonormlsystem bzgl, Ein solches erhlten wir ber leicht durch Normierung Für gilt offenbr Q n, Q m = δ nm m + 1 Q n := P n / P n, P n 1/ = P n Π n Aus der Rekursionsformel für die P n erhlten wir und dmit wobei β m = (m + 1) Q m+1 (x) = m m + 1xQ m (x) Q m 1 (x) m + 3 m 1 m 4m 1 β m+1 Q m+1 (x) = xq m (x) β m Q m 1 (x) m N, (b) Auch für die Orthogonlpolynome zu llgemeinen Gewichtsfunktion w(x) lssen sich ähnliche dreistufige Rekursionsformeln herleiten, vgl Aufgbe uf Bltt 5 Mit der Rekursionsformel können wir die Knoten und Gewichte der Guß-Legendre- Verfhren durch ein Eigenwert-Problem beschreiben Stz 16 Wie betrchten die Mtrix A := 0 β 1 β 1 0 β m β m 0 β m 1 β m 1 0 R m m, β n = n 4n 1

27 15 GAUß-QUADRATUR λ 1,, λ m R seien die Eigenwerte von A und v (1),, v (m) R m die zugehörigen Eigenvektoren, wobei v (i) = (v (i) j ) m j=1 R m Dnn lutet die m-te Guß-Legendre Formel G m [f] = m i=1 ( v (i) ) 1 v (i) f(λ i), wobei v (i) ( ) = mj=1 (i) v j die Euklidnorm ist Insbesondere besitzen die Guß-Legendre Formeln nichtnegtive Gewichte Beweis: Knoten von G m : Wir schreiben die Rekursionsformeln für Q n für n = 1,, m 1 in Mtrix-Vektor-Form: Für jedes x R gilt Q β Q 1 (x) 1 0 β 0 (x) x = Q 1 (x) β Q m 1 (x) m 0 β m 1 Q β m 1 0 β m 1 (x) m Q m (x) Aus Q 0 (x) = 1 und Q 1(x) = 3 P 1(x) = 3 x folgt, dss xq 0 (x) = 1 3 Q 1 (x) = β 1 Q 1 (x) Wir nehmen diese Gleichung in unser Mtrix-Vektor-System uf und erhlten (für lle x R) 0 β Q 0 (x) 1 Q 0 (x) β Q 1 (x) x = 1 0 β Q 1 (x) β Q m 1 (x) m 0 β m 1 Q m 1 (x) β m 1 0 β m Q m (x) Für die Nullstellen x 1,, x m ( 1, 1) von Q m ergibt sich 0 β Q 0 (x i ) 1 β Q 1 (x i ) 1 0 β x i = β Q m 1 (x i ) m 0 β m 1 β m 1 0 Q 0 (x i ) Q 1 (x i ) Q m 1 (x i ) Jede Nullstelle x i von Q m (bzw P m ) ist lso ein Eigenwert von A und ( Q0 (x i ) Q m 1 (x i ) ) T 3

28 KAPITEL 1 NUMERISCHE QUADRATUR ist ein dzugehöriger Eigenvektor D die Nullstellen prweise verschieden sind und A höchstens verschiedene m Eigenwerte hben knn, folgt drus, dss die Eigenwerte von A genu die Nullstellen der Legendre-Polynome (und dmit die Knoten von G m ) sind Gewichte von G m : D m prweise verschiedene Eigenwerte existieren, müssen die zugehörigen Eigenräume eindimensionl sein Jeder Eigenvektor v (i) zum Eigenwert x i ist lso ein sklres Vielfches von ( Q0 (x i ) Q m 1 (x i ) ) T, und dmit gilt ( v (i) ) 1 v (i) = Q 0(x i ) mj=1 Q j (x i ) = 1 mj=1 Q j (x i ) Sei w i = 1 1 l i(x) dx ds i-te Gewicht von G m Wir müssen zeigen, dss w 1 i = m Q j (x i ) (16) j=1 Hierzu entwickeln wir l i Π m 1 in die Bsis Q 0,, Q m 1 l i (x) = Für die Koeffizienten gilt m 1 n=0 n Q n (x) mit 0,, m 1 R m n = Q n, l i = I[Q n l i ] = G m [Q n l i ] = w j Q n (x j )l i (x j ) = w i Q n (x i ), j=1 wobei wir usgenutzt hben, dss Q n l j Π m exkt integriert wird D uch l j Π m exkt integriert wird, folgt n w j = w i l j (x i ) = G m [lj ] = I[lj ] = i=1 m 1 m 1 = n=0 n = w j n=0 Q n (x j ) m 1 n=0 m 1 n Q n (x), n=0 n Q n (x) lso (16) und dmit die Behuptung 4

29 Linere Gleichungssysteme: Direkte Verfhren In diesem Kpitel betrchten wir ds Problem, linere Gleichungssysteme (LGS) zu lösen Gegeben Koeffizienten ij C, i = 1,, m, j = 1,, n und rechten Seiten b i C versuchen wir lso n Unbeknnte x j C so zu bestimmen, dss die m Gleichungen n ij x j = i1 x 1 + i x + + in x n = b i, j=1 i = 1,, m erfüllt sind In Mtrix-Vektor-Schreibweise entspricht ds dem Problem, x C n so zu bestimmen, dss Ax = b wobei n b 1 1 n A = b Cm n, b = Cm, x = m1 m mn b m x 1 x Cn x n Bemerkung 1 (Nheliegender Anstz) Aus der Lineren Algebr ist eine explizite Lösungsformel für linere Gleichungssysteme beknnt, die Crmersche Regel Sei A C n n invertierbr Dnn ist die Lösung x = (x j ) n j=1 C n von Ax = b eintrgsweise gegeben durch x j = det(a j) det(a), wobei A j C n n diejenige Mtrix ist, die sich durch Ersetzen der j-ten Splte von A durch b ergibt Die Berechnung von x erfordert lso n + 1 Determinnten von n n-mtrizen n Divisionen Mit dem Lplceschen Entwicklungsstz ( Entwicklung nch einer Zeile oder Splte ) erfordert die Deteminnte einer einzelnen n n-mtrix (n ) n Determinnten von (n 1) (n 1)-Mtrizen 5

30 KAPITEL LGS: DIREKTE VERFAHREN n Multipliktionen n 1 Additionen lso über n! Opertionen Schon für modert große n ist ds ein in der Prxis nicht mehr relisierbrer Rechenufwnd Wir werden in diesem Kpitel Verfhren studieren, die ein LGS mit O(n 3 ) Rechenopertionen lösen 1 Die LR-Zerlegung 11 Gußsches Elimintionsverfhren: Ein Beispiel In diesem Abschnitt ist stets m = n Wir betrchten ds einfche Beispiel x 1 + x + x 3 = 3, x 1 + x + 3x 3 = 4, x 1 + 4x + 9x 3 = 6, dh x x = x 3 6 Zur systemtischen Lösung verwenden wir ds Gußsches Elimintionsverfhren: Wir eliminieren x 1 us der zweiten und dritten Gleichung, indem wir jeweils ein Vielfches der 1 Gleichung dzu ddieren In diesem Beispiel ddieren wir ( 1)ml die 1 Gleichung zur und zur 3 Gleichung und erhlten x 1 + x + x 3 = 3, x + x 3 = 1, 3x + 8x 3 = 3, bzw x x = x 3 3 Nun verwenden wir die nlog die Gleichung um x us der 3 Gleichung zu eliminieren, dh wir ddieren ds ( 3)fche der Gleichung zur dritten: x 1 + x + x 3 = 3, x + x 3 = 1, x 3 = 0 bzw x x = x 3 0 Ds entstndene Gleichungssytem ht Stufenform Wir können nun x 3 us der dritten Gleichungen bestimmen, dmit dnn x us der zweiten und schließlich x 1 us der 1 Gleichung bestimmen (sogennnte Rückwärtssubstitution): x 3 = 0, x = 1, x 1 = 6

31 1 DIE LR-ZERLEGUNG 1 Die LR-Zerlegung ohne Pivotsuche Ds Verfhren lässt sich unbhängig von der konkreten rechten Seite formulieren, indem die Umformungsschritte ls Mtrixmultipliktionen formuliert werden Betrchte die llgemeine Mtrix A = ( ij ) i,j=1,,n C n n Zur Elimintion der Einträge in der 1 Splte (b der Zeile), ddieren wir geeignete Vielfche der 1 Zeile zu llen nchfolgenden Zeilen n 1n l n 0 () () 3 () n l n = 0 () 3 () 33 () 3n l n n1 n n3 nn }{{}}{{} 0 () n () n3 () nn }{{} =:L 1 =A =:A wobei l i1 := i1 / 11, i =,, n und die Elimintion nur funktioniert, wenn ds sogennnte Pivot-Element 11 ungleich Null ist Den nächsten Elimintionsschritt formulieren wir nlog: n n () () 3 () n 0 () 0 l () 3 () 33 () () 3 () n 3n = 0 0 (3) 33 (3) 3n 0 l n 0 1 }{{} 0 () n () n3 () nn 0 0 (3) n3 (3) nn }{{}}{{} =:L =:A =:A 3 wobei l i := () i / (), i = 3,, n und der Schritt benötigt, dss ds Pivot-Element () nicht Null ist Wir fhren so fort und erhlten nch n 1 solchen Schritten eine rechte obere Dreiecksmtrix R := A n mit R = A n = L n 1 A n 1 = = L n 1 L n L 1 A, und dmit die LR-Zerlegung (engl: LU-decomposition) von A A = LR, wobei L = L 1 1 L 1 L 1 n 1 Die Inverse der Elimintionsmtrizen und L können explizit ngegeben werden: Lemm Hier und im folgenden bezeichnen wir mit I = , e k = 1, e k = ( )

32 KAPITEL LGS: DIREKTE VERFAHREN die n n-einheitsmtrix, den k-ten Einheitsvektor und seinen hermitesch Adjungierten Gegeben seien Vektoren l k = 0 0 l k+1,k l n,k C n, k = 1,, n 1 und dzugehörige Elimintionsmtrizen L k = I l k e k = 1 0 l k+1,k 1 0 l n,k 1 Dnn gilt L 1 k = I + l k e k und L = L 1 1 L 1 n 1 = I + l 1 e l n 1 e n 1 = Beweis: Für j, k = 1,, n ist l l 31 l l n1 l n l n,n 1 1 { 0 für j k e jl k = für j > k l jk (1) Dmit folgt L k (I + l k e k) = (I l k e k)(i + l k e k) = I + l k e k l k e k l k e kl k e k = I I + l k e k C n n ist lso eine Rechtsinverse von L k D L k qudrtisch ist, folgt, dss L k invertierbr ist und dss L 1 k = I + l k e k Zusmmen mit (1) folgt dmit uch, dss L 1 1 L 1 L 1 3 L 1 n 1 = (I + l 1 e 1)(I + l e )(I + l 3 e 3) (I + l n 1 e n 1) = (I + l 1 e 1 + l e )(I + l 3 e 3) (I + l n 1 e n 1) = (I + l 1 e 1 + l e + l 3 e 3) (I + l n 1 e n 1) = = I + l 1 e l n 1 e n 1 8

33 1 DIE LR-ZERLEGUNG Insgesmt erhlten wir lso (flls kein Pivotelement (k) kk Null ist) die Zerlegung von A in eine linke untere und eine rechte obere Dreiecksmtrix n l () () 3 () n A = LR = l 31 l (3) 33 (3) 3n 0 l n1 l n l n,n (n) nn Die LR-Zerlegung lässt sich speicherpltzschonend implementieren, indem die Einträge von A direkt durch die entsprechenden Einträge von L und R überschrieben werden Der folgende Algorithmus trnsformiert eine gegebene Mtrix A = ( ij ) C n n in die Mtrix n l 1 () () 3 () n l 31 l 3 (3) 33 (3) 3n, l n1 l n l n3 (n) nn us der sich sowohl L ls uch R blesen lssen Algorithmus 1 LR-Zerlegung ohne Pivotsuche for j = 1,, n 1 do if jj = 0 then FEHLER: Pivotelement gleich Null end if for k = j + 1,, n do kj := kj / jj % = l kj for i = j + 1,, n do ki := ki kj ji % = (j+1) ki end for end for end for return L = tril(a, 1) + I, R = triu(a) Den benötigten Rechenufwnd können wir direkt blesen Zur Berechnung der LR- Zerlegung einer n n-mtrix gemäß Algorithmus 1 benötigen wir: 9

34 KAPITEL LGS: DIREKTE VERFAHREN () Anzhl Additionen/Subtrktionen: n 1 j=1 n k=j+1 n i=j+1 1 = = n 1 j=1 n 1 j=1 n k=j+1 j = = 1 3 n3 + O(n ) n 1 (n j) = (n j) j=1 n(n 1)(n 1) 6 (b) Anzhl Multipliktionen/Divisionen: n 1 n n = j=1 k=j+1 i=j+1 = n 1 j=1 n(n 1) ( ) n 1 n j + (n j) = (j + j ) + = 1 3 n3 + O(n ) j=1 n(n 1)(n 1) 6 13 LGS-Lösung mit der LR-Zerlegung Ist für eine Mtrix A C n n eine Zerlegung A = LR in eine linke untere und eine rechte obere Dreiecksmtrix mit nicht-verschwindenden Digonlelementen beknnt, so können wir dmit leicht ein lineres Gleichungssystem Ax = b mit rechter Seite b C n lösen Zunächst lösen wir l y 1 b 1 l 1 l 0 0 y b l 31 l 3 l 33 y 3 = b 3 0 l n1 l n l n,n 1 l nn y n b n (hier l 11 = = l nn = 1) durch Vorwärtssubstitution, dh wir berechnen beginnend mit y 1 ncheinnder y 1,, y n durch y k = 1 k 1 b k l k,j y j, k = 1,, n l kk Dnn lösen wir j=1 r 11 r 1 r 13 r 1n x 1 y 1 0 r r 3 r n x y 0 0 r 33 r 3n x 3 = y r nn x n y n 30

35 1 DIE LR-ZERLEGUNG durch Rückwärtssubstitution, dh beginnend mit x n bestimmen wir x n,, x 1 durch x k = 1 y k r kk n j=k+1 r kj x j Verwenden wir die Einheitsvektoren e 1,,e n ls rechte Seiten und lösen die n Gleichungssysteme Ax = e 1,, Ax = e n so erhlten wir durch dieses Verfhren uch spltenweise die inverse Mtrix A 1 Dies ist jedoch im Allgemeinen nicht notwendig! Vorwärts- und Rückwärtssubstitution benötigen jeweils n n + O(n) Multipliktionen/Divisionen und + O(n) Additionen/Subtrktionen Zum Vergleich: Mittels der Inversen A 1 benötigt die Berechnung von x = A 1 b durch Mtrix-Vektor Multipliktion ebenflls jeweils n + O(n) Multipliktionen/Divisionen und n + O(n) Additionen/Subtrktionen Mittels L und R lssen sich linere Gleichungssysteme lso genuso so schnell lösen wie mit der Inversen A 1, es ist nicht nötig (und unnötig ufwändig) A 1 zu berechnen! Bemerkung 3 (Implementierung in Mtlb) In Mtlb knn die unnötige Berechnung der Inversen A 1 vermieden werden, indem zur Berechnung x = A 1 b (für eine rechte Seite b) der Befehl x=a\b sttt x=inv(a)*b verwendet wird In der Prxis ist x=a\b etw doppelt so schnell wir x=inv(a)*b (Mtlb verwendet für beides intern die LR-Fktorisierung) Soll A 1 b j für mehrere rechte Seiten b 1, b, b 3 berechnet werden, so ist es rtsm die Inverse zwischenzuspeichern, dh Ainv=inv(A); x_1=ainv*b_1; x_=ainv*b_; x_3=ainv*b_3, ist schneller ls x_1=a\b_1; x_=a\b_; x_3=a\b_3, Es ist jedoch noch effizienter (wiederum etw doppelt so schnell), sttt dessen die LR- Fktorisierung zwischenzuspeichern, dh [L,U]=lu(A); x_1=u\(l\b_1); x_=u\(l\b_); x_3=u\(l\b_3), 14 Pivotsuche Algorithmus 1 funktioniert nicht für jede invertierbre Mtrix, zb ist A = ( )

36 KAPITEL LGS: DIREKTE VERFAHREN offensichtlich invertierbr (det A = 1) ber ds erste Pivotelement ist bereits Null Ds Problem knn behoben werden, indem in A entweder die Zeilen oder die Splten vertuscht werden Ist A die Koeffizientenmtrix eines LGS so entspricht ein Zeilentusch dem Umnummerieren der Gleichungen, und ein Spltentusch der Umnummerierung der Unbeknnten Durch beides ändert sich die Lösung nicht (zumindest solnge wir den Überblick drüber behlten welche Vertuschungen wir vorgenommen hben) Vertuschen der i-ten und j-ten Zeile von A lässt sich ls Mtrixmultipliktion von links mit einer Permuttionsmtrix schreiben, z B ist n 1 3 n n n = n n n1 n n3 nn n1 n n3 nn Allgemein gilt: Ergibt sich P durch Vertuschung der i-ten und j-ten Zeile der Einheitsmtrix, so ergibt sich P A durch Vertuschung der i-ten und j-ten Zeile in A (und AP durch Vertuschung der i-ten und j-ten Splte in A) Wir führen nun vor, wie sich Zeilenvertuschungen in den Algorithmus zur LR-Zerlegung integrieren lssen Im k-ten Schritt der LR-Zerlegung suchen wir im unteren Teil der k- ten Splte von A k (k) kk (k) k+1,k (k) n,k nch einem von Null verschiedenen Element und vertuschen entsprechend die Zeilen von A k, dh wir schreiben A k+1 = L k P k A k wobei P k die k-te Zeile mit der j-ten Zeile j {k,, n} vertuscht Flls sich durch diese Spltenpivotsuche immer ein von Null verschiedenes Pivotelement finden lässt, dnn ergibt sich R = L n 1 P n 1 L n P n L 1 P 1 A 1 Mit dem folgenden Lemm können wir lle Permuttionsmtrizen nch rechts durchschieben : Lemm 4 Mit der Drstellung L k = I l k e k us Lemm gilt für i > k P i L k = L k P i, wobei L k = I l k e k, l k = P i l k, dh L k ergibt sich us L k durch Vertuschen der Einträge unterhlb der Digonle entsprechend der durch P i beschriebenen Permuttion 3

37 1 DIE LR-ZERLEGUNG Beweis: Wegen i > k gilt e kp i = e k und es folgt, dss P i L k = P i (I l k e k) = P i P i l k e k = (I (P i l k )e k)p i Durch entsprechendes Vertuschen der Elemente in den Elimintionsmtrizen L k ergibt sich lso R = L n 1 Ln L 1 P n 1 P 1 A 1 und dmit die Zerlegung P A = LR, wobei P = P n 1 P 1 und L = ( L 1 ) 1 ( L 1 n ) 1 L 1 n 1 Ds Durchschieben der P i durch entsprechendes Vertuschen der schon berechneten l ij lässt sich besonders einfch implementieren, indem wir die LR-Zerlegung wie in Algorithmus 1 direkt n den Mtrixeinträgen usführen Dnn werden nämlich durch Vertuschen zweier Zeilen nicht nur die Einträge von A k sondern uch in korrekter Weise die schon berechneten Einträge der L k mitvertuscht Anlog lässt sich P konstruieren, indem beginnend mit einer Einheitsmtrix die Zeilenvertuschungen ncheinnder durchgeführt werden Algorithmus LR-Zerlegung mit Spltenpivotsuche Setze P = I for j = 1,, n 1 do Suche Zeile m j mit mj 0 Vertusche m-te und j-te Zeile in A Vertusche m-te und j-te Zeile in P for k = j + 1,, n do kj := kj / jj % = l kj for i = j + 1,, n do ki := ki kj ji % = (j+1) ki end for end for end for return P, L = tril(a, 1) + I, R = triu(a) Stz 5 Ist A invertierbr, dnn findet Algorithmus immer ein von Null verschiedenes Pivotelement und konstruiert die LR-Zerlegung P A = LR Beweis: Nch Konstruktion ist nur zu zeigen, dss für eine invertierbre Mtrix durch Spltenpivotsuche immer ein von Null verschiedenes Pivotelement gefunden werden 33

38 KAPITEL LGS: DIREKTE VERFAHREN knn Angenommen ds ist nicht der Fll, dh für eine der Zwischenmtrizen gilt 11 1,k 1 1,k 1,k+1 1n 0 0 (k 1) k 1,k 1 (k 1) k 1,k (k 1) k 1,k+1 (k 1) k 1,n A k = (k) k,k+1 (k) k,n (k) k+1,k+1 (k) k+1,n (k) n,k+1 n,n (k) Offenbr spnnen die ersten k-vektoren von A k nur einen k 1-dimensionlen Unterrum uf, sind lso liner bhängig, dh A k ist nicht invertierbr Wir wählen k kleinstmöglich Dnn wr in llen vorherigen Schritten die Pivotsuche erfolgreich, dh A k = L k 1 P k 1 L 1 P 1 A 1 Die Mtrizen L j und P j sind offenbr invertierbr, so dss A 1 = A nicht invertierbr sein knn, ws ber der Vorussetzung widerspricht Bemerkung 6 Mit der LR-Zerlegung lssen sich uch effizient Determinnten berechnen Findet der Algorithmus kein von Null verschiedenes Pivotelement, so ist det(a) = 0, nsonsten ist det(p ) det(a) = det(p A) = det(lr) = det(l) det(r), det(l) det(r) lso det(a) = D die Digonleinträge der Dreiecksmtrix L eins sind, ist det(p ) det(l) = 1 Für die Dreiecksmtrix R ist det(r) ds Produkt der Digonleinträge von R D jedes Vertuschen zweier Zeilen ds Vorzeichen der Determinnte umdreht, ist schließlich det(p ) = ( 1) k, wobei k die Anzhl der durchgeführten Zeilenvertuschungen (lso ds Signum der dzugehörigen Permuttion) ist 15 Einschub: Vektor- und Mtrixnormen, Kondition Wir erinnern n einige wichtige Normen uf dem Vektorrum C n Zu x = (x j ) n j=1 C n definieren wir n Betrgssummennorm: x 1 := x j Euklidnorm: x := x := j=1 n j=1 1/ x j Mximumsnorm: x := mx j=1,,n x j wobei x = ( x 1 x n ) C 1,n den (hermitesch) djungierten Vektor bezeichnet 34

39 1 DIE LR-ZERLEGUNG Aus der Anlysis und der Lineren Algebr wissen wir, dss uf C n lle Normen äquivlent sind, dh für jede Norm existieren Konstnten c, C > 0 so dss c x x C x x C n, und dss eine Folge in C n genu dnn konvergiert, wenn sie komponentweise konvergiert Gebräuchliche Normen uf dem Mtrizenrum C m n sind (für A = ( ij ) i=1,,m,j=1,,n C m n ) m Spltensummennorm: A 1 := mx ij Zeilensummennorm: A := mx Frobeniusnorm: A F := j=1,,n i=1 n ij i=1,,m j=1 1/ m n i=1 j=1 ij Für den Rest dieses Unterbschnitts betrchten wir der Einfchheit hlber qudrtische Mtrizen A C n n und eine fest gewählte Vektornorm uf dem C n Anloge Definitionen und Aussgen gelten uch für nicht-qudrtische Mtrizen A C m n und für den Fll unterschiedlicher Normen uf C n und C m Definition 7 Eine Norm M uf C n n heißt submultipliktiv, flls AB M A M B M A, B C n n verträglich mit der Vektornorm uf C n, flls Ax A M x A C n n, x C n Definition und Stz 8 Sei eine Norm in C n Durch Ax A ind := sup x 0 x = mx Ax x =1 A Cn n wird eine Mtrixnorm in C n n, die sogennnte induzierte Norm definiert Die induzierte Norm ist submultipliktiv und mit der Ausgngsnorm verträglich Außerdem gilt für jede ndere mit der Ausgngnorm verträgliche Norm subm in C n n A ind A subm A C n n Beweis: Übungsufgbe 1 uf Bltt 7 35

40 KAPITEL LGS: DIREKTE VERFAHREN Beispiel 9 () Die Spltensummennorm ist die durch die Betrgssummennorm induzierte Norm (b) Die Zeilensummennorm ist die durch die Mximumsnorm induzierte Norm (c) Die Frobeniusnorm ist mit der Euklid-Norm verträglich, jedoch nicht die ddurch induzierte Norm Beweis: Übungsufgbe uf Bltt 7 Die von der Euklid-Norm induzierte Norm werden wir in Abschnitt 33 chrkterisieren Wir betrchten nun die Frge, wie strk sich bei der Lösung eines lineren Gleichungssystems Ax = b Änderungen/Fehler der rechten Seite uf die Lösung uswirken: Seien eine Norm uf C n und M eine dzu verträgliche Mtrixnorm Bezeichne 0 b C n die exkte rechte Seite und b C n eine dditive Störung Für die zugehörigen Lösungen x := A 1 b und x + x := A 1 (b + b), dh x = A 1 b, gilt dnn: x x = A 1 b x A 1 b Ax M b x A 1 b A M M b Mit dem Fktor A 1 M A M lässt sich lso bschätzen, welchen reltiven Fehler x x ein in der rechten Seite vorhndener reltiver Fehler b verurscht b Definition 10 Für eine invertierbre Mtrix A C n n heißt cond M (A) = A 1 M A M die Kondition der Mtrix A bezüglich der Norm M Bemerkung 11 Beknntlich ist eine Mtrix A C n n genu dnn invertierbr, wenn det(a) 0 gilt In numerischen Rechnungen ist die Frge nch Singulrität oft wenig sinnvoll, d bereits kleinste Rechenfehler eine nicht-invertierbre Mtrix invertierbr mchen können, zb ist für ( ) ( ) A 1 :=, A 0 0 := , A 1 singulär und die nur gnz gering bgeänderte Mtrix A regulär Die Fehlerverstärkung durch Inversion der fst singulären Mtrix A ist jedoch enorm Zum Beispiel verurscht für ( ) 1 b :=, b := 0 ( ) , x := A 1 b = ( ) 1, x := A 1 b = 0 ( )

41 1 DIE LR-ZERLEGUNG ein reltiver Fehler von b b der Lösung = in der rechten Seite einen Fehler von x x = 1 in Die Determinnte ist kein gutes Kriterium dfür, wie regulär bzw singulär eine Mtrix ist So besitzt zb A die gleiche Determinnte det A = wie die offensichtlich ohne reltive Fehlerverstärkung einfch zu invertierende Mtrix A 3 = ( ) , det(a 3 ) = Ein bessere Kriterium für die Regulrität einer Mtrix ist deshlb die Kondition: cond(a ) = 10 16, cond(a 3 ) = 1 16 Pivotsuche und Stbilität Kleine Pivotelemente können dzu führen, dss sich die Kondition der uftretenden Mtrizen verschlechtert Wir demonstrieren ds n dem Beispiel A = ( ) Es gilt cond F (A), die Mtrix ist lso vergleichsweise gut konditioniert, beim Lösen des Gleichungssystems Ax = b erwrten wir, dss sich der reltive Fehler höchstens verdoppelt Führen wir die LR-Zerlegung ohne Vertuschung durch, so erhlten wir A = LR, L = ( ) ( ) , R = mit cond F (L) , cond F (R) L und R sind schlecht konditioniert, nch Vorwärts- und Rückwärtssubstitution ist der reltive Fehler (genuer: seine obere Schrnke) uf sein fches ngewchsen Führen wir hingegen die LR-Zerlegung mit Vertuschung der zwei Zeilen durch, so erhlten wir ( ) ( ) ( ) P A = LR, P =, L = , R = mit cond F (L) cond F (R) L, R und sind lso ähnlich gut konditioniert wie die Originl-Mtrix Ds Beispiel suggeriert, dss es empfehlenswert ist, möglichst große Pivotelemente zu wählen, um die zur Addition der Gleichungen verwendeten Fktoren (dh die Einträge in L) möglichst klein zu hlten Mn wird dher bei der Spltenpivotsumme nicht irgendein von Null verschiedenes Element wählen, sondern möglichst dss betrgsgrößte 37