Einführung in die Numerische Mathematik (Numerik I)

Transkript

1 Freie Universität Berlin FB Mathematik und Informatik Numerische Mathematik/Scientific Computing Einführung in die Numerische Mathematik (Numerik I) Ralf Kornhuber und Christof Schütte unter Verwendung von Vorlesungen von F. Bornemann (TU München) und H. Yserentant (Uni Tübingen). Auflage: Sommersemester 2 korrigierte Fassung vom Mai 2 Typeset und Layout: Dorothé Auth und Sabrina Nordt Technisch überarbeitet: Stefan Vater

2

3 Inhaltsverzeichnis Nichtlineare Gleichungssysteme. Fixpunktiteration Newton-Verfahren Bestapproximation und lineare Ausgleichsprobleme 3 2. Bestapproximation in normierten Räumen und Prähilberträumen Approximation stetiger Funktionen Tschebyscheff-Approximation durch Polynome L 2 -Approximation Methode der kleinsten Fehlerquadrate Orthogonalisierungsverfahren Givens-Rotationen und Householder-Reflexionen Interpolation Polynominterpolation Hermite-Interpolation und Taylor sche Formel Approximationseigenschaften des Interpolationspolynoms Spline-Interpolation Stückweise lineare Interpolation Kubische Spline Interpolation Berechnung der vollständigen kubischen Splineinterpolation Approximationseigenschaften vollständiger kubischer Splines Numerische Quadratur Gauß-Christoffel-Quadratur Klassische Romberg Quadratur Adaptive Multilevel Quadratur Anfangswertprobleme für gewöhnliche Differentialgleichungen 9 5. Mathematische Modelle zeitabhängiger Prozesse Radioaktiver Zerfall und Populationsdynamik Newton sche Mechanik Existenz, Eindeutigkeit und Kondition Euler Verfahren Konsistenz von Einschrittverfahren Runge Kutta Verfahren Allgemeine Form und klassische Beispiele Systematische Entwicklung von Verfahren höherer Ordnung Diskrete Kondition I

4 II Inhaltsverzeichnis Konvergenz expliziter Runge Kutta Verfahren Schrittweitensteuerung und eingebettete Runge-Kutta-Verfahren

5 Nichtlineare Gleichungssysteme. Fixpunktiteration Wir kennen bereits Verfahren, die es erlauben, die Lösung linearer Gleichungssysteme in endlich vielen Schritten (bis auf Rundungsfehler) exakt auszurechnen (vgl. z.b. Skript CoMa I). Im Falle nichtlinearer Gleichungssysteme gelingt dies im allgemeinen nicht mehr. Wir müssen uns mit iterativen Verfahren zufriedengeben, mit denen man eine Lösung in endlich vielen Schritten nur bis auf eine vorgegebene Genauigkeit berechnen kann. Wir beginnen mit einem einfachen Beispiel. Beispiel: Gesucht ist eine Nullstelle x IR von F(x) = x(x ). Offenbar sind x = und x 2 = Lösungen (Achtung: keine Eindeutigkeit!). Wir wollen nun ein Iterationsverfahren zur näherungsweisen Berechnung einer Nullstelle x konstruieren. Dazu betrachten wir anstelle der ursprünglichen nichtlinearen Gleichung F(x) = das äquivalente Problem x IR : φ(x ) = x (.) wobei φ(x) = F(x) + x = x 2 gesetzt ist. Jede Lösung von (.) heißt Fixpunkt von φ. Wir wollen nun eine Folge {x k } von Näherungslösungen konstruieren, die gegen einen Fixpunkt x von φ konvergiert. Wir versuchen es einfach mit der Fixpunktiteration x k+ = φ(x k ), x IR geeignet. Für x =.4 erhält man die Folge x =.6, x 2 =.256, x 3 =.7,..., welche offenbar gegen x konvergiert. Die Wahl x =. liefert hingegen die Folge x =.2, x 2 =.464, x 3 = 2.436,..., welche offenbar divergiert. Die Vorgehensweise ist in Abbildung. illustriert. Je nach Startwert erhält man also Konvergenz oder Divergenz. Wir wollen verstehen, woran das liegt. Satz. Sei I = [a, b] und φ : I IR eine Abbildung mit den beiden folgenden Eigenschaften. φ(x) I x I. (.2) φ(x) φ(y) q x y x, y I, q [, ). (.3)

6 2 Nichtlineare Gleichungssysteme φ(x 3 ) x x.4.2 x φ(x ) x 2 φ(x.2 ) φ(x ) φ(x 2 ) φ(x ) φ(x ) x 2 x x x Abbildung.: Funktionsweise der Fixpunktiteration am Beispiel x k+ = x 2 k : Konvergenz (links) und Divergenz (rechts) Dann besitzt φ genau einen Fixpunkt x I und die Folge x k+ = φ(x k ) konvergiert für jeden Startwert x I gegen x. Die Fehlerreduktion erfolgt gemäß Weiter gelten die a priori Fehlerabschätzung und die a posteriori Fehlerabschätzung x x k+ q x x k. x x k qk q x x x x k+ q q x k+ x k. Beweis: a) Durchführbarkeit. Wegen (.2) ist x k I k IN, falls x I. Damit ist die Fixpunktiteration und auch die resultierende Folge {x k } I wohldefiniert. b) Konvergenz. Als erstes zeigen wir, daß {x k } eine Cauchy-Folge ist. Wegen (.3) haben wir und ebenso x k+ x k = φ(x k ) φ(x k ) q x k x k q k x x x k+i+ x k+i q x k++(i ) x k+(i ) q i x k+ x k.

7 . Fixpunktiteration 3 Es gilt daher für k, j j j x k+j x k x k+i+ x k+i x k+ x k i= i= q i qk q x x. Es gibt also zu jedem ε > ein k IN, so daß x k+j x k ε j, k > k. Damit ist {x k } Cauchy-Folge. Da IR vollständig ist, gibt es ein x IR mit Da I IR abgeschlossen ist, gilt x I. lim x k = x. k c) x ist Lösung. Aus (.3) folgt insbesondere die Stetigkeit von φ. Daher gilt φ(x k ) φ(x ). Andererseits haben wir φ(x k ) = x k+ x. Aus der Eindeutigkeit des Grenzwerts folgt φ(x ) = x. d) Eindeutigkeit des Fixpunkts. Seien x, y zwei verschiedene Fixpunkte von φ. Dann folgt aus (.3) offenbar q. Widerspruch. x y = φ(x ) φ(y ) q x y e) Fehlerreduktion. x x k+ = φ(x ) φ(x k ) q x x k. f) a posteriori Fehlerabschätzung. Die Abschätzung folgt aus x x k+ φ(x ) φ(x k+ ) + φ(x k+ ) φ(x k ) q x x k+ + q x k+ x k. g) a priori Fehlerabschätzung. x x k q q x k x k q q qk x x. Bemerkung: Ist φ C (I) und q = sup z I φ (z), so gilt nach dem Mittelwertsatz mit einem ξ I φ(x) φ(y) = φ (ξ) x y q x y x, y I. Beispiel: Wir kommen auf unser Eingangsbeispiel zurück. Dazu betrachten wir I = [ r, r] mit r < 2 und φ(x) = x 2. Dann folgt x 2 y 2 = x + y x y 2r x y x, y I,

8 4 Nichtlineare Gleichungssysteme also gilt (.3) mit q = 2r <. Außerdem haben wir φ(x) x r x I, also (.2). Das erklärt die Konvergenz der Fixpunktiteration für x =.4 gegen x =. Übrigens liegt für alle x < Konvergenz der Fixpunktiteration gegen x = vor: Die Voraussetzungen von Satz. sind dafür hinreichend, aber nicht notwendig. Manche mögen es gleich gemerkt haben: Satz. ist ein Spezialfall des Banachschen Fixpunktsatzes: Satz.2 Sei B ein Banachraum mit Norm, U B abgeschlossen (und nichtleer) und φ : U B eine Abbildung mit den beiden folgenden Eigenschaften. φ(x) U x U. (.4) φ(x) φ(y) q x y x, y U, q [, ). (.5) Dann besitzt φ genau einen Fixpunkt x U und die Folge x k+ = φ(x k ) konvergiert für jeden Startwert x U gegen x. Die Fehlerreduktion erfolgt gemäß Weiter gelten die a priori Fehlerabschätzung x x k+ q x x k. x x k und die a posteriori Fehlerabschätzung x x k+ qk q x x q q x k+ x k. Der Beweis von Satz.2 ist wortwörtlich der gleiche wie der Beweis von Satz. (Vertrauen ist gut, Kontrolle ist besser). Die Eigenschaft (.5) gibt Anlass zu folgenden Definitionen. Definition.3 Sei B ein Banachraum. Eine Abbildung φ : U B B heißt Lipschitz-stetig auf U mit Lipschitz-Konstante L, falls gilt φ heißt kontrahierend auf U, falls L [, ). φ(x) φ(y) L x y x, y U. (.6) Definition.4 Sei B ein Banachraum. Eine Folge {x k } B konvergiert linear mit Konvergenzrate q gegen x, falls gilt x x k+ q x x k k.

9 . Fixpunktiteration 5 Als erste Anwendung von Satz.2 betrachten wir die iterative Lösung linearer Gleichungssysteme. Überraschenderweise sind iterative Verfahren den sogenannten direkten Methoden (z.b. Gaußscher Algorithmus) in wichtigen Fällen tatsächlich überlegen. (Stichwort: diskretisierte partielle Differentialgleichungen). Vorgelegt sei also das lineare Gleichungssystem Ax = b, A IR n,n, b IR n. (.7) Als erstes haben wir unser Gleichungssystem F(x) = b Ax = auf Fixpunktgestalt zu bringen. Die Wahl φ(x) = b Ax + x funktioniert meistens nicht (keine Kontraktion). Wir geben daher einen allgemeineren Zugang an. Dazu wählen wir M IR n,n, regulär, mit der Eigenschaft My = r ist für alle r IR n mit O(n) Punktoperationen lösbar. (.8) Durch Addition von Mx erhält man die Fixpunktgestalt und die zugehörige Fixpunktiteration Mx = F(x) + Mx = (M A)x + b Mx k+ = (M A)x k + b, x IR n. (.9) In jedem Iterationsschritt hat man also wieder ein lineares Gleichungssystem zu lösen. Nach Voraussetzung ist das aber mit optimalem Aufwand (Ordnung O(n)) möglich. Mit Hilfe von Satz.2 wollen wir nun eine Bedingung an M herleiten, welche die Konvergenz des iterativen Verfahrens (.9) garantieren. Die Fixpunktiteration (.9) ist äquivalent zu x k+ = φ(x k ), φ(x) = (I M A)x + M b, (.) wobei I IR n,n die Einheitsmatrix bezeichnet. Mit bezeichnen wir sowohl eine Vektornorm auf IR n als auch die zugehörige Matrixnorm auf IR n,n (vgl. z.b. Skript CoMa I). Wir fordern nun zusätzlich zu (.8), daß M auch der Bedingung I M A = q < (.) genügt. Dann sind die Voraussetzungen des Banachschen Fixpunktsatzes.2 mit B = U = IR n und φ aus (.) erfüllt. Die Lösung x des linearen Gleichungssystems (.7) ist also eindeutig bestimmt (insbesondere ist A regulär!) und die Folge x k konvergiert für jeden Startwert x IR n mit der Konvergenzrate q gegen x. Jede Vorschrift zur Wahl von M charakterisiert ein iteratives Verfahren für lineare Gleichungssysteme. Die einfachste Wahl M = I führt auf das sogenannte Richardson-Verfahren. Die Wahl M = diag(a)

10 6 Nichtlineare Gleichungssysteme liefert das Jacobi-Verfahren (nach einer Arbeit von Carl Gustav Jacobi (845)). Wie wir wissen (siehe z.b. Skript CoMa I), kann man gestaffelte Gleichungssysteme mit optimalem Aufwand (d.h. n 2 /2 Punktop.) lösen. Das legt die Wahl { Aij, falls i j M ij =, sonst nahe. Man erhält das Gauß-Seidel-Verfahren (nach Carl Friedrich Gauß (89 823) und Phillip Ludwig Seidel (874), übrigens ein Student von Jacobi). Offenbar ist (.8) in den obigen drei Fällen erfüllt. Ob auch (.) gilt, hängt jeweils von der Matrix A ab! Wir verweisen beispielsweise auf Deuflhard und Hohmann [, Abschnitt 8.] oder Stoer und Bulirsch [5, Kapitel 8]. Erheblich trickreichere iterative Verfahren, die sogenannten Mehrgittermethoden, werden später im Zusammenhang mit elliptischen partiellen Differentialgleichungen eine Rolle spielen. Bislang haben wir nur lineare Konvergenz kennengelernt. Um höhere Konvergenzgeschwindigkeiten zu quantifizieren, führen wir jetzt die Begriffe superlineare Konvergenz und Konvergenzordnung ein. Definition.5 Sei B ein Banachraum und {x k } B. Die Folge {x k } heißt superlinear konvergent gegen x, falls es eine Folge q k mit lim k q k = gibt, so daß gilt x k+ x q k x k x. Sei {x k } konvergent gegen x. Dann heißt {x k } konvergent mit der Ordnung p 2, falls es eine von k unabhängige Konstante C gibt, so daß gilt Im Falle p = 2 sprechen wir von quadratischer Konvergenz. x k+ x C x k x p. (.2) Konvergenz mit Ordnung p = ist dasselbe wie lineare Konvergenz (vgl. Definition.4). Die durch x k+ = x 2 k erzeugte Folge aus unserem Eingangsbeispiel konvergiert übrigens für x < quadratisch gegen x =. Das ist ein glücklicher Zufall. Nach Satz. bzw. Satz.2 konvergiert eine Fixpunktiteration nur linear. Ein berühmtes Verfahren, das unter gewissen Voraussetzungen quadratische Konvergenz liefert, diskutieren wir im nächsten Abschnitt..2 Newton-Verfahren Wir betrachten zunächst die skalare Gleichung x IR : F(x ) = (.3) mit einer stetig differenzierbaren Funktion F : IR IR. Um eine Folge von Näherungslösungen zu berechnen, approximieren wir (.3) durch eine Folge einfacherer Probleme gleicher Bauart (vgl. iterative Verfahren für lineare Systeme im vorigen Abschnitt). Dazu ersetzen wir F durch eine einfachere Funktion und berechnen deren Nullstelle. Ist x IR gegeben, so ist bekanntlich die Tangente p(x) = F(x ) + F (x )(x x )

11 .2 Newton-Verfahren F(x 2 ) F(x ) x x x x F(x.5 3 ) F(x ).5 Abbildung.2: Funktionsweise des Newton-Verfahrens am Beispiel der Funktion F(x) = arctan(x). eine gute Approximation von F, zumindest in einer genügend kleinen Umgebung von x. Unter der Voraussetzung F (x ) errechnet man die Nullstelle der Tangente p zu x = x F(x ) F (x ). Sukzessive Anwendung dieser Vorschrift liefert das Newton-Verfahren x k+ = x k F(x k) F (x k ), x IR geeignet. (.4) Beispiel: Wir wollen das Newton-Verfahren auf die Funktion F(x) = arctan(x) anwenden. Die ersten drei Iterationsschritte zum Startwert x =.3 sind in Abbildung.2 veranschaulicht. Zahlenwerte für x =.3 und x =.4 finden sich in der folgenden Tabelle. x x x 2 x 3 x 4 x 5 x 6 x e-5.245e Offenbar konvergieren für x =.3 die Iterierten mit wachsender Geschwindigkeit gegen die Lösung x = : Ab k = 3 verdoppelt sich die Anzahl der gültigen Stellen in jedem Schritt. Das bedeutet quadratische Konvergenz! Für x =.4 sieht die Sache anders aus: Die Iterierten divergieren. Bemerkung: Das Newton-Verfahren ist eine Fixpunktiteration x k+ = φ(x k ) für φ(x) = x F(x) F (x).

12 8 Nichtlineare Gleichungssysteme Wir können also Satz. anwenden und erhalten folgendes Konvergenzkriterium. Unter den Voraussetzungen F C 2 (IR) und φ (z) = sup F(z) F (z) F (z) 2 = q < sup z IR z IR konvergiert daher das Newton-Verfahren für jeden Startwert x IR. Leider erklärt das obige Resultat nicht die lokal wachsende Konvergenzgeschwindigkeit. Bevor wir dazu kommen, wollen wir das Newton-Verfahren auf ein System x D : F(x) =, F : D IR n IR n (.5) von nichtlinearen Gleichungen erweitern. Die Ableitung (Jacobi-Matrix) F (x ) = x F (x ). x F n (x ) x n F (x ). x n F n (x ) von F an der Stelle x ist bekanntlich charakterisiert durch IR n,n F(x) (F(x ) + F (x )(x x )) = O( x x ) für x x. Damit ist die Tangentialebene p(x) = F(x ) + F (x )(x x ) wieder eine gute Approximation von F(x), zumindest in einer genügend kleinen Umgebung von x. Unter der Voraussetzung, daß F (x k ) jeweils regulär ist, hat die Iterationsvorschrift des Newton-Verfahrens für nichtlineare Systeme wieder die Gestalt x k+ = x k F (x k ) F(x k ), x IR n geeignet. Um die Berechnung von F (x k ) zu vermeiden, verwendet man die äquivalente Formulierung x k+ = x k + x k, F (x k ) x k = F(x k ), x IR n geeignet. In jedem Iterationsschritt hat man also anstelle des ursprünglichen, nichtlinearen Problems ein lineares Gleichungssystem mit der Koeffizientenmatrix F (x k ) zu lösen. Beispiel: Vorgelegt sei das Gleichungssystem sin(ξ) η = ξ cos(η) = also F (ξ, η) = sin(ξ) η F 2 (ξ, η) = ξ cos(η).

13 .2 Newton-Verfahren 9 Man erhält F (x) = ( cos(ξ) sin(η) ) ( ξ, x = η Achtung: F (x) kann singulär sein, z.b. für x = (π, 2 π)! Die Iterierten zu x = (3, 3) T finden sich in der folgenden Tabelle. ). k ξ k η k Ab Schritt k = 7 beobachten wir wieder eine Verdopplung der gültigen Stellen in jedem Iterationsschritt, also quadratische Konvergenz. Bemerkung: Offenbar sind (.5) und x D : AF(x ) = (.6) für jede reguläre Skalierungsmatrix A IR n,n äquivalent. Man spricht von Affin-Invarianz. Diese Struktureigenschaft wird durch das Newton-Verfahren erhalten! Anwendung auf (.6) liefert nämlich ( (AF(xk )) ) AF(xk ) = F (x k ) F(x k ) = x k. Konsequenterweise sollten also auch alle Konvergenzaussagen affin-invariant formuliert werden. Dies berücksichtigen wir gleich bei der Formulierung der Voraussetzungen unseres Konvergenzsatzes. Satz.6 Sei D IR n offen und F : D IR n. Es existiere eine Nullstelle x D von F. Für alle x D sei F differenzierbar. Die Jacobi-Matrix F (x) sei invertierbar für alle x D. Für alle x D und v IR n mit x + sv D für alle s [, ] gelte die (affin-invariante) Lipschitz-Bedingung F (x) ( F (x + sv) F (x) ) v sω v 2 (.7) mit Lipschitz-Konstante ω. Es sei schließlich x B ρ (x ) = {x IR n x x < ρ}, wobei ρ > so gewählt ist, daß die Bedingungen ρ < 2 ω und B ρ (x ) D

14 Nichtlineare Gleichungssysteme erfüllt sind. Dann ist x die einzige Nullstelle von F in B ρ (x ). Die Folge der Newton-Iterierten {x k } liegt in B ρ (x ) und konvergiert quadratisch gegen x. Insbesondere gilt lim k x k = x und x k+ x ω 2 x k x 2, k =,,.... Beweis: Die Fixpunktabbildung φ(x) = x F (x) F(x) ist wohldefiniert für alle x D. Sei x B ρ (x ) D und s [, ]. Dann gilt x+s(x x) B ρ (x ) D s [, ] und d ds F(x + s(x x)) = F (x + s(x x))(x x). Aus dem Hauptsatz der Differential- und Integralrechnung folgt daher Daraus ergibt sich = F(x ) = F(x) + x φ(x) = x x + F (x) F(x) = F (x) ( F(x) + F (x)(x x) ) = F (x) ( = Aus der Lipschitz-Bedingung und ρ < 2 ω x φ(x) F (x + s(x x))(x x) ds. ) F (x + s(x x))(x x) ds + F (x)(x x) F (x) ( F (x + s(x x)) F (x) ) (x x) ds. erhalten wir F (x) ( F (x + s(x x)) F (x) ) (x x) ds sω x x 2 ds = 2 ω x x 2 < q x x q := 2 ωρ <. (.8) Wegen x B ρ (x ) folgt daraus induktiv x k B ρ (x ) und x x k q k x x. Auch die quadratische Konvergenz von {x k } folgt direkt aus (.8). Im Widerspruch zur Behauptung nehmen wir an, daß x B ρ (x ) eine weitere Nullstelle von F ist. Einsetzen von x = x in (.8) führt dann auf q >. Widerspruch. Bemerkung: Da die quadratische Konvergenz gute Startwerte x B ρ (x ) voraussetzt, spricht man von lokal quadratischer Konvergenz des Newton-Verfahrens. Wir haben schon am Eingangsbeispiel gesehen, daß für schlechte Startwerte überhaupt keine Konvergenz vorzuliegen braucht.

15 .2 Newton-Verfahren Bemerkung: Varianten des obigen Satzes liefern auch die Existenz der oben angenommenen Lösung x. In der Praxis ist es oft nicht möglich, Startwerte zu finden, die auch nur die Konvergenz des Newton-Verfahrens gewährleisten. Um den Konvergenzbereich zu vergrößern, betrachten wir das gedämpfte Newton-Verfahren x k+ = x k + λ k x k, F (x k ) x k = F(x k ) (.9) mit einem geeigneten Dämpfungsparameter λ k (, ]. Die Wahl von λ k sollte idealerweise so erfolgen, daß für alle x D Konvergenz vorliegt und sich darüberhinaus im Falle x k B ρ (x ) automatisch λ k = ergibt. So bliebe die lokal quadratische Konvergenz erhalten. Wir beschreiben eine affin-invariante Dämpfungsstrategie, die auf dem sogenannten natürlichen Monotonietest beruht. Algorithmus.7 (Dämpfungsstrategie) gegeben: x k = F (x k ) F(x k ). setze: λ k = 2. berechne x k = F (x k ) F(x k + λ k x k ) 3. natürlicher Monotonietest: falls x k ( λ k 2 ) x k, akzeptiere λ k. andernfalls setze λ k = λ k /2 und gehe zu Schritt 2. Beachte, daß in Schritt 2 jeweils ein lineares Gleichungssystem mit der Koeffizientenmatrix F (x k ) gelöst werden muß. Hat man x k über eine LR-Zerlegung von F (x k ) berechnet, so ist dies mit optimalem Aufwand (O(n)) möglich. Beispiel: Wir betrachten wieder unser skalares Eingangsbeispiel F(x) = arctan(x). Die Iterierten des gedämpften Newton-Verfahrens für verschiedene Startwerte zeigt die folgende Tabelle. k x k λ k x k λ k x k λ k x k λ k e e e e e e e e Offenbar wird der Konvergenzbereich erheblich erweitert! Man sieht, daß die mit x wachsenden Inversen F (x ) durch immer kleinere Dämpfungsparameter kompensiert werden müssen. Andererseits wird in der Nähe der Lösung nicht mehr gedämpft und die lokal quadratische Konvergenz bleibt erhalten.

16 2 Nichtlineare Gleichungssysteme Literatur [] P. Deuflhard and A. Hohmann. Numerische Mathematik I. de Gruyter, 4. Auflage, 28. Wir kennen das Buch schon aus der CoMa. Unsere Darstellung folgt im wesentlichen den Abschnitten 4. und 4.2. Ein Vergleich lohnt auf alle Fälle. In Abschnitt 8. wird auf iterative Verfahren für symmetrische, positiv definite Gleichungssysteme eingegangen. [2] C.T. Kelley. Iterative Methods for Linear and Nonlinear Equations. SIAM, 995. Eine kompakte Darstellung, die aber trotzdem deutlich über den Stoffumfang allgemeiner Einführungen in die Numerische Mathematik hinausgeht. Zum Beispiel erfährt man, wie eine Sekantenmethode für nichtlineare Systeme aussieht oder worauf man achten muß, wenn man beim Newton Verfahren die linearen Teilprobleme ihrerseits iterativ löst. [3] J.M. Ortega and W.C. Rheinboldt. Iterative Solution of Nonlinear Equations in Several Variables. SIAM, 2. Ein Reprint des 97 erstmals erschienen Standardwerks. Alle grundlegenden Techniken werden ausführlich vorgestellt. Was verständlicherweise fehlt, sind moderne, vom kontinuierlichen Problem her motivierte Lösungsansätze für diskretisierte Differentialgleichungen. Aber das ist eine andere Geschichte und die soll ohnehin ein andermal erzählt werden. [4] J. Stoer. Numerische Mathematik I. Springer,. Auflage, 27. Ein Standardwerk zur Numerischen Mathematik, das zusammen mit Band II vor ca. 3 Jahren Maßstäbe gesetzt hat. Die Konvergenz des Newton Verfahrens wird in Abschnitt 5.3 analysiert. Beachte, daß die Voraussetzungen leicht abweichen (Affin Invarianz?). [5] J. Stoer and R. Bulirsch. Numerische Mathematik II. Springer, 5. Auflage, 25. Mehr über iterative Verfahren für lineare Gleichungssysteme kann man in Kapitel 8 erfahren.

17 2 Bestapproximation und lineare Ausgleichsprobleme Ein Beispiel für Bestapproximation ist die bestmögliche Approximation einer gegebenen Funktion f C[a, b] durch eine einfache Funktion u U C [a, b]. Genauer gesagt soll u U so bestimmt werden, daß der Abstand von u zu f unter allen Kandidaten aus U minimal wird. Der Abstand von u zu f wird durch eine geeignete Norm gemessen. Die resultierende Bestapproximationsaufgabe sieht dann so aus: u U : f u f v v U. (2.) Die Wahl von U und haben wir noch frei. Im Falle der Maximums-Norm v = max v(x), v C[a, b] x [a,b] spricht man von Tschebyscheff-Approximation. Eine andere Wahl könnte ( b /2 v 2 = v(x) dx) 2, v C[a, b] a sein. Dann erhält man die sogenannte L 2 -Approximation. Eine naheliegende Wahl für U ist P n = {v C[a, b] v ist Polynom vom Grad n}. P n ist bekanntlich ein n + -dimensionaler Unterraum von C[a, b]. Beispiel: Es sei f(x) = x 2, [a, b] = [, ] und n =. Gesucht ist eine Lösung von (2.) für U = P. Die entsprechende Tschebyscheff-Approximation ist offenbar p (x) 2. Zur Berechnung der L 2 -Approximation p 2 IR reicht es, wegen der strengen Monotonie der Wurzelfunktion, die Funktion g(p) = zu minimieren. Aus g (p 2 ) = folgt p 2 = 3 p. (x 2 p) 2 dx = 2( p + p2 ), p IR, Wir betrachten ein weiteres Beispiel für einfache Funktionen: Zu einem vorgegebenen Gitter a = x < x < < x n < x n = b definieren wir die stückweise linearen Funktionen S n = {v C[a, b] v [xi,x i ] ist linear i =,...,n}, (2.2) 3

18 4 2 Bestapproximation und lineare Ausgleichsprobleme n=3 n= f u n f u n Abbildung 2.: Bestapproximation der Funktion f(x) = x 2 mit linearen finiten Elementen auf verschiedenen Gittern auch lineare finite Elemente genannt. Bei Wahl der Norm 2 erhalten wir die Bestapproximationsaufgabe u n S n : f u n 2 f v 2 v S n. Beispiel: Wieder sei f(x) = x 2. Durch x i = + 2ih und h = n definieren wir ein Gitter. Abbildung 2. zeigt f im Vergleich zur Bestapproximation u n für n = 3 und n =. Offenbar ist u n nicht einfach die stückweise lineare Interpolation von (x i, f(x i )), i =,...,n. Auf ein sogenanntes Ausgleichsproblem führt folgende Situation: Gegeben seien m Meßpunkte (t i, b i ) IR 2, i =,...,m (Zustände b i an den Stellen t i ). Für t t i soll der Zustand durch eine geeignete Modellfunktion ϕ(t; x,...,x n ) beschrieben werden. Dabei sollen die n m (fitting-) Parameter x j IR so bestimmt werden, daß ϕ(t i ; x,...,x n ) b i i =,...,m. Im Sinne einer präziseren Formulierung dieses Wunsches definieren wir die Vektoren b = und die vektorwertige Funktion b. b m IR m x = ϕ : IR n IR m, ϕ(x) = x. x n ϕ(t ; x). ϕ(t m ; x) IR n.

19 2. Bestapproximation in normierten Räumen und Prähilberträumen 5 Nun soll der Parametervektor x IR n so bestimmt werden, daß b ϕ(x) minimal wird. Die Wahl der Norm haben wir noch frei. Aus CoMa I kennen wir schon die p-normen ( m ) /p y p = y i p, i= y = max i=,...,m y i. Je nach Wahl von p hat das resultierende Ausgleichsproblem einen anderen Namen: p = : L -Ausgleichsrechnung p = 2: Methode der kleinsten Fehlerquadrate (Gauß 8) p = : Tschebyscheff-Ausgleichsrechnung Die Verwendung der 2 -Norm ist wegen ihrer Bezüge zur Wahrscheinlichkeitsrechnung von besonderer Bedeutung. Für ausführliche Erläuterungen verweisen wir auf Deuflhard und Hohmann [, Abschnitt 3.]. Sind die Fitting-Funktionen ϕ(t i ; x) linear in den Parametern x i, gilt also oder in Matrixschreibweise ϕ(t i ; x) = a (t i )x + + a n (t i )x n, ϕ(x) = Ax, A = so spricht man von einem linearen Ausgleichsproblem i =,...,m, a (t ) a n (t ).. IR m n, a (t m ) a n (t m ) x IR n : b Ax b Ay y IR n. (2.3) Ist zufällig n = m, so ist (2.3) äquivalent zu Ax = b. In der Praxis liegt allerdings oft der Fall n < m vor. Beispiel: Wir wollen eine Ausgleichsgerade p(t) durch die Punkte (t i, t 2 i ) mit t i = ih, h = m, legen. Also ist n = 2, ϕ(t, ; x) = x + tx 2 x = (x, x 2 ) T IR 2 und b i = t 2 i, i =,...,m. Für m = 8 zeigt Abbildung 2.2 das Ergebnis p(t) = t im Vergleich mit (t i, b i ). Die Berechnung erfolgte mit der Methode der kleinsten Quadrate, die wir später kennenlernen werden. 2. Bestapproximation in normierten Räumen und Prähilberträumen Sei V ein normierter, linearer Raum über IR und U V ein endlichdimensionaler Unterraum. Im vorigen Abschnitt haben wir die Beispiele V = C[a, b], = p, p = 2,, U = P n, S n

20 6 2 Bestapproximation und lineare Ausgleichsprobleme.2 Messwerte Ausgleichsgerade Abbildung 2.2: Approximation von Meßwerten mit der Methode der kleinsten Quadrate kennengelernt. Sei f V fest gewählt. Wir betrachten wieder die allgemeine Bestapproximationsaufgabe Zunächst die gute Nachricht: u U : u f v f v U. (2.4) Satz 2. (Existenz) Zu jedem f V existiert eine Lösung der Approximationsaufgabe (2.4). Beweis: Wir definieren die Abbildung g : U IR durch g(v) = v f. Aus der Dreiecksungleichung folgt g(v) g(w) = v f w f v w v, w U. Also ist g stetig. Sei B = {v U v 2 f } U. Aus v / B, also v > 2 f folgt g(v) = v f v f > f = g(). Offenbar ist B. Also kann kein Minimum von g außerhalb von B liegen. Damit ist die Aufgabe u B : g(u) g(v) v B zu (2.4) äquivalent. Wegen g(v) ist inf g(v) >. v B B U ist abgeschlossen und beschränkt. Daher ist B kompakt, denn U ist endlichdimensional. Eine stetige Funktion nimmt bekanntlich auf einer kompakten Menge ihr Infimum an. Also existiert ein u B mit der Eigenschaft g(u) = inf v B g(v). Nun die schlechte Nachricht: Der Beweis ist nicht konstruktiv, d.h. wir erfahren nichts darüber, wie eine Lösung u berechnet werden kann. Im allgemeinen ist die Lösung auch nicht eindeutig, wie folgendes einfache Beispiel zeigt.

21 2. Bestapproximation in normierten Räumen und Prähilberträumen 7 {v V v f = f 2 } f 2 f U f f 2 f f + f 2 Abbildung 2.3: Unendlich viele Bestapproximationen Beispiel: Sei V = IR 2, =, U = {v = (v, v 2 ) IR 2 v 2 = } und f = (f, f 2 ). Dann ist nicht nur u = (f, ) U Lösung, sondern jedes u = (u, ) mit u I = [f f 2, f + f 2 ], denn u f = max{ u f, f 2 } = f 2 = min v U v f u I. Satz 2.2 (Eindeutigkeit) Ist der Raum V strikt konvex, d.h. v + w < v, w V mit v w, v = w =, (2.5) 2 so ist die Approximationsaufgabe (2.4) für jedes f V eindeutig lösbar. Beweis: Seien u u 2 Lösungen von (2.4), also γ := u f = u 2 f v f v V. Im Falle γ = folgt sofort u = u 2. Sei also γ. Setzt man in (2.5) v = γ (u f) w = γ (u 2 f) ein und multipliziert dann die Ungleichung mit γ, so folgt Wir setzen nun u = 2 (u + u 2 ) und erhalten 2 u f + u 2 f < γ. u f = 2 u f + u 2 f < γ = u f = u 2 f. Das steht aber im Widerspruch zur Bestapproximation von u und u 2.

22 8 2 Bestapproximation und lineare Ausgleichsprobleme Definition 2.3 Sei V ein reeller, linearer Raum. Eine Abbildung (, ) : V V IR heißt Skalarprodukt auf V, falls für alle u, v, w V und alle α, β IR die folgenden Bedingungen erfüllt sind: (u, v) = (v, u) (symmetrisch) (αu + βv, w) = α(u, w) + β(v, w) (linear) (v, v), (v, v) = v = (positiv definit) (2.6) Versehen mit der Norm v = (v, v), v V, heißt V dann Prähilbertraum. Beispiel: Der IR n versehen mit dem euklidischen Skalarprodukt (x, y) = n x i y i i= ist ein Prähilbertraum. Die zugehörige Norm ist 2. Der lineare Raum C[a, b] versehen mit dem L 2 -Skalarprodukt (v, w) = b a v(x)w(x) dx ist ein Prähilbertraum. Die zugehörige Norm ist 2. Bemerkung: Ein vollständiger Prähilbertraum heißt Hilbertraum. Der IR n versehen mit dem euklidischen Skalarprodukt ist ein Hilbertraum. Der lineare Raum C[a, b] versehen mit dem L 2 - Skalarprodukt ist nicht vollständig, also kein Hilbertraum. Der Hilbertraum IR 2 mit dem euklidischen Skalarprodukt ist konvex, wie Abbildung 2.4 zeigt. Dieser Sachverhalt lässt sich verallgemeinern. Satz 2.4 Ein Prähilbertraum ist strikt konvex. Beweis: Übung. Satz 2.5 In einem Prähilbertraum existiert eine eindeutig bestimmte Lösung u von (2.4). Beweis: Die Behauptung folgt direkt aus Satz 2., Satz 2.2 und Satz 2.4. In einem Prähilbertraum steht eine sogenannte Variationsformulierung des Minimierungsproblems (2.4) zur Verfügung, die wir später zur praktischen Berechnung von u verwenden werden.

23 2. Bestapproximation in normierten Räumen und Prähilberträumen 9 Abbildung 2.4: Die Einheitskugel im IR 2 Satz 2.6 Sei V ein Prähilbertraum. Dann ist das Bestapproximationsproblem (2.4) äquivalent zu der sogenannten Normalengleichung u U : (u f, v) = v U. (2.7) Beweis: Sei u eine Lösung von (2.4). Wir zeigen, daß u dann auch (2.7) löst. Sei v U und t > beliebig aber fest gewählt. Ausmultiplizieren liefert also u f 2 u + tv f 2 = u f 2 + 2t(v, u f) + t 2 v 2, Division durch t > und Grenzübergang t liefert 2t(v, u f) + t 2 v 2. (2.8) (v, u f). Offenbar gilt (2.8) auch für beliebiges t <. Division durch t < und Grenzübergang t ergibt dann (v, u f). Insgesamt haben wir also (v, u f) = gezeigt. Da v U beliebig war, ist u Lösung von (2.7). Sei nun umgekehrt u Lösung von (2.7). Wir zeigen, daß u dann auch (2.4) löst. Sei v U beliebig aber fest gewählt. Dann gilt u + v f 2 = u f 2 + 2(v, u f) + v 2 = u f 2 + v 2 u f 2. Damit ist u Lösung von (2.4). Beispiel: Wir betrachten das Beispiel V = IR 2, = 2, U = {v = (v, v 2 ) IR 2 v 2 = } und f = (f, f 2 ). Die Normalengleichung hat dann eine anschauliche Interpretation: Der Fehler f u der Bestapproximation steht senkrecht auf dem Unterraum U.

24 2 2 Bestapproximation und lineare Ausgleichsprobleme V \ U f f u u U Abbildung 2.5: Orthogonalität bei Bestapproximation in Prähilberträumen Dieser Sachverhalt motiviert folgende Definition. Definition 2.7 Sei V ein normierter Raum und P : V V eine lineare Abbildung mit der Eigenschaft P 2 = P. Dann heißt P Projektion. Sei V ein Prähilbertraum und P : V V eine Projektion mit der Eigenschaft (v,(i P)f) = f V, v R(P) = {Pw w V }. Dann heißt P Orthogonalprojektion auf R(P). Beispiel: Sei V = IR 2. Dann ist Px = ( ) x, x = ( x eine Orthogonalprojektion bezüglich des euklidischen Skalarprodukts. Beispiel: Sei V ein Prähilbertraum. Nach Satz 2.5 existiert zu jedem f V eine eindeutig bestimmte Bestapproximation u U. Die durch V f u = Pf U x 2 ) definierte Abbildung P ist eine Orthogonalprojektion von V auf U (Übung). Satz 2.8 Sei V ein Prähilbertraum und P : V U = R(P) eine Orthogonalprojektion. Dann ist u = Pf die Bestapproximation von f aus U.

25 2. Bestapproximation in normierten Räumen und Prähilberträumen 2 Beweis: Übung. Satz 2.9 Sei V ein normierter Raum und P eine Projektion. Dann gilt P. Sei V ein Prähilbertraum und P eine Projektion. Dann ist P genau dann eine Orthogonalprojektion, wenn P = gilt. Beweis: Pv Ist P unbeschränkt, also P = sup v v =, so ist die Aussage trivial. Andernfalls folgt aus P 2 = P P = P 2 P 2 und Division durch P > liefert die Behauptung. Sei P eine Orthogonalprojektion auf R(P). Wir zeigen P = und haben dazu nur noch P nachzuweisen. Sei f V, f, beliebig aber fest gewählt und u = Pf, w = (I P)f. Dann gilt nach Voraussetzung (u, w) = und daher f 2 = u + w 2 = u 2 + 2(u, w) + w 2 = u 2 + w 2 (Pythagoras). Daraus folgt Pf 2 = u 2 u 2 + w 2 = f 2, also P. Sei nun umgekehrt P : V R(P) eine Projektion mit P =. Wir zeigen (v,(i P)f) = f V, v R(P). Sei also v R(P) V, f V und w = (I P)f R(I P). Dann gilt Pv = v nebst Pw = Pf P 2 f = und daher v = Pw v = Pw Pv = P(w v) w v. Da f V und damit w R(I P) beliebig war, ist R(I P) die Bestapproximation von v. Aus Satz 2.6 folgt dann die Normalengleichung ( v, w) = w R(I P). Gleichbedeutend ist (v,(i P)f) = v V und das wollten wir zeigen. Wie angekündigt, wollen wir jetzt aus der Normalengleichung eine Berechnungsvorschrift für u herleiten. Dazu wählen wir eine Basis {ϕ,...,ϕ n } von U. Dann hat u die Darstellung n u = u j ϕ j j= mit unbekannten Koeffizienten u j IR. Einsetzen dieser Darstellung in die Normalengleichung und Wahl von v = ϕ i, i =,...,n liefert n lineare Gleichungen n (ϕ j, ϕ i ) u j = (f, ϕ i ), i =,...,n. Setzt man j= A = (a ij ) n i,j= IR n,n, a ij = (ϕ j, ϕ i ), b = (b j ) n j= IR n, b j = (f, ϕ j ), u = (u j ) n j= IR n, (2.9)

26 22 2 Bestapproximation und lineare Ausgleichsprobleme so erhält man das lineare Gleichungssystem Au = b (2.) zur Berechnung des Koeffizientenvektors u und damit der Bestapproximation u. Bemerkung: Die Koeffizientenmatrix A heißt Gramsche Matrix. Wegen a ij = (ϕ j, ϕ i ) = (ϕ i, ϕ j ) = a ji ist A symmetrisch. Darüberhinaus ist A positiv definit (Übung). Für die Lösung von (2.) wäre es besonders angenehm, wenn a ij = (ϕ j, ϕ i ) = für i j gelten würde, denn dann könnte man die Lösung u j = b j /a jj direkt hinschreiben. Definition 2. Sei V ein Prähilbertraum mit Skalarprodukt (, ) und U V endlichdimensional. Eine Basis (ϕ i ) n i= von U mit der Eigenschaft heißt Orthogonalbasis bezüglich (, ). (ϕ i, ϕ j ) = i, j =,...,n, i j, Beispiel: Sei U = IR 2. Dann ist {e, e 2 } mit e = ( ) 2, e 2 = ( ) 9 eine Orthogonalbasis von U bezüglich des euklidischen Skalarprodukts. Beispiel: Sei U = P n V = C[, ] mit dem L 2 -Skalarprodukt (v, w) = bilden die ψ i (x) = i! d i (2i)! dx i(x2 ) i, i =,...,n, v(x)w(x) dx. Dann eine Orthogonalbasis von P n mit führenden Koeffizienten. Bis auf einen Normierungsfaktor ( i! statt 2 i i! (2i)!) sind das die sogenannten Legendre-Polynome. Es stellt sich die Frage, wie man zu einer Orthogonalbasis kommt. Aus einer vorliegenden Basis kann man mit dem sogenannten Gram-Schmidtschen Orthogonalisierungsverfahren eine Orthogonalbasis berechnen (vgl. z.b. Werner [7, Satz V.4.2]). Im Falle von Polynomen U = P n geben wir eine Berechnungsvorschrift an. Satz 2. Zu jedem Skalarprodukt (, ) auf P n gibt es eindeutig bestimmte Orthogonalpolynome ψ i P i, i =,...,n, mit führendem Koeffizienten eins. Sie genügen der Drei-Term- Rekursion ψ i (x) = (x + α i )ψ i (x) + β i ψ i 2 (x), i =, 2,...,n, (2.) mit den Anfangswerten ψ, ψ, β =,

27 2.2 Approximation stetiger Funktionen 23 und den Koeffizienten α i = (xψ i, ψ i ) (ψ i, ψ i ), β i = (ψ i, ψ i ) (ψ i 2, ψ i 2 ). Beweis: Der Induktionsbeweis findet sich bei Deuflhard und Hohmann [, Satz 6.2]. Dieser Satz lässt sich auf abstrakte Prähilberträume verallgemeinern (vgl. Satz 6.4 in []). 2.2 Approximation stetiger Funktionen 2.2. Tschebyscheff-Approximation durch Polynome Wir betrachten den Spezialfall V = C[a, b], = und U = P n der allgemeinen Bestapproximationsaufgabe (2.4), also p P n : p f q f q P n (2.2) zu gegebenem f C[a, b]. Nach Satz 2. existiert eine Lösung p von (2.2). Allerdings liefert der allgemeine Satz 2.2 nicht die Eindeutigkeit, denn C[a, b] mit Norm ist nicht strikt konvex (Übung). Hier haben wir es aber mit einem Spezialfall zu tun! Die speziellen Eigenschaften von C[a, b] und vor allem von P n kann man ausnutzen (Stichworte: Haarscher Raum, Tschebyscheffscher Alternantensatz (853)). So erhält man: Satz 2.2 Die Lösung von (2.2) ist eindeutig bestimmt. Beweis: Wir verweisen auf eine ausführliche Darstellung in Hämmerlin und Hoffmann [3, Kapitel 4 4]. Beispiel: Sei V = C[, ], f(x) = x n+ und U = P n. Dann ist (2.2) offenbar äquivalent zu ω P () n+ : ω q q P () n+, (2.3) wobei P () n+ = {p P n+ p = x n+ q, q P n } gesetzt ist. Die Lösung von (2.3) ist gegeben durch (siehe [3, Kapitel 4, 4.7]) Dabei sind ω = 2 nt n+. T n (x) = cos ( n arccos(x) ), n =,,...

28 24 2 Bestapproximation und lineare Ausgleichsprobleme die sogenannten Tschebyscheff-Polynome. Art. Eine äquivalente Charakterisierung ist durch die 3-Term-Rekursion T (x) =, T (x) = x, T n+ (x) = 2xT n (x) T n (x), n =, 2,... gegeben. Abbildung 2.6 zeigt links die Tschebyscheff-Polynome T, T 2 und T 3 und rechts die Lösung von (2.3) für n = 2 im Vergleich mit x 3. Beachte, daß auch die Tschebyscheff- Approximation eine ungerade Funktion ist..8.6 T T 2.8 T f(x) = x 3 Approx. Abbildung 2.6: Tschebyscheff-Polynome T, T 2 und T 3 (links) und Tschebyscheff-Approximation von f(x) = x 3 in P 2 (rechts) L 2 -Approximation Der lineare Raum V = C[, ] versehen mit dem Skalarprodukt (v, w) = v(x)w(x) dx (2.4) ist ein Prähilbertraum. Wir betrachten zunächst die Approximation durch Polynome, also U = P n. Nach Satz 2.5 ist die entsprechende Bestapproximationsaufgabe eindeutig lösbar und nach Satz 2.6 äquivalent zur Normalengleichung p P n : (p, q) = (f, q) q P n. Um p tatsächlich ausrechnen zu können, müssen wir eine Basis (ϕ i ) n i= von P n wählen. Naheliegende Wahl: Die Monome ϕ i (x) = x i, i =,...,n. Die zugehörige Gramsche Matrix hat dann die Koeffizienten (ϕ i, ϕ j ) = x i+j dx = i + j +.

29 2.2 Approximation stetiger Funktionen 25 Das ist gerade die sogenannte Hilbertmatrix. Die Kondition der Hilbertmatrix wächst sehr schnell mit n (matlab-routine cond)! Damit werden bei der Lösung des zugehörigen Gleichungssystems (vorsichtig ausgedrückt) Schwierigkeiten entstehen. Kluge Wahl: Die Legendre-Polynome d i ψ i (x) = 2 i i! dx i(x2 ) i, i =,...,n, bilden bekanntlich eine Orthogonalbasis von P n C[, ]. Wie kann man aus den Legendre- Polynomen eine Orthogonalbasis (ϕ i ) n i= von P n C[, ] bezüglich des zugehörigen Skalarprodukts (2.4) bestimmen (Übung)? Beispiel: Es sei f(x) = x 3 und n = 2. Eine Orthogonalbasis von P 2 ist gegeben durch ϕ (x) =, ϕ (x) = 2x, ϕ 2 (x) = 3(2x ) 2. Wir erhalten die Gramsche Matrix (ϕ, ϕ ) (ϕ, ϕ ) (ϕ, ϕ 2 ) A = (ϕ, ϕ ) (ϕ, ϕ ) (ϕ, ϕ 2 ) = 3 4 (ϕ 2, ϕ ) (ϕ 2, ϕ ) (ϕ 2, ϕ 2 ) 5 und die rechte Seite (f, ϕ ) 4 b = (f, ϕ ) = 3. (f, ϕ 2 ) Aus dem linearen Gleichungssystem Ap = b erhalten wir die Koeffizienten und damit die L 2 -Approximation p = p(x) = (2x ) + 8 (3(2x )2 ). In Abbildung 2.7 ist die L 2 -Approximation p im Vergleich zu f(x) = x 3 (gestrichelt) dargestellt. Als nächstes betrachten wir die Approximation durch lineare finite Elemente. Wir setzen also U = S n mit S n aus (2.2). Zur Berechnung der Lösung u aus der Normalengleichung u S n : (u, v) = (f, v) v S n

30 26 2 Bestapproximation und lineare Ausgleichsprobleme.2 f(x) = x 3 L 2 Approximation Abbildung 2.7: L 2 -Approximation von f(x) = x 3 in P 2 haben wir eine Basis von S n zu wählen. Jedes Element ϕ i der sogenannten Knotenbasis ist charakterisiert durch die Interpolationseigenschaft ϕ i S n : ϕ i (x k ) = δ ik k =,...,n (Kronecker-δ). (2.5) Setzt man so gilt h i = x i x i, i =,...,n, ϕ (x) = ϕ i (x) = { h (x x ) falls x [x, x ] sonst, + h i (x x i ) falls x [x i, x i ] h i+ (x x i ) falls x [x i, x i+ ] sonst, i =,...,n (2.6) ϕ n (x) = { + h n (x x n ) falls x [x n, x n ] sonst. ϕ i ϕ i+ x i x i+ Abbildung 2.8: Knotenbasis von S n Man nennt die Basisfunktionen ϕ i oft Dach- oder Hütchenfunktionen. Mit Blick auf Abbildung 2.8 ist klar warum. Die Knotenbasis hat zwei Vorteile: Erstens erhält man mit den

31 2.2 Approximation stetiger Funktionen 27 Koeffizienten u i der Knotenbasisdarstellung u = n u i ϕ i i= wegen u i = u(x i ) direkt die Werte an den Gitterpunkten (hier Knoten). Daher der Name. Zweitens gilt (ϕ i, ϕ j ) = falls i j 2, denn die Knotenbasisfunktionen haben einen lokalen Träger. Nur in der Diagonalen und in den beiden Nebendiagonalen der Gramschen Matrix A (vgl. (2.9)) stehen also von verschiedene Elemente. Eine solche Matrix heißt Tridiagonalmatrix. Wir wollen nun auch die Koeffizienten in der Diagonalen und den beiden Nebendiagonalen ausrechnen. Wir beginnen mit den Diagonalelementen. Für i =,...,n erhält man und es gilt a ii = (ϕ i, ϕ i ) = Ist i =,...,n so gilt = xi+ x i xi x i ϕ i (x) 2 dx ( + x x ) 2 xi+ ( i dx + x x ) 2 i dx h i x i h i+ = h i t 2 dt h i+ t 2 dt = 3 (h i + h i+ ) a = (ϕ, ϕ ) = 3 h, a nn (ϕ n, ϕ n ) = 3 h n. a i,i+ = (ϕ i, ϕ i+ ) = Für i =,...,n ergibt sich daraus = = xi+ x i xi+ x i xi+ x i ϕ i (x)ϕ i+ (x) dx ( x x i h i+ ( x x i h i+ )( + x x i+ ) x xi h i+ = h i+ ( t)t dt = 6 h i+. h i+ dx ) dx a i,i = (ϕ i, ϕ i ) = 6 h i. Zur Vereinfachung der Schreibweise definieren wir u = u n+ = h = h n+ =. Insgesamt erhalten wir dann die Normalengleichungen 6 h iu i + 3 (h i + h i+ )u i + 6 h i+u i+ = (f, ϕ i ), i =,...,n.

32 28 2 Bestapproximation und lineare Ausgleichsprobleme 6 Multipliziert man die i-te Gleichung jeweils mit h i +h i+, so ergibt sich zur Berechnung der Unbekannten das lineare Gleichungssystem u = u. u n Mu = β (2.7) mit Koeffizientenmatrix 2 λ µ 2 λ M = λn µ n 2, µ i = h i h i + h i+, λ i = h i+ h i + h i+ (2.8) und rechter Seite β = β. β n, β i = 6 h i + h i+ (f, ϕ i ). (2.9) Man kann zeigen, daß sich eine LR-Zerlegung von A mit O(n) Punktoperationen berechnen lässt (vgl. z.b. Hämmerlin und Hoffmann [3, Kapitel 2.4]). Damit ist das zugehörige lineare Gleichungssystem mit optimalem Aufwand lösbar! Dazu kommt, daß M unabhängig von n sehr gut konditioniert ist. Satz 2.3 Es gilt κ (M) = M M 3. Beweis: Wegen µ i + λ i = µ i + λ i =, i =,...,n (2.2) ist M = max n i=,...,n j= m ij = max i=,...,n (µ i λ i ) = 3. Da wir M nicht kennen, ist die Abschätzung von M etwas schwieriger. Sei z IR n+ beliebig aber fest gewählt. Aus (Mz) i = µ i z i + 2z i + λ i z i+, i =,...,n, und (2.2) folgt die Abschätzung z i 2 Mz + 2 z, i =,...,n.

33 2.3 Methode der kleinsten Fehlerquadrate 29 Daraus ergibt sich z 2 Mz + 2 z und damit z Mz. Setzt man z = M y so erhält man schließlich M = max y IR n+ y M y y z = max. z IR n+ Mz z 2.3 Methode der kleinsten Fehlerquadrate Wir betrachten das lineare Ausgleichsproblem (2.3) im Falle = 2, also x IR n : b Ax 2 b Av 2 v IR n (2.2) für gegebene Matrix A IR m n, m n und b IR m. Bemerkung: Ist x eine Lösung von (2.2), so ist u = Ax R(A) = {Ay y IR n } IR m eine Lösung von u R(A) : b u 2 b v 2 v R(A) (2.22) und umgekehrt. Damit lässt sich das lineare Ausgleichsproblem (2.2) als Bestapproximationsaufgabe (2.4) mit V = IR m, = 2 und U = R(A) formulieren. Aus Satz 2.5 folgt die Existenz einer eindeutig bestimmten Lösung u R(A) von (2.22), welche durch die Normalengleichung u R(A) : (u, v) = (b, v) v R(A) (2.23) charakterisiert ist (euklidisches Skalarprodukt in IR m ). Eigentlich interessiert uns aber eine Lösung x IR n von (2.2). Satz 2.4 Es sei m n. Der Vektor x IR n ist genau dann Lösung des linearen Ausgleichsproblems (2.2), wenn x der Normalengleichung genügt. Ist A injektiv, so ist x eindeutig bestimmt. A T Ax = A T b (2.24) Beweis: Sei x Lösung von (2.2). Wir zeigen, daß dann x Lösung von (2.24) ist. Da x (2.2) löst, ist u = Ax Lösung von (2.22), genügt also der Normalengleichung (2.23). Einsetzen von u = Ax und v = Ay, y IR n, beliebig, liefert (Ax, Ay) = (u, v) = (b, v) = (b, Ay)

34 3 2 Bestapproximation und lineare Ausgleichsprobleme und daher (A T Ax, y) = (A T b, y) y IR n. Wählt man y = e i (i-ter Einheitsvektor in IR n ), i =,...,n, so folgt (2.24). Sei umgekehrt x Lösung von A T Ax = A T b. Wir zeigen, daß x dann Lösung von (2.2) ist. Da x Lösung von (2.24) ist, genügt u = Ax der Normalengleichung (2.23), denn die obigen Schlüsse sind umkehrbar. Damit ist u Lösung von (2.22) und somit x Lösung von (2.2). Nach Satz 2.5 ist u eindeutig bestimmt. Ist A : IR n R(A) IR m injektiv, so existiert genau ein x IR n mit u = Ax. Bekanntlich ist A genau dann injektiv, wenn N(A) = {} (Kern von A) und dimr(a) = n vorliegt oder, gleichbedeutend, wenn A maximalen Spaltenrang n hat. Bemerkung: Es sei n = m und A regulär. Dann gilt denn κ 2 (A T A) = A T A 2 (A T A) 2 = A 2 2 A 2 2 = κ 2 (A) 2, A T A 2 = λ max ((A T A) 2 ) 2 = λmax (A T A) = A 2 2, (A T A) 2 = λ min (A T A) = A 2 2. Ist A schlecht konditioniert, so ist also A T A sehr schlecht konditioniert. Beispiel: Sei A = ε, A T A = ε ( ) + ε 2 + ε 2. Ist ε größer als die kleinste darstellbare Zahl, aber ε < eps (eps ist die Maschinengenauigkeit), so gilt à = rd(a) = rd(ε) regulär, à T A = rd(a T A) = rd(ε) Man spricht vom fast rangdefekten Fall. Ist A injektiv, so ist A T A symmetrisch und positiv definit, d.h. (A T Ax, x) x IR n, (A T Ax, x) = x =. ( ) singulär. Eine Variante des Gaußschen Algorithmus, das Cholesky-Verfahren (vgl. Deuflhard und Hohmann [, Kapitel.4]), ist daher auf (2.24) anwendbar. Bekanntlich gibt es beim Gaußschen Algorithmus und ähnlich auch beim Cholesky-Verfahren Stabilitätsprobleme im Falle schlecht konditionierter Koeffizientenmatrizen. Wir beschreiben daher etwas aufwendigere, aber stabilere Methoden zur Lösung der Normalengleichung (2.24).

35 2.3 Methode der kleinsten Fehlerquadrate Orthogonalisierungsverfahren Die Grundidee stammt von Gene Golub (vgl. Golub und van Loan [2, Kapitel 5]): Statt A T Ax = A T b zu lösen, versuchen wir das lineare Ausgleichsproblem (2.2) direkt anzugehen. Bemerkung: Die euklidische Norm 2 ist invariant unter Orthogonaltransformationen Q IR m m, das sind Q IR m m mit Q T Q = I, denn b Ax 2 2 = (Q T Q(b Ax), b Ax) = (Q(b Ax), Q(b Ax)) = Q(b Ax) 2 2. Anstelle von (2.2) können wir also auch x IR n : Q(b Ax) 2 Q(b Av) 2 v IR n lösen. Dabei haben wir die Wahl einer Orthogonaltransformation Q IR m m frei! Satz 2.5 Sei m n, b IR m und A IR m n mit dim R(A) = n. Ferner sei Q IR m m eine Orthogonaltransformation mit der Eigenschaft ( ) ( ) Q T R A =, Q T b b =. Dabei ist R IR n n eine obere Dreiecksmatrix und b IR n, b 2 IR m n. Dann ist die Lösung von (2.2) und es gilt Beweis: Sei v IR n beliebig. Dann gilt x = R b b Ax 2 = min v IR n b Av 2 = b 2 2. b Av 2 2 = Q T b Q T Av 2 2 Einsetzen von v = x = R b liefert = ( ) b Rv 2 = b Rv b b b 2 b Ax 2 2 = b b 2 Zusammen erhält man die Behauptung. Definition 2.6 Die Produktdarstellung ( ) R A = Q R IR n n ist obere Dreiecksmatrix, heißt QR-Zerlegung von A.

36 32 2 Bestapproximation und lineare Ausgleichsprobleme Bemerkung: Eine QR-Zerlegung ist stabil, denn κ 2 (A) = κ 2 (R). Es bleibt nur noch eine kleine Frage offen: Wie kann man eine QR-Zerlegung berechnen? Givens-Rotationen und Householder-Reflexionen Orthogonale Abbildungen setzen sich aus Drehungen und Spiegelungen zusammen (siehe z.b. Kowalsky [4, 6. Kapitel, Satz 24.3]). Beispiel: Im IR 2 haben Drehungen die Gestalt Q = ( ) cos θ sinθ. sinθ cos θ e 2 x e θ Die Spiegelung (Reflexion) eines Vektors x IR 2 an einer Geraden mit Normalenvektor v IR 2 lassen sich mit Hilfe der Orthogonalprojektion (x,v) (v,v) v von x auf v formulieren, (v, x) Qx = x 2 (v, v) v. v x (x,v) (v,v) v x 2 (x,v) (v,v) v Wir erinnern uns: Bei Durchführbarkeit des Gaußschen Algorithmus lieferten die Eliminationsmatrizen (I G k ) wegen R = (I G n ) (I G )A, L = (I G ) (I G n ) eine LR-Zerlegung von A. Anstelle der Gaußschen Eliminationsmatrizen (I G k ) wollen wir nun Orthogonaltransformationen verwenden.

37 2.3 Methode der kleinsten Fehlerquadrate 33 Givens-Rotationen. Es sei s 2 + c 2 = und l < k n. Dann heißt eine Orthogonaltransformation Q lk IR m m der Gestalt Q lk =... c s... s c... l-te Zeile k-te Zeile Givens-Rotation. Im Falle s = sinθ, c = cos θ bewirkt Q lk gerade eine Drehung in der Ebene span {e l, e k } um den Winkel θ. Sei a IR m gegeben. Dann gilt ca l + sa k (Q lk a) i = sa l + ca k a i für i = l für i = k sonst. Insbesondere ist (Q lk a) k = falls a l = a k =. Sei nun a k. Dann wollen wir Q lk abhängig von a so bestimmen, dass (Q lk a) k = gilt. Wir wollen also a k mittels Q lk eliminieren. Dazu berechnen wir c, s IR aus dem linearen Gleichungssystem Die Lösung ist ca l + sa k = r = (Q kl a) l, r = a 2 l ca k sa l = = (Q kl a) + a2 k. (2.25) k c = a l r, s = a k r. Sei nun A = (A A n ). Der Vektor A j IR m bezeichnet also die j-te Spalte von A IR m n. Wir eliminieren zunächst sukzessive die Subdiagonalelemente von A. Dazu bestimmen wir nach obiger Vorschrift Givens-Rotationen Q () k,k, k = m,...,2, so daß gilt und setzen Q () 2 Q() m,m A =. A () = Q () A Q () = Q () 2 Q() m,m.

38 34 2 Bestapproximation und lineare Ausgleichsprobleme Beispiel: Sei A IR 4 3. Dann sieht die Elimination der Subdiagonalelemente der ersten Spalte wie folgt aus. A Q 34 Q 23 Q 2 Dabei werden nur die mit gekennzeichneten Koeffizienten neu berechnet. Auf die gleiche Weise eliminieren wir nun die Subdiagonalelemente der zweiten Spalte A () 2 von A () = (A () A() n ) mit Givens-Rotationen Q (2) k,k, k = m,...,3, und erhalten A (2) = Q (2) A () Q (2) = Q (2) 23 Q(2) m,m. Da A (),k = A() k =, k = m,...,3, bleiben die Nullen in der ersten Spalte erhalten! Induktiv erhält man ( ) Q T R A = Q T = Q (n ) Q (). Abschließend wollen wir den Aufwand abschätzen. Unter der Voraussetzung m n werden O( 4 3 n3 ) Punktoperationen und O( 2 n2 ) Quadratwurzeln benötigt (Übung). Das ist etwa der vierfache Aufwand der Gauß-Elimination angewandt auf die Normalengleichung (2.24). Das ist der Preis für bessere Stabilitätseigenschaften! Im Falle m n benötigt man O(2mn 2 ) Punktoperationen und O(mn) Quadratwurzeln. Householder-Reflexionen. Als nächstes wollen wir Spiegelungen (Reflexionen) verwenden, um eine QR-Zerlegung zu berechnen. Dazu benötigen wir das sogenannte dyadische Produkt vw T = v w v w n.. IR m m, v, w IR m. v n w v n w n Das dyadische Produkt von v, w ist gerade das Matrixprodukt von v IR m und w T IR m. Umgekehrt ist das euklidische Skalarprodukt (v, w) = v T w IR, v, w IR m, gerade das Matrixprodukt von v T IR m mit w IR m. Sei v IR m. Dann heißt die zu v gehörige Householder-Reflexion. Q = Q(v) = I 2 vvt v T v