FEHLERABSCHÄTZUNG MITTELS KONDITION

3 FEHLERABSCHÄTZUNG MITTELS KONDITION Im Folgenden soll eine Abschätzung für den Fehler, der beimlöseneineslgsauftritt,untersucht werden. Dazu erweitern wir zunächst Definition..7 des absoluten und relativen Fehlers auf Vektoren aus dem R n. 3. ABSOLUTE UND RELATIVE FEHLER Es sei x R n eine Approximation von x R n.alsfehler bezeichnet man e = x x und zu einer gegebenen Vektornorm ist x x der absolute Fehler von x. Esseix 0,dannbeschreibt x x x = e x den relativen Fehler von x. Relative Fehler in der -Norm können durch eine Aussage über die Anzahl korrekter Stellen von x ausgedrückt werden, d.h. x x x 0 p, falls die betragsgrößte Komponente von x näherungsweise p korrekte signifikante Stellen hat. 3. FEHLERABSCHÄTZUNG & KONDITION Wir wollen nun zwei wichtige Fragestellungen untersuchen, welche bei dem numerischen Lösen von linearen Gleichungssystemen (LGS) auftreten. Zum einen betrachten wir eine Näherungslösung x zu der Lösung x von Ax = b. WelcheRückschlüssekannmanvonderGrößedes Residuums r := b A x auf den Fehler e = x x ziehen? Des Weiteren rechnet man im Allgemeinen mit endlicher Genauigkeit auf einem Rechner. Welche Einflüsse haben dabei Störungen der Ausgangsdaten auf die Lösung x? Zu einer Matrix A R n n und einem Vektor x R n sei A eine beliebige Matrixnorm und x eine dazu verträgliche Vektornorm (d.h. Ax A x ). Nach Definition des Fehlers e und Residuums r gilt Ae = Ax A x = b A x = r. Daraus folgt Mit folgt für den relativen Fehler die Abschätzung Dies motiviert den Begriff der Konditionszahl. e = A r A r. b = Ax A x e x A r = A A r b b. (3.) A

50 Kapitel 3: Fehlerabschätzung mittels Kondition Definition 3.. (Konditionszahl) Man bezeichnet κ(a) = A A (3.) als die Konditionszahl der Matrix A bezüglich der verwendeten Matrixnorm. Beispiel 3.. Man betrachte das LGS Ax = b mit A = 3 3 4 4 5 5 6 3 4 5 6 7 4 5 6 7 8 5 6 7 8 9 b := (b j ) b j := 5 k= k + j ( j 5). Für die Matrixnormen und die Konditionszahlen erhält man in den Fällen p =,, A =.83, A = 4380, κ (A) = 943656, A.5670507, A 3044.84, κ (A) 476607.5, A =.83, A = 4380, κ (A) = κ (A). Sei die exakte Lösung x =(,...,) T.Istnun x =( ε)x, danngilt e x = εx x = ε! und d.h. r = b A x = Ax A x = A(x ( ε)x) =εax = εb, r b = ε. Obwohl die Konditionzahl sehr groß ist, verhält sich bei dieser Störung e r x wie b.obige Abschätzung ist offensichtlich eine worst case Abschätzug. Betrachten wir nun x =(0.99386,.669, 0.493836,.7679, 0.63754) T. (3.3) A habe die Eigenwerte 0 λ < < λ 5 mit den zugehörigen Eigenvektoren ϕ,...,ϕ 5, ϕ j =.Manbeachte,dass x in (3.3) so gewählt ist, dass x x ϕ gilt und x 0.004 ϕ 0.04 ϕ +0.44 ϕ 3 +0.97 ϕ 4 +.998 ϕ 5, d.h. x von ϕ 5 dominiert wird. Dann erhalten wir e b x r 0.4 κ (A), e b x r 0.89 κ (A), e b x r 0.74 κ (A) und schätzen dann in der richtigen Größenordung ab! Aufgabe 3..3 Es sei A R n n eine positiv definite Matrix. Die Eigenwerte von Matrix A seien 0 <λ... λ n mit den zugehörigen Eigenvektoren ϕ,...,ϕ n ( ϕ j =). i) Es sei x R n \{0}, b := Ax und x = cx (0 c R). Man zeige x x x b b A x =.

Abschnitt 3.: Fehlerabschätzung & Kondition 5 ii) Man zeige κ (A) =λ n /λ. iii) Es sei x = cϕ n, c 0, b := Ax und x = x + ϕ.manzeige x x x b b A x = κ (A). Untersuchen wir nun, welchen Einfluss kleine Störungen in den Ausgangsdaten A, b auf die Lösung x des linearen Gleichungssystems haben können, d.h. wir sind interessiert an der Empfindlichkeit der Lösung x auf Störungen in den Koeffizienten. Die genaue Frage lautet: Wie groß kann die Änderung δx der Lösung x von Ax = b sein, falls die Matrix um δa und b durch δb gestört sind. Dabei seien δa und δb kleine Störungen, so dass A+δA immer noch regulär ist. Es sei x + δx die Lösung zu Teilweises Ausmultiplizieren liefert und somit mit Ax = b (A + δa)(x + δx) =(b + δb). Ax + δa x +(A + δa)δx = b + δb δx =(A + δa) (δb δa x) =(I + A δa) A (δb δa x). Für eine submultiplikative Matrixnorm und eine dazu verträgliche Vektornorm ergibt sich somit δx (I + A δa) A ( δb + δa x ) und wir erhalten die Abschätzung ( ) δx δb x (I + A δa) A x + δa. (3.4) Wir zeigen in Lemma 3..6, dass für B < die Abschätzung (I + B) B existiert. Setzen wir nun B = A δa und A δa < (d.h. δa ist eine kleine Störung von A)voraus und erweitern auf der rechten Seite mit A,soerhaltenwirunterAusnutzungderVerträglichkeit der Normen und mit Ax = b δx x A A ( δb A δa A A A δa Wir halten das Ergebnis nun in einem Satz fest. A x + δa ) A ( δb b + δa ). A Satz 3..4 Es sei A R n n regulär und x R n die exakte Lösung von Ax = b. Dierechte Seite b sei um δb gestört und für die Störung von A gelte κ(a) δa / A = A δa < und A + δa ist immer noch regulär. Dann gilt für die Lösung x des gestörten Systems mit Koeffizientenmatrix A + δa und rechter Seite b + δb x x x κ(a) κ(a) δa A ( δb b + δa A ). (3.5)

5 Kapitel 3: Fehlerabschätzung mittels Kondition Bemerkung 3..5 Die Konditionszahl κ(a) der Koeffizientenmatrix A ist folglich die entscheidende Größe, welche die Empfindlichkeit der Lösung bzgl. der Störungen δa und δb beschreibt. Es bleibt folgendes Lemma zu beweisen: Lemma 3..6 (Neumann-Reihe) Sei A R n n, eine submultiplikative Matrixnorm und A <. Dannist(I A) regulär und (I A) = A k (Neumann-Reihe) (3.6) mit k=0 (I A) A. (3.7) Beweis. Mit A <, dersubmultiplikativitätunddersummenformelfürdiegeometrische Reihe erhält man m m A k A k A k = < (m N). (3.8) A k=0 k=0 k=0 Der Raum R n n ist isomorph zu R n (siehe Anhang A.). In [Analysis II, Beispiel 8.4.6] wurde gezeigt, dass R n vollständig ist bezüglich irgendeiner Norm auf R n.somitistr n n vollständig bezüglich und aus der absoluten Konvergenz folgt die Konvergenz von k=0 Ak.Ebenso folgt aus A k A k 0 für k die Konvergenz von lim k Ak =0.Weitergiltdie Gleichung ( Teleskopsumme ) ( m ) A k (I A) =I A m+ (m N). (3.9) k=0 Der Grenzübergang von (3.9) führt zur Gleichung ( ) A k (I A) =I. (3.0) k=0 Das bedeutet, I A ist regulär und (I A) geometrische Reihe erhält man schließlich (I A) lim womit der Satz bewiesen ist. N k=0 N A k lim = k=0 Ak.MitderSummenformelfürdie N k=0 N A k = A, (3.) Zum Ende des Kapitels wollen wir nun den praktischen Nutzen der Abschätzung (3.5) in einer Faustregel festhalten. Bei einer d-stelligen dezimalen Gleitkommarechnung können die relativen Fehler der Ausgangsgrößen für beliebige, kompatible Normen von der Größenordnung δa A 5 0 d δb b 5 0 d sein. Ist die Konditionszahl κ(a) 0 α mit 5 0 α d, soergibtdieabschätzung(3.5) δx x 0α d+. Das heißt, dass δx maximal in der Größenordnung der (d α )-ten Dezimalstelle von x liegen kann und dies motiviert folgende Daumenregel:

Abschnitt 3.: Fehlerabschätzung & Kondition 53 Bemerkung 3..7 (Daumenregel zur Genauigkeit) Wird Ax = b mit d-stelliger dezimaler Gleitkommarechnung gelöst, und beträgt die Konditionszahl κ(a) 0 α,sosind,bezogenauf die betragsgrößte Komponente, nur (d α ) Dezimalstellen sicher. Notiz MATLAB-Beispiel: Es ist bekannt, dass die Gauß-Elemination selbst mit Spaltenpivotstrategie zu überraschend ungenauen Ergebnissen beim Lösen von linearen Gleichungssystemen führen kann, obwohl die Matrix gut konditioniert ist. Betrachten wir hierzu die von Wilkinson angegebene pathologische Matrix. A =............ >> A=toeplitz([,-ones(,59)],... [,zeros(,59)]); >> A(:,60)=; >> cond(a) ans = 6.8035 % rel. gut konditioniert >> randn( state, 3383) >> x=randn(60,); >> b=a*x; >> x=a\b; >> norm(x-x)/norm(x) ans = 0.340 % großer rel. Fehler Bemerkung 3..8 Das Beispiel lässt vermuten, dass das Gauß-Verfahren über dieganzemenge der invertierbaren Matrizen betrachtet nicht stabil ist. Fü r d i e i n d e r P r a x i s a u f t r e t e n d e n M a t r i z e n, ist das Gauß-Verfahren mit Spaltenpivotierung jedoch in der Regel stabil. Für eine weitere Stabilitätsanalyse des Gauß-Verfahrens sei auf [Deuflhard/Hohmann], die grundlegenden Artikel von Wilkinson [Wilkinson65, Wilkinson69] sowie auf die Übersichtsartikel [Higham, Discroll/Maki] verwiesen.

54 Kapitel 3: Fehlerabschätzung mittels Kondition

4 ITERATIVE LÖSUNG LINEARER GLEICHUNGSSYSTEME Die in Kapitel beschriebenen direkten Verfahren gehen überwiegend von beliebigen vollbesetzten Matrizen aus. Viele praktischen Probleme führen aber zuder Aufgabe, ein sehr großes lineares Gleichungssystem Ax = b zu lösen, bei dem A R n n nur schwachbesetzt ist, d.h. viele Nulleinträge besitzt. Die bisherigen Verfahren nutzen diese spezielle Struktur nicht aus und führen beim Lösen des LGSteilweise sogar zu vollbesetzten Zwischenmatrizen. Man betrachte dazu folgendes Beispiel. Beispiel 4.0. Zu der Matrix A = 5 0 5 0 lautet die LR-Zerlegung mit A = L R 3 L = 3, R = 0 3 0 3 0. 3 3 0 5 3 5 Obwohl A nur in der ersten Zeile und Spalte sowie auf der Diagonalen Nichtnulleinträge besitzt, sind L und R vollbesetzt.! Bemerkung 4.0. Ist die Bandbreite einer Matrix groß und in jeder Zeile treten nur wenige Nichtnulleinträge auf, dann ist ein Bandlöser teuer und die folgenden Verfahren liefern gute Alternativen. Aus den oben genannten Gründen wurden schon früh iterative VerfahrenzurLösungvonLGS herangezogen. Bei diesen Verfahren wird ausgehend von einem Startvektorx (0) eine Folge von Vektoren x (0) x () x ()... mittels einer Iterationsvorschirft x (i+) = φ(x (i) ), i =0,,... (4.) erzeugt, die gegen die gesuchte Lösung x konvergiert. In den folgenden Abschnitten werden sowohl die klassischen Iterationsverfahren, die bereits Mitte des 9. Jahrhunderts entdeckt wurden, als auch das Gradientenverfahren sowie das 95 von Hestenes undstiefelentwickelteverfahren der konjugierten Gradienten vorgestellt. Allen diesen Verfahren ist gemein, dass ein einzelner Iterationsschritt x (i) x (i+) einen Rechenaufwand erfordert, welcher vergleichbar ist mit der Multiplikation von A mit einem Vektor, d.h. insbesondere mit einem geringen Aufwand, sofern A schwachbesetzt ist. Im Gegensatz zu den

56 Kapitel 4: Iterative Lösung linearer Gleichungssysteme direkten Verfahren liefern diese Iterationsverfahren die exakte Lösung x des LGS im Allgemeinen nicht mehr nach endlich vielen Schritten. Da man aber in der Regel an der Lösung x nur bis auf eine vorgegebene Genauigkeit ɛ interessiert ist, die von der Genauigkeit der Eingabedaten abhängt (vgl. Kapitel und 3), scheint dieses Vorgehen sinnvoll. 4. KLASSISCHE ITERATIONSVERFAHREN Gegeben sei eine reguläre Matrix A R n n und ein lineares Gleichungssystem Ax = b mit der exakten Lösung x. MitHilfeeinerbeliebigenregulärenMatrixB R n n erhält man Iterationsvorschriften der Form (4.) aus der Gleichung Bx +(A B)x = b, indem man setzt und nach x (i+) auflöst Bx (i+) +(A B)x (i) = b x (i+) = x (i) B (Ax (i) b) = (I B A)x (i) + B b. (4.) Jede Wahl einer nichtsingulären Matrix B führt zu einem möglichen Iterationsverfahren. wird umso brauchbarer, je besser B die folgenden Kriterien erfüllt i) B ist leicht zu invertieren (einfache Realisierbarkeit) Es ii) die Eigenwerte von (I B A) sollen möglichst kleine Beträge haben. (Konvergenzeigenschaft) Wir wollen hier nun einige Beispiele angeben. Dazu verwenden wirfolgende(additive)standardzerlegung A = L + D + R, wobei D eine Diagonalmatrix, L eine strikte untere Dreiecksmatrix und R eine strikte obere Dreiecksmatrix seien. Die Wahl i) B = γi liefert das Richardson-Verfahren ii) B = D liefert das Jacobi-Verfahren (Gesamtschrittverfahren) iii) B = L + D oder B = D + R liefert das Gauß-Seidel-Verfahren (Einzelschrittverfahren). Was zeichnet nun die einzelnen Verfahren aus? Betrachten wirdazueinbeispiel. Beispiel 4.. Zu gegebenem n N und A =......... R n n,b= R n,x (0) = 0 R n

Abschnitt 4.: Klassische Iterationsverfahren 57 bestimmen wir die Konvergenzrate c =max k x x (k+) x x (k), für das Jacobi- und das Gauß-Seidel-Verfahren (B = D + R), d.h. den Faktor, um den der Fehler in der -Norm in jedem Iterationsschritt mindestens reduziert wird. MATLAB-Funktion: runkonvergenz.m n = 0; e = ones(n,); 3 A = spdiags([e -*e e], -:, n, n); 4 x_ex = rand(n,); % exakte Loesung 5 b = A * x_ex; % exakte rechte Seite 6 x{} = rand(n,); % zufaelliger Startv. 7 x{}=x{}; 8 W{} = triu(a); % Gauss-Seidel 9 W{} = diag(diag(a)); % Jacobi 0 for j = :length(x) error_old = norm(x{j}-x_ex); for k = : 0 3 x{j} = x{j} + W{j} \ (b-a*x{j}); 4 error_new = norm(x{j}-x_ex); 5 quot{j}(k) = error_new/error_old; 6 error_old = error_new; 7 end 8 end 9 plot(:0,quot{}, m-s,:0,quot{}, k:* ); 0 xlabel( Anzahl der Iterationen ), ylabel( Kontraktion ) legend({ Gauss-Seidel-Verf., Jacobi-Verfahren },4) 0.9 0.8 Konvergenzrate 0.7 0.6 Gauss Seidel Verf. Jacobi Verf. 0.5 0.4 0 5 0 5 0 5 30 35 40 Anzahl der Iterationen Abb. 4.: Kontraktionszahlen für Gesamt- und Einzelschrittverfahren.

58 Kapitel 4: Iterative Lösung linearer Gleichungssysteme Dem numerischen Experiment kann man entnehmen, dass in diesem Fall beide Verfahren konvergieren, da die Konvergenzerate jeweils kleiner ist, und dass das Gauß-Seidel-Verfahren schneller konvergiert, da die Konvergenzrate hier kleiner ist. In der praktischen Anwendung kann man bei dem Gauß-Seidel-Verfahren mit B = L + D folgende Formulierung verwenden, um die Anzahl der Operationen zu reduzieren da x (i+) =(L + D) (b Rx (i) ), x (i+) = x (i) B (Ax (i) b) = x (i) B ([(A B)+B] x (i) b) = x (i) B (A B)x (i) B Bx (i) + B b = B (b (A B)x (i) ) gilt und mit B = L + D und A B = R folgt x (i+) =(L + D) (b Rx (i) ). Ein Schritt des Gauß-Seidel-Verfahrens ist also etwa so aufwendig wie eine Matrix-Vektor- Multiplikation. Ähnlich kann man auch für B = D + R vorgehen, d.h. x (i+) =(D + R) (b Lx (i) ). Schließlich vereinfacht man das Jacobi-Verfahren zu sowie das Richardson-Verfahren zu x (i+) = D (b (L + R)x (i) ) x (i+) = x (i) + γ (b Ax(i) ). 4. KONVERGENZ ITERATIVER VERFAHREN Es sei x Lösung von Ax = b.mit(4.)erhaltenwir x x (k) = x B b (I B A)x (k ) = Ix B Ax (I B A)x (k ) =(I B A)(x x (k ) )=... =(I B A) k (x x (0) ). Die Konvergenz des dargestellten Verfahrens hängt also nur vondeneigenschaftenderiterationsmatrix I B A ab. Es sei C eine beliebige komplexwertige (n n)-matrix, λ i := λ i (C) (i =,...,n)seiendieeigenwertevonc.dannbezeichnenwirmit ϱ(c) := max i n { λ i(c) } den Spektralradius von C. BevorwireinKonvergenzkriteriumangeben,bereitenwirnoch den Begriff der Jordanschen Normalform vor.

Abschnitt 4.: Konvergenz iterativer Verfahren 59 Definition 4.. (Jordan-, bzw. Elementarmatrix) Eine Matrix E k (λ) C k k heißt Jordanmatrix (oder Elementarmatrix) zum Eigenwert λ, wenn λ 0...... E k (λ) =.... (4.3) 0 λ Satz 4.. (Jordansche Normalform (siehe z.b. [Fischer])) Zu jeder Matrix A C n n existiert eine reguläre Matrix T C n n,sodass A = T JT, wobei J, diedurchdiepaare(λ,n ),...,(λ k,n k ) mit λ i C, n i (eindeutig bis auf die Reihenfolge) bestimmte Jordansche Normalform E n (λ ) 0 J =... 0 E nk (λ k ) von A ist. Satz 4..3 (Konvergenzkriterium) Es sei C C n n.diefolge(c k ) k N ist genau dann eine Nullfolge, wenn ϱ(c) < gilt. Beweis. Sei zunächst ϱ(c). DanngibteseinenEigenwertλ mit λ und einen Vektor x 0mit Cx = λx. WegenC k x = λ k x und lim k λ k 0kann folglich (C k ) k N keine Nullfolge sein. Die Bedingung ϱ(c) < ist somit notwendig. Sei nun ϱ(c) <.Weil(TCT ) k = TC k T fürjede Ähnlichkeitstransformation T gilt, reicht es, lim k (TCT ) k =0zu zeigen. Die Matrix C lässt sich durch Ähnlichkeitstransformation auf die Jordansche Normalform J transformieren. Wir zeigen, dass lim k J k =0gilt, wenn alle Eigenwerte λ,...,λ n dem Betrag nach kleiner Eins sind. Dazu sei λ µ 0...... E µ = E nµ (λ µ )=... Cnµ nµ 0 λ µ eine Elementarmatrix zum Eigenwert λ µ der Jordanschen Normalform J von C.Daoffenbar J k = E k E k... E k l mit l n gilt, genügt es, das Konvergenzverhalten einer Jordanmatrix E µ zu untersuchen. Wir schreiben E µ in der Form E µ = λ µ I + S mit 0 0...... S =... Cnµ nµ 0 0

60 Kapitel 4: Iterative Lösung linearer Gleichungssysteme und bilden Eµ k =(λ µi + S) k.nachanwendungderbinomialentwicklungundunterbeachtung von S nµ =0erhält man die Beziehung min{k, n µ } ( ) k Eµ k = λ k ν µ S ν. ν Für feste ν hat man mit ( ) k k! k(k )... (k ν +) = = k ν ν ν!(k ν)!... ν die Abschätzung Da λ µ < ist, strebt und mit ( k ν ) ν=0 λ k ν µ λk ν µ k ν. k log λ µ + ν log(k) für k λ k ν µ k ν exp((k ν)log λ µ + ν log k) ( ) folgt die Konvergenz lim k k λ k ν µ ν =0.Damitistgezeigt,dass(Ek µ ) k N eine Nullfolge ist und somit auch die Behauptung. Um die Konvergenz der Richardson-Iteration mathematisch zubeweisen,mussderspektralradius der Iterationsmatrix bestimmt werden. Während man diesen in dem Spezialfall einer symmetrischen, positiv definiten Matrix A exakt angeben und somit Konvergenzaussagen treffen kann, vgl. Aufgabe 4..4, so ist dies im allgemeinen Fall analytisch nicht möglich und numerisch sehr aufwendig. Es ist daher das Ziel der nächsten beiden Abschnitte, aus einfachen algebraischen Eigenschaften der Matrix A auf die Konvergenz der Jacobi- bzw. Gauß-Seidel-Iteration zu schließen. Anders als in Satz 4..3 sind die Ergebnisse in diesen beiden Abschnitten hinreichende Konvergenzkriterien, im Allgemeinen aber nicht notwendig. Aufgabe 4..4 (Konvergenz des Richardson-Verfahrens für positiv definite Matrizen) Es sei A R n n symmetrisch und positiv definit mit λ min und λ max als kleinsten bzw. größten Eigenwert. Man beweise folgende Aussagen: (a) Für die Iterationsmatrix C R (γ) =I γ A des Richardson-Verfahrens gilt ϱ(c R (γ)) = max { γ λ max, γ λ min } γ R \{0}. (b) Das Richardson-Verfahren konvergiert genau dann, wenn γ> λmax gilt. (c) γ := λmax+λ min minimiert den Spektralradius ϱ(c G (γ)) für γ R \{0}. (d) Es gilt ϱ(c G (γ )) = λmax λ min λ max+λ min. 4.3 KONVERGENZ DES JACOBI-VERFAHRENS BeidemJacobi-Verfahren (auch Gesamtschrittverfahren genannt) werden alle Komponenten des Lösungsvektors in einem Iterationsschritt gleichzeitig korrigiert. Die Iterationsvorschrift lautet x (i+) = D (b (L + R)x (i) ), d.h. die Iterationsmatrix ist C J = I D A = D (L + R).

Abschnitt 4.3: Konvergenz des Jacobi-Verfahrens 6 Satz 4.3. (Starkes Zeilen- und Spaltensummenkriterium) Es sei A C n n.dasjacobi- Verfahren konvergiert für jeden Startvektor x (0) C n,wennfür die Matrix A das i) (starke Zeilensummenkriterium) a ii > a ik, für i =,,...,n, k= k i d.h. A ist strikt diagonaldominant, oder das ii) (starke Spaltensummenkriterium) a kk > a ik, für k =,,...,n, i= i k d.h. A T ist strikt diagonaldominant, erfüllt ist. Für den Beweis von Satz 4.3. benötigen wir das folgende Lemma. Lemma 4.3. Es sei A C n n.danngiltfür jede natürliche p-matrixnorm ϱ(a) A p. Beweis. Jeder Eigenwert λ von A mit zugehörigem Eigenvektor x genügt für jede natürliche p- Matrixnorm p der Beziehung Ax p = λ x p und damit der Abschätzung A p λ. Beweis von Satz 4.3.. i) Die Iterationsmatrix des Jacobi-Verfahrens ist C J = I D A = D (L + R). Wenn das starke Zeilensummenkriterium erfüllt ist, gilt die Abschätzung 0 a, a, a,n a, a, a, 0 a,3 a, a,n a,. C J =.......... = max........ an, a n,n an,n a nn 0 i n j= j i a ij a ii <. Lemma 4.3. liefert dann die Behauptung i). ii) Ist für A das starke Spaltensummenkriterium (ii) erfüllt, so gilt (i) für A T.Alsokonvergiertdas Jacobi-Verfahren für A T und es ist daher wegen Satz 4..3 ϱ(c) < für C = I D A T.Nun hat C die gleichen Eigenwerte wie C T und wie D C T D = I D A = C J.Alsoistauch ϱ(c J ) <, d.h.dasjacobi-verfahrenistauchfürdiematrixa konvergent. Definition 4.3.3 Eine Matrix A R n n heißt zerlegbar (reduzibel), wenn es nichtleere Teilmengen N und N der Indexmenge N := {,,...,n} gibt mit den Eigenschaften i) N N = ii) N N = N iii) a ij =0für alle i N und j N

6 Kapitel 4: Iterative Lösung linearer Gleichungssysteme Eine Matrix, die nicht zerlegbar ist, heißt unzerlegbar (irreduzibel). Beispiel 4.3.4 i) a... a k 0... 0.... A = a N... a NN 0... 0 a N+,... a N+,N a N+,N+... a N+,N.... a N,... a N,N a N,N+... a N,N Die Teilmengen N = {,,...,N},N = {N +,...,N} haben alle in der Definition geforderten Eigenschaften. Somit ist A zerlegbar. ii) Eine Tridiagonalmatrix mit nicht verschwindenden Nebendiagonal- und Diagonalelementen ist unzerlegbar. Bemerkung 4.3.5 Dass eine Matrix A unzerlegbar (irreduzibel) ist, kann man häufig leicht mit Hilfe des der Matrix A zugeordneten (gerichteten) Graphen G(A) zeigen. Wenn A eine n n- Matrix ist, so besteht G(A) aus n Knoten K,...,K n und es gibt eine gerichtete Kante K i K j in G(A) genau dann, wenn a ij 0.Man zeigt leicht, dass A genau dann unzerlegbar ist, falls der Graph G(A) in dem Sinne zusammenhängend ist, dass es für jedes Knotenpaar (K i,k j ) in G(A) einen gerichteten Weg K i nach K j gibt. 0 A = 4 0, 0 3 G(A) : K K K 3 Abb. 4.: Beispiel einer zerlegbaren Matrix A und ihres Graphen G(A). Definition 4.3.6 (Schwaches Zeilen- und Spaltensummenkriterium) Eine Matrix A R n n erfüllt das schwache Zeilensummenkriterium, falls a µν a µµ ν= ν µ für alle Zeilen µ =,...,ngilt, d.h. A ist diagonaldominant, und a µ0ν < a µ0µ0 ν= ν µ 0 für mindestens einen Index µ 0 {,...,n} erfüllt ist. Eine Matrix A R n n erfüllt das schwache Spaltensummenkriterium,wennA T das schwache Zeilensummenkriterium erfüllt. Satz 4.3.7 (Schwaches Zeilensummenkriterium) Es sei A R n n eine irreduzible Matrix, die das schwache Zeilensummenkriterium erfüllt. Dann ist das Jacobi-Verfahren konvergent. ZumBeweisvon Satz4.3.7werden wir direkt den Spektralradius der Iterationsmatrix abschätzen. Die wesentliche Beobachtung dabei ist, dass jede irreduzible Matrix, die das schwache Zeilensummenkriterium erfüllt, bereits regulär ist.

Abschnitt 4.3: Konvergenz des Jacobi-Verfahrens 63 Lemma 4.3.8 Jede irreduzible Matrix M R n n,diedasschwachezeilensummenkriterium erfüllt, ist regulär und für die Diagonalelemente gilt m jj 0(j =,...,n). Beweis. Wir nehmen an, M sei nicht regulär, d.h. es existiert ein x K n \{0} mit Mx =0. Insbesondere folgt aus der Dreiecksungleichung m jj x j m jl x l + l=0 }{{} =0 m jl x l l= l j m jl x l für alle j =,...,n. (4.4) Wir definieren die Indexmengen J := {j : x j = x } und K := {k : x k < x }. Offensichtlich gilt J K =, J K = {,...,n} und J. WäreK =, sokönnte man in (4.4) die x j -undx l -Terme herauskürzen und erhielte einen Widerspruch zum schwachen Zeilensummenkriterium. Also gilt auch K,undaufgrundderIrreduzibilitätvonM existieren Indizes j J und k K mit m jk 0.Mitdiesemergibtsich m jj l= l j m jl x l x j m jl, l= l j denn der Quotient ist stets wegen x j = x und er ist < für l = k K. Alsoerhalten wir einen Widerspruch zum schwachen Zeilensummenkriterium von M, d.h. M ist regulär. Gäbe es schließlich ein triviales Diagonalelement m jj =0,sofolgteausdemschwachenZeilensummenkriterium, dass bereits die j-te Zeile die Nullzeile wäre. Da M regulär ist, folgt insbesondere m jj 0für alle j =,...,n. l= l j Beweis von Satz 4.3.7. Wegen a jj 0für alle j =,...,n ist C J = D (A D) wohldefiniert. Um ϱ(c J ) < zu zeigen, beweisen wir, dass M := C J λi für λ C mit λ regulär ist. Da A irreduzibel ist, ist auch A D irreduzibel, denn es wird lediglich die Diagonale verändert. C J entsteht durch zeilenweise Multiplikation von A D mit Werten 0.Deshalbist auch C J irreduzibel. Da M und C J sich nur auf der Diagonale unterscheiden, ist M irreduzibel. Aufgrund des schwachen Zeilensummenkriteriums von A gilt m jk = k= k j k= k j c (J) jk = k= k j a jk a jj λ = m jj für alle j =,...,n. und für mindestens einen Index j gilt diese Ungleichung strikt. Also erfüllt M auch das schwache Zeilensummenkriterium und ist nach Lemma 4.3.8 insgesamt regulär. Aufgabe 4.3.9 Manzeige, dassdasjacobi-verfahren auchkonvergent istunter der Annahme, dass A R n n irreduzibel ist und das schwache Spaltensummenkriterium erfüllt.

64 Kapitel 4: Iterative Lösung linearer Gleichungssysteme 4.4 KONVERGENZ DES GAUSS-SEIDEL-VERFAHRENS Die Iterationsvorschrift des Gauß-Seidel-Verfahrens (auch Einzelschrittverfahren genannt) für B = L + D lautet x (i+) =(L + D) (b Rx (i) ), d.h. die Iterationsmatrix ist C GS = (L + D) R; die Iterationsvorschrift des Gauß-Seidel-Verfahrens für B = D + R lautet x (i+) =(D + R) (b Lx (i) ), mit Iterationsmatrix CGS = (D + R) L. Satz 4.4. (Konvergenzsatz) Es sei A R n n eine reguläre Matrix, die das starke Zeilensummenkriterium oder das starke Spaltensummenkriterium erfüllt. Dann sind beide Varianten des Gauß-Seidel-Verfahrens zur Lösung des linearen Gleichungssystems Ax = b konvergent. Beweis. Sei das starke Zeilensummenkriterium erfüllt. Die Iterationsmatrizen des Gauß-Seidel- Verfahrens mit B = L + D bzw. des Jacobi-Verfahrens sind C GS := (L + D) R bzw. C J := D (L + R). WenndasstarkeZeilensummenkriteriumerfülltist,giltdie Abschätzung C J = max i n j= j i a ij a ii <. Es sei jetzt y R n beliebig und z = C GS y.durchvollständigeinduktionbeweisenwir,dassalle Komponenten z i des Vektors z der Abschätzung z i j= j i a ij a ii y genügen. Dazu schreiben wir die Gleichung z = C GS y um in (L + D)z = Ry und schätzen ab: z j= a j a y j j= a j a y. Schreiben wir das Gauß-Seidel-Verfahren mit B = L + D in der Form x (k+) i = i b i a ij x (k+) j a ij x (k) j ( i n), a ii j= j=i+ so folgt daraus dann mit der Induktionsvoraussetzung z i i a ij z j + a ij y j a ii j= j=i+ IH i a ij C J + a ij y a ii j= j=i+ j= j i a ij a ii y.

Abschnitt 4.4: Konvergenz des Gauß-Seidel-Verfahrens 65 Hiermit erhält man die Abschätzung C GS y = z C J y y R n und somit C GS C J <. (4.5) Da ϱ( (L + D) R)=ϱ(C GS ) C GS,folgtdarausdieKonvergenzdesGauß-Seidel- Verfahrens für B = L + D. Um die Konvergenz des Gauß-Seidel-Verfahrens für B = D + R mit C GS = (D + R) L nachzuweisen, betrachten wir zunächst folgende Permutationsmatrix P = 0 0... = P T R n n. Die Matrix à = PAPT geht aus A durch simultane Zeilen- und Spaltenvertauschungen hervor, sodass die Gültigkeit des starken Zeilensummenkriteriums auchfürã vorliegt. Mit dem oben Bewiesenen gilt somit ϱ( ( L + D) R) <, wobei und daher L = PRP T D = PDP T R = PLP T >ϱ( (PRP T + PDP T ) PLP T )=ϱ( (P (R + D)P T ) PLP T ) = ϱ( P (R + D) P T PLP T )=ϱ( P (R + D) LP T ) = ϱ( (R + D) L). Also ist ϱ( C GS )=ϱ( (D + R) L) < und somit das Gauß-Seidel-Verfahren für B = D + R konvergent. Sei nun das starke Spaltensummenkriterium erfüllt. Dann erfüllt A T das starke Zeilensummenkriterium und beide Varianten des Gauß-Seidel-Verfahrens konvergieren für A T.MitderStandardzerlegung von A T A T = L T + D T + R T, wobei L T = R T, D T = D und R T = L T ist, gilt somit ϱ( (R T + D) L T )=ϱ( (L T + D T ) R T ) <, ϱ( (L T + D) R T )=ϱ( (R T + D T ) L T ) <. Hieraus ergibt sich die Konvergenz des Gauß-Seidel-Verfahrens für B = L + D ϱ(c GS )=ϱ( (L + D) R)=ϱ( (L + D)(L + D) R (L + D) ) = ϱ( R (L + D) )=ϱ( (L T + D) R T ) < sowie für B = D + R ϱ( C GS )=ϱ( (D + R) L)=ϱ( (D + R)(D + R) L (D + R) ) = ϱ( L (D + R) )=ϱ( (D + R T ) L T ) <. Damit sind alle Aussagen des Satzes bewiesen.

66 Kapitel 4: Iterative Lösung linearer Gleichungssysteme Bemerkung 4.4. Häufig verleitet (4.5) zu der falschen Schlussfolgerung, dass das Gauß-Seidel- Verfahren schneller als das Jacobi-Verfahren konvergiert,wenndiematrixstriktdiagonaldomi- nant ist. Beispiel 4.4.3 Dass bei strikter Diagonaldominanz einer regulären Matrix A R n n aus C GS C J < nicht ϱ(c GS ) ϱ(c J ) folgen muss, sieht man, wenn man die Matrix A folgendermaßen wählt: A = Dann besitzen die zugehörigen Iterationsmatrizen C GS = (L + D) R = 005 50 0 0 0 49 0 0 0 49 0 40 480 0 980 6860 0 780 560. C J = 45 0 49 98 00 0 00 00 50 0 nämlich die Spektralradien ϱ(c GS )=(4 5)/49 0.85 und ϱ(c J )=/49 0.0408 sowie die Maximumnormen C GS =3/49 0.653 und C J =40/49 0.863. Bemerkung 4.4.4 Mit Bezug auf das letzte Beispiel halten wir fest: Ist eine Matrix A strikt diagonaldominant, gilt für die Iterationsmatrizen C GS C J <, esfolgtimallgemeinen aber nicht ϱ(c GS ) ϱ(c J ). Bemerkung 4.4.5 Ebenfalls wäre die Schlussfolgerung aus Satz 4.4., dass eine Form des Gauß- Seidel-Verfahrens genau dann konvergent ist, wenn es die andere ist, falsch. Es gibt Beispiele regulärer Matrizen, für die ϱ(c GS ) <, aberϱ( C GS ) bzw. ϱ( C GS ) <, aberϱ(c GS ). Man betrachte dazu folgendes Beispiel. Beispiel 4.4.6 Gegeben sei die reguläre Matrix Die zugehörigen Iterationsmatrizen 0 A =. 0 0 0 C GS = (L + D) R = 0 0 0 0 0 0 0 0 C GS = (D + R) L = 0 0 0 besitzen die Spektralradien ϱ(c GS )=0< sowie ϱ( C GS )=+ 3 >,d.h.dasgauß-seidel- Verfahren für B = L + D ist konvergent, für B = D + R jedoch divergent. Satz 4.4.7 (Schwaches Zeilensummenkriterium) Ist A R n n irreduzibel und erfüllt das schwache Zeilensummenkriterium, so sind beide Varianten des Gauß-Seidel-Verfahrens konvergent.

Abschnitt 4.4: Konvergenz des Gauß-Seidel-Verfahrens 67 Beweis. Die Wohldefiniertheit von C GS = (L + D) R und C GS = (D + R) L ist wieder klar. Wir betrachten W := C GS λi sowie W := C GS λi für λ C mit λ. Durch Multiplikation mit (L+D) sieht man, dass W genau dann regulär ist, wenn M := R+λL+λD regulär ist. Analog folgt durch Multiplikation mit (D+R),dass W genau dann regulär ist, wenn M := L+λD +λr es ist. Offensichtlich erben M und M die Irreduzibilität von A = D +L+R. Ferner erfüllen M und M das schwache Zeilensummenkriterium, denn es gilt sowie j m jk = λ a jk + k= k j k= j m jk = a jk + λ k= k j k= k=j+ k=j+ a jk λ a jk λ a jk λ a jj = m jj k= k j a jk λ a jj = m jj fürj =,...,nmit strikter Ungleichung jeweils für mindestens einen Index j.nachlemma4.3.8 sind M und M regulär. Insgesamt erhalten wir wie zuvor ϱ(c GS ) < und ϱ( C GS ) <. Aufgabe 4.4.8 Man zeige, dass beide Formen des Gauß-Seidel-Verfahrens auch konvergent sind unter der Annahme, dass A R n n irreduzibel ist und das schwache Spaltensummenkriterium erfüllt. ( ) a b Beispiel 4.4.9 Es sei A = mit a, b, c, d C. DiezugehörigeIterationsmatrixzum c d Jacobi-Verfahren lautet somit C J := D (L + R) = k= k j ( a 0 )( 0 ) b 0 d c 0 = ( ) 0 b a c. d 0 Das charakteristische Polynom hierzu lautet p(λ) =λ bc ad und hat Nullstellen λ, = ± Entsprechend erhält man für die Gauß-Seidel-Verfahren C GS := (L + D) R = ( )( ) ( ) d 0 0 b 0 bd = ad ad c a 0 0 bc, 0 ad C GS := (D + R) L = ( )( ) ( d b 0 0 bc ) = ad 0 ad 0 a c 0 ac. ad 0 In beiden Fällen lautet das charakteristiscshe Polynom p(λ) =λ(λ bc/ad) und hat Nullstellen womit ϱ(c J )= bc ad λ =0, und λ = bc ad. ϱ(c GS )=ϱ( C GS )= bc ad gilt. Man beachte C J = C J =max{ b/a, c/d } sowie b ( c + d ) b max{ c, d } C GS =, C GS =, ad ad C c ( a + b ) GS =, ad C c max{ a, b } GS =. ad bc ad.

68 Kapitel 4: Iterative Lösung linearer Gleichungssysteme Wir können somit für A aus R festhalten: Konvergiert das Jacobi- oder Gauß-Seidel-Verfahren, so konvergiert auch das jeweilige andere. Und im Falle der Konvergenz, konvergiert das Gauß- Seidel doppelt so schnell wie das Jacobi-Verfahren. Gilt dies immer, bzw. kann dies ggf. einfach charakterisiert werden? Aufgabe 4.4.0 Man nutze das letzte Beispiel, um zu zeigen, dass aus C J < im Allgemeinen C GS C J < nicht folgt. (Z.B. a = d =,b= c =/3 in der Matrix von Beispiel 4.4.9 liefert ein Gegenbeispiel). Definition 4.4. Eine Matrix A R m n heißt nichtnegativ, wenn alle Koeffizienten a ij von A nichtnegativ sind. Satz 4.4. (von Stein und Rosenberg) Die Iterationsmatrix C J R n n des Jacobi-Verfahrens sei nichtnegativ. Dann gilt genau eine der folgenden Aussagen: i) ϱ(c J )=ϱ(c GS )=0 ii) ϱ(c J )=ϱ(c GS )= iii) 0 <ϱ(c GS ) <ϱ(c J ) < iv) <ϱ(c J ) <ϱ(c GS ) Beweis. Siehe [Hämmerlin/Hoffmann]. Die Voraussetzung C J 0 ist insbesondere dann erfüllt, wenn die Matrix A positive Diagonalelemente und nichtpositive Nichtdiagonalelemente besitzt, d.h. a ii > 0, a ik 0 für i k. Dieser Fall liegt auch im folgenden Beispiel vor. Beispiel 4.4.3 0 0 0 0 0 A = 0 0 C J = D (L + R) = 0 0 0 0 0 0 0 0 0 Die Iterationsmatrix ist nichtnegativ, ϱ(c J )= + 5 4 0.809 < und somit folgt, dass das Gauß-Seidel-Verfahren schneller ist als das Jacobi-Verfahren! Bemerkung 4.4.4 Dass das Gauß-Seidel-Verfahren nicht immer besser sein mussalsdasjacobi- Verfahren oder aus der Divergenz des Jacobi-Verfahrens nicht auch die Divergenz des Gauß- Seidel-Verfahrens folgen muss, zeigen die folgenden beiden Beispiele. Beispiel 4.4.5 (Jacobi- immer schlechter als Gauß-Seidel-Verfahren?) i) Die Iterationsmatrizen C J bzw. C GS zur Matrix A = 0

Abschnitt 4.4: Konvergenz des Gauß-Seidel-Verfahrens 69 lauten 0 0 C J = 0 0 0 bzw. C GS = (L + D) R = 0 3 0 0 0 0 6 4 mit den Spektralradien ϱ(c J )=0und ϱ(c GS ) 7.3850. ii) Die Iterationsmatrizen C J bzw. C GS zur Matrix 3 A = 3 lauten 0 4 0 4 C J = 3 0 6 3 6 3 6 0 6 bzw. C GS = (L + D) R = 0 5 6 0 4 4 7 6 6 0 0 4 4 5 mit den Spektralradien ϱ(c J ).457 und ϱ(c GS ) 0.987 <. Bemerkungen 4.4.6 i) Die obigen Iterationsverfahren ließen sich in der Form x (k+) = B (B A)x (k) + B b = Cx (k) + d schreiben. Da die Iterationsmatrix C für alle k konstant ist, spricht man von stationären Iterationsverfahren. ii) Das quantitative Verhalten solch stationärer Verfahren lässt sich durch die Einführung eines (Relaxations-) Parameters ω verbessern: x (k+) = ω(cx (k) + d)+( ω)x (k). Für 0 <ω< spricht man von einem Unterrelaxationsverfahren und für ω> von einem Überrelaxationsverfahren. Mankannzeigen,dassderoptimaleParameterfüreine positiv definite Matrix A beim gedämpften Jacobiverfahren ω opt = λ min (D A)+λ max (D A) lautet und für das überrelaxierte Gauß-Seidel-Verfahren (SOR = successive overrelaxation method) angewandt auf eine positiv definite Matrix A = L+D+L T ergibt sich der optimale Parameter zu ω opt = + λ min (D A)+λ max ((D +L)D (D +L T )A ). Ergebnisse für allgemeinere Fälle findet man z.b. bei [Niethammer]. iii) Die Bedeutung der oben genannten Iterationsverfahren liegt heute weniger in deren unmittelbarem Einsatz zur Lösung von Ax = b, sondernaufgrundderen Glättungseigenschaften als Beschleuniger anderer moderner Verfahren(vorkonditioniertes konjugiertes Gradienten Verfahren, Mehrgitter).

70 Kapitel 4: Iterative Lösung linearer Gleichungssysteme 4.5 ABBRUCH-KRITERIEN Da ein Iterationsverfahren aufeinanderfolgende Näherungen der Lösung liefert, ist ein praktischer Test notwendig, um das Verfahren zu stoppen, wenn die gewonnene Approximation genau genug ist. Da es nicht möglich ist, den Fehler x x (k),d.h.denabstandzureigentlichen(gesuchten) Lösung, zu bestimmen, müssen andere Quantitäten gewonnen werden, die meist auf dem Residuum r = b Ax basieren. Die hier vorgestellten Verfahren liefern eine Folge (x (i) ) von Vektoren die gegen den Vektor x streben, welcher Lösung des linearen Gleichungssystems Ax = b ist. Um effizient zu sein, muss die Methode wissen, wann sie abbrechen soll. Eine gute Methode sollte i) feststellen, ob der Fehler e (i) := x x (i) klein genug ist, ii) abbrechen, falls der Fehler nicht weiter kleiner wird oder nur noch sehr langsam, und iii) den maximalen Aufwand, der zur Iteration verwendet wird, beschränken. Das folgende Abbruchkriterium ist eine einfache, aber häufig genügende Variante. Man muss hierzu die Quantitäten maxit, b, tol und wenn möglich auch A (und A )zurverfügungstellen. Dabei ist die natürliche Zahl maxit die maximale Anzahl an möglichen Iterationen des Verfahrens, die reelle Zahl A eine Norm von A, (JedeeinigermaßenvernünftigeApproximationdes betragsgrößten Eintrags in A genügt schon.) die reelle Zahl b eine Norm von b, (Auchhiergenügteineeinigermaßenvernünftige Approximation des betragsgrößten Eintrags in b.) die reelle Zahl tol eine Schranke für die Größe des Residuums bzw. des Fehlers. MATLAB-Beispiel: Beispiel eines vernünftigen Abbruchkriteriums k = 0; while k = k + ; % Berechne die Approximation xˆ(k) % Berechne das Residuum rˆ(k) = b - A xˆ(k) % Berechne norm_ak = A * xˆ(k), norm_rk = rˆ(k) % und norm_b = b if (k >= maxit) ( norm_rk <= tol * max( norm_ak, norm_b ) ) break end end Da sich nach einigen Iterationen der Term Ax (k) nicht mehr groß ändert, braucht man diesen nicht immer neu zu bestimmen. Zu bestimmen ist eigentlich e (k) = A r (k) A r (k).manbeachte,dassman A B bei den bisherigen Verfahren mit Lemma 3..6 zur Neumannschen-Reihe abschätzen kann. Es gilt x (k+) = B (B A)x (k) + B b = Cx (k) + d und B A = I B (B A) =I C sowie A B = (I C) C.

Abschnitt 4.6: Gradienten Verfahren 7 4.6 GRADIENTEN VERFAHREN Im Folgenden nehmen wir stets an, dass A R n n positiv definit (s.p.d.) ist. (4.6) Wir ordnen nun dem Gleichungssystem Ax = b die Funktion f : R n R, f(x) := xt Ax b T x zu. Der Gradient von f ist f (x) = (A + AT )x b.daa = A T nach Voraussetzung (4.6), lautet die Ableitung f (x) = f(x) =Ax b. Notwendig für ein Minimum von f ist das Verschwinden des Gradienten, d.h. Ax = b. Dadie Hesse-Matrix f (x) = A positiv definit ist, liegt für die Lösung von Ax = b tatsächlich ein Minimum vor. Mit arg min y R n f(y) bezeichnen wir denjenigen Wert aus Rn,derdenTermf minimiert, d.h. f(x) =min y R n f(y), falls x =argmin f(y). y R n Idee: Ax = b x =argmin y R n f(y) mit f(y) := yt Ay b T y, f : R n R. Bewiesen haben wir soeben das folgende Lemma. Lemma 4.6. Es sei A R n n positiv definit, dann gilt Ax = b x =argmin y R n f(y). Alternativer Beweis zu Lemma 4.6.. Ein zweiter Beweis folgt aus der Darstellung f(x) =f(x )+ (x x ) T A(x x ) mit x := A b. (4.7) Hieraus folgt f(x) >f(x ) für x x,d.h.x := A b ist das eindeutige Minimum von f.man beachte dabei, dass (4.7) ein Sonderfall der folgenden Entwicklung von f um einen beliebigen Wert x R n ist, welche sich durch ausmultiplizieren zeigen lässt: f(x) =f( x)+ A x b, x x + A(x x),x x Folgerung: MankannalsoVerfahrenzurnumerischenOptimierung/Minimierung verwenden. Der Gradient ist die Richtung des steilsten Anstiegs, also kann man f als Abstiegsrichtung wählen und entlang dieser Geraden ein Minimum suchen.

7 Kapitel 4: Iterative Lösung linearer Gleichungssysteme Gradientenverfahren (allgemein): Es sei Ω R n, f :Ω R,x 0 Ω Startwert, für k =,, 3,... ) Bestimmung der Abstiegsrichtung: d k = f(x k ) ) Liniensuche: suche auf der Geraden {x k +td k : t 0} Ω ein Minimum, d.h. bestimme α k 0:f(x k + α k d k ) f(x k ) x k+ = x k + α k d k. Daraus folgt f(x 0 ) f(x ) f(x )... Für die quadratische Funktionen f(x) = xt Ax b T x und Ω=R n kann man ) und ) leicht berechnen: Da f(x) =Ax b, ergibtsichd k = f(x k )=b Ax k.seip R n \{0} und F (λ) :=f(x + λp),danngiltfürdieliniensuche F (λ) = f(x + λp) = x + λp, A(x + λp) b, x + λp = x, Ax b, x + λ p, Ax b + λ p, Ap (4.8) = f(x)+λ p, Ax b + λ p, Ap Da p 0 nach Voraussetzung, folgt p, Ap > 0. F ist also eine quadratische Funktion mit positivem führenden Koeffizienten. Somit folgt aus 0! = F (λ) = p, Ax b + λ p, Ap, (4.9) dass der Parameter λ opt (x, p) = p, b Ax p, Ap. (4.0) zu gegebenem Vektor p R n \{0} das Funktional F (λ) :=f(x + λp) minimiert. Für allgemeine Funktionen f wird die Liniensuche angenähert, z.b. mit der Schrittweitenregel von Armijo. ϕ k (σ) :=f(x k + σd k ) f(x k )+γσ( f(x k )) T d k f(x k )+σ( f(x k )) T d k akzeptierter Bereich σ Abb. 4.3: Optimale Wahl des Dämpfungsparameters

Abschnitt 4.6: Gradienten Verfahren 73 Schrittweitenregel von Armijo: Wähle β (0, ) (z.b. β = )undγ (0, ) (z.b. γ [0 3, 0 ]) Bestimme die größte Schrittweite σ k {,β,β,β 3,...} mit f(x k ) f(x k + σ k d k ) γσ k f(x k ) T d k, d.h. f(x k + σ k d k ) f(x k )+γσ k f(x k ) T d k. Formulieren wir nun das Gradientenverfahren mit der optimalen Schrittweite (4.0) in folgendem Algorithmus. Algorithmus 4.6.: Gradientenverfahren: Ax = b Input: Initial guess x 0 r 0 := b Ax 0 Iteration: k =0,,... a k := Ar k λ opt := r k,r k / r k,a k x k+ := x k + λ opt r k r k+ := r k λ opt a k Man beachte r k+ = b Ax k+ = b A(x k + λ opt r k )=r k λ opt Ar k Wir untersuchen nun die Konvergenz des Verfahrens für quadratische Funktionen. Hierzu bietet sich die sogenannte Energienorm an x A := x T Ax, (A R n n ) (beachte: alle Normen auf dem R n sind äquivalent). Lemma 4.6. Es sei A R n n positiv definit und x R n erfülle Ax = b.danngilt Beweis. Es gilt x k+ x A x k x A ( r k,r k ) r k,ar k r k,a. r k f(x k+ )=f(x k + λ opt r k )= λ opt r k,ar k λ opt r k,r k + f(x k ) = f(x k )+ r k,r k r k,ar k r k,r k r k,ar k = f(x k) r k,r k r k,ar k (4.)

74 Kapitel 4: Iterative Lösung linearer Gleichungssysteme Für die exakte Lösung x von Ax = b gilt für x R n f(x )+ x x A = x,ax b, x + (x x ),A(x x ) also mit (4.) = x,ax x,b + x, Ax x, Ax + x,ax = x,ax b + x, Ax x, b = f(x), d.h. x x A =(f(x) f(x )) x k+ x A =f(x k+ ) f(x )=f(x k+ ) f(x k )+ x k x A = x k x A r k,r k r k,ar k Mit r k = b Ax k = A(x x k ) folgt wegen die Behauptung. x k x A = x x k A = (x x k ),A(x x k ) = A A(x x k ),r k = r k,a r k Frage: Was sagt Lemma 4.6. bzgl. der Konvergenz und Kondition aus? Lemma 4.6.3 (Kantorowitsch Ungleichung) Es sei A R n n positiv definit und κ := κ (A) := A A.Danngiltfür alle x R \{0} x, Ax x, A x x, x ( κ + κ ) 4 Beweis. Die Eigenwerte von A seien geordnet gemäß 0 <λ λ... λ n,κ= λ n λ Da A symmetrisch ist, existiert eine orthonormale Matrix Q mit Q T AQ =Λ= diag (λ i ).Für y = Q T x gilt dann x T Ax = x T QΛQ T x = y T Λy = λ i yi, x T A x = x T QΛ Q T x = i= sowie x T x = x T QQ T x = y T y,also ( )( ) x, Ax x, A λ i yi λ i y ( i x i i x, x = y 4 = λ i z i)( i= i= mit z i := und somit y i.manbeachte n z y i =.Fürλ α λ n folgt i= 0 (α λ )(α λ n )=α α(λ + λ n )+λ λ n i= λ i z i λ λ n + λ k λ k(λ + λ n ) λ λ n λ k + λ k λ + λ n (k =,...,n). λ i yi ) (4.)

Abschnitt 4.6: Gradienten Verfahren 75 Es gilt nun λ λ n d.h. i= λ i z i + λ i z i = i= ( ) ( ) ( ) λ λ n λ λ n λ λ n + λ z + + λ z +...+ + λ n z n λ +λ n, λ λ λ n i= λ i z i λ + λ n λ λ λ n mit λ := n λ i z i.somitlässtsich(4.)abschätzendurch i= x, Ax x, A x x, x Für welches λ wird nun das Polynom h maximal? d.h. λ λ + λ n λ λ λ n }{{} =:h(λ) h (λ) = λ + λ n λ λ = λ + λ n λ! =0 λ = λ + λ n λ λ n λ λ n λ λ n λ λ n h (λ) = < 0 λ maximiert h λ λ n ( max h(λ) λ [λ =h(λ )= (λ + λ n ) = λ +,λ n] 4 λ λ n 4 λ n λn λ ) = ( κ ) + κ. 4 Satz 4.6.4 Es sei A R n n positiv definit. Dann gilt für das Gradientenverfahren ( ) κ k x k x A x 0 x A κ + Beweis. Lemma 4.6. liefert die Abschätzung x k+ x A x k x A und mit Lemma 4.6.3 ergibt sich ( r k,r k ) r k,ar k r k,a. r k ( κ r k,r k ( κ r k,ar k r k,a r k 4 ) + κ ) 4 + κ = ( κ + κ ) = κ ++κ 4 κ ++κ = κ κ + κ +κ + = ( ) κ. κ + Bemerkungen 4.6.5 i) Für große κ gilt κ κ + = κ κ + }{{} κ + κ +, also sehr nahe bei, d.h. geringe Konvergenzgeschwindigkeit!

76 Kapitel 4: Iterative Lösung linearer Gleichungssysteme ii) Dies tritt auch schon bei einfachen Beispielen auf: A = ( 0 0 a ),a,b= ( ) 0 0 und x 0 = ( ) a daraus folgt (Übung). ( xk+ y k+ ) ( ) xk = ρ y k mit ρ = a a + wegen a = κ (A) ist das genau die Rate aus Satz 4.6.4! iii) Anschaulich sieht man ein Zick Zack Verhalten der Iteration. 4.7 VERFAHREN DER KONJUGIERTEN GRADIENTEN entstanden 95 von Hestenes und Stiefel enormer Gewinn an Bedeutung 97 durch Vorkonditionierung gehören zu den schnellsten Verfahren, werden heute sehr oft verwandt für die D Standard Matrix ab Systemgröße 000 4000 besser als Gauß bei zusätzlich erheblich geringerem Speicherbedarf. Idee: Vermeide Zick Zack Verhalten durch Verwendung von Orthogonalität bzgl. x, y A = x T Ay, dies ergibt konjugierte Gradienten : cg-verfahren (conjugate gradient) Bemerkungen 4.7. i) Zwei Vektoren x, y R n heißen konjugiert oder A-orthogonal, falls(x, y) A =0. ii) {x,...,x k } paarweise konjugiert, d.h. (x i,x j ) A = δ ij x i A,x i 0(i, j {,...,k}), impliziert: {x,...,x k } sind linear unabhängig. iii) Jeder Vektor x R n besitzt eine eindeutige Entwicklung x = α k d k (4.3) k= bezüglich konjugierter Richtungen {d,...,d n }.Aus(4.3)folgt (x, d i ) A = k= α k (d k,d i ) A }{{} =δ ik d i A = α i d i A, also α k = dt k Ax d T k Ad k (k =,...,n). (4.4)

Abschnitt 4.7: Verfahren der konjugierten Gradienten 77 iv) Für die Lösung x von Ax = b gilt offenbar α i = dt i b d T i Ad i Lemma 4.7. Seien {d,...,d n } konjugierte Richtungen. Für jedes x 0 R n und x k = x k + α k d k,α k = rt k d k d T k Ad,r k := b Ax k (k ) (4.5) k gilt nach (höchstens) n Schritten x n = A b. Beweis. Aus (4.4), (4.5) folgt für x = A b, x x 0 = k= Da d k zu d i, i k,konjugiertist,gilt also α k d k mit α k = dt k A(x x 0 ) d T k Ad k ( k ) d T k A(x k x 0 )=d T k A k α i d i = i= i= α i = dt k (b Ax 0) d T k Ad k d T k Ad i }{{} =0, da i k =0, d T k A(x x 0 ) = d T k A(x x k )+d T k A(x k x 0 ) }{{} =0 = d T k (b Ax k ) =d T k r k α k = α k.. Bemerkungen 4.7.3 i) r k = b Ax k wird als Residuum von Ax = b bzgl x k bezeichnet. ii) Lemma 4.7. besagt, dass das Verfahren ein direktes Verfahren ist, welches nach n Iterationen konvergiert. A sparse O(n ) (dies ist nicht optimal). iii) Wie in (4.9) gilt d.h. d dλ f(x k + λd k )=λ d k,ad k + d k, (Ax k b), f(x k )=f(x k + α k d k )=min λ R f(x k + λd k ), dann ist λ opt = d k, (Ax k b) d k,ad k = r k,d k d k,ad k = α k. Satz 4.7.4 Seien {d,...,d n } konjugierte Richtungen und r k (k =0,...,n ), die durch (4.5) definierten Residuen. Dann gilt r T k d j =0 bzw. r k U k := span{d,...,d k } ( k n, j k). (4.6)

78 Kapitel 4: Iterative Lösung linearer Gleichungssysteme Beweis. Nach (4.5) gilt für k {,...,n} r k = b Ax k = r k α k Ad k = r k α k Ad k α k Ad k = = r 0 Daraus folgt nun für j k womit der Satz bewiesen ist. r T k d j = r T 0 d j k α l d T l Ad j l= = r0 T d j α j d T j Ad j = r0 T d j rt j d j d T j Ad d T j Ad j j j =(r0 T rt j )d j = α l d T l Ad j =0 Frage: Wie sind nun die d k und damit erzeugten Teilräume span{d,...,d k } zu wählen? l= k α j Ad j. Falls r 0 0gilt (sonst ist x 0 schon die gesuchte Lösung) setzt man d = r 0. Für k =,, 3,...verfahren wir wie folgt. Falls r k 0(sonst ist x k schon die gesuchte Lösung), gewinnt man formal d k+ mittels des Gram-Schmidtschen-Orthogonalisierungsverfahren aus r k und den schon bestimmten konjugierten Richtungen d,...,d k,d.h. d k+ = r k k j= j= r k,ad j d j,ad j d j. (4.7) Aufgabe 4.7.5 Man zeige induktiv, dass die so erzeugten A-orthogonalen Richtungen d k+ span{r 0,...,r k } und d k+ span{r 0,...,r k } erfüllen für 0 k n mit r k 0. Damit das ganze Verfahren effizient wird, benötigen wir noch folgendeeigenschaft Ad k U k+ := span{d,...,d k+ } = span{r 0,...,r k }, wenn r k 0gilt. Denn daraus ergibt sich r k,ad j =0für j k und (4.7) verkürzt sich zu d k+ = r k r k,ad k d k,ad k } {{ } =:β k+ d k. (4.8) (Beweis: Aus der Definition von r k = r k α k Ad k folgt sofort Ad k {r 0,...,r k },da r k U k und α k 0gilt. Die Gleichheit von U k und {r 0,...,r k } ergibt sich aus Aufgabe 4.7.5.) Für den Algorithmus schreiben wir nur noch α k,β k um: α k = rt k d k d T k Ad k und r T k d k = r T k r k β k r T k d k }{{} =0 also α k = rt k r k d T k Ad k (4.9)

Abschnitt 4.7: Verfahren der konjugierten Gradienten 79 und wegen α k r T k Ad k =(r k r k ) T r k = r T k r k β k+ = rt k Ad k d T k Ad k = rt k r k α k d T k Ad k = rt k r k rk T r. (4.0) k Bemerkung 4.7.6 Die Ausdrücke (4.9), (4.0) haben sich als numerisch stabiler und Speicherplatz-optimal herausgestellt. Algorithmus 4.7.: Konjugiertes Gradientenverfahren (cg-verfahren): Ax = b Input: Initial guess x 0 r 0 := b Ax 0 ρ 0 := r 0,r 0 d := r 0 Iteration: k =,,... as long as k n and r k 0 a k := Ad k α k := ρ k / d k,a k x k := x k + α k d k r k := r k α k a k ρ k := r k,r k d k+ := r k + ρ k ρ k d k Satz 4.7.7 Es sei A positiv definit. Für das cg-verfahren gilt folgende Abschätzung ( ) k κ x x k A x x 0 A. κ + Beweis. Der Beweis gliedert sich in 4 Schritte. Es sei e k := x x k. () Zuerst zeigt man induktiv, dass Polynome p k P k, k =0,...,n, existierenmit e k = p k (A)e 0, p k (0) =. (4.) k =0: klar! k k: Ausder Definition (4.5) folgt α k d k = x k x k = x x k (x x k )=e k e k,bzw.e k = e k α k d k.

80 Kapitel 4: Iterative Lösung linearer Gleichungssysteme Mit (4.8) ergibt sich nun also d k = r k β k d k = b Ax k β k α k (e k e k ) = A(x x k )+ β k (e k e k ) α ( ) k βk = I + A e k β k e k α k α k {( ) IH βk = I + A p k (A) β } k p k (A) e 0, α k α }{{ k } =: q k (A), q k P k IH e k = e k α k d k = pk (A)e 0 α k d k =[p k (A) α k q k (A)] e }{{} 0 =:p k (A) () Nun zeigt man, dass für alle q k P k mit q k (0) = die Ungleichung e k A q k (A)e 0 A gilt. Zuerst halten wir r k = b Ax k = A(x x k )=Ae k fest. Des Weiteren gilt e k A = e T k Ae k = rk T e k k = rk T e k + σ j r j für beliebige σ 0,...,σ k R (rj T r k = δ jk ) j=0 k = rk T e k + σ j Ae j j=0 k =(Ae k ) T p k (A)+ σ j Ap j (A) e 0. j=0 Sei q k P k mit q k (0) = beliebig. Da die {p 0,...,p k } linear unabhängig sind, folgt aus der letzten Umformung, dass es eindeutig bestimmte σ 0,..., σ k existieren mit k q k (t) =p k (t)+ σ j tp j (t). j=0 Mit σ i = σ i und der Ungleichung von Cauchy-Schwarz folgt also Wir haben somit gezeigt, dass gilt. e k A = e k,aq k (A)e 0 = A ek,a qk (A)e 0 CSU A e k A q k (A)e 0 = e k A q k (A)e 0 A. e k A q k (A)e 0 A für alle q k P k,q k (0) = (4.)

Abschnitt 4.7: Verfahren der konjugierten Gradienten 8 (3) Die Eigenwerte von A seien 0 <λ min = λ... λ n = λ max.esgeltea = QΛQ T mit QQ T = Q T Q = I und Λ=diag(λ,...,λ n ).Beachtetmanq k (A) =q k (QΛQ T )= Qq k (Λ)Q T,soschätztmanwiefolgtab q k (A)e 0 A = e T 0 Qq k (Λ) Q T QΛQ T Qq k (Λ) Q T e 0 = e T 0 Qq k (Λ) Λ q k (Λ) Q T e 0 (4.3) ( ) max {q k(λ) } e T 0 λ {λ QΛQT e 0 max q k(λ) e T 0 Ae 0,,...,λ n} λ [λ min,λ max] d.h. es gilt q k (A)e 0 A e 0 A max q k(λ). λ [λ,λ n] (4) Man sucht nun Polynome p k,diedierechteseiteminimieren.mankannzeigen,dassdie Tschebyscheff Polynome T k : R R (k =0,,...)definiertals T k (x) := [ ( x + k ( x ) + x ) ] k x auf [, ] folgende Eigenschaften haben T k () =, T k (x) x und minimal bzgl. unter allen Polynomen p P k mit p() = sind (siehe Aufgabe 4.7.9). Gesucht ist nun eine Transformation, die [λ min,λ max ] auf [, ] abbildet. Somit ist T ( ) k (z) :=T λmax+λ min z k λ min λ max minimal bzgl. auf [λ min,λ max ] unter allen Polynomen aus p P k mit p(λ max )=.Manwähltalso auf [0,λ max ],q k (0) =. Daraus folgt und T k q k (z) :=T k ( λmax + λ min z λ min λ max min q k (0)= )/ T k ( λmax + λ min λ min λ max max q k(λ) ( ) λ [λ,λ n] T λmax+λ min k λ min λ max ( ) ( ) λmax + λ min = λ min λ max T λmax + λ min k = λ max λ min T k mit z = κ+ κ,also z + z = κ + κ + κ +κ + κ +κ (κ ) = κ (κ ++ κ)= ) ( ) κ + ( z + ) k z κ ( κ +) ( κ +)( κ ) = κ + κ. Bemerkung 4.7.8 Im letzten Beweis wurde unter (3) (siehe (4.3)) gezeigt,dass q k (A)e 0 A max λ {λ,...,λ n} q(λ) e 0 A gilt. Daraus folgt sofort, dass das cg-verfahren nach m-schritten terminiert, wenn das Spektrum von A nur m verschiedene Eigenwerte besitzt.

8 Kapitel 4: Iterative Lösung linearer Gleichungssysteme Aufgabe 4.7.9 (Tschebyscheff-Polynome) Die Tschebyscheff -Polynome T n bezüglich des Skalarprodukts f(x)g(x) (f,g) ω := dx x und werden standardisiert durch T n () =. Man zeige, dass die Tschebyscheff -Polynome folgende Eigenschaften besitzen: sind orthogonal (i) Sie haben stets ganzzahlige Koeffizienten (ii) Der höchste Koeffizient von T n ist a n = n (iii) T n ist stets eine gerade Funktion, falls n gerade und eine ungerade, falls n ungerade ist (iv) T n () =, T n ( ) = ( ) n (v) T n (x) für x [, ] (vi) Die Nullstellen von T n (x) sind ( ) k x k := cos n π, (k =,...,n) (vii) cos(k arccos(x)), x ; T k (x) = cosh(k arcosh(x)), x ; ( ) k cosh(k arcosh( x)), x. (viii) Die Tschebyscheff -Polynome besitzen die globale Darstellung T k (x) = [ ( x + k ( x ) + x ) ] k x, wobei x R (ix) T n (x) nimmt seinen maximalen Wert im Intervall [, ] an den sogenannten Tschebyscheff -Abszissen x k =cos( kπ n ) für k =0,...,nan, d.h. ( ) kπ T n (x) = x = x k =cos, k =0,...,n. n (x) Für x R erfüllen die Tschebyscheff -Polynome die folgende Drei-Term-Rekursion T 0 (x) =,T (x) =x, T k (x) =xt k (x) T k (x), k Ergänzend seien für n =0,...,5 die T n explizit angegeben und diese grafisch dargestellt: T 0 = T 3 =4x 3 3x T = x T 4 =8x 4 8x + T =x T 5 =6x 5 0x 3 +5x