9 Lösung linearer Gleichungssysteme III: Iterative Methoden

Transkript

1 Numerik I. Version: Lösung linearer Gleichungssysteme III: Iterative Methoden Die Iterationsmethoden des vorherigen Kapitels werden normalerweise für nichtlineare Probleme verwendet, wobei es keine direkte Lösung (in endlich vielen Schritten) gibt. Manchmal sind diese Methoden auch für das lineare Gleichungssystem Ax = b ganz nützlich. Diese Verfahren konvergieren nur für eine ganz beschränkte Familie von Matrizen A, aber wenn das Verfahren konvergiert, dann ist die Konvergenz oft schnell, der Rechneraufwand relativ klein und die Programmierung einfach. Der Einfachheit halber nehmen wir an, dass A eine reguläre (quadratische) Matrix ist, folglich existiert eine eindeutige Lösung. Wir bringen Ax = b in die Form einer Fixpunktsgleichung durch Aufspaltung der Matrix A = B + (A B), wobei B eine schlau gewählte Matrix ist. Die Idee dieser Aufspaltung lautet: B wird der Hauptteil der Matrix, der schön (=leicht invertierbar) gewählt wird, und A B ist ihre Störung. Offenbar ist Ax = b zu äquivalent, oder einfach falls B invertierbar ist. Bx = (B A)x + b x = B 1[ (B A)x + b ] = (I B 1 A)x + B 1 b, Der Algorithmus ist ganz einfach (fast wie die zweijähriges-kind-methode ): fangen Sie mit einem Startvektor x (0) an, erzeugen Sie die Folge := (I B 1 A)x (n 1) + B 1 b (9.1) und drücken die Daumen. Die Matrix (I B 1 A) heißt die Iterationsmatrix des Verfahrens. Warnung: In diesem Kapitel benutzen wir obere Indizes für die Iterationschritte, und die unteren Indizes werden die Koordinaten der Vektoren indizieren. Die Matrizen werden von der Größe k k sein und der Index n bleibt für die Iterationsschritte vorbehalten. Wie kann man die Konvergenz in (9.1) vorhersagen? Sei δ := x der Fehler nach der n-ten Iteration. Aus Ax = b und B = (B A)x (n 1) + b erhält man B(δ ) = (B A)(δx (n 1) )

2 Numerik I. Version: d.h. δ = (I B 1 A)(δx (n 1) ) = (I B 1 A) n (δx (0) ) wobei δx (0) Differenz des Startwertes von der Lösung ist. Somit gilt Die Konvergenz des Verfahrens folgt aus dem Limes δ (I B 1 A) n δx (0). (9.2) (I B 1 A) n 0, falls n und die Geschwindigkeit dieses Limes liefert eine Abschätzung für die Geschwindigkeit der Konvergenz. Satz 9.1 Sei H eine quadratische Matrix. Dann sind die folgenden Eigenschaften äquivalent i) r(h) < 1 (Spektralradius, siehe Definition 3.34). ii) Es gilt H n 0. iii) Es existiert eine Vektornorm, so dass für die zugehörige Matrixnorm gilt H < 1. Beweis. Wenn H diagonalisierbar ist, H = V DV 1, λ 1 D = λ 2, V regulär... λ k dann gilt H n = V D n V 1. i) = ii). Wenn r(h) < 1, d.h. max j λ j < 1, dann gilt D n = r(h) n 0, somit H n 0. ii) = i) Wenn r(h) 1 ist, dann existiert mindestens ein Eigenvektor v Hv = λv mit λ 1 und damit wird H n v = λ n v nicht gegen Null konvergieren. iii) = ii). Trivial, aufgrund H n H n 0. Die Implikation ii) = iii) wird hier nicht bewiesen, da wir sie nicht brauchen, aber siehe [Platos Buch: Theorem 9.12]

3 Numerik I. Version: Wenn H nicht diagonalisierbar ist, betrachtet man die Jordan-Zerlegung, die immer existiert. Die obige Beweis funktioniert nicht nur für Diagonalmatrizen, sondern auch für jeden Jordan-Block (Aufgabe: Nachdenken!). λ 1 λ 1 J = λ 1 λ Als ein Korollar erhalten wir den folgenden Satz: Satz 9.2 Seien A, B reguläre k k Matrizen. Dann konvergiert die Iteration B = (B A)x (n 1) + b für alle Startwerte x 0 gegen die (eindeutige) Lösung x von Ax = b genau dann, wenn der Spektralradius von I B 1 A (Maximalbetrag der Eigenwerte) kleiner als 1 ist: Konvergenz r(i B 1 A) < 1 Im Fall der diagonalisierbaren Matrix I B 1 A ist die Konvergenzgeschwindigkeit exponentiell mit der Rate r := r(i B 1 A): x Kr n, (9.3) wobei die Konstante K vom Startwert x 0 abhängt. Für nichtdiagonalisierbare Matrizen ist die Abschätzung um einen Polynomfaktor schlechter: x Kn k r n (9.4) (aber für großes n ist dieser zusätzliche Faktor vernachlässigbar; die Funktion r n ist entscheidend). Beachten Sie, dass die Konvergenz von den Startwerten nicht mehr abhängt (im Gegensatz zum nichtlinearen Newton-Verfahren).

4 Numerik I. Version: Jacobi-Iterationsverfahren Die Kunst der Iterationsverfahren für Ax = b ist die gute Aufspaltung. Die einfachste ist die Jacobi-Aufspaltung einer quadratischen Matrix A = (a ij ) in Form A = L + D + R 0 a 11 a 21 0 a 22 A =: a 31 a a a k1 }... {{ a k,k 1 0 } } {{ a kk } =:L =:D 0 a 12 a a 1k 0 a a 2k.... ak 1,k 0 } {{ } =:R Diese unteren und oberen Dreiecksmatrizen L, R und die Diagonalmatrix D haben nichts mit der LR-Zerlegung (LU-factorization) oder mit der Diagonalisierung (A = V DV 1 ) zu tun. Sie sind einfach die Elemente der Matrix A unterhalb, oberhalb und auf der Diagonalen. Sei B := D und A B := L + R die Aufspaltung der Matrix A. Die Diagonalmatrix ist einfach zu invertieren, und man erhält die Formel oder koordinatenweise: = D 1 (L + R) x (n 1) + D 1 b (9.5) } {{ } I B 1 A i = 1 a ii ( bi j:j i a ij x (n 1) ) j (9.6) Die Summation ist für alle j ausgenommen j = i. Dieses Verfahren ist das Jacobi-Verfahren, auch Gesamtschrittverfahren genannt. Der Startvektor x (0) kann aus theoretischer Hinsicht völlig beliebig gewählt werden, da die Konvergenz davon nicht abhängt. Natürlich kann die Anzahl der Iterationsschritte, die notwendig sind, um eine geforderte Genauigkeit zu erreichen, durch eine gute Wahl des Startwertes reduziert werden. Außer wenn man einen besseren Hinweis hat, wählt man x (0) = 0. Wann konvergiert dieses Verfahren? Aufgrund des Satzes 9.2 muss man den Spektralradius von D 1 (L + R) berechnen, aber dies kann nicht so einfach sein. In den meistens Fällen funktioniert eher diese Relation umgekehrt: man benutzt die höheren Potenzen H n einer Matrix H, um den Spektralradius zu bestimmen. Der folgende Satz ist nicht optimal, aber er liefert eine sehr einfach überprüfbare (hinreichende aber nicht notwendige) Bedingung für die Konvergenz des Jacobi-Verfahrens. Satz 9.3 Sei A strikt diagonaldominant (Kapitel ). Dann ist das Jacobi-Verfahren konvergent. Die Konvergenzgeschwindigkeit ist durch (9.3) und (9.4) mit r := r(d 1 (L + R)) gegeben.

5 Numerik I. Version: Beweis. Die Iterationsmatrix ist a 0 12 a I B 1 A = D 1 a 21 (L + R) = a Strikte Diagonaldominanz bedeutet, dass insbesondere j:j i a ij a ii a 1k a 11 a 2k a 22 a k1 a kk... 0 < 1 für jedes 1 i n (9.7) A ist strikt diag.dom. D 1 (L + R) < 1 (Zeilensummennorm). (9.8) Dann folgen die Konvergenz und die Geschwindigkeit aus den Sätzen 9.1 (Teil (iii)= (i)) und 9.2. ( ) 1 2 Aufgabe 9.4 Sei A =. Zeigen Sie, dass A der Bedingung des Satzes 9.3 nicht 0 1 genügt, aber das Jacobi-Verfahren ist trotzdem konvergent. Aufgabe 9.5 Sei A eine quadratische Matrix so dass A t strikt diagonaldominant ist. Zeige, dass das Jacobi-Verfahren konvergent ist. Die Bedingung (9.7) scheint sehr einschränkend zu sein, insbesondere für große Matrizen. Trotzdem kann das Jacobi-Verfahren ganz nützlich sein für dünn besetzte Matrizen. Z.B. die Matrix B zur Lösung der zweiten Ableitungen bei der Splineinterpolation (4.50) ist strikt diagonaldominant. Die Matrix in (2.3) ist nicht strikt diagonaldominant, aber fast. Für tridiagonale Matrizen ist die Bedingung, dass das Diagonalelement größer als die zwei Elemente in den Nebendiagonalen ist, nicht so außergewöhnlich. Aufgabe 9.6 Lösen Sie ( ) ( ) x = zuerst mittels der Gauß-Elimination, dann mit dem Jacobi-Verfahren bis zwei Ziffern (Genauigkeit 10 2 ). Bestimme eine Abschätzung für die nötige Anzahl der Iterationsschritte, falls eine Genauigkeit 10 8 erfordert würde.

6 Numerik I. Version: Lösung: Die wahre Lösung ist x true = ( 1 2 ) (mittels Gauß, oder einfach nach scharf Anschauen ) ( ) 4 1 Die Matrix A = ist strikt diagonaldominant, also wird das Jacobi-Verfahren für 2 3 ( ) 0 beliebigen Startwert konvergieren. Sei x (0) = (ohne bessere Hinweise) und die Jacobi- 0 Formel (9.6) liefert 1 = 1 (6 1 x(n 1) 2 ) (9.9) 4 2 = 1 (8 2 x(n 1) 1 ). 3 (Sie sollten mit den Indizes SEHR VORSICHTIG sein!) Wir berechnen die Iteration bis auf drei Ziffern und streben nach der Stabilisierung der zweiten Ziffer Die nächste Iteration liefert x (1) 1 = 1 4 (6 1 0) = 3 2 = 1.5 x (1) 2 = 1 3 (8 2 0) = 8 3 = 2.33 Dann Dann Dann x (2) 1 = 1 4 ( ) = 5 6 = x (2) 2 = 1 3 ( ) = 5 3 = 1.66 x (3) 1 = 1 4 ( ) = = 1.08 x (3) 2 = 1 3 ( ) = 19 9 = 2.1 x (4) 1 = 1 19 ( ) = = 0.97 x (4) 2 = 1 13 ( ) = = 1.94 x (5) 1 = 1 ( ) = x (5) 2 = 1 ( ) = Dann x (6) 1 = 1 ( ) =

7 Numerik I. Version: x (6) 2 = 1 ( ) = und schließlich x (7) 1 = 1 ( ) = x (7) 2 = 1 ( ) = Da jetzt die Differenz zwischen aufeinanderfolgenden Elementen x (6) x (7) kleiner als 1% ist, beenden wir die Iteration. Diese nicht ganz strikte Daumenregel gilt fast immer bei den Verfahren, die exponentiell konvergent sind. Für die Abschätzung der Anzahl der Iterationsschritte bis zu einer Genauigkeit 10 8 müssen wir den größten Eigenwert von M := D 1 (L + R) = ( ) 1 ( ) 0 1 = 2 0 ( 0 ) 1/4 2/3 0 berechnen. Die Eigenwerte sind λ = ±1/ 6, also wird die Konvergenzgeschwindigkeit durch 1/ 6 bestimmt. Aufgrund der Abschätzung (9.3) sehen wir, dass der absolute Fehler bei jedem Schritt um einen Faktor 1/ 6 abnimmt: x true ( 1 6 ) n x (0) x true Hier ist der Startfehler x (0) x true in der Größenordnung O(1). Wir müssen also die Ungleichung 10 8 O(1) ( 1 ) n 6 lösen, d.h. n 8 ln 10/ ln(1/ 6) Die Faustregel ist 2-3 mehr Schritte dazu zuaddieren, da die Konstante K in (9.3) und der Startfehler nicht ganz genau berechnet wurden. Also man braucht etwa Schritte, um eine Genauigkeit 10 8 zu erreichen.

8 Numerik I. Version: Gauß-Seidel-Iterationsverfahren Viele andere iterative Methoden existieren, die auf verschiedenen Aufspaltungen der Matrix A beruhen. Das Gauß-Seidel-Verfahren (oder so genannte Einzelschrittverfahren) benutzt B = L + D, und der n-te Schritt der Iteration ist = (L + D) 1( b Rx (n 1)) oder = D 1( b L Rx (n 1)) (Aufgabe: Bitte nachprüfen, dass diese zwei Formeln äquivalent sind). In Koordinaten i = 1 ( i 1 bi a ij j a ii j=1 k j=i+1 a ij x (n 1) ) j (9.10) (Aufgabe: Bitte nachprüfen!). Beachten Sie, dass auf beiden Seiten erscheint, somit scheint die Gleichung implizit zu sein. Aber das ist nicht der Fall, wenn man die Koordinaten von in der Reihefolge 1, 2, 3... bestimmt: die Formel (9.10) für die Bestimmung von i benutzt nur die vorherigen Koordinaten von, nämlich 1, 2,..., i 1, die bei diesem Schritt schon zur Verfügung stehen. Diese Formel ist ganz ähnlich zur Formel des Jacobi-Verfahrens (9.5), aber in vielen Fällen funktioniert sie besser. Grob gesagt, das Jacobi-Verfahren behandelt A = L + D + R als die Störung seiner Diagonale D, das Gauß-Seidel-Verfahren betrachtet A als die Störung von L + D. Gauß-Seidel ist auch einfacher auf dem Rechner zu implementieren: Die Formel (9.10) erzeugt sukzessiv die neuen Updates der Koordinaten und es ist nur ein Vektor zu speichern. Vom dem theoretischen Standpunkt aus gilt das folgende Analogon des Satzes 9.3. Satz 9.7 Das Gauß-Seidel-Verfahren konvergiert für strikt diagonaldominante Matrizen. Die Konvergenzgeschwindigkeit ist durch (9.3) und (9.4) mit r := r((l + D) 1 R) gegeben. Beweisskizze. Der Hauptschritt ist der Beweis der Ungleichung (L + D) 1 R D 1 (L + R), dann folgt die Konvergenz aus (9.8) und aus den Sätzen 9.1 (Teil (iii)= (i)) und 9.2. Diese Ungleichung ist intuitiv klar: sehr grob gesagt, sie ist analog zu der arithmetischen Ungleichung R L + D L + R D für positive Zahlen. Der genaue Beweis befindet sich in [Plato: Theorem 10.24].

9 Numerik I. Version: Aufgabe 9.8 Betrachten Sie die obige Aufgabe ( ) ( ) x = und lösen Sie sie jetzt mit dem Gauß-Seidel-Verfahren bis zwei Ziffern (Genauigkeit 10 2 ). Bestimmen Sie eine Abschätzung für die nötige Anzahl der Iterationsschritte, falls eine Genauigkeit 10 8 gefordert würde. Lösung: Benutzen wir die Formel 1 = 1 (6 1 x(n 1) 2 ) 4 2 = 1 (8 2 x(n) 1 ) 3 Beachten Sie, die Abweichung von der Jacobi-Formel (9.9): in der zweiten Zeile befindet sich 1 statt x (n 1) 1! Die Iteration ist: Dann Dann x (1) 1 = 1 4 (6 1 0) = 3 2 = 1.5 x (1) 2 = 1 3 ( ) = 5 3 = 1.66 x (2) 1 = 1 4 ( ) = = 1.08 x (2) 2 = 1 13 ( ) = = 1.94 x (3) 1 = 1 ( ) = x (3) 2 = 1 ( ) = Dann x (4) 1 = 1 ( ) = x (4) 2 = 1 ( ) = und wir können die Iteration abbrechnen. Beachten Sie, dass die Iteration etwa zweimal schneller ist als beim Jacobi-Verfahren. Für die Abschätzung der Anzahl der Iterationsschritte bis eine Genauigkeit von 10 8 erreicht wird, müssen wir den größten Eigenwert von M = (L + D) 1 R = ( ) ( ) ( ) /4 = /6

10 Numerik I. Version: berechnen. Die Eigenwerte sind λ = 0, 1/6, also wird die Konvergenzgeschwindigkeit durch 1/6 bestimmt. Aufgrund der Abschätzung (9.3) sehen wir, dass der absolute Fehler bei jedem Schritt um einen Faktor 1/6 abnimmt: x true ( 1) n x (0) x true. 6 Hier ist der Startfehler x (0) x true von der Größenordnung O(1). Wir müssen also die Ungleichung 10 8 ( 1 6 lösen, d.h. n = 8 ln 10/ ln(1/6) = Nach der Faustregel brauchen wir etwa Schritte. Beachten Sie, dass die Eigenwerte der Iterationsmatrix des Gauß-Seidel-Verfahrens genau das Quadrat der Eigenwerte des Jacobi-Verfahrens sind, also ist die Iteration zweimal so schnell. Diese Relation gilt für alle tridiagonalen Matrizen: Satz 9.9 Sei A tridiagonal, dann gilt die folgende Relation für die Iterationsmatrizen des Jacobi- und Gauß-Seidel-Verfahrens: ) n r( (L + D) 1 R ) = [ r( D 1 (L + R) ) ] 2 Insbesondere ist das Gauß-Seidel-Verfahren für tridiagonale Systeme Ax = b zweimal schneller als das Jacobi-Verfahren. Für den Beweis, siehe [Plato: Kor ] Das folgende numerische Beispiel vergleicht das Jacobi- und Gauß-Seidel-Iterationsverfahren für Zufallsmatrizen. Die Schlussfolgerung dieses Tests ist: Strikt Diagonaldominanz ist ein restriktives hinreichendes Kriterium. Die Methoden konvergieren in der Praxis für weitere Matrizen. Der Grund dafür ist, dass die Diagonaldominanz eine Abschätzung der Iterationsmatrix bezüglich der Zeilensummennorm garantiert. Konvergenz gilt, falls mindestens eine Norm existiert, so dass die Norm der Iterationsmatrix kleiner als eins ist. Im Allgemeinen kann man die zwei Methoden nicht direkt vergleichen: In einigen Fällen ist Jacobi, in den anderen ist Gauß-Seidel besser. Aber für tridiagonale Matrizen konvergieren/divergieren die beiden Methoden gleichzeitig und die Konvergenz mit Gauß-Seidel ist zweimal schneller (wie Satz 9.9 behauptet).

11 Numerik I. Version: Die folgenden Resultate wurden von einem Programm von Nolan Leaky erhalten. Die Aufgabe war, diese zwei Verfahren für 100 zufällige Matrizen A und Eingabevektoren b zu testen (die Matrixelemente und Vektorkomponente wurden unabhängig aus der gleichmäßigen Verteilung auf [ 1, 1] ausgewählt). Die Iterationen wurden entweder bis zur Erreichung der vorgegebenen Genauigkeit oder bis zur Feststellung der Divergenz laufen gelassen. Lösung von 100 zufälligen 3 3 Systeme bis auf Genauigkeit 10 3 Anzahl der strikt diagonaldominanten Matrizen: 1 Anzahl der Matrizen, für die das Jacobi-Verfahren konvergiert: 12 Durchschnittliche Anzahl der nötigen Schritte: Anzahl der Matrizen, für die das Gauß-Seidel-Verfahren konvergiert: 12 Durchschnittliche Anzahl der nötigen Schritte: Lösung von 100 zufälligen 4 4 Systeme bis auf Genauigkeit 10 3 Anzahl der strikt diagonaldominanten Matrizen: 0 Anzahl der Matrizen, für die das Jacobi-Verfahren konvergiert: 2 Durchschnittliche Anzahl der nötigen Schritte: 124 Anzahl der Matrizen, für die das Gauß-Seidel-Verfahren konvergiert: 6 Durchschnittliche Anzahl der nötigen Schritte: Wie man erwarten kann, ist die Situation für tridiagonale Matrizen viel besser: Lösung von 100 zufälligen 3 3 tridiagonalen Systeme bis auf Genauigkeit 10 3 Anzahl der strikt diagonaldominanten Matrizen: 5 Anzahl der Matrizen, für die das Jacobi-Verfahren konvergiert: 30 Durchschnittliche Anzahl der nötigen Schritte: 49.4 Anzahl der Matrizen, für die das Gauß-Seidel-Verfahren konvergiert: 30 Durchschnittliche Anzahl der nötigen Schritte: 24.4 Lösung von 100 zufälligen 4 4 tridiagonalen Systeme bis auf Genauigkeit 10 3 Anzahl der strikt diagonaldominanten Matrizen: 1 Anzahl der Matrizen, für die das Jacobi-Verfahren konvergiert: 14 Durchschnittliche Anzahl der nötigen Schritte: Anzahl der Matrizen, für die das Gauß-Seidel-Verfahren konvergiert: 14 Durchschnittliche Anzahl der nötigen Schritte: 33.9

12 Numerik I. Version: Gauß-Seidel-Verfahren mit Relaxation Eine verbesserte Variante des Gauß-Seidel-Verfahrens ist das Gauß-Seidel-Verfahren mit Relaxation. Die Idee der Relaxation ist schon im Kapitel aufgetaucht (gedämpftes Newton- Verfahren). Das Ziel ist, das so genannte Überschießen [overshooting] zu vermeiden. Das Phänomen ist ganz intuitiv das folgende (in einer Dimension, der Einfachheit halber). Die Iterationsfolge approximiert die wahre Lösung x. Die beste Situation ist, wenn den Grenzwert monoton approximiert, z.b. x (1) x (2) x (3) ր x. Numerisch betrachtet ist diese Situation die stabilste. Es kann auch passieren, dass die Folge alternierend konvergiert, z.b. x (1) < x, dann x (2) > x und dann wieder x (3) < x, usw., doch x fällt bis Null ab. Dieses Schema kann potenziell gefährlich sein: x (2) ist auf der anderen Seite von x und es kann von x weiter weg liegen als x (1). In diesem Fall wäre es angebracht, x (2) z.b. durch den Mittelwert (x (1) + x (2) )/2 zu ersetzen. Im allgemeinen Fall kann man den nächsten Iterationswert x (n+1) durch einen gewichteten Durchschnitt [weighted average], ω + (1 ω)x (n 1), ersetzen. Im Fall nichtnegativer Gewichte, 0 ω 1, heißt dieses Vorgehen (Unter)relaxation. Ähnliche Tricks können für die Beschleunigung der Konvergenz im Fall der monotonen Konvergenz verwendet werden: Der nächste Iterationswert kann durch eine sogenannte Überrelaxation ersetzt werden: Statt betrachet man ω + (1 ω)x (n 1) = x (n 1) + ω( x (n 1) ) mit ω > 1, d.h. die Iteration wird absichtlich überschossen [overshooted]. x (1) x (2) x (3)... x x (1) x (3) x x (2) Monotone Konvergenz Alternierende Konvergenz Im Fall des Gauß-Seidel-Verfahrens läuft die Implementierung wie folgt: Man wählt eine Zahl 0 ω 2 und definiert := D 1( b L Rx (n 1)) und := ω + (1 ω)x (n 1),

13 Numerik I. Version: oder in Koordinaten und i = 1 ( i 1 bi a ij j a ii i j=1 := ω i n j=i+1 + (1 ω)x (n 1) i. a ij x (n 1) ) j In der Form einer Iterationsmatrix ist diese Iteration durch die Formel gegeben, wobei die Iterationsmatrix ist. (Aufgabe: Nachprüfen!) := H ω x (n 1) + ω(d + ωl) 1 b H ω := (D + ωl) 1[ (1 ω)d ωr ] = I ω(d + ωl) 1 A Für ω = 1 stimmt dieses Verfahren natürlich mit dem ursprünglichen Einzelschrittverfahren (Gauß-Seidel) überein. Für ω < 1 spricht man von Unter-, im Fall ω > 1 von Überrelaxation. Die Wahl ω (0, 2) führt zu einem divergenten Verfahren: Satz 9.10 Das Spektralradius r(h ω ) der Iterationsmatrix erfüllt: r(h ω ) ω 1 Beweis. Seien λ 1,...λ k die Eigenwerte von H ω : k [ ] λ j = det(h ω ) = det(d + ωl) 1 det (1 ω)d ωr k = (1 ω) } {{ } j=1 } {{ } = 1/a jj = (1 ω)a jj also muss der Betrag von mindestens einem Eigenwert wenigstens 1 ω sein. Es gibt keine allgemeine Regel für die beste Wahl von ω. Im Falle der tridiagonalen Matrizen gilt das Folgende: (für den Beweis, siehe [Plato: Thm ]) Satz 9.11 Es sei A tridiagonal und alle Eigenwerte von D 1 (L +R) liegen innerhalb ( 1, 1) (insbesondere sie sind reell). Dann wird das Minimum im Punkt erreicht und ω = r(h ω ) := min{r(h ω ) : 0 < ω < 2} r 2, r := r(d 1 (L + R)) r(h ω ) = ω 1 = 1 1 r r 2 Mit anderen Worten, ω ist die beste Wahl für den Relaxationsparameter. Die Voraussetzungen werden für jede symmetrische, positiv definite, tridiagonale Matrix erfüllt.

14 Numerik I. Version: Aufgabe 9.12 Bestimmen Sie den besten Relaxationsparameter für die Matrix B (4.50) in der Theorie der Splineinterpolation. Eine der wichtigsten Eigenschaften des Gauß-Seidel-Verfahrens ist, dass es für alle definiten (positiv oder negativ) Matrizen konvergent ist. Die Nachprüfung dieser Eigenschaft ist viel schwieriger als diejenige der strikten Diagonaldominanz. Doch in manchen Fällen folgt die positive Definitheit aus der Struktur des Problems. Z.B. die Matrix des Laplaceoperators (2.3) ist negativ definit. Die Korrelationsmatrizen in der Statistik sind positiv definit (manchmal nur semidefinit). Alle Matrizen der Form A = BB t sind positiv semidefinit (z.b. die Matrix der Normalgleichung beim linearen Ausgleichsproblem). Obwohl positive Semidefinitheit theoretisch für die Konvergenz nicht hinreichend ist, kann man das Problem oft regularisieren: Statt A einfach A + εc betrachten, wobei C positiv definit ist (z.b. die Identitätsmatrix), und später ε entfernen. Satz 9.13 Für eine symmetrische, positiv definite Matrix A ist das Gauß-Seidel-Verfahren mit beliebigem Relaxationsparamter ω (0, 2) konvergent. Beweis. Wir müssen beweisen, dass r(h ω ) < 1 für alle ω (0, 2) gilt. Mit elementarer Matrixalgebra berechnet man die Identität (Nachprüfen!) H ω = I ω(d + ωl) 1 A = I 2 [ 2A 1 ( 1 ω D + L)] 1 = I 2(Q + I) 1 = (Q I)(Q + I) 1 mit der Wahl Q := 2A 1 ( 1 ω D + L) I Wir zeigen, dass alle Eigenwerte von Q einen positiven Realteil besitzen. Mit anderen Worten, das Spektrum von Q (σ(q) Menge der Eigenwerte) liegt in der positiven komplexen Halbebene: σ(q) { λ C : Reλ > 0 }. (9.11) Sei λ ein Eigenwert von Q, d.h. λx = Qx = 2A 1 ( 1 ω D + L)x x für einen Vektor x 0. Daraus folgt λax = 2( 1 D + L)x Ax. ω

15 Numerik I. Version: Wir bilden das Skalarprodukt dieser Gleichung mit x und betrachten nur den Realteil beider Seiten. Wir benutzen x Ax = (x, Ax) R (da A symmetrisch ist) und die Identität 2 Re x Bx = 2 Re (x, Bx) = (x, Bx) + (x, Bx) = (x, Bx) + (Bx,x) = (x, (B + B )x) in der folgenden Berechnung: ( Reλ) x Ax = 2 Re x ( 1 ω D + L)x x Ax = x ( 2 ω D + L + ) }{{} L x x (D + L + R)x = ( 2 ω 1) x Dx > 0. =R (Hier L = R folgt aus der Symmetrie von A = L + D + R.) Wegen x Ax > 0, x Dx > 0 und ω (0, 2) folgt daraus, dass Reλ > 0, damit ist (9.11) bewiesen. Wegen H ω = (Q I)(Q+I) 1 gilt σ(h ω ) { λ 1 λ + 1 : λ σ(q)}. Einfache Arithmetik zeigt (Nachprüfen!) und dann folgt r(h ω ) < 1 aus (9.11). λ 1 < 1, für jedes λ mit Reλ > 0 λ + 1