Konvergenz des Jacobi- und Gauß-Seidel-Verfahrens

Transkript

1 Konvergenz des Jacobi- und Gauß-Seidel-Verfahrens Bachelor-Arbeit im -Fach Bachelorstudiengang Mathematik der Mathematisch-Naturwissenschaftlichen Fakultät der Christian-Albrechts-Universität zu Kiel vorgelegt von Alina Sophie Wrage Erstgutachter: Prof. Dr. Steffen Börm Zweitgutachter: Prof. Dr. Malte Braack Kiel im August 06

2

3 Inhaltsverzeichnis Einleitung 3 Grundlagen 5. Eigenwerte und Spektralradius Irreduzibilität und Diagonaldominanz Jacobi- und Gauß-Seidel-Verfahren 9 3. Lineare Iterationsverfahren Jacobi-Verfahren Gauß-Seidel-Verfahren Konvergenzanalyse 3 4. Konsistenz Konvergenz Konvergenzgeschwindigkeit Relaxationsverfahren 3 5. Jacobi-Relaxationsverfahren Konvergenz Jacobi-Relaxationsverfahren Gauß-Seidel-Relaxationsverfahren Konvergenz Gauß-Seidel-Relaxationsverfahren Beispiele und Fazit 4 6. Vergleichende Beispiele Fazit

4 INHALTSVERZEICHNIS

5 Einleitung In vielen Anwendungen in der Naturwissenschaft ergeben sich Probleme, die der Lösung eines linearen Gleichungssystems Ax = b (.) für eine invertierbare Matrix A R n n und einen Vektor b R n für ein n N bedürfen. Oft treten dabei sehr große Systeme auf, bei denen die Matrix A allerdings nur schwach besetzt ist. Dann ist es ratsam, anstelle von direkten Verfahren wie der Gauß-Elimination, der QR- oder der Cholesky-Zerlegung auf Iterationsverfahren zurückzugreifen. Diese können zwar nur noch eine approximative Lösung bestimmen, lassen sich allerdings im Gegensatz zu den eben genannten direkten Verfahren gut anpassen an schwache Besetzungsstrukturen der zu betrachtenden Matrix und sind dann mit einem vergleichbar sehr viel geringeren Rechenaufwand realisierbar. Die vorliegende Bachelor-Arbeit beschäftigt sich mit dem Jacobi-Verfahren und dem Gauß-Seidel-Verfahren sowie einer Verallgemeinerung dieser, den sogenannten Relaxationsverfahren, insbesondere im Hinblick auf die Konvergenz. Hierzu lassen sich verschiedene Zusammenhänge mit gewissen Eigenschaften der Ausgangsmatrix A zeigen. So bieten sich für die beiden herkömmlichen Verfahren diagonaldominante Matrizen an, wie in Kapitel 4 gezeigt wird. Anschließend werden wir in Kapitel 5 die Konvergenz der zugehörigen Relaxationsverfahren im Zusammenhang mit Eigenschaften von A wie Symmetrie, positiver Definitheit und sogenannter konsistenter Ordnung untersuchen. In vielen praktischen Anwendungen ergeben sich Gleichungssysteme, die durch eine Matrix mit Blockstruktur gegeben sind. Hierfür existieren vom Jacobi- und Gauß- Seidel-Verfahren abgewandelte Blockversionen. Auf diese und deren Konvergenzverhalten wird in dieser Arbeit nicht eingegangen, dazu finden sich verschiedene Ergebnisse in [3], [5] und [6], von denen die meisten sich von den hier gezeigten Resultaten für die ursprünglichen Verfahren ableiten lassen. Schließlich werden die verschiedenen Verfahren anhand zweier konkreter Beispiele hinsichtlich ihrer Konvergenz verglichen. Die dabei angeführten Grafiken wurden mithilfe des Programms gnuplot erstellt und beruhen auf Ergebnissen einer eigenen Imple- 3

6 . EINLEITUNG mentierung der Verfahren in zwei Versionen. Für das Minimalbeispiel, auf das in den Beispielen 4.9 und 6. eingegangen wird, wurde eine Implementierung für vollbesetzte Matrizen verwendet, für Beispiel 6. eine speziell an Tridiagonalmatrizen angepasste Implementierung. 4

7 Grundlagen In diesem Kapitel werden einige Definitionen und grundlegende Resultate aus der linearen Algebra wiederholt, die wir für spätere Resultate benötigen werden. Die Definitionen orientieren sich dabei an [], die Sätze wie in den Beweisen gekennzeichnet an [7] und [4]. Im Folgenden sei stets n N. Ferner bezeichne I m für alle m N die (m m)-einheitsmatrix.. Eigenwerte und Spektralradius Der sogenannte Spektralradius einer Matrix wird in den kommenden Betrachtungen eine zentrale Rolle spielen, weshalb wir diesen Begriff und den zugrundeliegenden Begriff des Eigenwerts zunächst noch einmal einführen werden. Definition.. Sei A C n n. λ C heißt Eigenwert von A, wenn ein Vektor e C n mit Ae = λe existiert. Der Vektor e heißt dann Eigenvektor von A bezüglich des Eigenwerts λ. Ferner bezeichne σ(a) := {λ C : λ Eigenwert von A} das Spektrum von A. Das Maximum der Beträge der Eigenwerte ρ(a) := max { λ : λ σ(a)} wird Spektralradius von A genannt. Bemerkung.. Für alle λ C und A C n n gilt λi n A ist nicht invertierbar ker(λi n A) {0} x 0 : (λi n A)x = 0 x 0 : λx = Ax λ ist Eigenwert von A. Insbesondere ist A invertierbar genau dann, wenn 0 kein Eigenwert von A ist. 5

8 . GRUNDLAGEN Der folgende Satz wird für den späteren Konvergenzbeweis relevant sein. Satz.3. Für A C n n gilt A k k 0 genau dann, wenn ρ(a) < gilt. Beweis. Der Beweis beruht auf dem Beweis von Theorem.0 in [7]. Sei A C n n. Gelte zunächst A k k 0. Sei λ Eigenwert von A mit maximalem Betrag und x zugehöriger Eigenvektor mit x =. Da Vielfache des Eigenvektors x ebenfalls Eigenvektoren zum Eigenwert λ sind, folgt induktiv für k N A k x = A k (Ax) = A k (λx) =... = λ k x. Nehmen wir von beiden Seiten die euklidische Norm, so erhalten wir wegen x = λ k = λ k = λ k x = λ k x = A k x für alle k N. Da A k für k gegen die Nullmatrix konvergiert, konvergiert auch die Norm auf der rechten Seite gegen Null und somit λ k k 0. Es muss also ρ(a) = λ < gelten. Für die Rückrichtung gelte nun ρ(a) <. Betrachte eine zu A ähnliche Matrix J in Jordan-Normalform, es gilt also A = XJX für eine invertierbare Matrix X. Für k N folgt dann A k = (XJX ) k = XJ k X. Um zu zeigen, dass A k für k gegen die Nullmatrix konvergiert, reicht es somit, zu zeigen, dass J k für k gegen die Nullmatrix konvergiert. Nach Definition besteht J aus Jordan-Blöcken J i für i {,..., m}, die diagonal angeordnet sind, und ansonsten nur aus Nullblöcken, die Matrix ist also von der Form J = J... Es lässt sich einsehen, dass diese Blockgestalt beim Potenzieren erhalten bleibt, für alle k N gilt nämlich J k = J k... wie per Induktion nach k gezeigt werden kann. J m J k m., Für jedes i {,..., m} ist der i-te Jordan-Block von der Form J i = λ i I pi + E i C p i p i für ein p i N, 6

9 .. IRREDUZIBILITÄT UND DIAGONALDOMINANZ wobei λ i der zugehörige Eigenwert von A ist und E i eine nilpotente Matrix vom Grad p i, d.h. es gilt E p i i = 0. Mit dem Binomischen Lehrsatz folgt für alle i {,..., m} und k p i p i Ji k = j =0 k! j!(k j )! λk j i E j i. Die Dreiecksungleichung impliziert für jede beliebige Norm p i Ji k k! j!(k j )! λ i k j E j i. j =0 Die Norm E j i lässt sich für alle j {0,..., p i } beschränken durch das Maximum max { E j i : 0 j p i }. Weil zudem für alle j {0,..., p i } der Faktor k! j!(k j )! = k (k ) (k ) (k j + ) j! }{{} <k j nur polynomielles Wachstum bewirkt, konvergiert für k wegen λ i < jeder Summand gegen Null. Da die Summe endlich ist, gilt somit Ji k k 0 für alle i {,..., m} und folglich J k k 0. Wir können außerdem zeigen, dass der Spektralradius einer Matrix sich durch jede beliebige induzierte Matrixnorm beschränken lässt, wie der folgende Satz zeigt. Satz.4. Sei A C n n und eine beliebige Norm. Dann gilt für die davon induzierte Matrixnorm ρ(a) A. Beweis. Der Beweis ist angelehnt an den Beweis von Satz.33 in [4]. Sei λ C ein betraglich größter Eigenwert von A, d.h. es gilt λ = ρ(a), und u ein zugehöriger Eigenvektor mit u =. Dann gilt A = sup Ax u = Au = λu = λ u u = = λ = ρ(a). x =. Irreduzibilität und Diagonaldominanz Es wird sich zeigen, dass es für die Konvergenz der Verfahren von Jacobi und Gauß- Seidel vorteilhaft ist, wenn die Ausgangsmatrix bestimmte Eigenschaften erfüllt. In Kapitel 4 werden wir dies vor allem für Matrizen zeigen, deren Diagonale gewissermaßen betraglich dominiert. Daher führen wir die nun folgenden Begriffe ein. 7

10 . GRUNDLAGEN Definition.5. Eine Matrix A C n n heißt irreduzibel, wenn für alle i, j {,..., n} eine Verbindung von i nach j existiert, d.h. ein Tupel (i l ) m l=0 mit m N 0 derart, dass i = i 0, j = i m und a il,i l+ 0 für alle l {0,..., m }. Definition.6. Eine Matrix A C n n heißt (schwach) diagonaldominant, falls a ii a ij für alle i {,..., n}. j = j i streng/strikt diagonaldominant, falls a ii > a ij für alle i {,..., n}. j = j i irreduzibel diagonaldominant, falls A irreduzibel und schwach diagonaldominant ist und (mindestens) ein i {,..., n} existiert mit a ii > a ij. j = j i 8

11 3 Jacobi- und Gauß-Seidel- Verfahren Dieses Kapitel beruht größtenteils auf dem entsprechenden Abschnitt von Yousef Saad in [7], nur Definition 3. orientiert sich an []. 3. Lineare Iterationsverfahren Bevor wir uns den speziellen Iterationsverfahren von Jacobi und Gauß-Seidel zuwenden, werden zunächst lineare Iterationsverfahren im Allgemeinen definieren. Definition 3.. Ein Iterationsverfahren für das Gleichungssystem (.) ist gegeben durch eine Abbildung Φ : R n R n. Es heißt linear, falls eine invertierbare Matrix M R n n derart existiert, dass Φ(x) = x + M (b Ax) für alle x R n. Für jeden Anfangsvektor x (0) R n wird eine Folge von Iterierten ( x (k)) k=0 definiert durch x (m+) := Φ ( x (m)) für alle m N 0. Durch Umformen erhalten wir die Iterationsvorschrift x (m+) = (I n M A)x (m) + M b für alle m N 0. Die Matrix G := I n M A bezeichnen wir als zugehörige Iterationsmatrix. Die Iterationsvorschrift x (m+) = Gx (m) + M b für alle m N 0 lässt sich mit N = M A und folglich A = M N wegen M N = M (M A) = I n M A = G 9

12 3. JACOBI- UND GAUSS-SEIDEL-VERFAHREN auch schreiben in der Form x (m+) = M Nx (m) + M b für alle m N 0, bzw. mit f = M b x (m+) = Gx (m) + f für alle m N 0. (3.) Schreiben wir das Gleichungssystem Ax = b als einzelne Gleichungen, erhalten wir a x a n x n = b a x a n x n = b a n x a nn x n = b n. Sowohl das Jacobi- als auch das Gauß-Seidel-Verfahren beruhen auf der Auflösung der jeweils i ten Gleichung für i {,..., n} nach x i, die x i = ( b i a ii. ) a ij x j liefert. Voraussetzung für die Wohldefiniertheit beider Verfahren ist also, dass die Diagonaleinträge von A = (a ij ) i,j =,...,n alle von Null verschieden sind, d.h. j = j i a ii 0 für alle i {,..., n}. (3.) Daraus folgt, dass die Diagonalmatrix D := diag{a, a,..., a nn } von A ebenfalls invertierbar ist, da det(d) = n i= a ii 0 gilt. Zusätzlich zu D definieren wir die strikte untere Dreiecksmatrix L = (l ij ) i,j =,...,n und die strikte obere Dreiecksmatrix R = (r ij ) i,j =,...,n durch l ij = { a ij, falls i > j 0, sonst, r ij = { a ij, falls i < j 0, sonst für alle i, j {,..., n}. Wir erhalten somit eine additive Zerlegung von A gegeben durch A = D L R. 0

13 3.. JACOBI-VERFAHREN 3. Jacobi-Verfahren Ausgehend von einem Startvektor x (0) R n ist die Jacobi-Iteration definiert durch x (m+) i = ( b i a ii j = j i ) a ij x (m) j für alle i {,..., n}, m N 0. Mit unserer Zerlegung A = D L R können wir das Verfahren in Matrixschreibweise auch beschreiben durch x (m+) = D (L + R)x (m) + D b für alle m N 0. Mit M J := D und der Iterationsmatrix G J := D (L + R) = D (D A) = I n D A ist das Jacobi-Verfahren somit gegeben durch x (m+) = G J x (m) + M J b für alle m N 0, es handelt sich also um ein lineares Iterationsverfahren gemäß Definition Gauß-Seidel-Verfahren Bei der Gauß-Seidel-Iteration wird im Gegensatz zur Jacobi-Iteration nach jeder Korrektur eines Eintrags die aktuelle Näherung angepasst, sodass wir für einen gegebenen Startvektor x (0) R n erhalten: x (m+) i = ( i b i a ij x (m+) j a ii j = ein Iterationsverfahren gegeben durch die folgende Vorschrift j =i+ ) a ij x (m) j für alle i {,..., n}, m N 0. Mithilfe unserer Matrixdarstellung können wir dies auch beschreiben durch x (m+) = D ( b + Lx (m+) + Rx (m)) für alle m N 0, (3.3) woraus Dx (m+) = b + Lx (m+) + Rx (m) für alle m N 0 und somit (D L)x (m+) = Rx (m) + b für alle m N 0

14 3. JACOBI- UND GAUSS-SEIDEL-VERFAHREN folgt. Da D L der untere Triangularteil von A ist, ist wegen unserer Voraussetzung (3.) die Matrix D L ebenfalls invertierbar, wir erhalten also x (m+) = (D L) Rx (m) + (D L) b für alle m N 0. Mit den Matrizen M GS := D L und G GS := (D L) R = (D L) ((D L) A) = I n (D L) A lautet die Iterationsvorschrift folglich x (m+) = G GS x (m) + M GS b für alle m N 0. Somit ist auch das Gauß-Seidel-Verfahren ein lineares Iterationsverfahren mit der Iterationsmatrix G GS.

15 4 Konvergenzanalyse Nachdem wir nun die Verfahren von Jacobi und Gauß-Seidel eingeführt haben, möchten wir deren Konvergenz analysieren. Das folgende Kapitel ist ebenfalls an Ergebnisse von Yousef Saad in [7] angelehnt, lediglich Bemerkung 4.8 verweist auf Resultate aus [4]. 4. Konsistenz Bevor wir darauf eingehen, unter welchen Voraussetzungen wir eine Konvergenz erwarten können, beschäftigen wir uns mit der Konsistenz der allgemeinen linearen Iteration (3.). Wir sind also daran interessiert, ob im Falle der Konvergenz der Grenzwert auch tatsächlich eine Lösung unseres Ausgangssystems darstellt. Dies lässt sich durch einige wenige Umformungen der Gleichung einsehen. Wenn die Iteration (3.) konvergiert, ist der Grenzwert x Fixpunkt der Iteration, es gilt also x = Gx + f, bzw. wegen G = M N und f = M b Mx = Nx + b und somit (M N ) x = b. }{{} =A Der Grenzwert ist also tatsächlich Lösung des linearen Gleichungssystems, von dem wir ausgegangen sind. 4. Konvergenz Nun können wir uns der Frage widmen, wann die Verfahren konvergieren. Auch diesbezüglich werden wir uns zunächst mit allgemeinen linearen Iterationsverfahren befassen. Für deren Konvergenz kann ein enger Zusammenhang mit den Eigenwerten der Iterationsmatrix hergestellt werden. 3

16 4. KONVERGENZANALYSE Satz 4.. Sei G eine quadratische Matrix mit ρ(g) <. Dann ist I n G invertierbar und die Iteration (3.) konvergiert für jedes f und x (0). Umgekehrt folgt aus der Konvergenz von (3.) für jedes f und x (0), dass ρ(g) < gilt. Beweis. Der folgende Beweis ist angelehnt an die Herleitung von Theorem 4. in [7]. Gelte zunächst ρ(g) <. Da somit σ(g) gilt, ist nach Bemerkung. die Matrix I n G invertierbar. Es existiert also eine Lösung x von (I n G)x = f, was äquivalent ist zu x = Gx + f. Somit ist x Fixpunkt von (3.), wir erhalten also für alle k N 0 x (k+) x = G(x (k) x ) =... = G k+ (x (0) x ). (4.) Mit Satz.3 folgt, dass x (k) x für k gegen Null konvergiert. Konvergiert umgekehrt die Iteration (3.) für jedes f und x (0), so zeigt die Gleichung x (k+) x (k) = G(x (k) x (k ) ) =... = G k (x () x (0) ) = G k (f (I n G)x (0) ), dass G k v k 0 für jeden Vektor v gilt und somit G k nach Satz.3, ρ(g) < gelten. Mit Satz.4 erhalten wir direkt das folgende Korollar. k 0. Folglich muss, erneut Korollar 4.. Sei G eine quadratische Matrix derart, dass G < für eine induzierte Matrixnorm gilt. Dann ist I n G invertierbar und die Iteration (3.) konvergiert für jeden Anfangsvektor x (0). Der nun folgende Satz von Gerschgorin bietet die Möglichkeit, die Position der Eigenwerte einer Matrix in der komplexen Ebene einzugrenzen. Satz 4.3 (Gerschgorin). Für jeden Eigenwert λ C einer Matrix A C n n existiert ein i {,..., n} derart, dass λ a ii a ij =: ρ i. j = j i Die Scheiben D(a ii, ρ i ) in der komplexen Ebene um die Mittelpunkte a ii mit Radius ρ i für i {,..., n} nennen wir die n Gerschgorin-Scheiben. Beweis. Der Beweis orientiert sich am Beweis von Theorem 4.6 in [7]. Sei λ ein Eigenwert von A und x zugehöriger Eigenvektor. Sei m {,..., n} derart, dass x m x i für alle i {,..., n} gilt. Ohne Beschränkung der Allgemeinheit sei 4

17 4.. KONVERGENZ x so skaliert, dass x m = und x i für i m gilt. Da x Eigenvektor zum Eigenwert λ ist, gilt insbesondere λx m = (λx) m = (Ax) m = a mj x j j = und somit (λ a mm )x m = a mj x j. j = j m Es folgt mit x m =, der Dreiecksungleichung und x j für j m λ a mm a mj x j j = j m a mj = ρ m. (4.) j = j m Für irreduzible Matrizen kann nun mithilfe der Gerschgorin-Scheiben folgendes Resultat gezeigt werden, welches wir für den Beweis des anschließend folgenden Satzes zur Invertierbarkeit irreduzibel diagonaldominanter Matrizen benötigen werden. Satz 4.4. Sei A eine irreduzible Matrix und λ ein Eigenwert von A, der auf dem Rand der Vereinigung der n Gerschgorin-Scheiben liegt. Dann liegt λ auf dem Rand jeder einzelnen Gerschgorin-Scheibe. Beweis. Der Beweis beruht auf dem Beweis zu Theorem 4.7 in [7]. Sei x wieder Eigenvektor zum Eigenwert λ mit x m = und x i für i m. Wie im Beweis des Satzes von Gershgorin erhalten wir die Ungleichung (4.). Da λ auf dem Rand der Vereinigung aller Scheiben liegt, kann λ kein innerer Punkt der Scheibe D(a mm, ρ m ) sein, folglich gilt λ a mm = ρ m. Die beiden Ungleichheiten in (4.) müssen in diesem Fall also Identitäten sein, es folgt λ a mm = a mj x j = j = j m a mj = ρ m. j = j m Daraus folgt x j = für alle j m mit a mj 0, da wir bereits wissen, dass x j für alle j m gilt. Sei nun j {,..., n}, j m. Wir wollen zeigen, dass λ auf dem Rand der j -ten Gershgorin-Scheibe liegt, also λ a jj = ρ j. Da A irreduzibel ist, existiert eine Verbindung (m l ) k l=0, k N, von m nach j, es gilt also m 0 = m, m k = j und a ml,m l+ 0 für alle l {0,..., k }. 5

18 4. KONVERGENZANALYSE Insbesondere gilt a m,m 0 und somit mit obiger Beobachtung x m =. Wendet man das gleiche Argument wie oben auf m an statt auf m, so erhält man die Gleichung λ a m,m = und induktiv λ a mi,m i = ρ mi a m,j x j = a m,j = ρ m. j = j = j m j m für alle i {,..., k}. Schließlich folgt aus dieser Eigenschaft für i = k wegen m k = j, dass λ auf dem Rand der j -ten Gerschgorin- Scheibe liegt. Da j m beliebig gewählt war und λ wie zu Beginn erläutert auch auf dem Rand der m-ten Scheibe liegt, folgt die Behauptung. Korollar 4.5. Jede streng diagonaldominante oder irreduzibel diagonaldominante Matrix A ist invertierbar. Beweis. Der Beweis ist angelehnt an den Beweis von Korollar 4.8 in [7]. Sei A zunächst streng diagonaldominant. Dann kann λ = 0 kein Eigenwert sein, da sonst nach dem Satz von Gerschgorin gelten würde a mm a mj für ein m {,..., n}. j = j m Dies stellt einen Widerspruch zur strengen Diagonaldominanz dar. Mit Bemerkung. ist A also invertierbar. Betrachten wir nun den zweiten Fall, A sei also irreduzibel diagonaldominant. Angenommen, A ist nicht invertierbar. Dann ist nach Bemerkung. λ = 0 Eigenwert von A, liegt also in einer Gerschgorin-Scheibe D(a kk, ρ k ) und somit in der Vereinigung aller Scheiben. Da aufgrund der schwachen Diagonaldominanz insbesondere a ii a ij. j = j i für alle i {,..., n} gilt, kann der Eigenwert 0 außerdem nicht im Inneren einer der Scheiben liegen und muss somit auf dem Rand der Vereinigung der Gerschgorin- Scheiben liegen. Nach Satz 4.4 liegt er damit auf dem Rand aller Scheiben, es gilt also a ii = a ij für alle i {,..., n}, j = j i was ein Widerspruch zur irreduziblen Diagonaldominanz ist. Damit können wir uns schließlich der Konvergenz von Jacobi- und Gauß-Seidel- Verfahren widmen, welche wir im Folgenden im Zusammenhang mit Diagonaldominanz untersuchen werden. 6

19 4.. KONVERGENZ Bemerkung 4.6. Ist A streng diagonaldominant, so sind insbesondere alle Diagonaleinträge von A von Null verschieden, die beiden Verfahren sind also wohldefiniert. Im Falle der irreduziblen Diagonaldominanz von A ist diese Voraussetzung nicht so direkt zu erkennen, sie ist aber ebenso gegeben. Da hier nur schwache Diagonaldominanz vorliegt, erhalten wir zunächst nur, dass a ii 0 für i {,..., n} gilt, falls die i-te Zeile von A nicht nur aus Nullen besteht. Aufgrund der Irreduzibilität von A kann es jedoch keine reinen Nullzeilen geben, daher sind auch in diesem Fall beide Verfahren wohldefiniert. Satz 4.7. Ist A eine streng diagonaldominante oder irreduzibel diagonaldominante Matrix, dann konvergieren das assoziierte Jacobi- und Gauß-Seidel-Verfahren für jeden Startvektor x (0). Beweis. Der Satz entspricht Theorem 4.9 in [7], der Beweis wurde jedoch abgewandelt. Wir führen den Beweis per Widerspruch. Sei A streng diagonaldominant oder irreduzibel diagonaldominant und λ sei Eigenwert der jeweiligen Iterationsmatrix G mit λ = ρ(g). Ferner sei x zugehöriger Eigenvektor mit x m = und x i für i m. Wir nehmen an, dass λ gilt. Im Falle des Jacobi-Verfahrens haben wir somit D (L + R)x = λx, woraus wir (λd L R)x = 0 (4.3) erhalten. Für die Einträge der Matrix λd L R =: A = (a ij ) i,j =,...,n gilt a ij = { λa ii, a ij, falls i = j falls i j für i, j {,..., n}. Es gilt also a ij 0 a ij 0 für alle i, j {,..., n}, da wegen λ insbesondere λ 0 gilt, und für die Beträge der Einträge von A gilt a ii a ii für alle i {,..., n} sowie a ij = a ij für alle i, j {,..., n}, i j. Folglich überträgt sich nach Definition die strikte bzw. irreduzible Diagonaldominanz von A auf die Matrix A. Im Falle des Gauß-Seidel-Verfahrens gilt (D L) Rx = λx, woraus sich (λd λl R)x = 0 (4.4) 7

20 4. KONVERGENZANALYSE ergibt. Betrachten wir die Einträge der Matrix λd λl R =: A = (a ij ) i,j =,...,n, so erhalten wir { a ij = λa ij, a ij, falls i j falls i < j für i, j {,..., n}. Hier gilt folglich im Falle der strengen Diagonaldominanz von A a ii = λ a ii > λ a ij = j = j i λ a ij = j = j i i j = λ a ij }{{} a ij = a ij + j =i+ λa ij }{{} = a ij j = j i a ij für alle i {,..., n}, die Matrix A ist dann also ebenfalls streng diagonaldominant. Ist A irreduzibel diagonaldominant, so erhalten wir analog dazu a ij j = j i a ij für alle i {,..., n} sowie a kj > j = j k a kj für ein k {,..., n}. Ferner gilt wegen λ 0 erneut a ij = 0 a ij = 0 für alle i, j {,..., n}, die Matrix A ist in dem Fall somit ebenfalls irreduzibel diagonaldominant. Nach Korollar 4.5 sind A und A also in allen Fällen invertierbar. Damit ergibt sich allerdings ein Widerspruch zu den Gleichungen (4.3) und (4.4), da der Vektor x als Eigenvektor x 0 erfüllt. Der Widerspruch impliziert, dass die Annahme falsch war und somit in allen Fällen ρ(g) = λ < für die Iterationsmatrix G gilt, nach Satz 4. konvergieren somit die jeweiligen Verfahren. Bemerkung 4.8. (vgl. Satz 4. in [4]) Die Konvergenz des Jacobi-Verfahrens im Falle der strikten Diagonaldominanz von A lässt sich auch sehr kurz mithilfe von Korollar 4. über die Zeilensummennorm zeigen, denn es gilt G J = max i {,...,n} j = j i a ij a ii <. Ferner kann analog auch die Konvergenz des Jacobi-Verfahrens unter Voraussetzung des starken Spaltensummenkriteriums q := max j {,...,n} i= i j a ij a ii < gezeigt werden, da für die sogenannte Spaltensummennorm gilt, dass G J = q. 8

21 4.3. KONVERGENZGESCHWINDIGKEIT 4.3 Konvergenzgeschwindigkeit Neben der reinen Konvergenz sind wir vor allem im Hinblick auf die praktische Anwendung der Verfahren auch daran interessiert, wie schnell diese konvergieren. Wir werden sehen, dass die Konvergenzgeschwindigkeit in direktem Zusammenhang mit dem Spektralradius der Iterationsmatrix steht. Die folgenden Betrachtungen beruhen auf dem entsprechenden Abschnitt in [7], der anschließend an das dortige Korollar 4. zu finden ist. Sei im Folgenden x die Lösung der Iteration (3.) und für alle k N 0 d k := x (k) x der Fehler in Stufe k. Dann gilt nach Gleichung (4.) aus dem Beweis von Satz 4. d k = G k d 0 für alle k N 0. Um die Konvergenzgeschwindigkeit zu untersuchen, betrachten wir wieder eine zu G ähnliche Jordan-Normalform J, d.h. es gilt G = XJX für eine invertierbare Matrix X. Der Einfachheit halber nehmen wir an, dass G nur einen einzigen Eigenwert λ mit maximalem Betrag ρ(g) hat, und damit J ebenso, da aufgrund der Ähnlichkeit zu G die Eigenwerte der beiden Matrizen identisch sind. Wir erhalten d k = λ k ( λ G ) k d 0 = λ k (X ( ) ) k λ J X d 0 = λ k X ( ) k λ J X d 0. (4.5) Für die Potenzen der Jordanmatrix J gilt, dass alle ihre Blöcke bis auf den zum λ Eigenwert λ gehörenden Block für k gegen die Nullmatrix der jeweiligen Größe konvergieren, da diese Jordan-Blöcke mit Diagonaleinträgen betraglich echt kleiner als sind. Sei der zum Eigenwert λ gehörende Jordan-Block von Größe p und von der Form J λ = λi p + E für eine nilpotente Matrix E vom Grad p. Dann gilt E p = 0, also gilt für k p mit dem Binomischen Lehrsatz ( p ( ) k Jλ k = (λi p + E) k = λ k (I p + λ E) k = λ k λ )E i i. i Da E nilpotent vom Grad p ist, gilt auch E l 0 für alle l < p und somit insbesondere E p 0. Ist k groß genug, ist wegen des Faktors ( k i) der dominante Term dieser Summe der letzte, also lässt sich ( ) k Jλ k λ k p+ E p, p 9 i=0

22 4. KONVERGENZANALYSE approximieren, da E nilpotent vom Grad p ist und somit insbesondere E p 0 gilt. Mit (4.5) folgt für die Norm des Fehlers ( ) k d k = XJ k X d 0 C λ k p+ p Für den sogenannten Konvergenzfaktor für eine Konstante C. ρ := lim k ( ) /k dk d 0 gilt wegen α /k k für α R >0 ρ = lim k ( ( d k ) /k ( ) /k ) d 0 = lim k ( d k ) /k, mit obiger Approximation erhalten wir also ρ lim k ( C /k λ k p+ k ( ) /k ) k. p Da für großes k gilt, dass ( ( k p ) k ) = k ist, folgt wegen k /k k und wegen C > 0 mit obigem Argument ρ lim λ k p+ k k Stetigkeit = λ lim k k p+ k = λ = λ = ρ(g). Beispiel 4.9. Als Minimalbeispiel betrachten wir das einfache lineare Gleichungssystem Ax = b mit A = 3 6 R 3 3, b = R Die Lösung ist x = (,, ) T und die Iterationsmatrizen der beiden Verfahren lauten G J = I G GS = I / = / 0 /3, / / = 0 5/6 / /4 4/5 0

23 4.3. KONVERGENZGESCHWINDIGKEIT Daraus ergeben sich die Spektren σ(g J ) = { α, 0, α} mit α = { } 39 σ(g GS ) = 0,, = und und somit die Spektralradien ρ(g J ) = α , ρ(g GS ) = Bei der Durchführung des Jacobi- und Gauß-Seidel-Verfahrens für dieses Beispiel mit dem Anfangsvektor x (0) = (0, 0, 0) T ergeben sich die in Abbildung 4. erkennbaren Ergebnisse für die Norm e k := d k des Fehlers d k nach k = 0,..., 50 Schritten. Abbildung 4.: Fehler bei Verwendung des Jacobi- und Gauß-Seidel-Verfahrens Betrachten wir in jedem Schritt der Iteration außerdem jeweils als Annäherung an den Konvergenzfaktor den Wert ρ k := ( ) /k dk, d 0 so erhalten wir im Vergleich der beiden Verfahren die Grafik in Abbildung 4..

24 4. KONVERGENZANALYSE Abbildung 4.: Annäherung an den Konvergenzfaktor Es ist also tatsächlich deutlich zu erkennen, dass sich dieser Wert dem jeweiligen Spektralradius annähert.

25 5 Relaxationsverfahren Wir werden nun noch eine Verallgemeinerung des Jacobi- und des Gauß-Seidel-Verfahrens kennenlernen, die sogenannten Relaxationsverfahren, und auch deren Konvergenz untersuchen. Der Aufbau und die Resultate dieses Kapitels beruhen auf dem entsprechenden Abschnitt in [4] von Andreas Meister. Wieder betrachten wir zunächst eine allgemeine lineare Iteration. Schreiben wir das zu betrachtende lineare Iterationsverfahren wie in Definition 3. in der Form x (m+) = x (m) + M ( b Ax (m)) für alle m N 0, (5.) so wird ersichtlich, dass für alle m N 0 der (m + )-te Iterationsschritt eine Korrektur der alten Näherung x (m) durch den Vektor r (m) := M ( b Ax (m)) ist. Ziel der von Jacobi- und Gauß-Seidel-Verfahren abgeleiteten Relaxationsverfahren ist es, die Konvergenzgeschwindigkeit durch Gewichtung des Vektors r (m) zu verbessern, bzw. überhaupt Konvergenz herzustellen, falls das jeweilige Ausgangsverfahren nicht konvergiert. Im Falle von Gesamtschrittverfahren wie dem Jacobi-Verfahren wird ein Relaxationsparameter ω R >0 hinzugenommen, der die Gleichung (5.) abwandelt zu x (m+) = x (m) + ωm (b Ax (m) ) für alle m N 0. (5.) Äquivalent dazu erhalten wir x (m+) = (I n ωm A)x (m) + ωm b für alle m N 0, die Iterationsmatrix des Relaxationsverfahrens ist also gegeben durch G(ω) = I n ωm A. Gesucht wird dann für alle m N 0 eine optimale neue Näherung x (m+) ausgehend von x (m) in Richtung r (m), also ein ω R >0, für das der Spektralradius der neuen Iterationsmatrix G(ω) minimal ist. Gilt ω <, so spricht man auch von Unterrelaxation, bei ω > von Überrelaxation. 3

26 5. RELAXATIONSVERFAHREN 5. Jacobi-Relaxationsverfahren Gemäß (5.) und (5.) erhalten wir aus der Iterationsvorschrift des Jacobi-Verfahrens in der Schreibweise x (m+) = x (m) + D (b Ax (m) ) für alle m N 0 das Jacobi-Relaxationsverfahren für ω R >0 und einen Startvektor x 0 R n, das gegeben ist durch x (m+) = x (m) + ωd (b Ax (m) ) = (I n ωd A)x (m) + ωd b für alle m N 0. Mit der Matrix M J (ω) := D und der Iterationsmatrix ω G J (ω) := I n ωd A ergibt sich also wiederum ein lineares Iterationsverfahren. Damit die Diagonalmatrix D invertierbar ist, benötigen wir hier weiterhin (3.) als Voraussetzung. Offensichtlich ist das herkömmliche Jacobi-Verfahren der Spezialfall dieses Relaxationsverfahrens für den Relaxationsparameter ω =. 5. Konvergenz Jacobi-Relaxationsverfahren Für das Jacobi-Relaxationsverfahren können wir folgende Aussage über die Eigenwerte der Iterationsmatrix und den optimalen Relaxationsparameter machen. Satz 5.. Die Iterationsmatrix G J des Jacobi-Verfahrens habe nur reelle Eigenwerte λ λ n mit den zugehörigen linear unabhängigen Eigenvektoren u,..., u n, und für ihren Spektralradius gelte ρ(g J ) <. Dann besitzt die Iterationsmatrix G J (ω) des Jacobi-Relaxationsverfahrens die Eigenwerte µ i = ω ωλ i für i {,..., n}, und für den optimalen Relaxationsparameter ω opt, der einen minimalen Spektralradius von G J (ω) garantiert, gilt ω opt = λ λ n. Beweis. Der folgende Beweis orientiert sich am Beweis von Satz 4. in [4]. Da G J = D (L + R) gilt, erhalten wir D (L + R)u i = λ i u i für alle i {,..., n}. 4

27 5.. KONVERGENZ JACOBI-RELAXATIONSVERFAHREN Es folgt für alle i {,..., n} mit der Zerlegung A = D L R G J (ω)u i = (I n ωd A)u i = ( I n ωd (D L R) ) u i = ( ( ω)i n + ωd (L + R) ) u i = ( ω)u i + ω D (L + R)u i }{{} =λ i u i = ( ω + ωλ i )u i. Somit ist µ i (ω) = ( ω + ωλ i ) für alle i {,..., n} ein Eigenwert von G J (ω) zum Eigenvektor u i, und da die Vektoren u,..., u n linear unabhängig sind, existieren keine weiteren Eigenwerte. Wegen ω > 0 und der Voraussetzung λ... λ n gilt weiterhin µ (ω)... µ n (ω). Sei nun ω R >0 derart, dass die Bedingung µ n (ω ) = µ (ω ) (5.3) erfüllt ist. Dann gilt insbesondere µ (ω ) < 0 und µ n (ω ) > 0 (vorausgesetzt n > ), da aufgrund der linearen Unabhängigkeit von u,..., u n nicht alle Eigenwerte gleich Null sein können, sowie ρ ( G J (ω ) ) = µ (ω ) = µ n (ω ). Für alle ω mit ω > ω folgt µ (ω) = ω + ωλ = ω( λ ) < ω ( λ ) = ω + ω λ = µ (ω ) < 0, da wegen ρ(g J ) < insbesondere λ > 0 gilt. Dies impliziert ρ ( G J (ω) ) µ (ω) > µ (ω ) = ρ ( G J (ω ) ). Analog erhalten wir für alle ω mit 0 < ω < ω wegen λ n > 0 µ n (ω) = ω( λ n ) > ω ( λ n ) = µ n (ω ) und somit ρ ( G J (ω) ) µ n (ω) > µ n (ω ) = ρ ( G J (ω ) ). Der Spektralradius von G J (ω ) ist also minimal, es gilt folglich ω opt = ω. Aus (5.3) folgt für ω außerdem ω + ω λ n = µ n (ω ) = µ (ω ) = ( ω + ω λ ) 5

28 5. RELAXATIONSVERFAHREN und somit = ω ( λ + λ n ) = ω ( λ λ n ). Wegen ρ(g J ) < gilt zudem λ λ n > 0, wir erhalten also insgesamt ω opt = ω = λ λ n. 5.3 Gauß-Seidel-Relaxationsverfahren Bei sogenannten Einzelschrittverfahren wie dem Gauß-Seidel-Verfahren ist es sinnvoll, die Relaxation bei jedem Einzelschritt zu berücksichtigen. Dafür betrachten wir die Gauß-Seidel-Iteration wieder in Komponentenschreibweise und erhalten aus (3.3) die äquivalente Formulierung x (m+) i = x (m) i + ( b i a ii i j = a ij x (m+) j j =i ) a ij x (m) j für alle i {,..., n}, m N 0. Hiervon leiten wir für einen Relaxationsparameter ω R >0 Iterationsvorschrift für alle i {,..., n} und m N 0 ab: folgende abgewandelte x (m+) i = x (m) i + ω i (b i a ij x (m+) j a ii j = j =i = ( ω)x (m) i + ω i (b i a ij x (m+) j a ii j = ) a ij x (m) j j =i+ ) a ij x (m) j. Diese lässt sich in Matrixschreibweise darstellen durch x (m+) = ( ω)x (m) + ωd b + ωd Lx (m+) + ωd Rx (m) für alle m N 0, was sich zusammenfassen lässt zu (I n ωd L)x (m+) = ( ( ω)i n + ωd R ) x (m) + ωd b für alle m N 0. Multiplikation von links mit D liefert (D ωl)x (m+) = ( ( ω)d + ωr ) x (m) + ωb für alle m N 0. Die Matrix D ωl ist wiederum eine untere Dreicksmatrix mit der gleichen Hauptdiagonalen wie A und somit unter der Voraussetzung (3.) invertierbar, diese muss also auch beim Gauß-Seidel-Relaxationsverfahren erfüllt sein. Damit erhalten wir die 6

29 5.4. KONVERGENZ GAUSS-SEIDEL-RELAXATIONSVERFAHREN Iterationsvorschrift x (m+) = (D ωl) ( ( ω)d + ωr ) x (m) + ω(d ωl) b für alle m N 0, durch welche das Gauß-Seidel-Relaxationsverfahren für den Relaxationsparameter ω R >0 definiert wird. Dieses lineare Iterationsverfahren ist somit gegeben durch die Iterationsmatrix G GS (ω) := (D ωl) ( ( ω)d + ωr ) und die Matrix M GS (ω) := (D ωl). ω Auch hier ist wie bereits beim Jacobi-Relaxationsverfahren zu erkennen, dass sich im Spezialfall ω = das ursprüngliche Gauß-Seidel-Verfahren ergibt. 5.4 Konvergenz Gauß-Seidel-Relaxationsverfahren Für das Gauß-Seidel-Relaxationsverfahren lässt sich folgende allgemeine Abschätzung für den Spektralradius der Iterationsmatrix G GS (ω) zeigen. Satz 5.. Sind alle Diagonaleinträge von A von Null verschieden, so gilt für alle ω R >0 die Ungleichung ρ ( G GS (ω) ) ω. Beweis. Dieser Beweis beruht auf dem Beweis von Satz 4. sowie den Erläuterungen zu Definition.30 in [4]. Seien λ,..., λ n C die Eigenwerte der Iterationsmatrix G GS (ω), das charakteristische Polynom χ GGS (ω)(λ) = det ( ) G GS (ω) λi n zerfällt also insbesondere über C in Linearfaktoren und ist von der Form n χ GGS (ω)(λ) = (λ i λ), da es sich bei den Eigenwerten λ,..., λ n um dessen Nullstellen handelt. Wegen i= det G GS (ω) = χ GGS (ω)(0) = n i= λ i 7

30 5. RELAXATIONSVERFAHREN erhalten wir unter Verwendung des Determinanten-Produktsatzes n i= λ i ( ) = det G GS (ω) ( ) = det ( (D ωl) ) det ( ( ω)d + ωr ) ( ) = det(d ) det ( ( ω)d ) ( ) = (det D) ( ω) n det D ( ) = ( ω) n, wobei bei ( ) benutzt wurde, dass L und R strikte untere bzw. obere Dreiecksmatrizen sind sowie D eine Diagonalmatrix. Es folgt, dass λ j ω für mindestens ein j {,..., n} gelten muss und somit ρ ( G GS (ω) ) = max λ i λ j ω = ω. i {,...,n} Aus dem Satz folgt also, dass der Spektralradius der Iterationsmatrix G GS (ω) nur dann echt kleiner als sein kann, wenn ω (0, ) gilt. Mit Satz 4. erhalten wir das folgende Korollar. Korollar 5.3. Wenn das Gauß-Seidel-Relaxationsverfahren konvergiert, so folgt für den Relaxationsparameter ω (0, ). Fügen wir weitere Voraussetzungen an die Matrix A hinzu, so können wir Äquivalenz erhalten. Satz 5.4. Sei A symmetrisch und positiv definit. Dann konvergiert das Gauß-Seidel- Relaxationsverfahren genau dann, wenn ω (0, ) gilt. Beweis. Der Beweis ist angelehnt an den Beweis von Satz 4.4 aus [4], wurde allerdings angepasst auf reelle Matrizen. Aus der positiven Definitheit von A folgt für die Diagonaleinträge a ii > 0 für alle i {,..., n}, (5.4) da für die Vektoren e,..., e n der Standardbasis gegeben durch für alle i {,..., n} gilt (e i ) j = {, falls j = i 0, ansonsten a ii = e i T Ae i A positiv definit > 0. 8

31 5.4. KONVERGENZ GAUSS-SEIDEL-RELAXATIONSVERFAHREN Das Gauß-Seidel-Relaxationsverfahren ist demnach wohldefiniert. Ist das Gauß-Seidel-Relaxationsverfahren konvergent, so folgt mit Korollar 5.3, dass ω (0, ) gilt. Gelte also ω (0, ). Sei λ ein beliebiger Eigenwert von G GS (ω) mit zugehörigem Eigenvektor x. Da A symmetrisch ist, gilt R = L T und somit G GS (ω) = (D ωl) ( ( ω)d + ωl ) T. Da λ Eigenwert dieser Matrix zum Eigenvektor x ist, gilt also ( ( ω)d + ωl T ) x = λ(d ωl)x. (5.5) Ferner gilt und ( ( ω)d + ωl T ) = ( ω)d + ωl T = ( ω)d + ω( D + L T ) = ( ω)d + ω( D } + {{ L T + L } +L T L) = A = ( ω)d ωa + ω(l T L) (D ωl) = ( ω)d + ω(d L) = ( ω)d + ω(d } L {{ L T } L + L T ) =A = ( ω)d + ωa + ω(l T L). Mit (5.5) folgt durch Multiplikation von links mit x T x T ( ( ω)d ωa + ω(l T L) ) x = λx T ( ( ω)d + ωa + ω(l T L) ) x. (5.6) Wegen erhalten wir x T (L T L)x = x T L T x x T Lx ( ) ( ) = x j l jk x k x k l jk x j j = k= k= j = = x j l jk x k x k l jk x j = 0 (5.7) j,k= k,j = ( ω)x T Dx ωx T Ax = λ ( ( ω)x T Dx + ωx T Ax ). 9

32 5. RELAXATIONSVERFAHREN Aufgrund von (5.4) ist neben A auch D positiv definit, es gilt also d := x T Dx > 0 und a := x T Ax > 0, da x als Eigenvektor nicht der Nullvektor sein kann. Unsere Gleichung ist damit von der Form Division durch ω liefert somit ( ω)d ωa = λ ( ( ω)d + ωa ), ω ω d a = λ ( ω ω ) d + a. Aufgrund der Voraussetzung ω (0, ) gilt µ := ω > 0 und wegen d, a > 0 folgt ω µd + a > 0, also λ = µd a µd + a. (5.8) Wiederum wegen d, a, µ > 0 gilt µd a < µd + a und somit λ = µd a µd + a <. Da λ als beliebiger Eigenwert der Matrix G GS (ω) gewählt worden ist, folgt ρ ( G GS (ω) ) <, das Gauß-Seidel-Relaxationsverfahren konvergiert folglich nach Satz 4.. Bemerkung 5.5. (vgl. Beweis von Satz 4.4 in [4]) Satz 5.4 lässt sich ebenfalls zeigen für eine Matrix A C n n mit komplexen Einträgen, die hermitesch statt symmetrisch ist. Statt der transponierten Matrizen und Vektoren werden dann im Beweis die Adjungierten betrachtet, und bei der zu (5.7) analogen Umformung ergibt sich, dass x (L L)x = s i für ein s R ist, wobei i die imaginäre Einheit bezeichnet. Im Bruch in (5.8) muss dann sowohl im Zähler als auch im Nenner der Summand s i ergänzt werden. Dieser ändert allerdings nichts an der folgenden Abschätzung des Betrags (im Komplexen), da der Imaginärteil von Zähler und Nenner folglich identisch ist, der Realteil sich hingegen ebenso wie im betrachteten reellen Fall unterscheidet. Der vorangegangene Satz garantiert uns also Konvergenz für alle ω (0, ), wenn A symmetrisch und positiv definit ist. Wie wir allerdings schon im vorigen Kapitel gesehen haben, interessieren wir uns neben der Konvergenz an sich auch für die Konvergenzgeschwindigkeit, also den Spektralradius der Iterationsmatrix. Für das Jacobi- 30

33 5.4. KONVERGENZ GAUSS-SEIDEL-RELAXATIONSVERFAHREN Relaxationsverfahren haben wir mit Satz 5. bereits Informationen über die Eigenwerte der Iterationsmatrix und schließlich über einen optimalen Relaxationsparameter erhalten. Derartige Ergebnisse möchten wir nun auch für das Gauß-Seidel-Relaxationsverfahren erlangen und müssen dafür andere Voraussetzungen an die Matrix A stellen. Beispielsweise ist die Eigenschaft einer konsistenten Ordnung wünschenswert, die wir zunächst definieren werden. Definition 5.6. Sei A = D L R eine additive Zerlegung der Matrix A wie bisher, insbesondere sei die Diagonalmatrix D invertierbar. A heißt konsistent geordnet, falls die Eigenwerte der Matrix C (α) = αd L + α D R, α R \ {0}, unabhängig von α sind. Beispiel 5.7. (vgl. Beispiel 4.7 in [4]) Jede Tridiagonalmatrix a b c a b A = R n n c n a n b n mit a i 0 für alle i {,..., n} ist konsistent geordnet. c n a n Beweis. Es gilt 0 d. C () = D e..... (L + R) = dn e n 0 mit d i = b i /ai für i {,..., n } und e i = c i /ai für i {,..., n}. Ferner gilt für alle α R \ {0} C (α) = αd L + α D R d. e..... = α α dn e n

34 5. RELAXATIONSVERFAHREN Mit der invertierbaren Diagonalmatrix S(α) = diag {, α, α,..., α n } R n n, folgt für alle α R \ {0} für die Einträge der Matrix S(α)C () ( S(α) ) = (βα,ij ) i,j =,...,n wegen ( S(α) ) = diag {, α, α,..., α (n ) } mit C () = (γ ij ) i,j =,...,n für alle i, j {,..., n} α d i, falls i = j +, β α,ij = α i α (j ) γ ij = α i j γ ij = αe i, falls i = j, 0, sonst. Es gilt somit S(α)C () ( S(α) ) = C (α), die Matrix C (α) ist also ähnlich zur Matrix C () für alle α R \ {0}. Demnach sind alle C (α), α R \ {0}, zueinander ähnlich und haben folglich die gleichen Eigenwerte. Satz 5.8. Sei A konsistent geordnet und ω (0, ). Dann ist µ C \ {0} genau dann Eigenwert von G GS (ω), wenn λ = µ + ω ω µ ein Eigenwert der Iterationsmatrix G J des Jacobi-Verfahrens ist. Beweis. Der Beweis des Satzes beruht auf dem Beweis von Satz 4.8 in [4]. Sei µ C \ {0}, dann gilt (I n ωd L) ( µi n G GS (ω) ) = µ(i n ωd L) (I n ωd L) ( G GS (ω) ) = µ(i n ωd L) ( D (D ωl) )( (D ωl) ( ( ω)d + ωr )) = µ(i n ωd L) D ( ( ω)d + ωr ) = ( µ ( ω) ) I n ωd (µl + R) = ( µ ( ω) ) I n ω ( ) µl µd + µ R (5.9) Da (I n ωd L) eine untere Dreiecksmatrix ist, deren Hauptdiagonale nur aus Einsen besteht, gilt det(i n ωd L) =. Aufgrund der Äquivalenz det ( µi n G GS (ω) ) = 0 µ ist Eigenvektor von G GS (ω) 3

35 5.4. KONVERGENZ GAUSS-SEIDEL-RELAXATIONSVERFAHREN ist mit (5.9) nach dem Determinanten-Produktsatz µ genau dann Eigenvektor von G GS (ω), wenn ( (µ ) det ( ω) In ω ( )) µl µd + µ R = 0 gilt. Dies ist äquivalent dazu, dass ( ( )) µ ( ω) µl det ω I n D + µ R = 0 µ gilt, also dass µ ( ω) λ := ω µ ( µl ) Eigenwert der Matrix D + µ R ist. Da A konsistent geordnet ist, stimmen die Eigenwerte der beiden Matrizen ( ) µl D + µ R und D (L + R) = G J überein. Somit ist µ genau dann Eigenwert von G GS (ω), wenn λ Eigenwert von G J ist. Da das Gauß-Seidel-Verfahren dem Gauß-Seidel-Relaxationsverfahren mit Relaxationsparameter ω = entspricht, erhalten wir aus Satz 5.8 insbesondere, dass für konsistent geordnete Ausgangsmatrizen A µ C \ {0} ist Eigenwert von G GS µ µ = µ ist Eigenwert von G J und somit ρ ( G GS ) = ρ ( GJ ) (5.0) gilt. In dem Fall benötigt das Gauß-Seidel-Verfahren für dieselbe Genauigkeit also nur etwa halb so viele Iterationen wie das Jacobi-Verfahren, sofern Letzteres konvergiert. Wie bereits beim Jacobi-Relaxationsverfahren können wir uns nun der Frage widmen, welcher Relaxationsparameter für das Verfahren optimal ist. Satz 5.9. Sei A konsistent geordnet. Die Eigenwerte der Iterationsmatrix G J Jacobi-Verfahrens seien reell und es gelte des ρ := ρ(g J ) <. Dann gilt (a) Das Gauß-Seidel-Relaxationsverfahren konvergiert für alle ω (0, ). 33

36 5. RELAXATIONSVERFAHREN (b) Der Relaxationsparameter ω opt = + ρ liefert einen minimalen Spektralradius der Iterationsmatrix des Gauß-Seidel-Relaxationsverfahrens, für den ρ ( G GS (ω opt ) ) = ω opt = ρ + ρ gilt. Beweis. Der folgende Beweis beruht auf dem Beweis von Satz 4.9 aus [4]. Seien λ,..., λ n R die Eigenwerte von G J, dann ist nach Satz 5.8 µ genau dann Eigenwert von G GS (ω), wenn λ = µ + ω ω µ σ(g J ) = {λ,..., λ n } (5.) gilt. Da A konsistent geordnet ist, sind die Eigenwerte der beiden Matrizen D (L + R) = G J und D ( L R) = D (L + R) = G J identisch, es ist also λ R Eigenwert von G J genau dann, wenn λ Eigenwert von ist. Wir können daher das Vorzeichen in (5.) außer Acht lassen. Somit können G J wir ohne Beschränkung der Allgemeinheit λ 0 annehmen und die Gleichung (5.) quadrieren, sodass wir λ ω µ = (µ + ω ) (5.) erhalten. Da nach Voraussetzung ρ(g J ) < gilt, haben wir nun λ [0, ). Falls λ = 0, so erhalten wir aus (5.), dass µ + ω = 0 und somit µ = ω gilt. Die folgende Analyse befasst sich daher mit dem Fall, dass λ (0, ) gilt. Aus Korollar 5.3 wissen wir, dass ω (0, ) eine notwendige Bedingung für die Konvergenz ist. Ferner gilt λ ω µ ( ) = (µ + ω ) = µ + ω + + µω µ ω 0 ( ) = µ λ ω µ + µω µ + ω + ω ( ) = µ (λ ω ω + )µ + (ω ) ( ( ) ) µ λ ω ω + ( ) = ( ( ( ) ) ) = µ λ ω (ω ) ( λ ω ω + ) }{{} = 4 λ4 ω 4 λ ω (ω )+(ω ) +(ω ) ( λ ω ( 4 λ ω (ω )) ), 34

37 5.4. KONVERGENZ GAUSS-SEIDEL-RELAXATIONSVERFAHREN wobei bei ( ) quadratische Ergänzung angewandt wurde, wir erhalten somit für alle ω (0, ) und λ {λ,..., λ n } (0, ) die beiden Eigenwerte µ + = µ + (ω, λ) = λ ω (ω ) + λω 4 λ ω (ω ) und µ = µ (ω, λ) = λ ω (ω ) λω 4 λ ω (ω ). Definiere g(ω, λ) := 4 λ ω (ω ) für alle ω (0, ) und λ (0, ), es gilt also µ ± (ω, λ) = λ ω (ω ) ± λω g(ω, λ). Damit liegt es nahe, die Nullstellen von g bezüglich Minimalität der Eigenwerte zu überprüfen. Da g(ω, λ) = 0 genau dann gilt, wenn 0 = ω 4 λ ω + 4 λ = ( ω λ ) 4 λ λ = ( ω λ ) 4 λ 4 ( λ ), hat g für alle λ (0, ) Nullstellen bei sowie (mit analoger Rechnung) bei ω + = ω + (λ) = λ λ λ = ( λ ) λ = ( ( λ )) λ ( + λ ) λ = λ ( + λ ) = + (5.3) λ ω = ω (λ) = λ + 4 λ 4 4 λ = λ. Wegen λ (0, ) gilt λ (0, ) und somit + λ (, ) und λ (0, ). Es folgt für alle λ (0, ) ω + (λ) = + λ (, ), ω (λ) = >. (5.4) λ Da wir nur ω (0, ) betrachten, können wir somit ω vernachlässigen und fahren nur 35

38 5. RELAXATIONSVERFAHREN mit ω + fort. Weiterhin gilt für alle λ (0, ) und ω (0, ) g ω (ω, λ) = λ ω < 0, g ist also streng monoton fallend bezüglich ω auf (0, ). Da für ein festes λ nach vorangegangenen Beobachtungen ω + (λ) die einzige Nullstelle von g für ω (0, ) ist, folgt also für ω (0, ) für ein festes λ > 0, falls 0 < ω < ω + (λ), g(ω, λ) = 0 falls ω = ω + (λ), < 0, falls ω + (λ) < ω <. Für jedes λ ergeben sich somit für ω (0, ) die folgenden drei Fälle:. ω + (λ) < ω < : Dann gilt g(ω, λ) < 0 und somit g(ω, λ) = g(ω, λ) i, }{{} R die beiden Eigenwerte µ + (ω, λ) und µ (ω, λ) sind also komplex mit µ ± (ω, λ) = λ ω + (ω ) + ( ± λω g(ω, λ) ) i. }{{}}{{} Imaginärteil Realteil Folglich gilt nach Definition des Betrags im Komplexen ( ) µ + (ω, λ) ( ) = µ (ω, λ) = λ ω + (ω ) + (λω g(ω, λ)) ( ) = ( ) = ) 4 λ ω + (ω ) ( 4 λ4 ω 4 λ ω (ω ) + (ω ) + λ ω 4 λ4 ω 4 λ ω (ω ) + (ω ) 4 λ4 ω 4 + λ ω (ω ) ( ) = (ω ) ( ) = ω ( ) = ω, wobei ( ) wegen ω > ω + (λ) (5.4) > gilt.. ω = ω + (λ): Es folgt also wegen g(ω, λ) = 4 λ ω (ω ) = 0, (5.5) 36

39 5.4. KONVERGENZ GAUSS-SEIDEL-RELAXATIONSVERFAHREN dass λ ω = 4(ω ) gilt und somit λ = 4 ω 4 ω. (5.6) Wir erhalten wiederum mit (5.5) µ + (ω, λ) = µ (ω, λ) (5.5) = λ ω (ω ) (5.6) = ω ω + (5.5) = ω (5.5) = ω. Die letzte Gleichheit gilt dabei wegen ω = ω + (λ) (5.4) > < ω < ω + (λ): In diesem Fall gilt g(ω, λ) > 0, also folgt wegen µ ± = 4 λ ω + g(ω, λ) ± λω g(ω, λ), }{{}}{{} >0 >0 dass µ + (ω, λ) > 0 sowie µ + (ω, λ) = µ + (ω, λ) > µ (ω, λ) gilt. In jedem der drei Fälle gilt also µ + (ω, λ) µ (ω, λ), zur Bestimmung des Spektralradius ρ ( G GS (ω) ) ist für uns somit jeweils nur µ + (ω, λ) relevant. Für λ (0, ) und ω (0, ) betrachten wir daher µ(ω, λ) := µ + (ω, λ) = { µ + (ω, λ) für 0 < ω < ω + (λ), ω für ω + (λ) ω <. (5.7) Offenbar ist µ für ω [ω + (λ), ) für ein fest gewähltes λ streng monoton wachsend. Um zu zeigen, dass ω + (λ) ein Minimum im Intervall (0, ) darstellt, bleibt also noch zu zeigen, dass µ für ein festes λ für ω (0, ω + (λ)) strikt monoton fällt. Es gilt für alle λ (0, ) und ω (0, ω + (λ)) ( ) λω + 4 λ ω (ω ) = 4 λ ω + λω 4 λ ω (ω ) + 4 λ ω (ω ) = λ ω (ω ) + λω 4 λ ω (ω ) = µ(ω, λ) 37

40 5. RELAXATIONSVERFAHREN und somit nach der Kettenregel ( µ (ω, λ) = ω ) λω + 4 λ ω (ω ) λ + }{{} >0 Indem wir den Faktor g(ω,λ) mit q(ω, λ) = ausklammern, erhalten wir λ ω. (5.8) 4 λ ω (ω ) } {{ } =:q(ω,λ) ( ) λ 4 λ ω (ω ) 4 λ ω (ω ) + λ ω, q (ω, λ) := λ 4 λ ω (ω ) und q (ω, λ) := λ ω für alle λ (0, ) und ω (0, ω + (λ)) erhalten wir also q(ω, λ) = g(ω, λ) (q (ω, λ) + q (ω, λ)). Für alle λ (0, ) und ω (0, ω + (λ)) gilt wegen ω+ (λ) < q (ω, λ) = λ 4 λ ω (ω ) > 0 und q (ω, λ) = λ ω }{{} < 0 (0,ω + (λ)) sowie wegen λ < ( q (ω, λ) ) = 4 λ4 ω λ ω + λ < 4 λ4 ω λ ω + = ( q (ω, λ) ). Wir erhalten also q (ω, λ) < q (ω, λ) und somit q(ω, λ) = (q (ω, λ) + q (ω, λ)) < 0. g(ω, λ) }{{}}{{} <0 >0 Insgesamt ergibt sich also mit (5.8) die Ungleichung µ (ω, λ) < 0 ω für alle λ (0, ), ω (0, ω+ (λ)). 38

41 5.4. KONVERGENZ GAUSS-SEIDEL-RELAXATIONSVERFAHREN Außerdem erhalten wir aus (5.7) lim µ(ω, λ) = lim ω 0 ω 0 µ+ (ω, λ) = = lim(ω ) = lim µ(ω, λ), ω ω folglich gilt µ(ω, λ) < für alle λ (0, ) und ω (0, ). Da nach Definition von µ gilt, dass µ(ω, λ) 0 für alle λ (0, ) und ω (0, ), folgt mit den vorangegangenen Überlegungen ρ ( G GS (ω) ) <. Nach Satz 4. gilt somit Behauptung (a). Ferner wird wie bereits gezeigt für jeden Eigenwert λ der Wert µ(ω, λ) = µ(ω, λ) minimal für ω opt = ω + (λ). Da außerdem für 0 < ω < ω + (λ) und λ (0, ) mit Produkt- und Kettenregel µ λ ( (ω, λ) = λω }{{} +ω 4 λ ω (ω ) + λω >0 = }{{} λω + ω 4 λ ω (ω ) + >0 } {{ } >0 λω λ ω λ ω (ω ) }{{} >0 ( 4 λ ω (ω )) /) > 0 (5.9) gilt, wird µ für ein festes ω maximal für den betraglich größten Eigenwert λ max λ [0,) λ max = λ max = ρ(g J ) = ρ. Wir erhalten also insgesamt mit ρ ( G GS (ω opt ) ) (5.6) = µ ( ωopt, ρ(g J ) ) (5.7) = ω + (ρ) (5.3) = + ρ (5.6) = ( + ρ ) + ρ (5.6) = ρ + ρ. Wie im Beweis an (5.4) zu sehen ist, erhalten wir unter der Voraussetzung der konsistenten Ordnung immer einen optimalen Relaxationsparameter ω opt (, ). In dem Fall kommt es also zu einer Überrelaxation, das Verfahren ist daher auch bekannt unter der Bezeichnung SOR-Methode (successive overrelaxation method). Bemerkung 5.0. (vgl. Bemerkung nach Satz 4.8 in [4]) Für alle λ (0, ) gilt µ lim (ω, λ) = ω ω opt ω lim ω ω opt (ω ) = ω 39

42 5. RELAXATIONSVERFAHREN und mit (5.8) µ lim (ω, λ) = ω ω opt ω lim Da zudem ω ω opt = lim ω ω opt = lim ω ω opt ( [ ωλ [ lim ωλ = ω opt λ = ω ω opt lim λ g(ω, λ) = λ ω ω opt ( ωλ lim λ ω ) ω ω opt ) ωλ + 4 λ ω (ω ) λ + λ ω 4 λ ω (ω ) + ωλ ( λ ω ) + λ ( ) ] g(ω, λ) + g(ω, λ) λ ω ωλ + ωλ ( λ ω ) + λ ] g(ω, λ). g(ω, λ) λ + (0, ), ρ g(ω opt, λ) = 0, = ω optλ ( λ ω opt ) ( = λ + ρ λ + ρ λ 3 λ = ( + ) ρ + ρ λ 3 λ ( + ) ρ = ( + ) ρ ) = λ3 λ λ ρ ( + ρ ) λ (0,) (, 0) gilt, folgt wegen g(ω opt, λ) = 0 µ lim (ω, λ) =. ω ω opt ω Es sollte also im Zweifelsfall eher ω > ω opt als ω < ω opt gewählt werden. 40

43 6 Beispiele und Fazit 6. Vergleichende Beispiele Zum Abschluss möchten wir noch an zwei Beispielen die verschiedenen betrachteten Verfahren bezüglich ihrer Konvergenz vergleichen. Zunächst kommen wir dabei auf unser anfängliches Minimalbeispiel aus Kapitel 4 zurück und ergänzen dies mithilfe der soeben erhaltenen Ergebnisse für die Relaxationsverfahren. Beispiel 6.. Betrachten wir erneut das lineare Gleichungssystem aus Beispiel 4.9, so erhalten wir aus den reellen Eigenwerten der Iterationsmatrix G J des Jacobi-Verfahrens λ = , λ = 0, λ 3 = mit λ λ λ 3, dass nach Satz 5. der optimale Relaxationsparameter für das Jacobi-Relaxationsverfahren ω opt,j = λ λ 3 = ( ) ( ist, das Jacobi-Verfahren ist also bereits optimal gewichtet. 4 ) = 39 = 5 Da es sich bei der Matrix A um eine Tridiagonalmatrix handelt, ist diese nach Beispiel 5.7 konsistent geordnet. Mit Satz 5.9 folgt also, dass der optimale Relaxationsparameter für die SOR-Methode durch ω opt,sor = + ρ(g J ) = = gegeben ist. Wegen Bemerkung 5.0 wählen wir ω =. und erhalten den in Abbildung 6. abgebildeten Fehlerverlauf vom Gauß-Seidel- und SOR-Verfahren im Vergleich, wieder vom Startvektor x (0) = (0, 0, 0) T ausgehend. 4