Jacobi- und Gauß-Seidel-Verfahren, Jacobi-Relaxationsverfahren

Transkript

1 Universität Hamburg SS 2005 Proseminar Numerik Leitung: Prof. W. Hofmann Vortrag von Markus Stürzekarn zum Thema: Jacobi- und Gauß-Seidel-Verfahren, Jacobi-Relaxationsverfahren Gegeben sei ein lineares Gleichungssytem in der Form Ax = b mit A C n n und b C n. Die Grundidee der vorgestellten iterativen Methoden zur Lösung des Systems ist eine Zerlegung der Matrix A nach folgendem Schema: A = B + (A B), B C n n Somit ist das LGS äquivalent zu: (B + (A B))x = b Bx = (B A)x + b Ist die Matrix B regulär, so erhält man: x = B 1 (B A)x + B 1 b und die Lösung des LGS ist Fixpunkt der vektorwertigen Funktion f : C n C n, x f(x) = B 1 (B A)x + B 1 b. Nach dem Verfahren der sukzessiven Iteration iteriert man also gemäß = B 1 (B A)x m + B 1 b, (1) um das LGS Ax = b zu lösen. Aufgrund der Zerlegung der Matrix A wird dieser Ansatz auch als Splitting-Methode bezeichnet. 1. Jacobi-Verfahren Das Jacobi-Verfahren mit regulärer Matrix A C n n setzt zur iterativen Lösung eines LGS voraus, dass für die Diagonalelemente von A gilt: 0, i = 1,..., n Gemäß (1) setzen wir B := D := diag(a) mit der regulären Diagonalmatrix D, die einfach zu invertieren ist. Das führt zum 1

2 Jacobi-Verfahren: = D 1 (D A) x m + D } {{ } } {{ 1 } b := G J (x m ) (2) =:M =:N J J Die Matrix M J wird Iterationsmatrix des Jacobi-Verfahrens genannt. Insgesamt haben wir für die Iterierten x m folgende Komponentenschreibweise: i = 1 b i a i x m für i = 1,..., n und m = 0, 1, 2,... (3) Die neue Iterierte wird also ausschließlich mit der alten Iterierten x m berechnet, weshalb diese Methode auch als Gesamtschrittverfahren bezeichnet wird. G J ist eine Abbildung des C n in sich. Die für die Existenz einer Lösung notwendige Selbstabbildungseigenschaft ist also gemäß dem Fixpunktsatz von Banach erfüllt. Damit das Jacobi- Verfahren gegen die Lösung des LGS konvergiert, muss zusätzlich die Konktraktionseigenschaft gelten. Für einander zugeordnete oder zumindestens passende Matrix- und Vektornormen gilt: G J (x) G J (y) = M J x + N J b (M J y + N J b) = M J x M J y = D 1 (D A)(x y) D 1 (D A) (x y) x, y C n Findet man also Matrixnormen, so dass D 1 (D A) = M J < 1 gilt, so ist die Kontraktionseigenschaft erfüllt und das Jacobi-Verfahren konvergiert für eden beliebigen Startwert gegen die Lösung. In der Numerikvorlesung wurde das folgende notwendige und gleichzeitig hinreichende, aber schwer nachzuprüfende Kriterium für die Existenz einer Matrixnorm mit M < 1 für M C n n bewiesen: Satz 1.1: Es gibt genau dann eine einer Vektornorm zugeordnete Matrixnorm mit M < 1 für M C n n, wenn gilt wobei ρ(m) < 1, ρ(m) := max i { λ i : λ i = Eigenwert von M} der betragsmäßig größte Eigenwert von M ist. Zum Beweis verweise ich auf das Numerik-Skript von Prof. Hofmann, S.156/157. ρ(m) wird auch der Spektralradius von M genannt. Je kleiner dieser ist, desto schneller konvergiert ein Verfahren, wenn M dessen Iterationsmatrix ist. Im folgenden Satz sind für drei bekannte Matrixnormen einfacher nachzuprüfende Kriterien zusammengefasst, die hinreichend, edoch nicht notwendig für die Konvergenz sind: 2

3 Satz 1.2: Erfüllt die reguläre Matrix A C n n mit 0, i = 1,..., n das starke Zeilensummenkriterium q := max i=1,...,n oder das starke Spaltensummenkriterium q 1 := max,...,n oder das Quadratsummenkriterium i=1 i a i < 1 a i < 1 q 2 := i, i ( ) 2 ai < 1 dann konvergiert das Jacobi-Verfahren bei beliebigem Startvektor x 0 und für beliebige rechte Seite b C n gegen A 1 b. C n In vielen Anwendungen erfüllt die Matrix A nicht das starke, sondern nur das schwache Zeilensummenkriterium, was wie folgt definiert ist: Definition 1.3: Eine Matrix A C n n erfüllt das schwache Zeilensummenkriterium, wenn gilt: a) a i 1, i = 1,..., n b) Es existiert mindestens eine Zeile i {1,..., n} mit a i < 1. Erfüllt die Matrix A edoch gewisse Voraussetzungen, so kann auch für diesen Fall die Konvergenz nachgewiesen werden. Dazu definieren wir die Zerlegbarkeit einer Matrix: Definition 1.4: Eine Matrix A C n n heißt zerlegbar, wenn es nichtleere Teilmengen N 1 und N 2 von N := {1, 2,..., n} gibt mit: a) N 1 N 2 = b) N 1 N 2 = N c) für edes r N 1 und edes s N 2 gilt a rs = 0 A heißt unzerlegbar, wenn A nicht zerlegbar ist. 3

4 Die Eigenschaft der Unzerlegbarkeit einer Matrix ist gemäß der Definition also ausschließlich von der Besetzungsstruktur dieser abhängig. Die Frage der Konvergenz des Jacobi-Verfahrens im Falle der Erfüllung des schwachen Zeilensummenkriteriums wird mit dieser Definition nun beanwortet durch folgenden Satz: Satz 1.5: Ist eine Matrix A C n n unzerlegbar und erfüllt sie das schwache Zeilensummenkriterium, so konvergiert das Jacobi-Verfahren bei beliebigem Startvektor x 0 C n und für beliebige rechte Seite b C n gegen A 1 b. Für den Beweis des Satzes benötigen wir u.a. den Satz von Gerschgorin, der in der Numerikvorlesung bewiesen wurde und der hier nochmals zitiert wird: Satz von Gerschgorin: Sei die Matrix A C n n, dann gilt: a) Alle Eigenwerte liegen in der Vereinigung der Kreise Z i := z C : z a i b) Alle Eigenwerte liegen in der Vereinigung der Kreise S := z C : z a a i c) Jede Zusammenhangskomponente von Z i oder S enthält genau so viele Eigenwerte, wie Kreise an der Komponente beteiligt sind. Der Beweis ist im Numerik-Skript von Prof. Hofmann auf S.175/176 zu finden. Es folgt der Beweis von Satz 1.5: Die Matrix A C n n erfülle das schwache Zeilensummenkriterium und sei unzerlegbar. Da alle Diagonalelemente der Iterationsmatrix M J des Jacobi-Verfahrens gleich 0 sind und somit nach Gerschgorin alle Z i und S den Mittelpunkt 0 haben, gilt für M J : Z i = z C n : z 0 a i 1, i = 1,..., n Außerdem müssen alle Eigenwerte auch in {Z i } {S } liegen, also folgt, dass alle Eigenwerte von M J betragsmäßig auf keinen Fall größer als 1 sein können und somit einen Betrag kleiner gleich 1 aufweisen müssen. Somit bleibt zu zeigen, dass kein Eigenwert von M J den Betrag 1 hat, wodurch nach Satz 1.1 die Konvergenz folgen würde, da dann der betragsmäßig größte Eigenwert von M J echt kleiner als 1 ist. Annahme: Es gibt einen Eigenwert λ C von M J mit λ = 1. Sei v Eigenvektor zum Eigenwert λ mit v = 1. Wir bilden die beiden Indexmengen i=1 i N 1 := { i i N, x i = 1} und N 2 := N\N 1, 4

5 wobei N wie in Definition 1.4 gewählt ist. Wegen M J v = λv gilt für alle i N: a i v = λv i und somit folgt wegen λ = 1 und v = 1: v i = λ v i a i v a i 1 (4) Ist i N 1, so gilt v i = 1, für diese i steht also in (4) überall Gleichheit. Da nach Voraussetzung das schwache Zeilensummenkriterium gilt, muss es nach Defintion 1.3 ein k N geben, so dass k a k a kk < 1 gilt, woraus folgt, dass für dieses k auch v k < 1 gilt, wie man aus (4) abliest. Daraus folgt N 2, denn k N 2. Weiterhin ist A per Voraussetzung unzerlegbar, was nun bedeutet: r N 1, s N 2 mit a rs 0, denn sonst wäre A zerlegbar. Für dieses r N 1 und s N 2 gilt nun aber wegen s N 2 und a rs 0: a rs a rr v s < a rs a rr, wodurch ein Summand aus (4) echt vergrößert wird und somit dort keine Gleichheit stehen kann. Dies ist aber ein Widerspruch dazu, dass für alle i N 1, also insbesondere auch für i = r, in (4) Gleichheit gilt. Unter der Voraussetzung, dass A unzerlegbar ist und dem schwachen Zeilensummenkriterium genügt, kann es also keinen Eigenwert λ C von M J mit λ = 1 geben. 2. Gauß-Seidel-Verfahren Ausgehend vom Jacobi-Verfahren betrachten wird dessen Komponentenschreibweise (3) und gehen wie folgt vor: Zuerst wird die erste Komponente 1 der neuen Iterierten mittels 1 = 1 b 1 a 1 x m a 11 berechnet. Zur Berechnung der zweiten Komponenten 2 setzen wir 1 anstelle von x m 1 in (3) ein und erhalten: 2 = 1 b 2 a 21 1 a 2 x m a 22 Die dritte Komponente 3 ergibt sich, indem wir 1 sowie 2 anstelle von x m 1 und in (3) einsetzen. Wir erhalten: x m 2 3 = 1 a 33 b =2 a 3 =3 a 3 x m =4

6 Wir führen dies fort und somit ergibt sich für die i-te Komponente des Gauß-Seidel-Verfahrens folgende Schreibweise: i = 1 i 1 b i a i =i+1 a i x m für i = 1,..., n und m = 0, 1, 2,... (5) Dieses Verfahren zieht zur Berechnung der i-ten Komponente der neuen Iterierten also neben den Komponenten der alten Iterierten x m die (i 1) bereits bekannten Komponenten der neuen Iterierten heran. Deshalb wird auch die Bezeichnung Einzelschrittverfahren verwendet. Zur Ermittlung der Matrixschreibweise formen wir (5) um zu: 1 i 1 a i 1 i + i = 1 a i = 1 b i b i =i+1 =i+1 a i x m a i x m i a i = =i+1 a i x m + b i (6) Wir zerlegen die Ausgangsmatrix A des LGS gemäß A = L + R + D, wobei L = (l i ) i,,...,n mit l i = eine strikte linke untere Dreiecksmatrix, R = (r i ) i,,...,n mit r i = { ai, i > 0, sonst { ai, i < 0, sonst eine strikte rechte obere Dreiecksmatrix ist und D wie vorher als D = diag(a) gewählt wurde. Somit ist (6) die Komponentenschreibweise folgender Gleichung: Wir formen um und erhalten das (D + L) = Rx m + b Gauß-Seidel-Verfahren: = (D + L) 1 R x m + (D + L) 1 b := G G (x m ) (7) } {{ } } {{ } =:M G =:N G Analog zum Jacobi-Verfahren sind Kontraktionseigenschaft und somit auch Konvergenz dann gesichert, wenn man Matrixnormen findet, so dass (D + L) 1 R = M G < 1 gilt. Da edoch die Matrix (D + L) nicht so einfach wie zuvor die Matrix D zu invertieren ist, wäre das Nachprüfen der zu Satz 1.1 analogen Kriterien auch deutlich aufwendiger. Dass edoch das starke Zeilensummenkriterium auch für die Konvergenz des Gauß-Seidel-Verfahren hinreichend ist, zeigt folgender Satz, der in der Numerikvorlesung bewiesen wurde. 6

7 Satz 2.1: Erfüllt die reguläre Matrix A C n n mit 0, i = 1,..., n das starke Zeilensummenkriterium q := max i=1,...,n a i < 1 so konvergiert das Gauß-Seidel-Verfahren bei beliebigem Startvektor x 0 C n und für beliebige rechte Seite b C n gegen A 1 b. Der Beweis ist ebenfalls im Numerik-Skript von Prof. Hofmann zu finden, siehe S.153/154. Im Allgemeinen konvergiert das Gauß-Seidel-Verfahren öfter und schneller als das Jacobi- Verfahren, da es bereits errechnete Komponenten der nächsten Iterierten, also bessere Näherungen, noch im gleichen Schritt weiterverwendet. 3. Relaxationsverfahren Unser Ziel ist es in diesem Abschnitt, eine Verbesserung der Konvergenzgeschwindigkeit des Jacobi-Verfahrens zu erreichen. Ausgehend vom allgemeinen Fall (1) formen wir = B 1 (B A)x m + B 1 b, durch Ausmultiplizieren und Ausklammern von B 1 um zu: = x m + B 1 (b Ax m ) } {{ } =:r m Man kann also als Korrektur von x m unter dem Vektor r m verstehen. Die Grundidee der Relaxationsverfahren ist nun eine Gewichtung des Vektors r m mit einem ω R + : = x m + ωb 1 (b Ax m ) (8) Dadurch wird die Lösung des LGS nicht beeinflusst, denn der gesuchte Fixpunkt ˆx von (1) ist ebenfalls Fixpunkt von (8) und somit Lösung des LGS, was man durch Einsetzen nachprüft. Wir formen etzt (8) um und erhalten: = (I ωb 1 A) x m + ωb } {{ } } {{ 1 } b (9) =:M(ω) =:N(ω) Wir suchen nun die bestmögliche Gewichtung von r m, das heißt das optimale ω, so dass der Spektralradius der Iterationsmatrix M(ω) minimal wird. Wir bestimmen ω also gemäß: ω = min α R + ρ(m(α)) Der Gewichtungsfaktor ω wird auch Relaxationsparameter genannt und (9) wird für ω < 1 als Unterrelaxationsverfahren und für ω > 1 als Überrelaxationsverfahren bezeichnet. 7

8 3.1 Jacobi-Relaxationsverfahren Ersetzen wir in (8) wie im Jacobi-Verfahren die Matrix B durch D, so erhalten wir = x m + ωd 1 (b Ax m ), (10) woraus analog zu (9) folgendes Verfahren hervorgeht: Jacobi-Relaxationsverfahren: = (I ωd 1 A) x m + ωd } {{ } } {{ 1 } b (11) =:M J (ω) =:N J (ω) Die Komponentenschreibweise des Verfahrens wird durch (10) geliefert: i = x m i + ω b i a i x m = (1 ω)x m i + ω b i a i x m für i = 1,..., n und m = 0, 1, 2... (12) Der folgende Satz beantwortet die Frage nach dem optimalen Relaxationsparameter ω: Satz 3.1.1: Die Iterationsmatrix des Jacobi-Verfahrens M J habe nur reelle Eigenwerte λ 1... λ n mit den zugehörigen linear unabhängigen Eigenvektoren u 1,..., u n und es gelte ρ(m J ) < 1. Dann besitzt die Iterationsmatrix M J (ω) des Jacobi-Relaxationsverfahrens die Eigenwerte µ i = 1 ω + ωλ i für i = 1,..., n, und es gilt ω opt =: ω = min α R + ρ(m J(α)) = 2 2 λ 1 λ n Beweis: Zunächst wird die erste Aussage bewiesen. Mit (11) und D 1 (D A)u i = D 1 (L + R)u i = M J u i = λ i u i für i = 1,..., n erhalten wir für die Eigenwerte der Iterationsmatrix M J (ω) des Jacobi-Relaxationsverfahrens: M J (ω)u i = (I ωd 1 A)u i = ( I ω(d 1 (L + R) + D 1 D) ) u i = ( I ωi ωd 1 (L + R) ) u i = ( (1 ω)i ωd 1 (L + R) ) u i = (1 ω + ωλ i )u i für i = 1,..., n Aufgrund der linearen Unabhängigkeit der Eigenvektoren u 1,..., u n existieren keine weiteren Eigenwerte. 8

9 Es folgt der Beweis der zweiten Aussage: Gemäß den Voraussetzungen des Satzes und wegen ω R + gilt für die Eigenwerte µ i (ω) = 1 ω + ωλ i, i = 1,..., n, der Iterationsmatrix M J (ω) des Jacobi-Relaxationsverfahrens: µ 1 (ω)... µ n (ω) (13) Um den betragsmäßig größten Eigenwert von M J (ω) möglichst klein zu halten, liegt die Idee Nahe, ω so bestimmen, dass kleinster und größter Eigenwert µ 1 (ω) und µ n (ω) von M J (ω) symmetrisch zum Nullpunkt verteilt sind, sie also den selben Betrag aufweisen. Folgende Bedingung wird also an den optimalen Relaxationsparameter ω gestellt: Durch (13) und (14) werden folgende Aussagen impliziert: µ n (ω ) = µ 1 (ω ) (14) µ 1 (ω ) < 0 < µ n (ω ) (15) Aus (14) erhalten wir: µ 1 (ω ) = µ n (ω ) = ρ(m J (ω )) (16) µ n (ω ) = 1 ω + ω λ n = (1 ω + ω λ 1 ) = µ 1 (ω ) Wir lösen nach ω auf und erhalten wie im Satz: ω = 2 2 λ 1 λ n > 0 Jetzt müssen wir noch die Optimalität von ω nachweisen. Sei ω > ω. Somit folgt mit (15) für µ 1 (ω) und µ 1 (ω ) : Hieraus folgt mit (16): µ 1 (ω) = 1 ω (1 λ 1 ) < 1 ω (1 λ 1 ) = µ 1 (ω ) < 0 } {{ } >0 ρ(m J (ω)) µ 1 (ω) > µ 1 (ω ) = ρ(m J (ω ) Sei nun ω < ω. Analog zu vorher folgt mit (15) für µ n (ω) und µ n (ω ) : µ n (ω) = 1 ω (1 λ n ) > 1 ω (1 λ n ) = µ n (ω ) > 0 } {{ } >0 Hieraus folgt analog zu vorher mit (16): ρ(m J (ω)) µ n (ω) > µ n (ω ) = ρ(m J (ω ) Damit ist der Satz bewiesen, denn für edes beliebige ω ω gilt was gleichbedeutend ist mit: ρ(m J (ω)) > ρ(m J (ω ), ω = ω opt = min ω R + ρ(m J(ω)) 9

10 Wir verdeutlichen noch den Verlauf der Relaxationsfunktion f ω : R R, λ f ω (λ) = 1 ω + ωλ, für nichtoptimale Parameter ω 1 und ω 2 sowie für den optimalen Parameter ω bezüglich gegebener Eigenwerte λ 1 und λ n ( 1, 1). Für die Relaxationsfunktion gilt per Definition f ω (λ i ) = µ i (ω), i = 1,..., n, wodurch man die Wahl von ω durch die Bedingung (14) in der Zeichnung ablesen kann. f ω. 1. f ω (λ n ) 1 f ω1. λ 1 1. λ n f ω2 f ω (λ 1 ) f ω 1 λ 4. Abschließender Vergleich Zum Schluss wollen wir die drei vorgestellten Verfahren anhand eines einfachen Beispiels vergleichen. Wir setzen: A := sowie b := A erfüllt das schwache Zeilensummenkriterium und die Lösung des LGS Ax = b ist offensichtlich x = (1, 2, 3) T. 1) Jacobi-Verfahren: Die Eigenwerte der Iterationsmatrix M J lauten λ , λ und λ und somit gilt für den Spektralradius ρ(m J ) = λ ) Gauß-Seidel-Verfahren: Die Eigenwerte von M G lauten hier κ 1 = 0, κ und κ und für den Spektralradius gilt ρ(m G ) = κ

11 3) Jacobi-Relaxationsverfahren: Wir erhalten den optimalen Parameter ω gemäß Satz aus den Eigenwerten des Jacobi- Verfahrens: ω = 2 2 λ 1 λ Somit gilt für die Eigenwerte von M J (ω ) nach Satz 3.1.1: µ i = 1 ω + ω λ i, i = 1, 2, 3 = µ 1 = µ , µ Hieraus erhält man den Spektralradius von M J (ω ) als ρ(m J (ω )) = µ 1 = µ Es ist also zu erwarten, dass das Gauß-Seidel-Verfahren in diesem Fall am schnellsten konvergiert, da hier der Spektralradius der Iterationsmatrix mit Abstand am kleinsten ist. Auffällig ist, dass die Wahl von ω bereits zu einer deutlichen Verkleinerung des Spektralradius geführt hat und somit für das Jacobi-Relaxationsverfahren eine deutlich schnellere Konvergenz als im Jacobi-Verfahren erwartet werden kann, für das wir eher mit langsamer Konvergenz rechnen. Der Iterationsverlauf der drei Verfahren wird in der folgenden Tabelle für den Startvektor x 0 = (10, 10, 10) T aufgezeigt: Jacobi-Verfahren Gauß-Seidel-Verf. Jacobi-Relaxationsv. m x m 1 x m 2 x m 3 x m 1 x m 2 x m 3 x m 1 x m 2 x m Wie zuvor vermutet, konvergiert das Jacobi-Verfahren äußerst langsam, das Jacobi-Relaxationsverfahren schon deutlich schneller und das Gauß-Seidel-Verfahren schließlich am schnellsten. Um eine Genauigkeit von A 1 b x m < 10 6 zu erreichen, braucht das Jacobi- Verfahren hier 194 Iterationen, das Gauß-Seidel-Verfahren 17 Iterationen und das Jacobi- Relaxationsverfahren 42 Iterationen. Literatur [1] Andreas Meister, Numerik linearer Gleichungssysteme (1999, Vieweg): Abschnitt [2] Wolf Hofmann, Numerische Mathematik (SS 2004 / WS 2005, Universität Hamburg): 11 Iterative Lösung linearer und nichtlinearer Gleichungen [3] H. Werner, R. Schaback, Numerische Mathematik (2001, Universität Göttingen): S , 11