Numerische Behandlung von linearen Gleichungssystemen

Transkript

1 Numerische Behandlung von linearen Gleichungssystemen Der Gauÿ'sche Algorithmus Der Gauÿ'sche Algorithmus ist schon besprochen worden. Er eignet sich zwar prinzipiell gut zur Bestimmung der Lösung eines linearen inhomogenen Gleichungssystems von der Form A x = b, bei der praktischen numerischen Behandlung treten aber einige Probleme auf, die durch verfeinerte Methoden vermieden bzw. gemindert werden können. Zum Beispiel ist im Fall A GL(n; R die Anzahl der zur Gewinnung einer Lösung mit Hilfe der inversen Matrix A in der Form x = A b notwendigen Schritte noch relativ hoch. Man beachte, daÿ man in den meisten Fällen bei der Bestimmung der Lösung eines inhomogenen Gleichungssystems gar nicht alle Elemente der inversen Matrix A kennen muÿ, man interessiert sich ja nur für die Lösung. Die erweiterte Koezientenmatrix wird dabei durch elementare Zeilenumformungen auf Zeilenstufenform gebracht, wobei auch der Vektor b eine Veränderung erfährt. Dies ist zum Beispiel dann sehr arbeitsintensiv, wenn man wie es in der Praxis oft der Fall ist eine Reihe von Gleichungssystemen mit derselben Koezientenmatix A aber unterschiedlichem Vektor b lösen möchte. 2 Die LRZerlegung einer Matrix Um die Lösung von A x = b mit A GL(n; R, b R n ( mit Hilfe von A berechnen zu können, benötigt man i.a. n 3 wesentliche Rechenoperationen (= Multiplikationen bzw. Divisionen. Mit der im Folgenden beschriebenen Methode kann der Rechenaufwand auf ca. n 3 /3 Operationen gesenkt werden. 2. LRZerlegung ohne Zeilenvertauschung Voraussetzung: Die Matrix A M(m n; R kann durch elementare Zeilenumformungen ohne Zeilenvertauschung auf Zeilenstufenform gebracht werden: A B s... B A = R B i... Elementarmatrizen vom Typ Q j i (λ (entspricht der Addition der λ-fachen j-ten Zeile zur i-ten Zeile R... Matrix von rechter oberer Dreiecksform

2 2 2 LRZERLEGUNG Setze L := B s... B Bemerkung: L ist als Produkt von unteren Dreiecksmatrizen (= untere Matrizen wieder eine untere Matrix L ist wieder invertierbar, L ist wieder eine untere Matrix (Beachte: (Q j i (λ = Q j i ( λ = A = L R = L R Zerlegung von A in ein Produkt einer linken unteren Matrix L mit einer rechten oberen Matrix R. Bemerkung: Zeilenvertauschungen sind dann notwendig, wenn in einer Spalte an der Stelle, an der ein neue Stufenkante (=Pivot entstehen soll, eine Null steht. Denition: Für A M(m n; R und k =,..., min(m, n, bezeichnen wir mit A k M(k k; R die linke obere Teilmatrix von A. Ihre Determinante deta k heiÿt Hauptminor von A. Satz : Sind alle Hauptminoren von A M(m n; R ungleich Null, so besitzt A eine LRZerlegung. Beispiel: Hier sei A M(3 4; R A = = {{ L {{ R Beachte: Die negativen Faktoren, die beim Gauÿ'schen Algorithmus zur Gewinnung von R notwendig waren, treten in den entsprechenden Spalten von L auf! Begründung: Als Übungaufgabe. Zusammenfassung: A M(m n; R läÿt sich unter der in Satz angegebenen Voraussetzung gemäÿ A = L R zerlegen, wobei gilt: R M(m n; R... rechte obere Matrix L GL(m; R... linke untere Matrix Bemerkung: Die Faktorisierung ist nicht symmetrisch, L enthält in der Hauptdiagonalen lauter er, R = (r ij enthält dort die Pivots d i, die i.a. sind.

3 2.2 Anwendung 3 Ausweg: d r 2 /d r 3 /d r n /d 0 d r 23 /d 2 R = {{ d m 0 {{ =:D =: ˆR = A = L D ˆR Bemerkung: Die Matrizen L, D und ˆR sind in diesem Fall eindeutig bestimmt. 2.2 Anwendung Praktisches Lösen von Gleichungssystemen der Form A x = b mit A M(m n; R: = 2 Gleichungssysteme A x = b = L {{ R x = b =:y L y = b und R x = y (2 2 Schritte: (i Löse L y = b beginnend bei der ersten Gleichung, dann (ii löse R x = y beginnend bei der letzten Gleichung. Vergleich des Rechenaufwandes für ein System ( mit A GL(n; R: Gauÿ'scher Algorithmus direkt: 2 n3 + 2 n2 wesentliche Operationen, Mit Hilfe der LRZerlegung: 3 n3 3n wesentliche Operationen für die LRZerlegung und n 2 Operationen für das Lösen der Systeme (2. Hinweise:. Für L und R muÿ nicht extra Speicherplatz reserviert werden. Ihre Elemente können in einer Matrix abgespeichert werden, da ja nur 2 Matrizen benötigt werden. 2. Dieses Lösungsverfahren ist besonders dann interessant, wenn es sich um p Systeme von Gleichungen der Form A x i = b i, i =,..., p handelt, bei denen sich die Matrix A nicht ändert. Die LRZerlegung ist dann nur einmal notwendig! Bei 0 Systemen mit n = 00 liegt der Unterschied schon bei Operationen.

4 4 2 LRZERLEGUNG 2.3 LRZerlegung mit Zeilenvertauschung Beispiel: A = R = P 2 3 Q 3( Q 2( 2 A = R Hätte man im System Ax = b von vornerherein die 2. und die 3. Gleichung vertauscht, so wäre der Gauÿ'sche Algorithmus ohne Zeilenvertauschung möglich gewesen. P... Permutationsmatrix, die die notwendigen Zeilenvertauschungen bewirkt. = P A = L R d.h. P A kann jetzt ohne Zeilenvertauschung in ein Produkt LR zerlegt werden. Für das Gleichungssystem bedeutet dies: Man hat also die Systeme sukzessive zu lösen. P Ax = b = {{ P A x = P b = LRx = P b LR Ly = P b und Rx = y Satz 2: Zu jeder regulären Matrix A existiert eine Permutationsmatrix P, so daÿ P A in das Produkt LR zerlegt werden kann. 2.4 Cholesky Zerlegung Für eine quadratische, symmetrische und positiv denite Matrix A M(n n kann man auch eine Zerlegung in der Form A = L L T angeben, wobei L M(n n eine linke untere Dreiecksmatrix ist und L T die zu L transponierte Matrix bezeichnet. Die Elemente l ik von L können der Reihe nach spaltenweise berechnet werden, wobei man bei der ersten Spalte beginnt. Für die Berechnung der Elemente der k-ten Spalte lauten die Formeln a für k = l kk = a kk k lkµ 2 für k = 2,..., n l ik = a i l µ= a ik k l iµ l kµ µ= l kk für für k = i = 2,..., n k = 2,..., n i = k +,..., n

5 5 3 Anwendungen Ziele:. An Hand eines einfachen Beispiels aus dem Bereich der Dierentialgleichungen soll die Herkunft groÿer Gleichungssystem aufgezeigt werden. 2. Es soll gezeigt werden, welche speziellen Eigenschaften die Koezientenmatrizen oft haben (z.b. Bandmatrizen. Beispiel: Gesucht ist eine Funktion u C 2 [0, ] mit der Bedingung wobei f eine vorgelegte Funktion sei. d2 u = f(x für x [0, ] (3 d x2 Bemerkung:. Dieses Problem kann natürlich sofort mit den Mitteln der Analysis gelöst werden, es soll aber hier als einfaches Beispiel für die Gewinnung eines diskreten Problems (= lineares Gleichungssystem dienen. 2. Ist u(x eine Lösung von (3, so ist auch Lösung. Mit den Randwerten v(x = u(x + C + Dx, C, D R u(0 = 0, u( = 0 wird u eindeutig festgelegt (= ZweiPunktRandwertproblem. 3. Dieses RWP entspricht dem Wärmeleitungsproblem in einem Stab der Länge mit den beiden Enden auf der Temperatur 0 o und vorgegebener Wärmequelle f(x. Wir approximieren dieses Problem durch ein diskretes Problem: Wir suchen nicht nach den Funktionswerten von u in allen Punkten von [0, ] (dies würde jeden Computer überfordern, sondern nur nach den Funktionswerten an diskreten Stellen des Intervalls. Dazu wird das Intervall [0, ] in n + Teilintervalle unterteilt: [0, ] = [0, h] [h, 2h]... [n h, (n + h] Die Funktion f sei an den Zwischenstellen (= Stützstellen x k = k h, k = 0,..., n +, mit x 0 = 0, x n+ = (n + h = gegeben. Wir können nun näherungsweise die wahren Werte von u an diesen Stellen berechnen. Bezeichnungsweise:

6 6 3 ANWENDUNGEN u 0 = u(0 = 0 u = u( h. u n = u(n h u n+ = u((n + h = 0 Approximation der Ableitung d2 u d x 2 : Jede Ableitung ist der Grenzwert eines Dierenzenquotienten: Wir approximieren nun: oder d u u(x u(x h d x h d u d x = lim u(x + h u(x h 0 h d u u(x + h u(x d x h oder d u u(x + h u(x h d x 2h Wegen ihrer Symmetrie wählen wir die letzte Näherung. Für die Approximation der zweiten Ableitung sei nur eine der vielen Möglichkeiten angegeben: d 2 u dx 2 = d dx = ( d u d x u (x + h u (x ( h u(x + h u(x u(x u(x h / h h h u(x + h 2u(x + u(x h h 2 An der Stelle x k = k h wird die Dierentialgleichung (3 jetzt durch die diskrete Gleichung approximiert, d.h. man erhält u(x k + h 2u(x k + u(x k h h 2 = f(x k u k+ + 2u k u k = h 2 f(x k, k =,..., n. Das sind nun n lineare Gleichungen für die n Unbestimmten u,..., u n. Die erste und die letzte Gleichung enthalten noch u 0 bzw. u n+, die aber bekannt sind.

7 7 Speziell: Wähle n = 5, d.h. h = /6 k = : =0 {{ u 2 + 2u u 0 = 6 2 f( 6 k = 2 : u 3 + 2u 2 u = 6 2 f(2 6. k = 5 : u {{ 6 +2u 5 u 4 = 6 2 f(5 6 =0 In Matrizenschreibweise: u u 2 u 3 u 4 u 5 f( 6 = 6 2. f( 5 6 Die Koezientenmatrix A hat (auch für den Fall n N folgende Eigenschaften:. A = (a ij ist tridiagonal, d.h. alle Elemente auÿerhalb der Hauptdiagonalen und der beiden anschlieÿenden Nebendiagonalen sind Null (= Bandmatrix, d.h. a ij = 0 für i j > 2. A ist symmetrisch, d.h. t A = A. Dies ist nicht der Fall, wenn in der Dierentialgleichung Ableitungen ungerader Ordnung (u bzw. u etc. auftreten. 3. A ist positiv denit. Bemerkung: (Siehe Lineare Algebra 2 Eine symmetrische Matrix A M(n n; R heiÿt positiv denit genau dann, wenn eine der folgenden Bedingungen erfüllt ist:. t x A x > 0 x R n, x Alle Eigenwerte λ i von A sind > 0. (Der Begri Eigenwert wird in LA2 behandelt werden. 3. Alle Teilmatrizen A k, k = 0,..., n, besitzen eine positive Determinante, d.h. alle Hauptminoren sind > Alle Pivots d i (ohne Zeilenvertauschung sind positiv, d.h. d i > 0. Gauÿ'sches Verfahren auf A angewandt: 2 3/2 A 2 2 2

8 8 3 ANWENDUNGEN ist wieder tridiagonal! Weitere Eliminationsschritte liefern wieder Marizen mit derselben Eigenschaft: = A = {{ 4 5 L {{ D {{ R Anmerkung: A = L D R... LRZerlegung von A L, R sind bidiagonal, sie liegen in derselben Bandbreite, wie A t L = R Die Pivots d i in D sind alle positiv, ferner gilt lim i 0 d i = n d i = deta = 6 i= Das sind Eigenschaften, die für numerische Verfahren sehr vorteilhaft sind. Rechenaufwand: Will man ein lineares Gleichungssystem mit einer tridiagonalen Matrix lösen, so ist der Rechenaufwand N Band = 2 (3n 2 3 Mult./Div. hingegen benötigt man bei einer voll besetzte Matrix N Voll = 3 (n3 + 3n 2 n Mult./Div. Für ein typisches Problem mit n = 50 hat man N Voll. 0 6 gegenüber N Band 300 Beispiel: u = 4π 2 sin 2πx u(0 = u( = 0 a Wähle n = 3, d.h. h = u u 2 u 3 = 2π

9 9 = u = π2 8, u 2 = 0, u 3 = π2 8 Im linken Bild sind die drei Funktionswerte durch gerade Stecken verbunden. Vergleich mit der exakten Lösung (rechtes Bild: u(x = sin 2πx b Wähle n = 9, d.h. h = 0. Die Berechnung führt auf die in obigem mittleren Bild strichliert gezeichnete Kurve. 4 Rundungsfehler, Pivotstrategien In einem Rechner wird jede reelle Zahl a in Form einer Gleitkommazahl abgespeichert, z.b. a = {{ 0 {{ 9 Mantisse Exponent Dabei ist die Mantisse eine vorzeichenbehaftete tstellige Zahl, wobei Taschenrechner: t = 0 PC (Matlab: t = 6 I.a. wird jede Zahl a R gerundet angegeben, speziell Meÿdaten. Denition: [a + b] bezeichnet die auf t Stellen gerundete Gleitkommazahl der Summe von a und b. Dierenz, Produkt, Quotient analog. = Rundungsfehler Beispiel: t = 2 [ ] = 0.33, 3 Berechne: ( [ ] 2 = 0.67, [ ] = [.34] =.3 3 [ ] = [0.97] = 0.97!!

10 0 4 RUNDUNGSFEHLER, PIVOTSTRATEGIEN 4. Auswahl geeigneter Pivots Bemerkung: Manche Matrizen sind extrem sensibel gegenüber kleinen Änderungen ihrer Elemente, andere wiederum nicht. Beispiel: A = ( , B = A ist sensibel, man sagt auch schlecht konditioniert B ist gut konditioniert ( A ist fastÿingulär (deta = 0.000, ändert man a 22 auf.0 ab, so ist deta = 0 B ist regulär. Ein Maÿ dafür, wie gut eine Matrix konditioniert ist, stellt die Konditionszahl cond(a dar (siehe Lineare Algebra 2: cond(a 4000, cond(b 4 Betrachte zwei verschieden rechte Seiten für das Gleichungssystem A x = b : ( ( 2 b =, b 2 = System: u + v = 2 u v = 2 = u = 2 v = 0 2. System: u + v = 2 u v = = u = v = Bemerkung: Eine Änderung in der 5. Stelle der 2. Komponente von b hat eine Vergröÿerung der Änderung in der ersten Stelle von u und v zur Folge. Keine numerische Methode kann diese Sensibilität gegenüber kleinen Änderungen in den Daten verkleinern! Bemerkung: Auch eine gut konditionierte Matrix kann durch einen schlechten Algorithmus ruiniert werden! Beispiel: B x = c mit c = t (, 2 Schlecht: Gauÿ'scher Algorithmus unmittelbar angewandt: ( u + v = = u + v = Rundung auf 3 Dezimalen liefert: v = = v ger = = v exakt =

11 4.2 Skalierung der Gleichungen d.h. v ger ist korrekt auf 3 Dezimalen.. Gleichung ungerundet:. Gleichung gerundet: u = = u exakt = u + = = u ger = 0!! u ger ist gänzlich falsch! Obwohl B gut konditioniert ist, ist das direkte Verfahren extrem instabil! Zerlegung von B: ( ( ( B = {{ L {{ D 0 {{ R Achtung: Die Pivots sind von extrem unterschiedlicher Gröÿenordnung! Der kleine Pivot brachte das Malheur. Abhilfe: Zeilenvertauschung. Bemerkung: So wie ein Null-Pivotëine Zeilenvertauschung erfordert, so erfordert ein sehr kleiner Pivot eine praktische Zeilenvertauschung. Ein gutes Computerprogramm sollte alle möglichen Pivots in einer Spalte miteinander vergleichen. Wählt man den gröÿten der Kandidaten und vertauscht man dann die Zeilen entsprechend, so spricht man von einem partiellen Pivotieren. Beispiel: ( ( B =, B.. = ( ( ( B = {{. L {{ D Die Piovots sind alle von der selben Gröÿenordnung. Eine mögliche Erweiterung der Strategie bildet eine geeignete 4.2 Skalierung der Gleichungen Beispiel: 2 x + x 2 + x 3 = x + ε x 2 + ε x 3 = 2 ε ε x + ε x 2 ε x 3 = ε ( A, b = 2 ε ε 2ε ε ε ε ε 2 ε 2 ε 2 ε 2 2ε 2 ε 2 ( /2 ( /2 ( 0 {{ R

12 2 4 RUNDUNGSFEHLER, PIVOTSTRATEGIEN 2 0 ε 2 ε 2 2ε ε ε Rechner: ε = 0.0, t = 2 : ( A, 2 b exakte Lösung: x = 0 x 2 = σ x 3 = σ, σ R x = x 2 = x 3 = 2 ε 2ε 6ε (2ε 2 keine eindeutige Lösung! Läÿt man hingegen in der exakten Lösung ε 0 gehen, so folgt: x = 0, x 2 = /2, x 3 = /2. Dies erhält man in der Gleitkommadarstellung mit σ = /2! D.h. diese Lösung ist unbefriedigend. Ausweg: Skalierung der einzelnen Gleichungen d.h. jede Gleichung wird zunächst mit einem geeigneten Faktor multipliziert und anschlieÿend wird eine Variablentransformation durchgeführt. x 2 x + x 2 + x 3 = ε = z x ε + x 2 + x 3 = 2 Transf.: x 2 = z 2 x ε + x 2 x 3 = x 3 = z 3 2ε (Ã, b = 2 Zeilenvert [ 2ε] [ + 2ε] [ 2ε] Zeilenvert. exakte Lösung: z 3 = /2, z 2 = 6ε 4ε 2, z = 2ε x 3 = /2, x 2 = 6ε 4ε 2, x = Mit t = 2 und ε = 0.0 liefert der Rechner: z = z 2 = 2 0 z 3 = 2 2 2ε ε 2ε x = ε x 2 = 2 x 3 = 2 ( ( 2ε 0 [ 2ε] [ + 2ε] [ 2ε] Günstiger Weg: Skaliere das Gleichungssystem so, daÿ im neuen System à z = b gilt: max j n { ã ij = mit i =, 2,..., n Zusammenfassung: Geeignete Skalierung des Systems führt i.a. zu einer Verbesserung des Ergebnisses. Gute Programme zur numerischen Lösung von Gleichungssystemen skalieren die Gleichungen automatisch in bestimmter Weise, z.b. unter der Bedingung max j n { ã ij = mit i =, 2,..., n

13 3 5 Iterative Methoden zur Lösung von linearen Gleichungssystemen Will man mit Hilfe des Gauÿ'schen Algorithmus bzw. der LRZerlegung ein System von der Form Ax = b, A GL(n; R lösen, so wächst die Anzahl der erforderlichen wesentlichen Rechenschritte mit der dritten Potenz von n was natürlich viel Rechenzeit kosten kann. Exakte Methoden können aber i.a. nicht mehr wesentlich verbessert werden. Gesucht sind also schnellere Verfahren zur Bestimmung einer Näherungslösung. Man startet bei einem anfänglich irgendwie gewählten Vektor x 0, berechnet dann x aus x 0 und allgemein eine verbesserte Lösung x k+ aus der vorangegangenen Approximation x k. Man erhält so eine Folge von Approximationen {x k. Nun zur Vorgangsweise: Man spaltet die Matrix A auf in eine Summe von zwei Matrizen und erhält dann die Gleichung Sx = T x + b Damit kann man eine Iteration formulieren: A = S T (4 Sx k+ = T x k + b, k = 0,, 2,... (5 Es gibt aber keine Garantie dafür, daÿ dieser Weg zum Ziel führt. Die Aufspaltung (4 muÿ 2 Bedingungen erfüllen: Der neue Vektor x k+ soll leicht berechenbar sein. Deshalb soll S einfach aufgebaut und invertierbar sein, S sollte z.b. diagonal oder tridiagonal sein. Die Folge {x k von Vektoren soll gegen die wahre Lösung konvergieren: Sx = T x + b S(x x Sx k+ = T x k + b k+ = T (x x k Mit dem Fehlervektor v k := x x k gilt also Sv k+ = T v k, k = 0,, 2,... v k = S T v k =... = ( S T k v0 Konvergenz für k : x k x 0 v k 0 Satz 3: Die Iteration (5 ist genau dann konvergent, wenn für jeden Eigenwert λ von S T gilt: λ < Die Konvergenzgüte hängt von der maximalen Gröÿe von λ ab, die als Spektralradius ρ von S T bezeichnet wird: ρ(s T := max λ i i Die Konvergenzrate r ist z.b. gegeben durch r = log 0 ρ

14 4 5 ITERATIVE METHODEN Anmerkung: Die Begrie Eigenwert und Spektralradius werden in der Vorlesung Lineare Algebra 2 behandelt. Unter anderem hat man zwei (extreme Möglichkeiten, A aufzuspalten: A = A + 0, d.h. S = A, T = 0 : Die Iteration lautet dann Ax = b = S T = 0, ρ(s T = 0, r = log 0 0 = Aber: S = A kann u.u. schwer invertiert werden. Das war ja das ursprüngliche Problem! S = diag(a,..., a nn d.h. man nimmt die Elemente aus der Diagonalen von A. Aus dem Gleichungssystem gewinnt man jetzt mit der Bezeichnung: (x i k... ite Komponente des Vektors x k, der im kten Schritt berechnet worden ist folgendes System Beispiel: a (x k+ = ( a 2 x 2... a n x n k + b. a nn (x n k+ = ( a n x 2... a n,n x n k + b n Ist a ii 0, i =,..., n, und ist A dünn besetzt (d.h. nur wenige Elemente von A sind 0, dann funktioniert dieses Verfahren (= JacobiApproximation recht gut. Frage: Konvergenz Güte der Konvergenz (=Konvergenzrate A = ( 2 2, S = ( v Mit x = w ( v = w k+ ( gilt jetzt, T = ( 0 /2 /2 0 ( 0 0, S T = 2v k+ = w k + b 2w k+ = v k + b 2 ( ( v b /2 + w b 2 /2 k ( 0 /2 /2 0 Die Eigenwerte von S T sind λ /2 = ±/2, der Spektralradius ist demnach ρ = /2 ; mit r = log 0 ρ 0.3 liegt eine gute Konvergenz vor. Der Fehler halbiert sich bei jedem Schritt, eine weitere binäre Stelle wird korrekt. Nachteil: Bei groÿen Systemen muÿ immer der gesamte Vektor x k werden. oder abgespeichert Neue Idee: Man verwendet jede Komponente des neu berechneten Vektors x k+ sobald sie ermittelt worden ist (= GaussSeidelIteration:

15 5. Gleichung (wie vorher: a (x k+ = ( a 2 x 2... a n x n k + b 2. Gleichung (verwendet schon den neuen Wert von x : a 22 (x 2 k+ = a 2 (x k+ + ( a 23 x 3... a 2n x n k + b 2. nte Gleichung: Beispiel: a nn (x n k+ = ( a n x... a n,n x n k+ + b n A = ( 2 2, S = ( 2 0 2, T = ( 0 0 0, S T = ( 0 /2 0 /4 ( v k+ = w k + b 2w k+ = v k+ + b 2 ( 0 x k+ = 0 0 x k + b Die Eigenwerte von S T sind λ = 0, λ 2 = /4, der Spektralradius ist demnach ρ = /4, die Konvergenzrate r = log 0 ρ 0.6. Der Fehler wird bei jedem Schritt mit dem Faktor /4 multipliziert. Ein GaussSeidel Schritt ist soviel wert wie zwei JacobiSchritte. Satz 4: Für eine symmetrische Matrix A M(n n; R konvergiert die GaussSeidelIteration genau dann, wenn A positiv denit ist. Beispiel: Ax = b mit A = , b = 2 0 (6 x = 0.333x x 2 = 0.333x x x 3 = 0.333x x 4 x 4 = 0.333x JacobiIteration für das System (6:

16 6 5 ITERATIVE METHODEN Iterationsschritt x x 2 x 3 x

17 7 GaussSeidelIteration für das System (6: Iterationsschritt x x 2 x 3 x Gegenbeispiel: Exakte Lösung: x + 2y = 2x + y + 2z = 0 2y + z =, A = (7 x = 7, y = 4 7, z = 7 Jacobi und GaussSeidelIteration für das System (7: Iterations- Jacobi GauÿSeidel schritt x y z x y z Die Iteration ist stark divergent! Denition: A M(n n; R heiÿt streng diagonal dominant (s.d.d., wenn a ii > n a ij i =,..., n. j= j i Bemerkung: A ist streng diagonal dominant = A GL(n; R. Satz 5: Die Jacobi und die GaussSeidelIterationen für Ax = b konvergieren, falls A streng diagonal dominant ist. Hinweis: Für (6 war A s.d.d., für (7 nicht! Eine unter Umständen wesentliche Verbesserung des Konvergenzverhaltens liefer die sogenannte

18 8 5 ITERATIVE METHODEN SORMethode: (= Methode der sukzessiven Überrelaxation = successive overrelaxation Man zerlegt die Matrix A in 3 Summanden: L... strikt linke untere Matrix R... strikt rechte obere Matrix D... Diagonalmatrix A = L + D + R Die JacobiIteration liefert in diesem Fall für die ite Komponente von x In Matrizenschreibweise: a ii (x i k+ = ( a i x... a in x n k + b i n = a ij (x j k + b i, i =,..., n j= j i Dx k+ = (L + Rx k + b Wegen der Voraussetzung a ii 0, i =,..., n, ist D = diag(a,..., a nn GL(n; R. = x k+ = D (L + R x {{ k + D b T J x k+ = T J x k + D b T J... JacobiIterationsmatrix Früher hatten wir S = D, T = L R. Das GaussSeidelVerfahren lieferte JacobiVerfahren (Gesamtschrittverfahren Dx k+ = Lx k+ Rx k + b = (D + Lx k+ = Rx k + b D + L ist linke untere Matrix, deren Diagonalelemente 0 sind. = D + L GL(n; R = x k+ = (D + L R x {{ k + (D + L b T GS

19 9 x k+ = T GS x k + (D + L b T GS... GaussSeidelIterationsmatrix GaussSeidelVerfahren (Einzelschrittverfahren Die Korrektur im (k + ten Schritt ist im GaussSeidelVerfahren ( x i k+ := (x i k+ (x i k = i a ij (x j k+ + a ii j= = i a ij (x j k+ + a ii Die Idee ist nun ( x i k+ durch zu ersetzen. ω... Relaxationsfaktor ω > Überrelaxation j= n a ij (x j k + b i (x i k a ii n a ij (x j k + b i a ii j=i+ j=i ω ( x i k+, ω R, (x i k+ = (x i k + ω( x i k+ = (x i k ω i a ij (x j k+ + a ii j= n a ij (x j k b i Nach einer Multiplikation mit a ii erhalten wir in Matrizenschreibweise oder j=i Dx k+ = Dx k ωlx k+ ω(d + Rx k + ωb (D + ωlx k+ = [( ωd ωr] x k + ωb ω = liefert wieder GaussSeidelIteration, d.h. keine Beschleunigung. Beschleunigung erst mit ω >! Beispiel: ( ( ( A = = {{{{ L D ( ( 2 0 D + ωl = ω 2 ( 2( ω ω ( ωd ωr = 0 2( ω {{ R

20 20 5 ITERATIVE METHODEN Die Iteration lautet jetzt: ( 2 0 ω 2 x k+ = x k+ = ( ω ω 2 ω 2 ( 2( ω ω 0 2( ω ( ω ω2 ω + 4 {{ T ω Frage: Wie kann man ω optimal wählen? Bedingung: ρ(t ωopt ρ(t ω, 0 < ω < 2. Die Berechnung von ω wird schwierig! Hier: x k + ω 4 x k + ωb ( 2 0 ω 2 b ω opt = 4( = ρ 0.07 = r =.5 Denition: Eine Matrix A M(n n; R mit der speziellen tridiagonalen Gestalt D H K D 2 H 2 O K 2 D 3 A = K 3... O H s D i... quadratische Diagonalmatrizen H i, K i... i.a. rechteckig und beliebig heiÿt T Matrix. Satz 6: Ist A eine T Matrix mit a ii 0 und besitzt die Jacobi Iterationsmatrix T J = D (L + R nur reelle Eigenwerte λ j und gilt ρ(t J <, so ist der optimale Relaxationsparameter ω opt des SORVerfahrens gegeben durch 2 ω opt = + ρ(t J 2 Beispiel: Dierentialgleichung u = f(x von oben mit n = 2, h = A = K s D s M(2 2; R 22 :

21 2 SOR: ω opt.75. In diesem Fall ist ρ SOR 0.75 im Vergleich zu ρ J 0.99 und ρ GS 0.98 Mit SOR wird bei jedem Schritt der Fehler um 25% verbessert. Da ρ 30 J ρ SOR = Ein einziger SORSchritt ist so viel wert wie 30 JacobiSchritte.