Begleitmaterial zur Vorlesung Numerik linearer Gleichungssysteme Andreas Meister Universität Kassel, AG Analysis und Angewandte Mathematik Andreas Meister (Universität Kassel) Begleitmaterial Numerik 1 / 59
Mehrgitterverfahren Modellproblem (Buch Seite 108) N 3 = 15 Abbildung: Eigenwertverteilung des Jacobi-Verfahrens (ω = 1 2 ) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 2 / 59
Mehrgitterverfahren Modellproblem (Buch Seite 109) N 3 = 15 Abbildung: Eigenwertverteilung des gedämpften Jacobi-Verfahrens (ω = 1 4 ) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 3 / 59
Mehrgitterverfahren Modellproblem (Buch Seite 110) N 3 = 15 Abbildung: Entwicklung des Fehlers beim gedämpften Jacobi-Verfahren Andreas Meister (Universität Kassel) Begleitmaterial Numerik 4 / 59
Mehrgitterverfahren Definition 1.2: (Buch Definition 4.40) Sei u l j eine Näherungslösung der Gleichung A l u l = f l, dann heißt die Methode = φ GGK l (u l j, f l) mit φ GGK l u l,neu j Grobgitterkorrekturverfahren. ( u l j, f l) = u l j P l l 1 A 1 l 1 Rl 1 l (A l u l j f l) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 5 / 59
Mehrgitterverfahren Lemma 1.3: (Buch Lemma 4.41) Die Grobgitterkorrekturmethode φ GGK l Iterationsverfahren mit stellt ein lineares konsistentes M GGK l = I P l l 1 A 1 l 1 Rl 1 l A l und dar. N GGK l = P l l 1 A 1 l 1 Rl 1 l Andreas Meister (Universität Kassel) Begleitmaterial Numerik 6 / 59
Mehrgitterverfahren Lemma 1.6: (Buch Lemma 4.44) Sind φ, ψ zwei lineare Iterationsverfahren mit den Iterationsmatrizen M φ und M ψ, dann gilt: 1 Sind φ und ψ konsistent, dann ist auch die Produktiteration φ ψ konsistent. 2 Die Iterationsmatrix der Produktiteration φ ψ hat die Form M φ ψ = M φ M ψ. 3 Die beiden Produktiterationen φ ψ und ψ φ besitzen die gleichen Konvergenzeigenschaften im Sinne von ρ(m φ ψ ) = ρ(m ψ φ ). Andreas Meister (Universität Kassel) Begleitmaterial Numerik 7 / 59
Mehrgitterverfahren Satz 1.7: (Buch Satz 4.45) Sei φ l ein konsistentes Iterationsverfahren mit Iterationsmatrix M l, dann ist das Zweigitteriterationsverfahren φ ZGM(ν 1,ν 2 ) l konsistent mit der Iterationsmatrix ( ) M ZGM(ν 1,ν 2 ) l = M ν 2 l I P l l 1 A 1 l 1 Rl 1 l A l M ν 1 l. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 8 / 59
Algorithmus - Zweigitterverfahren φ ZGM(ν 1,ν 2 ) l Nassi-Diagramm (Buch Seite 116) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 9 / 59
Mehrgitterverfahren Modellproblem (Buch Seite 110) N 3 = 15 Abbildung: Entwicklung des Fehlers beim Zweigitterverfahren Andreas Meister (Universität Kassel) Begleitmaterial Numerik 10 / 59
Algorithmus - Mehrgitterverfahren φ MGM(ν 1,ν 2 ) l Nassi-Diagramm (Buch Seite 117) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 11 / 59
Mehrgitterverfahren V-Zyklus γ = 1, l = 3 (Buch Seite 118) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 12 / 59
Mehrgitterverfahren W-Zyklus γ = 2, l = 3 (Buch Seite 118) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 13 / 59
Vollständiges Mehrgitterverfahren V-Zyklus γ = 2, l = 2 (Buch Seite 119) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 14 / 59
Projektionsmethoden Definition 2.1: (Buch Definition 4.46) Eine Projektionsmethode zur Lösung der Gleichung (2.1) ist ein Verfahren zur Berechnung von Näherungslösungen x m x 0 + K m unter Berücksichtigung der Bedingung (b Ax m ) L m, wobei x 0 R n beliebig ist und K m sowie L m m-dimensionale Unterräume des R n repräsentieren. Gilt K m = L m, so sprechen wir von einer orthogonalen Projektionsmethode. Für K m L m liegt sprechen wir von einer schiefen Projektionsmethode. Der Vektor r m = b Ax m heißt Residuenvektor. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 15 / 59
Krylov-Unterraum-Verfahren Definition 2.2: (Buch Definition 4.48) Eine Krylov-Unterraum-Methode ist eine Projektionsmethode, bei der K m den Krylov-Unterraum } K m = K m (A, r 0 ) = span {r 0, Ar 0,..., A m 1 r 0 mit r 0 = b Ax 0 darstellt. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 16 / 59
Projektionsverfahren Verfahren des steilsten Abstiegs (Buch Seite 126) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 17 / 59
Projektionsverfahren Beispiel 2.6: (Buch Seite 129) Abbildung: Konvergenzverlauf Andreas Meister (Universität Kassel) Begleitmaterial Numerik 18 / 59
Projektionsverfahren Beispiel 2.6: (Buch Seite 129) Abbildung: Höhenlinien zu F (x) = 1 2 (Ax, x) (b, x) = x 2 1 + 5x 2 2 Andreas Meister (Universität Kassel) Begleitmaterial Numerik 19 / 59
Projektionsverfahren Verfahren der konjugierten Richtungen (Buch Seite 133) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 20 / 59
Projektionsverfahren Zusammenhänge (Buch Seite 134) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 21 / 59
Projektionsverfahren Vorläufiges CG-Verfahren (Buch Seite 134) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 22 / 59
Projektionsmethoden Satz 2.14: (Buch Satz 4.63) Vorausgesetzt, das vorläufige CG-Verfahren bricht nicht vor der Berechnung von p k für k > 0 ab, dann gilt (a) p m ist konjugiert zu allen p j mit 0 j < m k, (b) U m+1 := span {p 0,..., p m } = span {r 0,..., r m } mit dim U m+1 = m + 1 für m = 0,..., k 1, (c) r m U m für m = 1,..., k, (d) x k = A 1 b r k = 0 p k = 0, (e) U m+1 = span { r 0,..., A m r 0 } für m = 0,..., k 1, (f) r m ist konjugiert zu allen p j mit 0 j < m 1 < k 1. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 23 / 59
Projektionsverfahren CG-Verfahren (Buch Seite 137) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 24 / 59
Projektionsverfahren Beispiel 2.15(a): (Buch Beispiel 4.64) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 25 / 59
Projektionsverfahren Beispiel 2.15: (Buch Beispiel 4.65) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 26 / 59
Projektionsmethoden Satz 2.17: (Buch Satz 4.66) Seien A R n n symmetrisch, positiv definit und {x m } m N0 die durch das Verfahren der konjugierten Gradienten erzeugte Folge von Näherungslösungen. Dann erfüllt der zu x m korrespondierende Fehlervektor e m = x m A 1 b die Ungleichung e m A 2 ( cond2 (A) 1 cond2 (A) + 1) m e 0 A. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 27 / 59
Krylov-Unterraum-Verfahren Arnoldi-Algorithmus (Buch Seite 143) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 28 / 59
Krylov-Unterraum-Verfahren Satz 2.18: (Buch Satz 4.67) Vorausgesetzt, der Arnoldi-Algorithmus bricht nicht vor der Berechnung von v m 0 ab, dann stellt V j = {v 1,..., v j } eine Orthonormalbasis des j-ten Krylov-Unterraums K j für j = 1,..., m dar. Satz 2.19: (Buch Satz 4.67) Vorausgesetzt, der Arnoldi-Algorithmus bricht nicht vor der Berechnung von v m 0 ab, dann erhalten wir unter Verwendung von V m = (v 1... v m ) R n m mit H m := V T mav m R m m eine obere Hessenbergmatrix, für die { hij aus dem Arnoldi-Algorithmus für i j + 1, (H m ) ij = 0 für i > j + 1 gilt. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 29 / 59
Krylov-Unterraum-Verfahren Satz 2.20: (Buch Satz 4.69) Vorausgesetzt, der Arnoldi-Algorithmus bricht nicht vor der Berechnung von v m+1 ab, dann gilt wobei H m R (m+1) m durch ( H m = gegeben ist. AV m = V m+1 H m, H m 0... 0 h m+1,m ) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 30 / 59
Krylov-Unterraum-Verfahren FOM (Buch Seite 145) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 31 / 59
Krylov-Unterraum-Verfahren Restarted FOM (Buch Seite 146) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 32 / 59
Krylov-Unterraum-Verfahren Lemma 2.23: (Buch Lemma 4.76) Es sei vorausgesetzt, dass der Arnoldi-Algorithmus nicht vor der Berechnung von v m+1 abbricht und die Matrizen G i+1,i R (m+1) (m+1) für i = 1,..., m durch 1... 1 G i+1,i := c i s i s i c i 1... 1 gegeben sind, wobei c i und s i gemäß c i := a b und s i := a2 + b 2 a2 + b 2 Andreas Meister (Universität Kassel) Begleitmaterial Numerik 33 / 59
Krylov-Unterraum-Verfahren Lemma 2.23: (Buch Lemma 4.76) mit a := ( G i,i 1... G 3,2 G 2,1 H m )i,i und b := ( G i,i 1... G 3,2 G 2,1 H m )i+1,i definiert sind. Dann stellt Q m := G m+1,m... G 2,1 eine orthogonale Matrix dar, für die Q m H m = R m mit r 11...... r 1m. 0... ( ) R m =....... Rm. =: R (m+1) m 0... 0.... r mm 0...... 0 gilt und R m regulär ist. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 34 / 59
Krylov-Unterraum-Verfahren GMRES (Buch Seite 163) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 35 / 59
Krylov-Unterraum-Verfahren Satz 2.24: (Buch Satz 4.77) Seien A R n n eine reguläre Matrix sowie h j+1,j und w j durch den Arnoldi-Algorithmus gegeben und gelte j < n. Dann sind die folgenden Aussagen äquivalent: 1 Für die Folge der Krylov-Unterräume gilt K 1 K 2... K j = K j+1 =.... 2 Das GMRES-Verfahren liefert im j-ten Schritt die exakte Lösung. 3 w j = 0 R n. 4 h j+1,j = 0. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 36 / 59
Krylov-Unterraum-Verfahren Restarted GMRES (Buch Seite 167) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 37 / 59
Krylov-Unterraum-Verfahren Satz 2.25: (Buch Satz 4.78) Sei A R n n positiv definit und r m der im GMRES-Verfahren ermittelte m-te Residuenvektor, dann konvergiert das GMRES-Verfahren, und es gilt ( ) λ 2 A T m +A 2 min 2 r m 2 1 ) r 0 2. λ max (A T A Korollar 2.26: (Buch Korollar 4.79) Sei A R n n positiv definit und symmetrisch. Zudem sei r m der im GMRES-Verfahren ermittelte m-te Residuenvektor, dann konvergiert das GMRES-Verfahren und es gilt ( ) cond 2 m 2 r m 2 (A) 1 2 cond 2 2 (A) r 0 2. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 38 / 59
Krylov-Unterraum-Verfahren Satz 2.27: (Buch Satz 4.80) Sei A R n n positiv definit, dann konvergiert das GMRES(m)-Verfahren für m 1. Satz 2.28: (Buch Satz 4.81) Sei A R n n regulär und symmetrisch, dann konvergiert das GMRES(m)-Verfahren für m 2. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 39 / 59
Krylov-Unterraum-Verfahren Lanczos-Algorithmus (Buch Seite 148) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 40 / 59
Krylov-Unterraum-Verfahren D-Lanczos-Verfahren (Buch Seite 150) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 41 / 59
Krylov-Unterraum-Verfahren Definition 2.29: (Buch Definition 4.70) Seien v 1,..., v m, w 1,..., w m R n, dann heißen die beiden Mengen {v 1,..., v m } und {w 1,..., w m } bi-orthogonal, wenn ( v i, w j ) 2 = δ ijc ij mit c ij R\{0} für i, j = 1,..., m gilt. Im Fall c ii = 1 für i = 1,..., m heißen die Mengen bi-orthonormal. Lemma 2.30: (Buch Lemma 4.71) Seien die Mengen {v 1,..., v m } und {w 1,..., w m } bi-orthogonal, dann gilt dim span {v 1,..., v m } = m = dim span {w 1,..., w m } Andreas Meister (Universität Kassel) Begleitmaterial Numerik 42 / 59
Krylov-Unterraum-Verfahren Bi-Lanczos-Algorithmus (Buch Seite 152) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 43 / 59
Krylov-Unterraum-Verfahren Satz 2.31: (Buch Satz 4.72) Vorausgesetzt, der Bi-Lanczos-Algorithmus bricht nicht vor der Berechnung von w m 0 ab, dann stellen V j = { } v 1,..., v j und W j = { } w 1,..., w j eine Basis des Krylov-Unterraums Kj beziehungsweise Kj T für j = 1,..., m dar. Zudem erfüllen die Basisvektoren die Bi-Orthogonalitätsbedingung mit c ii = 1 für i = 1,..., m. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 44 / 59
Krylov-Unterraum-Verfahren Satz 2.32: (Buch Satz 4.73) Vorausgesetzt, der Bi-Lanczos-Algorithmus bricht nicht vor der Berechnung von w m 0 ab, dann seien V m = (v 1... v m ) R n m und W m = (w 1... w m ) R n m die aus den ermittelten Basisvektoren des K m und K T m gebildeten Matrizen. Desweiteren seien h ij die im Algorithmus auftretenden skalaren Größen, dann gelten die Gleichungen T m = W T mav m AV m = V m T m + h m+1,m v m+1 e T m A T W m = W m T T m + h m,m+1 w m+1 e T m mit e m = (0,..., 0, 1) T R m sowie der durch { hij für j 1 i j + 1, (T m ) ij := 0 sonst gegebenen Tridiagonalmatrix T m R m m und die Matrizen V m und W m besitzen maximalen Rang. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 45 / 59
Krylov-Unterraum-Verfahren Satz 2.33: (Buch Satz 4.82) Vorausgesetzt, der Bi-Lanczos-Algorithmus bricht nicht vor der Berechnung von v m 0 ab, und die in Satz 2.32 definierte Tridiagonalmatrix T m ist regulär, dann stellt x m = x 0 + V m T 1 m ( r 0 2 e 1 ) x 0 + K m mit e 1 = (1, 0,..., 0) T R m die eindeutig bestimmte Lösung der auf der Petrov-Galerkin-Bedingung b Ax m K T m basierenden Krylov-Unterraum-Methode dar. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 46 / 59
Krylov-Unterraum-Verfahren BiCG-Verfahren (Buch Seite 175) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 47 / 59
Krylov-Unterraum-Verfahren Lemma 2.34: (Buch Lemma 4.83) Vorausgesetzt, der BiCG-Algorithmus bricht nicht vor der Berechnung von p m ab, dann gilt für j = 0,..., m r j = p j = j+1 j+1 γ i v i, r j = γi w i, i=1 i=1 j+1 j+1 λ i v i, p j = λ i w i i=1 i=1 mit γ j+1, γj+1, λ j+1, λ j+1 0 und den aus dem Bi-Lanczos-Algorithmus resultierenden bi-orthonormalen Vektoren v 1,..., v j+1 und w 1,..., w j+1. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 48 / 59
Krylov-Unterraum-Verfahren Lemma 2.35: (Buch Lemma 4.84) Vorausgesetzt, der BiCG-Algorithmus bricht nicht vor der Berechnung von p m+1 ab, dann gilt ( r j, r ) i = 0 für i j m + 1, 2 ( Apj, p ) i = 0 für i j m + 1. Satz 2.36: (Buch Satz 4.85) 2 Unter der Voraussetzung, daß der BiCG-Algorithmus nicht vor der Berechnung von r m abbricht, stellt x m die Lösung des Problems mit x x 0 + K m dar. b Ax K T m Andreas Meister (Universität Kassel) Begleitmaterial Numerik 49 / 59
Krylov-Unterraum-Verfahren CGS-Verfahren (Buch Seite 181) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 50 / 59
Krylov-Unterraum-Verfahren BiCGSTAB-Verfahren (Buch Seite 185) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 51 / 59
Krylov-Unterraum-Verfahren Konvergenzverläufe (Buch Seite 200) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 52 / 59
Präkonditionierung Definition 3.2: (Buch Definition 5.9) Sei durch x j+1 = Mx j + Nb eine Splitting-Methode zur Lösung von Ax = b mit einer regulären Matrix N gegeben, dann heißt P = N der zur Splitting-Methode assoziierte Präkonditionierer. Splitting-Methode Jacobi-Verfahren Gauß-Seidel-Verf. SOR-Verfahren Symm. G.-S.-Verf. SSOR-Verfahren Assoziierter Präkonditionierer P Jac = D 1 P GS = (D + L) 1 P GS (ω) = ω (D + ωl) 1 P SGS = (D + R) 1 D (D + L) 1 P SGS (ω) = ω(2 ω) (D + ωr) 1 D (D + ωl) 1 Andreas Meister (Universität Kassel) Begleitmaterial Numerik 53 / 59
Präkonditionierung Definition 3.3: (Buch Definition 5.10) Jede Menge M {(i, j) i, j {1,..., n}} heißt Matrixmuster im Raum R n n. Zu gegebenem Matrixmuster M heißt M S (j) := {i (i, j) M} das zu M gehörige j-te Spaltenmuster und M Z (j) := {i (j, i) M} das zu M gehörige j-te Zeilenmuster. Zu gegebener Matrix A R n n bezeichnet M A := { (i, j) a ij 0 } die Besetzungsstruktur von A. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 54 / 59
Präkonditionierung Definition 3.4: (Buch Definition 5.11) Sei A R n n. Die Zerlegung A = LU + F ( ) existiere unter den Bedingungen 1 u ii = 1 für i = 1,..., n, 2 l ij = u ij = 0, falls (i, j) M A, 3 (LU) ij = a ij, falls (i, j) M A, und es seien L = (l ij ) i,j=1,...,n und U = (u ij ) i,j=1,...,n eine reguläre linke untere beziehungsweise rechte obere Dreiecksmatrix, dann heißt ( ) unvollständige LU-Zerlegung (incomplete LU, ILU) der Matrix A zum Muster M A. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 55 / 59
Präkonditionierung Unvollständige LU-Zerlegung (Buch Seite 217) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 56 / 59
Präkonditionierung Definition 3.5: (Buch Definition 5.12) Es sei A = LU + F eine unvollständige LU-Zerlegung der Matrix A, dann ist P := U 1 L 1 der zugehörige ILU-Präkonditionierer. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 57 / 59
Präkonditionierung Definition 3.6: (Buch Definition 5.13) Sei A R n n symmetrisch und positiv definit. Die Zerlegung A = LL T + F ( ) existiere unter den Bedingungen 1 l ij = 0, falls (i, j) M A, 2 (LL T ) ij = a ij, falls (i, j) M A, und es sei L = (l ij ) i,j=1,...,n eine reguläre linke untere Dreiecksmatrix, dann heißt ( ) unvollständige Cholesky-Zerlegung (incomplete Cholesky, IC) der Matrix A zum Muster M A. Andreas Meister (Universität Kassel) Begleitmaterial Numerik 58 / 59
Präkonditionierung Unvollständige Cholesky-Zerlegung (Buch Seite 219) Andreas Meister (Universität Kassel) Begleitmaterial Numerik 59 / 59