Symmetrische Gleichungssysteme Das Verfahren konjugierter Gradienten

Größe: px

Ab Seite anzeigen:

Download "Symmetrische Gleichungssysteme Das Verfahren konjugierter Gradienten"

Bärbel Meinhardt
vor 5 Jahren
Abrufe

1 Symmetrische Gleichungssysteme Das Verfahren konjugierter Gradienten 1 / 20

2 Lineares Gleichungssystem Ax = f, n A[i, j]x j = f i j=1 für i = 1,..., n Voraussetzungen Matrix A sei symmetrisch: A[i, j] = A[j, i] Matrix A sei positiv definit: (Au, u) > 0 für alle u R n Definition: Ein System {p k } n 1 k=0 von n Vektoren pk R n heißt A orthogonal oder konjugiert, falls gilt: (Ap k, p j ) = (p k, Ap j ) = 0 für k j, (Ap k, p k ) > 0 2 / 20

3 Lineares Gleichungssystem Ax = f Darstellung des Lösungsvektors x = n x k e k k=1 mit Einheitsvektoren e k R n oder x = x 0 α l p l mit konjugierten Vektoren p l R n und einem beliebigen Startvektor x 0 R n. Bestimmung der konjugierten Vektoren p l Bestimmung der Zerlegungskoeffizienten α l 3 / 20

4 Lineares Gleichungssystem Ax = f, x = x 0 α l p l Einsetzen Ax 0 α l Ap l = f Skalarprodukt mit konjugierten Vektoren p j Zerlegungskoeffizienten α l (Ap l, p j ) = (Ax 0 f, p j ) α l = (Ax 0 f, p l ) (Ap l, p l ) für l = 0,..., n 1 4 / 20

5 Definition einer Näherungslösung x k k 1 = x 0 α l p l, x n = x, α l = (Ax 0 f, p l ) (Ap l, p l ) Rekursive Definition x k+1 = x 0 α l p l Es ist k 1 = x 0 α l p l α k p k = x k α k p k, α k = (Ax 0 f, p k ) (Ap k, p k ) k 1 (Ax 0 f, p k ) = (Ax 0 f, p k ) α l (Ap l, p k ) k 1 = (Ax 0 α l Ap l f, p k ) = (Ax k f, p k ) = (r k, p k ) 5 / 20

6 Rekursionsvorschrift x k+1 = x k α k p k, α k = (r k, p k ) (Ap k, p k ) Residuum Rekursionsvorschrift r k = Ax k f r k+1 = Ax k+1 f = A(x k α k p k ) f = Ax k f α k Ap k = r k α k Ap k Bestimmung der konjugierten Vektoren p k 6 / 20

7 System linear unabhängiger Vektoren {w l } n 1, w l = e l+1 Einheitsvektoren [Fox, Huskey, Wilkinson 1948] System konjugierter Vektoren {p l } n 1 : (Apl, p j ) = (p l, Ap j ) = 0 für l j Orhogonalisierungsverfahren nach Gram Schmidt p 0 = w 0 p k+1 = w k+1 β kl p l für k = 0,..., n 2 0! = (Ap k+1, p j ) = (Aw k+1, p j ) β kl (Ap l, p j ) = (Aw k+1, p j ) β kj (Ap j, p j ), β kj = (Aw k+1, p j ) (Ap j, p j ) Bestimmung der linear unabhängigen Ausgangsvektoren w k 7 / 20

8 Iterationsvorschrift für Suchrichtungen p 0 = w 0, p k+1 = w k+1 β kl p l, β kl = (Aw k+1, p l ) (Ap l, p l ) Iterationsvorschrift für Näherungslösungen Es gilt x k+1 = x k α k p k, r k+1 = r k α k Ap k, α k = (r k, p k ) (Ap k, p k ) (r k+1, p k ) = (r k α k Ap k, p k ) = (r k, p k ) α k (Ap k, p k ) = 0 (r k+1, p k 1 ) = (r k, p k 1 ) α k (Ap k, p k 1 ) = 0 Durch vollständige Induktion folgt (r k+1, p l ) = 0 für l = 0,..., k 8 / 20

9 Orthogonalität (r k+1, p l ) = 0 für l = 0,..., k Iterationsvorschrift für Suchrichtungen p 0 = w 0, p k+1 = w k+1 β kl p l, β kl = (Aw k+1, p l ) (Ap l, p l ) Dann gilt l 1 l 1 (r k+1, w l ) = (r k+1, p l + β l 1,j p j ) = (r k+1, p l ) + β l 1,j (r k+1, p j ) = 0 j=0 j=0 Orthogonalität (r k+1, w l ) = 0 für l = 0,..., k Die Vektoren w 0,..., w k, r k+1 sind linear unabhängig: w k+1 = r k+1 9 / 20

10 Initialisierung x 0, r 0 = Ax 0 f, p 0 = r 0 Iterationsvorschrift x k+1 = x k α k p k, r k+1 = r k α k Ap k, α k = (r k, p k ) (Ap k, p k ) Orthogonalitäten Dann gilt p k+1 = r k+1 β kl p l, β kl = (Ar k+1, p l ) (Ap l, p l ) (r k+1, p l ) = 0, (r k+1, w l ) = (r k+1, r l ) = 0 für l = 0,..., k k 1 k 1 (r k, p k ) = (r k, r k β k 1,l p l ) = (r k, r k ) β k 1,l (r k, p l ) = (r k, r k ) 10 / 20

11 Iterationsvorschrift r k+1 = r k α k Ap k, α k = (r k, r k ) (Ap k, p k ) > 0, Apk = 1 α k [r k r k+1 ] Suchrichtungen Berechnung von β kl p k+1 = r k+1 β kl p l, β kl = (Ar k+1, p l ) (Ap l, p l ) (Ar k+1, p l ) = (r k+1, Ap l ) = 1 0 für l < k, (r k+1, r l r l+1 ) = α l 1 (r k+1, r k+1 ) für l = k α k Damit ist β kl = 0 für l < k, β kk = (r k+1, r k+1 ) α k (Ap k, p k ) 11 / 20

12 Suchrichtung Erinnerung Wegen p k+1 = r k+1 + β k p k, β k = (r k+1, r k+1 ) α k (Ap k, p k ) r k+1 = r k α k Ap k, (r k+1, p l ) = 0 für l = 0,..., k α k (Ap k, p k ) = (r k r k+1, p k ) = (r k, p k ) = (r k, r k + β k 1 p k 1 ) = (r k, r k ) ist schließlich p k+1 = r k+1 + β k p k, β k = (r k+1, r k+1 ) (r k, r k ) 12 / 20

13 Iterationsvorschrift des Verfahrens konjugierter Gradienten [Hestenes, Stiefel 1952] Für eine beliebig gegebene Startnäherung x 0 R n sei r 0 = Ax 0 f. Setze p 0 := r 0 und berechne ϱ 0 = (r 0, r 0 ). Stoppe, falls ϱ 0 < ε 2 mit einer vorgegebenen Fehlergenauigkeit ε erreicht ist. Berechne für k = 0, 1,..., n 2 : s k = Ap k, σ k = (s k, p k ), α k = ϱ k σ k x k+1 := x k α k p k r k+1 := r k α k s k ϱ k+1 := (r k+1, r k+1 ) Stoppe, falls ϱ k+1 < ε 2 ϱ 0 mit einer vorgegebenen Fehlergenauigkeit ε erreicht ist. Berechne andernfalls die neue Suchrichtung p k+1 := r k+1 + β k p k, β k := ϱ k+1 ϱ k 13 / 20

14 Iterationsvorschrift des Verfahrens konjugierter Gradienten Aufwand pro Iterationsschritt eine Matrix Vektor Multiplikation s k = Ap k zwei Skalarprodukte zur Berechnung von σk und ϱ k+1 drei Vektoradditionen zur Berechnung von x k+1, r k+1, p k+1 Speicherbedarf Matrix A, rechte Seite f, Lösungsvektor x Residuum r, Suchrichtung p, Hilfsvektor s Konvergenz Berechnung der exakten Lösung x = x n Interpretation als direktes Verfahren Konvergenzabschätzung Wie viele Iterationsschritte sind ausreichend, um eine vorgegebene Genauigkeit zu erreichen? 14 / 20

15 Lösung Näherungslösung Fehler Es gilt x = x 0 α l p l x k+1 = x 0 α l p l e k+1 = x k+1 x = e k+1 2 A = (Ae k+1, e k+1 ) = (A = l=k+1 α l p l, l=k+1 j=k+1 l=k+1 α l p l j=k+1 α j p j ) α l α j (Ap l, p j ) = l=k+1 α 2 l(ap l, p l ) 15 / 20

16 Fehler Für ergibt sich analog x k+1 x 2 A = x = x 0 α l p l, l=k+1 α 2 l(ap l, p l ) u = x 0 γ l p l u x 2 A = [α l γ l ] 2 (Ap l, p l ) + l=k+1 α 2 l(ap l, p l ) Minimierungsproblem x k+1 x 2 A = min u=x 0 k P γ l p l u x 2 A = min γ 0,...,γ k e 0 γ l p l 2 A 16 / 20

17 Darstellung von Residuum und Suchrichtung durch Matrix Polynome r k = ϕ k (A)r 0, p k = ψ k (A)r 0 Initialisierung r 0 = Ax 0 f = ϕ 0 (A)r 0, p 0 = r 0 = ψ 0 (A)r 0, ϕ 0 (A) = ψ 0 (A) = I Iterationsvorschriften r k+1 = r k α k Ap k = ϕ k (A)r 0 α k Aψ k (A)r 0 = [ϕ k (A) α k Aψ k (A)]r 0 = ϕ k+1 (A)r 0 p k+1 = r k+1 + β k p k = ϕ k+1 (A)r 0 + β k ψ k (A)r 0 = [ϕ k+1 (A) + β k ψ k (A)]r 0 = ψ k+1 (A)r 0 Dann ist γ l p l = γ l ψ l (A)r 0 = q k (A)r 0 mit einem Matrix Polynom q k (A) mit Polynomgrad k 17 / 20

18 Darstellung des Residuums Minimierungsproblem r k = Ax k f = Ax k Ax = A(x k x) = Ae k x k+1 x 2 A = min γ 0,...,γ k e 0 Fehlerabschätzung γ l p l 2 A = min q k (A) e0 q k (A)r 0 2 A = min (I q k(a)a)e 0 2 A = min p k+1(a)e 0 2 A q k (A) p k+1 (A),p k+1 (0)=1 x k+1 x A = min p k+1 (A),p k+1 (0)=1 p k+1(a)e 0 A min p k+1 (A),p k+1 (0)=1 min p k+1 (A),p k+1 (0)=1 = max λ [λ min (A),λ max(a)] T k+1 (λ) max p k+1(λ j (A)) e 0 A j=1,...,n max p k+1(λ) e 0 A λ [λ min (A),λ max(a)] 18 / 20

19 Satz mit q = x k x A κ2 (A) + 1 κ2 (A) 1, 2qk 1 + q 2k x 0 x A κ 2(A) = A 2 A 1 2 = λ max(a) λ min (A) 19 / 20

20 Krylov Raum S k (A, r 0 ) = span{p 0, p 1,..., p k } = span{r 0, Ar 0, A 2 r 0,..., A k r 0 } Krylov Raum Verfahren 20 / 20

Ähnliche Dokumente

Der CG-Algorithmus (Zusammenfassung)

Der CG-Algorithmus (Zusammenfassung) Michael Karow Juli 2008 1 Zweck, Herkunft, Terminologie des CG-Algorithmus Zweck: Numerische Berechnung der Lösung x des linearen Gleichungssystems Ax = b für eine