Der CG-Algorithmus (Zusammenfassung)

Transkript

1 Der CG-Algorithmus (Zusammenfassung) Michael Karow Juli

2 Zweck, Herkunft, Terminologie des CG-Algorithmus Zweck: Numerische Berechnung der Lösung x des linearen Gleichungssystems Ax = b für eine symmetrische positiv definite und schwach besezte Matrix A R n n. CG steht für conjugate gradients Herkunft: M. R. Hestenes, E. Stiefel: Methods of Conjugate Gradients for Solving Linear Systems. NBS J. Res., 49: , 1952 Konjugiert bedeutet orthogonal (senkrecht) bezüglich eines Skalarprodukts: Eine symmetrische positiv definite Matrix A R n n induziert ein Skalarprodukt x, y A := x T Ay. Das Standard-Skalarprodukt bekommt man für den Fall, dass A die Einheitsmatrix ist. x und y heissen konjugiert genau dann, wenn x, y A := x T Ay = 0. 2

3 CG-Algorithmus (siehe Bollhöfer/Mehrmann) Eingangsdaten: A R n n symmetrisch und positiv definit, b R n, Startvektor x R n, Abbruchschranke ǫ Ergebnis: Näherung x für die Lösung x der Gleichung Ax = b. r = b Ax; ρ = ; β = 0; k = 0. while ρ > ǫ b k = k + 1; z = r; ρ old = ρ; ρ = r T z; if k = 1 p = z; else β = ρ/ρ old ; p = z + β p; end z = Ap; σ = p T z; α = ρ/σ; x = x + α p; r = r α z; end Bemerkung: Bei jedem Schleifendurchlauf wird eine Matrix-Vektor-Multiplikation ausgeführt. wenig zu rechnen bei schwach besetzter Matrix A. 3

4 Übersichtlicher aber nicht speicher- und zeitoptimaler Pseudocode für CG Startwerte: x 0 beliebig, r 0 = b Ax 0, p 0 = r 0. k = 0 while r k > Tol x k+1 = x k + α p k, wobei α = r k r k p k Ap k r k+1 = r k α Ap k, p k+1 = r k+1 + β p k wobei β = r k+1 r k+1 r k r k end k = k + 1 Bemerkung: Es ist α = r k r k p k Ap k = p k r k p k Ap k Man sollte aber den rechten Quotienten in der Programmierung nicht verwenden, weil es bei Berechnung des Skalarprodukts p k r k wegen unterschiedlicher Vorzeichen in den Einträgen der Vektoren zu Auslöschung kommen kann. 4

5 Grundlagen des CG-Algorithmus Zweck des Algorithmus: Lösung der Gleichung Ax = b, wobei A R n n symmetrisch und positiv definit. Terminologie: r(x) := b Ax heisst das Residuum von x R n. Grundgedanke: An der Lösung x nimmt die quadratische Funktion Φ(x) := 1 2 xt Ax b T x ihr Minimum an. Man hat (a) (b) Φ(x) = Ax b = r(x), Φ(x) = (x x ) T A(x x ) 1 2 xt Ax und die Äquivalenz (c) x = x r(x) = 0 Φ(x) = 0. Eingangsdaten: A, b, x 0 R n (Startvektor) 5

6 Definierende Eigenschaften des CG-Algorithmus Der CG-Algorithmus generiert drei endliche Folgen von Vektoren x 0, x 1,..., x m, (Approximationen an die Lösung x ) r 0, r 1,..., r m, (Residuen) p 0, p 1,..., p m. (Suchrichtungen) Der Algorithmus bricht bei m ab, wenn r m hinreichend klein ist, spätestens aber, wenn r m = 0. Dann ist nämlich x m = x. Bei Rechnung in exakter Arithmetik (keine Rundungsfehler) hat man stes m n=dimension der Matrix A. Zwischen den Folgengliedern bestehen die Beziehungen (1) r k = r(x k ) = b Ax k = Φ(x k ). (2) x k+1 = x k + α k p k, wobei α k R so, dass Φ(x k+1 ) = min α R Φ(x k + α p k ). (Minimierung von Φ auf der Geraden x k + α p k.) (3) p 0 = r 0 = b Ax 0, und für k 1, p k = Φ(x k ) + r k 2 r k 1 2 p k 1 = r k + r k 2 r k 1 2 p k 1. 6

7 Die Niveau-Mengen von Φ Die Niveau-Mengen der zu minimierenden Funktion Φ : R n R mit Φ(x) = 1 2 xt Ax b T x, A R n n positiv definit, sind (n 1)-dimensionale Ellipsoide mit Mittelpunkt x = A 1 b. Die Richtungsvektoren der Hauptachsen der Ellipsoide sind die Eigenvektoren von A. (Begründung auf der folgenden Seite) Bild: Die Situation im Fall n = 2. Die Vektoren v 1, v 2 sind die Eigenvektoren von A. v 2 v 1 x * Φ =const 7

8 Zur Bestimmung der Niveau-Mengen Man hat Φ(x) = 1 2 xt Ax b T x = 1 2 (x x ) T A(x x ) 1 2 xt Ax, x = A 1 b. ( ) Sei v 1,..., v n R n eine Orthonormalbasis von Eigenvektoren von A, so dass Av k = λ k v k, Führe neue Koordinaten ξ 1,..., ξ n ein so dass Dies in ( ) eingesetzt ergibt λ k > 0 (weil A positiv definit) x = x + ξ 1 v 1 + ξ 2 v ξ n v n Φ(x) = 1 2 n λ k ξk xt Ax. k=1 es folgt für eine gegebene Konstante c > 1 2 xt Ax, Φ(x) = c 1 2 n n k=1 ξ 2 k a 2 k=1 k λ k ξ 2 k = c xt Ax }{{} =:(1/2) c 2 = 1, a k = c/ λ k Die letzte Gleichung ist die Gleichung eines Ellipsiods mit Halbachenlängen a k. 8

9 Minimierung von Φ entlang einer Geraden Gegeben: Anfangspunkt x k und Richtung der Geraden p k. Die Punkte auf der Geraden sind dann x α = x k + α p k, α R. Setzt man dies in Φ ein, so bekommt man wobei Φ(x α ) = 1 2 x α T Ax α b T x α = 1 2 (x k + α p k ) T A(x k + α p k ) b T (x k + α p k ) = c α 2 d α + e ( = c α 2c) d 2 ) + (e d2, 4c c = 1 2 p k Ap k > 0 (positive Definitheit), e d 2 /4c d/2c Φ(x α ) α d = 1 2 (p k Ax k + x k Ap k) + b p k = p k (b Ax k) = p k r k. Das Minimum von Φ auf der Geraden wird angenommen für α = d 2c = p k r k p k Ap. k Das neue Residuum ist r(x α ) = b Ax α = b Ax k αap k = r(x k ) αap k. 9

10 Methode des steilsten Abstiegs Sei p k R n eine Suchrichtung. Dann gilt für die Ableitung der Funktion Φ(x α ) = Φ(x k + α p k ) and der Stelle α = 0, dass d dα Φ(x α) = Φ(x k ) T p k α=0 (Richtungsableitung) Unter allen möglichen Suchrichtungen p k mit p k = 1 wird die Ableitung am kleinsten für p k = Φ(x k) Φ(x k ) = r(x k) r(x k ) Wählt man in jedem Schritt diese Suchrichtung, so nennt man den zugehörigen Algorithmus die Methode des steilsten Abstiegs. Da es hierbei auf die Länge von p k nicht ankommt (die Gerade, auf der man minimiert hängt davon nicht ab), kann man auch gleich p k = r(x k ) wählen. Nachteil des Verfahrens: Es konvergiert meist sehr langsam. 10

11 Idee des CG-Verfahrens: Wähle die Richtungen p k so, dass die Residuen (=negative Gradienten) r(x 0 ), r(x 1 ),..., r(x k ),... paarweise aufeinander senkrecht stehen (d.h. konjugiert sind). Vorteil: Falls r(x 0 ),..., r(x n 1 ) 0, so folgt r(x n ) = 0, d.h. x n = x. Man ist also spätestens nach n Schritten fertig (falls exakt gerechnet wird). Die Orthogonalität der Residuen zu erreicht man mit der Vorschrift p k+1 = Φ(x k ) + r(x k+1) 2 r(x k ) 2 p k = r(x k ) + r(x k+1) 2 r(x k ) 2 p k. Bemerkung: Bei dieser Wahl sind die Suchrichtungen A-konjugiert, d.h. p T j Ap k = 0 für j k. 11

12 Der CG-Algorithmus als Krylow-Raum-Verfahren (a) Für den von den ersten k Suchrichtungen p k aufgespannten Unterraum U k gilt dim U k = k und (b) r T k r j = r T k p j = 0 für j k U k = span{p 0,..., p k 1 } = span{r 0,..., r k 1 } = span{r 0, Ar 0,..., A k 1 r 0 } ( ) (r k ist konjugiert zu r j und p j bzgl. des Standard-Skalarprodukts) (c) Φ(x k ) = r k U k (Dies folgt unmittelbar aus (b) ) (d) Es ist x k x 0 + U k und Φ(x k ) = min x x0 +U k Φ(x). (d.h. Die Funktion Φ nimmt ihr Minimum im affinen Unterraum x 0 + U k an der Stelle x k an. Dies folgt aus (c), denn der Gradient steht ja senkrecht auf dem Richtungsraum=Tangentialraum U k ) ( ) besagt, dass U k ein Krylow-Raum ist. Der von einem Vektor v C n und einer Matrix A C n n erzeugte Krylow-Raum der Stufe k ist folgendermaßen definiert. K k (A, v) := span{v, Av,..., A k 1 v}. 12

13 Fehlerabschätzung Für den Fehler e k = x k x gilt beim CG-Verfahren: e k A 2 ( cond(a) 1 cond(a) + 1 ) k e 0 A, wobei cond(a) = A A 1 die Konditionszahl von A bzgl. der Spektralnorm ist. Für symmetrische positiv definite Matrizen gilt A = λ max (A), A 1 = λ max (A 1 ) = 1/λ min (A), wobei λ max und λ min den größten und den kleinsten Eigenwert bezeichnet. Somit ist cond(a) = λ max(a) λ min (A) 1. e k A bezeichnet die sogenannte Energie-Norm von e k, e k A = e T k Ae k. 13

14 Vorkonditionierte CG-Verfahren (PCG-Verfahren) Grundidee: Verbesserung der Konvergenz durch Lösen eines äquivalenten Gleichungssystems mit geringerer Kondition. Sei C R n n eine beliebige invertierbare Matrix. Dann ist die Gleichung äquivalent zu Ax = b (C 1 AC T ) (C T x) }{{} y = C 1 b. Falls cond(c 1 AC T ) << cond(a), dann löse dieses System, denn es hat bessere Fehlerschranke. Versuche damit cond(c 1 AC T ) 1 C 1 AC T I also A CC T =: Ã Glücklicher Umstand: Man braucht bei der Implementation die neue Matrix C 1 AC T nicht zu berechnen, sondern kann im CG-Algorithmus für A die Zeile durch die Anweisung: z = r Löse Ãz = r, ( ) ersetzen. Voraussetzung dafür, dass das praktikabel ist: Das System ( ) muss leicht lösbar sein. 14

15 Ausblick: Was macht man, wenn A nicht symmetrisch positiv definit ist? Erste Idee: Das Gleichungssystem Ax = b ist äquivalent zu A T Ax = A T b (Normalgleichung) Die Matrix A T A ist positiv definit (sofern det(a) 0). Wende also das CG-Verfahren auf das Paar (A T A, A T b) an. Die zu minimierende Funktion ist in diesem Fall Φ(x) = 1 2 xt A T Ax x T A T b = 1 2 ( Ax b 2 b T AA T b) = 1 2 ( r(x) 2 A T b 2 ). Für die Folge der x k gilt dann, dass x k x 0 + K k (A T A, r 0 ) und Φ(x k ) = min Φ(x). x x 0 +K k (A T A,r 0 ) Das Verfahren heisst CGNR-Verfahren. Nachteil: Beim Übergang A A T A quadriert sich die Konditionszahl: cond(a T A) = cond(a) 2. Schlechte Fehlerschranke 15

16 Beim CGNR-Verfahren bestimmt man die Folge der x k so, dass x k x 0 + K k (A T A, r 0 ) und wobei Φ(x k ) = min Φ(x). x x 0 +K k (A T A,r 0 ) Φ(x) = 1 2 ( r(x) 2 A T b 2 ) oder auch (auf Konstanten kommt es beim Minimieren nicht an) Φ(x) = 1 2 r(x) 2 Bessere Idee: Bestimme die x k so, dass x k x 0 + K k (A, r 0 ) und Φ(x k ) = Für die Gradienten muss dann gelten min Φ(x). x x 0 +K k (A,r 0 ) umgeformt: Φ(x k ) = A T Ax k A T b = A T r(x) K k (A, r 0 ), r(x) A K k (A, r 0 ). Das so definierte Verfahren heisst GMRES-Verfahren (Saad und Schultz, 1986). GMRES=Generalized Minimal Residual. 16