Iterative Methoden zur Lösung von linearen Gleichungssystemen

Transkript

1 Iterative Methoden zur Lösung von linearen Gleichungssystemen ( ) Ziel Können wir wir die zeitabhängige Schrödinger-Gleichung lösen? φ(t) = e iht ψ(0) Typischerweise sind die Matrizen, die das System beschreiben, groß: 10 8 Unbekannten sind keine Ausnahme leicht besetzt: nur ein Bruchteil der Einträge der Matrix sind ungleich Null strukturiert: die Matrix ist oft symmetrisch und hat eine Bandstruktur. Einige allgemeine Konzepte Iterative Methoden konstruieren sukzessiven Approximation x k zur Lösung linearer Gleichungssysteme Ax = b, wobei k den Iterationsschritt angibt. Der Vektor r k = b Ax k ist das residual. Die iterative Methoden sind aus nur wenigen verschiedenen Grundoperationen zusammengesetzt: Produkte mit der Matrix A Vektor-Operationen (inneres Produkt) Vorkonditionierung ( preconditioning ) Vorkonditionierung ( preconditioning ) In der Regel werden iterative Methoden nicht auf das ursprüngliche Gleichungssystem Ax = b angewandt, sondern auf ein vorkonditioniertes System M 1 Ax = M 1 b wobei die Vorbedingung so gewählt ist, dass: Vorkonditionierung (Operationen mit M 1 ) schnell ist Die iterative Methode schnell konvergiert für das vorkonditionierte System Einfache iterative Verfahren In einfachen iterative Methoden werden nur Informationen aus der vorherigen Iteration benutzt. Die iterativen Methoden verwenden in der Regel die folgende Aufspaltung von A: A = M R. 1

2 Sukzessive Annäherungen werden mit dem Iterationsschritt berechnet, der äquivalent ist zu Mx k+1 = Rx k + b x k+1 = x k + M 1 (b Ax k ). Der Vektor r k = b Ax k wird als das residual bezeichnet und die Matrix M als preconditioner. Im Folgenden betrachten wir M = I. Richardson-Verfahren Die Wahl M = I, R = I A wird Richardson s Methode genannt und ist eines der einfachstes iterative Verfahren. Der Iterationsschritt lautet x k+1 = x k + (b Ax k ) = b + (I A)x k. Dieser Schritt führt zu den folgenden Iterationen: Startwert x 0 = 0 x 1 = b x 2 = b + (I A)x 1 = b + (I A)b x 3 = b + (I A)x 2 = b + (I A)b + (I A) 2 b Die Wiederholung ergibt x k+1 = k (I A) i b. 1 So generiert die Richardson-Methode die Reihenentwicklung für 1 z mit z = I A. Wenn diese Reihe konvergiert erhalten wir (I A) i = A 1 Die Reihenentwicklung konvergiert für z < 1. Ist A diagonalisierbar dann konvergiert die Reihe (I A)i, wenn 1 λ < 1 für jeden Eigenwert λ von A. Für reales λ bedeutet dies, dass 0 < λ < 2. Um den Konvergenzradius zu erhöhen und die Konvergenz zu beschleunigen, kann man einen Parameter α einführen: x k+1 = x k + α(b Ax k ) = αb + (I αa)x k Es ist leicht zu verifizieren, dass der optimale Wert für α, der zur schnellsten Konvergenz führt, gegeben ist durch 2

3 2 α opt =. λ max + λ min Bis zu diesem Punkt gingen wir von dem Startwert x 0 = 0 aus. Beginnen wir mit einem anderen Startwert x 0, so führt dies zu einem verschobenen System, das zu lösen ist A(y + x 0 ) = b Ay = b Ax 0 = r 0. So bleiben die bisher erzielten Ergebnisse gültig, unabhängig von der Anfangsbedingung. Wir möchten die Iteration abbrechen, wenn der Fehler x k x < ε ist, mit der vorgeschriebenen Toleranz ε. Wir kennen x aber nicht a priori, so dass dieses Kriterium in der Praxis nicht funktionieren. Alternativen sind: r k = b Ax k = Ax Ax k < ε, Nachteil: Kriterium nicht unabhängig von der Skalierung r k / r 0 < ε, Nachteil: gute Anfangsschätzung verringert nicht die Anzahl der Iterationen r k / b < ε Konvergenztheorie Wir möchten die Konvergence der einfachen iterativen Methode im Allgemeinen zu untersuchen: Mx k+1 = Rx k + b mit A = M R. Wenn wir Mx = Rx + b von dieser Gleichung subtrahieren, erhalten wir eine Rekursionformel für den Fehler e = x k x: Me k+1 = Re k Wir können diese auch als e k+1 = M 1 Re k schreiben. Der Fehler wird letztlich in die Richtung des größten Eigenvektors von M 1 R weisen. Die Konvergenzrate wird durch den Spektralradius ρ(m 1 R) von M 1 R bestimmt: ρ(m 1 R) = λ max (M 1 R). Konvergenz ist gegeben wenn ρ(m 1 R) < 1. Letztlich haben wir e k+1 ρ(m 1 R) e k, d.h. wir bekommen eine lineare Konvergenz. Die Konvergenz des Richardson-Verfahrens ist nicht garantiert und wenn das Verfahren konvergiert, ist die Konvergenz oft sehr langsam. 3

4 Ein-Schritt-Projektionsverfahren Wir führen jetzt zwei Methoden ein, die für eine große Klassen von Matrizen garantiert konvergieren. Die beiden Methoden nehmen spezielle Linearkombinationen der Vektoren r k und Ar k, um eine neue Iteration x k+1 zu konstruieren, die ein lokales Optimum erfüllt. Steepest descent Sei A symmetrisch positiv definit. Definieren wir die Funktion f(x k ) = x k x 2 A = (x k x) T A(x k x). Sei x k+1 = x k + α k r k, dann wird f(x k+1 ) minimiert durch rt k r k rk T Ar. k Minimal residual Sei A quadratisch. Definieren wir die Funktion g(x k ) = b Ax k 2 2 = r T k r k. Sei x k+1 = x k + α k r k, dann wir g(x k+1 ) minimiert durch rt k Ar k r T k AT Ar k. Orthogonalitätseigenschaften Folgende Eigenschaften gelten: steepest descent minimal residual rt k r k rk T Ar r k+1 r k k rt k Ar k r T k AT Ar k r k+1 r k Der Krylov-Unterraum Existiert ein besserer, schnellerer Weg zur Näherung von A 1 durch eine polynomiale Entwicklung? Wir sahen, dass das Richardson-Verfahren folgende Iterationen produziert k x k+1 = x 0 + (I A) i r 0, also x k+1 span{x 0, r 0, Ar 0, A 2 r 0,..., A k r 0 } und 4

5 k k r k+1 = b Ax 0 A (I A) i r 0 = r 0 A (I A) i r 0 und damit r k+1 span{r 0, Ar 0, A 2 r 0,..., A k+1 r 0 }. Krylov-Unterraum Der Raum span{r 0, Ar 0, A 2 r 0,..., A k 1 r 0 } wir Krylov-Unterraum der Dimension k zur entsprechend Matrix A und residual r 0 genannt und wird gekennzeichnet als K k (A; r 0 ) = span{r 0, Ar 0, A 2 r 0,..., A k 1 r 0 }. Die Leitfrage im Folgenden wird sein: Können wir die enthaltenen Informationen effizienter als im Richardson-Verfahren benutzen? Die einfachen iterativen Methoden produzieren Iterationen nach x k+1 = x k + M 1 r k und daher x k+1 x 0 K k+1 (M 1 A; M 1 r 0 ). Für den Moment nehmen wir M = I an. Sowohl die Methode des steepest descent als auch des minimal residual führen Iterationen der folgenden Form durch: Für diese Methoden gilt also auch x k+1 = x k + α k r k r k+1 = b Ax k+1 = r k α k Ar k. x k+1 x 0 K k+1 (M 1 A; M 1 r 0 ). Auf dem Weg zu optimalen Methoden Ein-Schritt-Projektion Methoden ermöglichen eine optimale Kombination aus den letzten beiden Basisvektoren im Krylov-Unterraum. Ist es möglich, optimale Linearkombinationen aller Basisvektoren im Krylov-Unterraum zu erzeugen? Das Lanczos-Verfahren Wähle Startvektor q 1 mit q 1 = 1 5

6 FOR k = 1,... DO β 1 = 0, q 0 = 0 qk T Aq k v = Aq k α k q k β k q k 1 β k+1 = v q k+1 = v/β k+1 Initializierung Iterationen neue Richtung orthogonal zum vorherigen q Normierung Das Lanczos-Verfahren erzeugt uns die Matrizen α 1 β 2 0 β 2 α 2 T k =... βk 0 β k α k und Dann gilt Q k = [q 1 q 2...q k ]. AQ k = Q k T k + β k+1 q k+1 e T k. Lanczos als Eigenwertverfahren Das Lanczos-Verfahren wurde ursprünglich als iterative Methode vorgeschlagen, um die Eigenwerte einer Matrix A zu berechnen: Q T k AQ k = H k. Wir können damit aber auch die Zeitentwicklung eines Zustands bestimmen φ(t) = e iht ψ(0) Qk e it k t Q T k ψ(0). Für hinreichend kleine Zeitschritte ist die Dimension von T k üblicherweise viel kleiner als die Dimension von A und lässt sich damit sehr schnell diagonalizieren. Quellen und Literatur PhD-Kurs über Iterative Methoden von Martin van Gijzen Lanczos pseudospectral method for initial-value problems in electrodynamics and its applications to ionic crystal gratings, A.G. Borisov, S.V. Shabanov, Journal of Computational Physics 209, (2005) Unitary quantum time evolution by iterative Lanczos reduction, Tae Jun Park, J C Light, The Journal of Chemical Physics 85, 10 (1986) 6