III Das Symmetrische Eigenwertproblem (SEP)

Transkript

1 III Das Symmetrische Eigenwertproblem (SEP) III3 Algorithmen für symmetrische tridiagonale Eigenwertprobleme Sei im folgenden a b A = b a b b n a n b n b n a n R n n, zb nach Householder- oder Lanczos(im Kapitel IV)-Tridiagonalisierung (III) Bisektionsverfahren Sei A R n n ; definiere A r := A( : r, : r) für r =,, n mit charakteristischem Polynom p r (x) = det(a r λi) Definiert man weiter p (x), sowie p (x), dann folgt p r (x) = (a r x)p r (x) b r p r (x), denn a λ b b a λ b det(a r λi) = det b r a r λ b r b r a r λ a λ b b a λ b Entw nach = (a r λ) det(a r λi) b r det letzter Zeile b r 3 a r λ = (a r λ) det(a r λi) b r det(a r λi) b r b r }{{} Entw nach = letzter Spalte b r det(a r λi)

2 Diese Rekursionsformel erlaubt die Auswertung von p n (x) = χ A (x) in O(n) flops Die Berechnung der Eigenwerte durch Bisektion (Intervallschachtelung, Algorithmus III6) liefert damit ein Verfahren die Eigenwerte direkt aus dem charakteristischen Polynom zu bestimmen Algorithmus III6 Bisektionsverfahren Input: y < z R mit p n (y)p n (z) < ( ξ (y, z) : p n (ξ) = ) Output: ξ mit p n (ξ) = while z y > T OL( y + z ) do x= (y+z)/ if p n (x)p n (y) < then z = x else y = x end if end while Die Konvergenz im Algorithmus III6 ist linear, denn λ x k+ λ x k Der folgende Satz liefert uns eine Möglichkeit bestimmte Eigenwerte von A zu berechnen Suchen wir zb zu µ R den nächstkleineren Eigenwert, dann können wir im Algorithmus III6 z = µ wählen und mit dem Satz y so bestimmen, dass genau eine Nullstelle zwischen y und z liegt (also eine weniger links von y als links von z) Seien im folgenden die Eigenwerte immer angeordnet nach λ λ λ n Satz III7 (Sturm sche Folge) Sei A = A n unreduzierte symmetrische Tridiagonalmatrix, dann separieren die Eigenwerte von A r die Eigenwerte von A r derart, dass Weiter sei λ r (A r ) < λ r (A r ) < λ r (A r ) < < λ (A r ) < λ (A r ) < λ (A r ) a(µ) = Anzahl Vorzeichenwechsel in {p (µ), p (µ),, p n (µ)} mit der Konvention, dass eine Nullstelle (p j (µ) = ) einem Vorzeichenwechsel entspricht, dann gilt a(µ) = #{λ Λ(A) λ < µ} Beweis [GV96, Theorem 85] Bemerkung (Trennungseigenschaft) Es gilt A = A T, A r := A( : r, : r): λ r+ (A r+ ) λ r (A r ) λ r (A r+ ) λ (A r+ ) λ (A r ) λ (A r+ ) Beispiel III8 Sei µ = wir suchen die Anzahl der Eigenwerte links von µ zu A = 3 µ= 4 p () = p () = ( ) ( ) = p () = ( )( ) ( ) = p 3 () = (3 )( ) ( ) ( ) = p 4 () = (4 ) ( ) ( ) =

3 Vorzeichenwechsel Eigenwerte von A kleiner als In der Tat ist Λ(A) {54, 83, 377, 4745} Mit Hilfe des Satzes von Gershgorin: Λ(A) n [a ii r i, a ii + r i ] mit r i = i= n a ij ) angewendet auf A tridiagonal wie in (III) erhalten wir eine einfache Methode y und z so zu bestimmen, dass Λ(A) [y, z]: Wähle y = min ({a b, a n b n } {a i b i b i : < i < n}), sowie z = max ({a + b, a n + b n } {a i + b i + b i : < i < n}) III4 Divide-and-Conquer Algorithmus Der (schnellste) Algorithmus zur Berechnung aller Eigenwerte und Eigenvektoren einer tridiagonalen, symmetrischen Matrix A R n n wie in (III) für n > 5 ist derzeit der Divide-and-Conquer Algorithmus Wir möchten dabei wieder Q T AQ = diag(λ,, λ n ) mit Q T Q = I berechnen Dabei wollen wir das Problem rekursiv in Teilprobleme für Matrizen T R m m und T R n m n m zerlegen, bis m = und damit das Eigenwertproblem trivial ist A = a b b bm b m a m b m b m a m+ b m+ b m+ bn (unreduziert) = a b b bm b n b m a m b m a m+ b m b m+ a n b m+ bn + b m b m b m b m b n a n 3

4 [ ] T =: + b T m [ ] }{{} =:v T [ ] T = + b T m vv T Angenommen, Q T i T iq i = D i = [ ] sind die Eigenwertzerlegungen der T i, dann [ Q D A = Q T ] Q D Q T + b m vv T [ ] ([ ] ) [ ] T Q D = + b m uu T Q Q Q D Dabei ist und es gilt u := [ Q T Q T ] [ ] Q T v = (:,n) Q T (:,) = [ ] Q (n,:) Q (,:) [ [ ] d Λ(A) = Λ(D + ϱuu T ), mit D = D D = d n ] und ϱ = b m Wir wenden das Verfahren rekursiv an, bis T, T R Dabei müssen wir die Eigenwerte von D + ϱuu T berechnen Benötigen billige Berechnung von Spektra für Diagonalmatrizen mit Rang--Aufdatierungen Dazu nehmen wir obda an, dass d > d > > d n und setzen λ d j j Dann folgt: det(d + ϱuu T λi) = det ( (D λi)(i + ϱ(d λi) uu T ) ) und wir sehen, dass det(i + ϱ(d λi) uu T ) = λ Λ(A) (III) Zur Bestimmung der Determinante müssen wir Determinanten der Form det(i + xy T ) für x, y R n berechnen Dabei hilft uns das folgende Lemma Lemma III9 Seien x, y R n Dann gilt: det(i + xy T ) = + y T x 4

5 Beweis Sei {λ,, λ r } = Λ(I + xy T ); Dann ist λ j (I + xy T ) = λ j (xy T ) + Andererseits hat xy T Rang und es gilt Λ(xy T ) = {y T x,,, }, denn (xy T )x = x(y T x) = (y T x)x x ist Eigenvektor zum Eigenwert y T x }{{} R Es folgt also Λ(I + xy T ) = {y T x,,, } und damit det(i + xy T ) = + y T x Definiere f(λ) := + ϱ n i= u i d i λ Es gilt f(λ) = + ϱ[u,, u n ] d λ u d n λ u n ( ) Lemma III9 = det I + ϱ (D λi) uu T, = + ϱu T (D λi) u }{{}}{{} =:y T =:x dh f(λ) = λ Λ(A) Wir suchen also die Nullstellen von f Falls u i (sonst ist nichts zu tun)und ϱ >, dann ist wegen λ d i n f u i (λ) = ϱ (d i λ) > Nach Definition gilt damit: außerdem i= lim f(λ) = und lim f(λ) = λ λ λ < d m f(λ) > und λ > d f(λ) > Siehe etwa Abbildung III für ein Beispiel mit n = 4 Insgesamt erhalten wir damit: In jedem Intervall (d j+, d j ), j = n,, liegt genau eine Nullstelle von f falls ϱ > liegt eine weitere Nullstelle rechts von d, für ϱ < liegt eine weitere Nullstelle links von d n Wir setzen daher ein Newton Verfahren zum Berechnen der Nullstellen ˆ= Eigenwerte auf jedem Intervall an Auswertungen von f(λ) und f (λ) kosten O(n) flops Damit liegt der Aufwand zur Berechnung aller Eigenwerte bei O(n ) Falls nur die Eigenwerte gesucht sind ist dieses Verfahren also teurer als der symmetrische QR Algorithmus! Allerdings kann der zu λ Λ(A) gehörige Eigenvektor günstig wie folgt bestimmt werden: Lemma III λ Λ(D + ϱuu T ) (D λi) u ist der zugehörige Eigenvektor 5

6 5 f(x) =+3/( x)+3/(3 x)+4/(7 x) Abbildung III: Beispielgraph für n = 4 Beweis (D + ϱuu T )(D λi) u = (D λi + λi + ϱuu T )(D λi) u = u + λ(d λi) u + u[ϱu T (D λi) u] }{{} =f(λ) }{{} = = λ(d λi) u Die Kosten zur Berechnung aller Eigenvektoren belaufen sich damit also auf n Wir haben bisher vorausgesetzt, dass d i d i+ und u i gilt Im Fall u i = folgt aber sofort d i Λ(D + ϱuu T ), denn (D + ϱuu T )e i = d i e i Im Fall d i = d i+ definiere U = G(i, i +, θ) so, dass G T (i, i +, θ)u = u u i ũ i u i+ u n 6

7 U T (D + ϱuu T )U = D + ϱũũ T mit ũ i+ = Ue i+ ist Eigenvektor von D + ϱuu T zum Eigenwert d i+ In beiden Fällen kann d i abgespalten werden und wir fahren dann mit dem verkleinerten Problem fort Der Divide-and-Conquer Algorithmus besteht nun darin, die Teilungsprozedur rekursiv anzuwenden bis T, T R gilt Bemerkung Die Berechnung der Eigenvektoren mit Lemma III ist numerisch instabil, falls λ d i Ein numerisch stabiler Algorithmus nach [GE94] verwendet den ( ) d Satz III (von Löwner) Sei D = und α,, α n R so, dass d n < α n < d n < < d < α Mit d n (α j d j ) û i = ± (d j d i ), û = û û n gilt: Λ ( D + ûû T ) = {α,, α n } Wir berechnen also die Eigenwerte wie zuvor, wenden aber Lemma III auf D + ûû T an Diese Lösung ist dann numerisch stabil, da (D λ i I) û orthogonaler ist, als (D λ i I) u Beweis zum Satz von Löwner Setze ˆD = D + ûû T p ˆD(λ) = det( ˆD λi) =: Andererseits gilt unter Verwendung von Lemma III9: (α j λ) det( ˆD λi) = det(d λi) det(i + (D λi) ûû T ) n û = (d j λ) j + d j λ n = (d j λ) + û j n d j λ + (d j λ)û i 7

8 Setzt man nun λ = d i, dann folgt n (α j d j ) = (d j d i ) + û i d j d i + n (d j d i )û i }{{} und damit: = = (d j d i )û i û i = (α j d i )û i (d j d i )û i Der Quotient ist positiv, da sowohl im Zähler als auch im Nenner genau n i negative Faktoren auftreten > 8

9 Algorithmus III7 Divide-and-Conquer (dcsep) Input: A = A T R n n tridiagonal Output: Λ := {λ,, λ n } = Λ(A), Q = [q,, q n ] R n n orthogonal mit Aq j = λ j q j, j =,, n : Bestimme n : if n > then[ ] 3: Forme A = A A + ϱvv T {mit ϱ = b m } 4: Berechne Q, Λ durch Aufruf von dcsep(a ) 5: Berechne Q, Λ durch Aufruf von dcsep(a ) 6: Berechne D + ϱuu T aus Q, Q, Λ, Λ 7: Finde die Eigenwerte Λ von D + ϱuu T durch Berechnen aller Nullstellen von f(λ) = + ϱ n i= u i d i λ 8: Berechne den Vektor û mit dem Satz von Löwner und den Eigenvektor von D + ûû T : ˆq j = (D λ j ) û 9: Berechne die Eigenvektoren von A: Q = : else : Q =,Λ = A : end if [ Q Q ] [ˆq,, ˆq n ] Die Kosten im Algorithmus III7 belaufen sich auf: ( n ) t(n) = ( n ) t = Eigenwert + O(n ) + Eigenvektor Aufdatierung Q O(n ) + cn 3 + cn 3 ( ( n ) ( n ) ) 3 ( n ) t + c + cn 3 = 4t + c n cn3 log (n) = log (n) t() + j= ) log (n)+ j= cn 3 4j log (n) = n + cn 3 log (n) 4 j = cn3 = ( 4 4 cn cn3 j= ( ) j 4 9

10 Literaturverzeichnis [GE94] Ming Gu and Stanley C Eisenstat A stable and efficient algorithm for the rank-one modification of the symmetric eigenproblem SIAM J Matrix Anal Appl, 5(4):66 76, [GV96] GH Golub and CF Van Loan Matrix Computations Johns Hopkins University Press, Baltimore, third edition, 996