Das symmetrische Eigenwertproblem

Transkript

1 Kapitel 2 Das symmetrische Eigenwertproblem 2 Mit diesem Kapitel wenden wir uns der numerischen linearen Algebra zu. Konkret geht es um die Lösung des algebraischen Eigenwertproblems Ax = λx, wobei symmetrische (oder hermitesche) Matrizen A R n n bzw. A C n n im Vordergrund stehen. Diese Fragestellung ist in den Anwendungen von zentraler Bedeutung, da Eigenwerte eine prägnante Charakterisierung des dynamischen Systemverhaltens ermöglichen. Zur numerischen Lösung des Eigenwertproblems benötigt man nicht nur Wissen und Methoden der linearen Algebra. Da die Eigenwerte durch die Nullstellen des charakteristischen Polynoms gegeben sind, hat man ein spezielles Nullstellenproblem zu lösen. Wie sich zeigen wird, ist dieser naheliegende Berechnungsweg jedoch extrem schlecht konditioniert, während alternative Ansätze, die auf unitären Ähnlichkeitstransformationen beruhen, auf ausgezeichnete Algorithmen führen. Literaturhinweise: G. H. Golub, Ch. F. van Loan: Matrix Computation. John Hopkins, 1996 J. H. Wilkinson, C. Reinsch: Linear Algebra. Springer,

2 2.1 Eigenwerte und Differentialgleichungen Als Beispiel für ein Eigenwertproblem betrachten wir Schwingungen in der Punktmechanik: Beispiel 2.1: Feder-Masse-Schwinger Das folgende System besteht aus drei Massen m 1, m 2 und m 3, die durch Federn mit Federkonstanten k 0, k 1, k 2 und k 3 verbunden sind: k 0 y 1 m 1 k 1 y 2 m 2 k 2 y 3 m 3 k 3 Mit dem Newtonschen Kraftgesetz F = mẍ und dem Hookeschen Federgesetz F = kx lassen sich für die drei Körper die Kräftebilanzen aufstellen. Dabei bezeichne y i die Auslenkung des i-ten Körpers von seiner Ruhelage: m 1 ÿ 1 + k 1 (y 1 y 2 ) + k 0 y 1 = 0 m 2 ÿ 2 + k 2 (y 2 y 3 ) + k 1 (y 2 y 1 ) = 0 m 3 ÿ 3 + k 3 y 3 + k 2 (y 3 y 2 ) = 0 (2.1) Für y 1 = y 2 = y 3 = 0 erhält man die (uninteressante) Gleichgewichtslösung. Gesucht ist die (nichttriviale) Lösung y j (t), j = 1, 2, 3, von (2.1), einer linearen Differentialgleichung 2. Ordnung mit konstanten Koeffizienten. Aus der Analysis ist bekannt: Das Anfangswertproblem (2.1) zu gegebenen Anfangswerten y j (t 0 ), ẏ j (t 0 ) hat eine eindeutige Lösung. Lösungsansatz: y j (t) = c j e iωt wobei c j die Amplitude bezeichnet und ω die Frequenz der Schwingung (e ix = cos x + i sin x). Setzt man diesen Ansatz in (2.1) ein, so erhält man m 1 ω 2 c 1 + k 0 c 1 + k 1 (c 1 c 2 ) = 0 m 2 ω 2 c 2 + k 1 (c 2 c 1 ) + k 2 (c 2 c 3 ) = 0 m 3 ω 2 c 3 + k 2 (c 3 c 2 ) + k 3 c 3 = 0 (2.2) 19

3 Mit c := (c 1,c 2,c 3 ) T, Massenmatrix M := diag (m 1,m 2,m 3 ) (positiv definit) und der symmetrischen Steifigkeitsmatrix k 0 + k 1 k 1 0 K := k 1 k 1 + k 2 k 2 0 k2 k 2 + k 3 ist (2.2) äquivalent zu dem verallgemeinerten Eigenwertproblem (K ω 2 M)c = 0 c 0 det(k λ 2 M) = 0. (2.3) Überführung in ein gewöhnliches Eigenwertproblem mit dem Ansatz x := M 1/2 c = diag ( m 1, m 2, m 3 )c, A := M 1/2 KM 1/2, λ := ω 2. Dann schreibt sich das Eigenwertproblem in der Standardform Ax = λx x 0 det(a λi) = 0 (2.4) mit reeller, symmetrischer Matrix A. Nicht nur Systeme von Punktmassen, sondern auch viele andere Anwendungen werden durch Differentialgleichungen zweiter Ordnung Mÿ(t) + Ky(t) = b(t) mit Massenmatrix M, Steifigkeitsmatrix K und Anregung b beschrieben. Der Ansatz y = c expiωt mit Frequenz ω liefert das System von Fundamentallösungen im homogenen Fall, und über die Variation der Konstanten ist dann auch der inhomogene Fall behandelbar. Wie in Beispiel 2.1 erhält man ein symmetrisches Eigenwertproblem der üblichen Form Ax = λx über die Transformation x := L T c A := L 1 KL T, λ := ω 2 wobei nun die Cholesky-Zerlegung M = LL T verwendet wird (M ist positiv definit aber nicht immer diagonal). Falls schon ein System erster Ordnung ẏ(t) = Ay(t) + b(t) 20

4 vorliegt, ergibt sich mit y = x expλt direkt das (möglicherweise unsymmetrische) EWP Ax = λx. Wichtige Unterscheidung hierbei: a) A ist normale Matrix, d.h. es existiert ein orthogonales System von Eigenvektoren. Dann charakterisieren die Eigenwerte das Lösungsverhalten vollständig. b) Andernfalls gelten Aussagen über die Stabilität und das Wachstum von Lösungen nur asymptotisch, d.h. für t, denn dann kann expat trotz negativer EW zunächst wachsen! Skizze: 2.2 Theoretische Grundlagen In diesem Abschnitt werden die wichtigsten Begriffe wiederholt und um die für die Numerik zentralen Aussagen erweitert. Gegeben: A C n n (oder R n n ) Gesucht : die Fixpunkte bzw. die Fixrichtungen von A: x 0 mit Ax = λx, λ skalar } λ heißt Eigenwert (EW) x heißt Eigenvektor (EV) der Matrix A Es gibt auch sogenannte Linkseigenvektoren : y 0 mit y H A = λy H, λ skalar ( A H y = λy) 21

5 Umformuliert: x 0 mit (A λi)x = 0 φ(λ) := det(a λi) = 0 φ P n heißt charakteristisches Polynom von A. Es existieren genau n EW (Nullstellen von φ). Beachte: Alle EW heißt n EW Alle EV heißt n EV (natürlich linear unabhängig). Wichtige Begriffe: Die algebraische Vielfachheit eines EW ist die Vielfachheit von λ als Nullstelle von φ. Die geometrische Vielfachheit eines EW λ ist die Dimension des zugehörigen Nullraums, dim N A λi. Es gilt: 1 geom. Vielf. alg. Vielf. Gilt für alle Eigenwerte geom. Vielf. = alg. Vielf., dann gibt es ein vollständiges System von EV, d.h. n linear unabhängige EV, d.h. A ist diagonalisierbar. Ähnlichkeitstransformationen (ÄT) Zwei Matrizen A, B heißen ähnlich, falls eine reguläre Transformation T existiert mit B = T 1 AT: A B : T : B = T 1 AT Es gilt für A B: λ EW von A x EV von A λ EW von B T 1 x EV von B 22

6 Beweis: Falls T 1 = T H : T unitär, und man spricht von einer unitären ÄT. Welche Vorteile haben unitäre ÄT? 1. A H = A B H = B strukturerhaltend denn: B H = (T 1 AT) H = T H A H (T 1 ) H = T 1 AT = B wegen T H = T 1 und A H = A. 2. B 2 = A 2 normerhaltend denn: B 2 def = max T 1 A x 2 }{{} Tx =1 = max y 2 =1 Ay 2 = A 2 y 2 = max y 2 =1 T 1 Ay 2 3. κ(a) = κ(b) numerisch stabil folgt aus 2. (beachte A 1 2 = T 1 A 1 T 2 ) Normalformen Satz 2.1 Satz von Jordan Jede quadratische Matrix läßt sich durch eine ÄT auf Jordansche Normalform bringen: A T 1 AT = diag (J 1,...,J r ) mit λ i J i =... 1 Cn i n i. det(j i λi) heißt Elementarteiler. 0 λ i 23

7 Die Jordansche Normalform ist nicht für die Numerik geeignet. Selbst kleinste Rundungsfehler zerstören sofort die Struktur, da mehrfache Nullstellen zu Clustern von nahe benachbarten 1 1-Matrizen (=EW) entarten. Schränkt man die ÄT auf unitäre Matrizen ein, so erhält man die Schursche Normalform: Satz 2.2 Schursche Normalform Zu jeder Matrix A C n n und jeder Reihenfolge ihrer EW λ 1,...,λ n existiert ein unitäres U, so daß λ 1 U 1 AU = U H AU = λ n Beweis: per Induktion (nicht konstruktiv, da λ j als gegeben vorausgesetzt wird) Induktionsanfang: n = 1 klar n 1 n: Sei λ 1 beliebiger EW von A mit zugehörigem EV x 1, x 1 sei normiert: x = x H 1 x 1 = 1 Ax 1 = λ 1 x 1 Konstruiere nun zu x 1 eine Orthonormalbasis {x 1,x 2,...,x n } des C n Matrix X = (x 1,x 2,...,x n ) ist unitär: X H X = I Führe Trafo mit X durch und bilde X H AXe 1 = X H Ax 1 = λ 1 X H x 1 = λ 1 e 1 wegen X H = X 1 ( ) X H λ1 AX = mit A 1 C n 1 n 1 0 A 1 24

8 Wende die Induktionsvoraussetzung auf A 1 an, d.h. es existiert unitäres U 1 mit λ 2... U1 H AU 1 = λ n Konstruiere U durch ( 1 0 U = X 0 U 1 ). Damit folgt U H AU = ( U1 H ) 0 X} H {{ AX} 0 A 1 λ 1 1 A ( U 1 ) ( λ1 = 0 U1 H AU 1 ) = λ 1... λ λ n Eine Folgerung aus der Schurschen Normalform charakterisiert die normalen Matrizen: Satz 2.3 Unitäre Diagonalisierbarkeit Zu jeder normalen Matrix A, d.h. AA H = A H A bzw. AA T = A T A existiert eine unitäre (orthogonale) Matrix U, so daß mit den Eigenwerten λ 1,...,λ n. Beweis: U H/T AU = diag (λ 1,...,λ n ) 25

9 Zu den normalen Matrizen gehören: reell symmetrische: reell antisymmetrische: reell orthogonale: selbstadjungierte: unitäre: Speziell folgt weiter Satz 2.4 Hauptachsentheorem Zu jeder Hermiteschen (symmetrischen) Matrix A (= A H, A T ) existiert eine unitäre (orthogonale) Matrix U, so daß mit λ j R, j = 1,...,n. U H/T AU = diag (λ 1,...,λ n ) In Kurzform: Symmetrische Matrizen sind diagonalisierbar und besitzen reelle Eigenwerte. Zusammenfassung: A durch unitäre ÄT diagonalisierbar A normal, AA H = A H A A besitzt vollständiges System von orthonormierten Eigenvektoren (geom. Vielf. = alg. Vielf.) 26

10 2.3 Der Satz von Gershgorin und die Kondition einfacher Eigenwerte Bevor wir an die Konstruktion numerischer Verfahren für das EWP gehen, müssen wir noch untersuchen, ob das EWP überhaupt eine sinnvolle Aufgabe, d.h. gut konditioniert ist. Der Satz von Gershgorin (1931) erlaubt Aussagen über die Verteilung der Eigenwerte. Zu seiner Formulierung wird jeder Zeile einer Matrix A eine abgeschlossene Kreisscheibe in der komplexen Zahlenebene zugeordnet, mit dem Diagonalelement als Mittelpunkt und der Betragssumme der übrigen Elemente dieser Zeile als Radius: n K j := z C : z a jj a jk Dann gilt: Satz 2.5 Satz von Gershgorin k=1,k j Jeder Eigenwert der Matrix A C n n liegt in mindestens einer Kreisscheibe K j. Alle Eigenwerte liegen in der Vereinigung aller Kreisscheiben. Kein Eigenwert liegt außerhalb dieser Vereinigung. Beweis: Nur die erste Aussage muss bewiesen werden. Sei λ ein Eigenwert und x ein zugehöriger Eigenvektor mit betragsgrößter Komponente x j (legt j fest). Aus n a jk x k = λx j k=1 folgt und also λ K j. n λ a jj = a jk x k /x j k=1,k j n n λ a jj a jk x k / x j a jk, k=1,k j k=1,k j 27

11 Mann kann den Satz noch verschärfen und zeigen: Sind m Kreisscheiben disjunkt zu den übrigen, dann enthalten sie zusammen genau m Eigenwerte. Beispiel 2.2: A = Eigenwertverteilung: Im folgenden geht es uns um die Änderung der EW bei (infinitesimal kleinen) Änderungen der Matrixelemente. Wie wirken sich diese Störungen der Daten aus? Ist das Eigenwertproblem gut konditioniert? Bezeichnungen: A C n n fest, ungestörte Matrix A C n n beliebig, A ε mit ε Störparameter λ i (A + A) = i-ter EW von A + A A = ε B mit B 1 Definition 2.1: Konditionszahl des i-ten Eigenwertes κ i := lim sup ε 0 A ε λ i (A + A) λ i (A) ε Falls κ i = λ i ist -schlecht konditioniert [0, ] Die Konditionszahl κ i liefert den bestmöglichen Parameter κ für die Abschätzung λ i (A + A) λ i (A) κ A + o( A ) Falls λ i im Punkt A differenzierbar ist, so gilt κ i = λ (A) (ist der Fall, falls λ i algebraisch einfacher EW von A ist). 28

12 Beachte: Die Definition der Konditionszahl κ i ist invariant unter unitären Ähnlichkeitstransformationen. Sie setzt voraus, daß sich die i-ten EW von A und A + A eindeutig zuordnen lassen. Dies folgt aus der Stetigkeit der EW von A + εb (stetige Abhängigkeit von ε). Beweis mit Satz von Rouché: f, g analytisch in L C und f(z) > g(z) z L f und f ± g haben in L gleich viele Nullstellen. Anwendung auf det(a + εb λi) als f(λ) ± g(λ) und det(a λi) als f(λ) liefert das Gewünschte. Für den Fall algebraisch einfacher EW läßt sich Folgendes zeigen: Satz 2.6 Kondition einfacher EW Sei λ ein algebraisch einfacher EW von A. Dann gilt wobei { κ = 1 y H x = 1 cos (x, y), x eindeutiger Rechts-EV von A : Ax = λx, x 2 = 1 y eindeutiger Links-EV von A : y H A = λy H, y 2 = 1. Ist A normal, d.h. A H A = AA H, so gilt sogar κ = 1. Bemerkungen: Das symmetrische EWP ist für algebraisch einfache EW gut konditioniert: κ = 1 Falls λ mehrfacher EW zu lauter linearen Elementarteilern ist, so ist κ beschränkt: κ const (ohne Beweis). Für die EV gelten diese Aussagen nicht! Beweis zu Satz 2.6: Da λ algebraisch einfach ist, gilt: φ(λ) = 0, φ (λ) 0 für φ(z) := det(a zi). Betrachte nun das gestörte EWP für die Matrix A + εb: (A + εb)x(ε) = λ(ε)x(ε) und det(a + εb λ(ε)i) = 0. 29

13 Mit dem Satz über implizite Funktionen } f(x,y) analytisch ( ) mit f f(x 0,y 0 ) = 0, 0 1 y(x) analytisch mit f(x,y(x)) = 0 y x 0,y 0 ergibt sich mit der Zuordnung x ε, y λ, x 0 0, y 0 λ und f(x,y) det(a + εb λi), f(x 0,y 0 ) = det(a λi) : λ(ε) ist eine analytische Funktion, d.h. λ(ε) = α 0 + α 1 ε + α 2 2 ε mit α i C geeignet. Anwendung der Cramerschen Regel, homogene Fassung, liefert x(ε) = ξ o + ξ 1 ε + ξ 2 2 ε2 +..., ξ i C n geeignet. Einsetzen und Koeffizientenvergleich: ( (A + εb) ξ 0 + ξ 1 ε + ξ ) 2 2 ε ( = α 0 + α 1 ε + α ) ( 2 2 ε ξ 0 + ξ 1 ε + ξ ) 2 2 ε (1) ε 0 : Aξ 0 = α 0 ξ 0 α 0 = λ, ξ 0 = x (Fall ε = 0) (2) ε 1 : Aξ 1 + Bξ 0 = α 0 ξ 1 + α 1 ξ 0 usw. Setze (1) in (2) ein, Aξ 1 + Bx = λξ 1 + α 1 x, und multipliziere mit y H von links: Damit: κ = lim ε 0 sup y H A ξ }{{} 1 + y H Bx = λy H ξ 1 + α 1 y H x λy H B 1 λ(a + εb) = λ + ε yh Bx y H x + O(ε2 ) y H Bx y H x + O(ε) = sup B 1 y H Bx y H x = 1 y H x. Die letzte Gleichung gilt, denn y H Bx y 2 Bx 2 y 2 B 2 x 2 = 1 B 2 1 1, und für B = yx H mit B = 1 gilt Gleichheit. Somit κ = 1 y H x = 1 cos (x,y), 30

14 da x und y normiert sind. Für normale Matrizen gilt y H x = x H x = 1, denn λ A = U... UH mit U H = U 1 x = Ue 1 ist Rechtseigenvektor, y H = x H ist Linkseigenvektor, x H x = x 2 2 = Ue = e = 1 y H x = x H x = 1. Eigenwerte zu nicht-linearen Elementarteilern dagegen sind -schlecht konditioniert. ( ) ( ) A =, A = εb, B = Die Eigenwerte von A sind λ 1 = λ 2 = 0. Für die Eigenwerte λ von ( ) 0 1 A + εb = ε 0 ergibt sich λ 2 ε = 0 λ 1/2 = ± ε λ 1/2 λ 1/2 ε = ±ε 1 2 ε 0, damit: κ i =. Es ist einleuchtend, daß in diesem schlecht konditionierten Fall eine Berechnung der EW über die Nullstellen des charakteristischen Polynoms auch nicht weiterhelfen kann. Für das gut konditionierte reell-symmetrische EWP könnte man jedoch zunächst daran denken, das charakteristische Polynom aufzustellen und anschließend seine Nullstellen zu bestimmen. Leider verschwindet die Information der Eigenwerte, falls man das charakteristische Polynom in Koeffizientendarstellung behandelt. Auch im Fall disjunkter Nullstellen ist das 31

15 Problem der Nullstellenbestimmung von Polynomen in der Regel schlecht konditioniert. Hierzu ein warnendes Beispiel von Wilkinson: P(λ) = (λ 1)(λ 2) (λ 20) P 20 Ausmultiplizieren der Wurzeldarstellung (Hornerschema) ergibt Koeffizienten in der Größenordnung zwischen 1 (Koeffizient von λ 20 ) und (Koeffizient von λ 0 : 20!). Für das leicht gestörte Polynom (ε := ) P(λ) := P(λ) ελ 19 (Koeffizient von λ 19 in P : O(10 3 )) ergeben sich die folgenden Nullstellen: ± i ± i ± i ± i ± i Man ist daher auf iterative Verfahren angewiesen. 2.4 Reduktionsalgorithmen Der Satz von Schur sagt aus, daß für jede Matrix A C n n eine unitäre Matrix U existiert, so dass λ 1... U H AU =... 0 λ n 32

16 mit den EW λ 1,...,λ n von A. Eine erste Idee, sämtliche EW von A gleichzeitig zu berechnen, wäre, U in endlich vielen Schritten zu bestimmen. Da die EW die Wurzeln des charakteristischen Polynoms sind, hätte man damit auch ein endliches Verfahren zur Bestimmung der Nullstellen von Polynomen beliebigen Grades gefunden. Das ist jedoch nicht möglich (Satz von Abel). Eine zweite Idee führt hier zum Ziel: In einem ersten Schritt bringt man die Matrix durch ÄT (am besten unitär) auf möglichst einfache Gestalt. Man spricht hierbei von Reduktionsalgorithmen. In einem zweiten Schritt löst man iterativ das (nun viel billigere) EWP für die reduzierte Matrix. Eine alternative Methode im Falle symmetrischer Matrizen stellt das Jacobi- Verfahren dar. Man wendet sukzessive Rotationsmatrizen als ÄT an, die Matrixelemente zu Null machen. Für dieses Verfahren läßt sich zeigen, daß die Matrix gegen diag (λ 1,...,λ n ) konvergiert. Idee der Reduktionsalgorithmen Vereinfache Ausgangsmatrix A durch unitäre ÄT: A = A (0) A (1) A (2) A (n 2) = Als Werkzeug verwendet man Householder-Reflexionen. 33 obere Hessenberg-Form im unsymmetrischen Fall Tridiagonalmatrix im symmetrischen Fall

17 Definition 2.2: Die Matrix T := I 2 v v H mit v C m und v 2 = 1 heisst Spiegelungsmatrix. Schema für T: Einen beliebigen Vektor x C m kann man zerlegen in x = p + s mit p := v(v H x) parallel zu v und s := x p senkrecht zu v. Die Matrix T spiegelt dann den parallelen Anteil p an s, Skizze: T (s + p) = T (s + v(v H x)) = (I 2vv H ) (s + v(v H x)) = s p. Die Spiegelungsmatrix T hat besondere Eigenschaften: (i) T ist hermitesch (symmetrisch im reellen Fall), T H = T (ii) T ist involutorisch, T 1 = T (iii) T ist unitär (orthogonal) 34

18 Statt mittels eines normierten Vektors v kann man T auch durch T := I uu H /κ, κ := 1 2 uh u mit u C m /{0} definieren. Die Anwendung von T auf einen Vektor x vermöge y = T x = x uu H x/κ benötigt keine Matrix-Vektormultiplikation. Man formt zunächst das Skalarprodukt σ := u H x/κ und dann y := x σu. Analog geht man bei der Anwendung auf Matrizen vor: T A = A u(u H A/κ), jede Spalte wie zuvor. Die Matrix A muss dabei nicht quadratisch sein. In den Anwendungen hat man es immer mit einem Spezialfall zu tun. T bzw. u ist so zu bestimmen, dass die Anwendung auf ein gegebenes x gerade ein Vielfaches des ersten Einheitsvektors e 1 ergibt, T x = y = ζe 1 = ζ Die folgende Vorschrift berechnet diese spezielle Spiegelung: ζ := x 2 x 1 / x 1 u := x + ζe 1 = (x 1 + ζ, x 2,...,x m ) T (2.5) κ := x H x + x 2 x 1 T := I uu H /κ Man nennt die Spiegelung T dann eine Householdertransformation, und es gilt Tx = ζe 1 = ( ζ, 0,...,0) T (Beweis per Nachrechnen). 35

19 Anwendung bei der Reduktion des EWP: Die Ähnlichkeitstrafo A U H AU würde die Dreiecksform zerstören, daher ist eine Modifikation notwendig. Ziel ist es, die Matrix A durch eine unitäre ÄT auf obere Hessenberg-Form zu bringen: A U H.... AU = , 0 wobei U das Produkt von n 2 Householder-Reflexionen ist. 1. Teilschritt: Partitioniere A in A = a 11 a a 1n a 21 a a 2n a n1 a n2... a nn und betrachte den Vektor u = (0, u 2,...,u n ) T. Wähle die Komponenten von u so, daß der (n 1)-dimensionale Vektor (a 21, a 31,...,a n1 ) T gespiegelt wird: a 21 a 21.. T.. = 0. 0 a n1 a n1 mit T = I κuu H, κ = 2 u H u, wobei u 2 = a 21 + a } 21 a 21 s, s = a a n1 2 u k = a k1, k = 3,...,n 1 κ = 1 2 uh u = s + a 21 s 36

20 Anwendung der unitären ÄT ergibt (nachrechnen!): A (0) = A a 11 a a 1n a a n1.... A = TA a 11 a a 1n geändert A (1) = A = TAT (wegen T H = T) a A (1) = 0. geändert bis (n 2). Teilschritt: Rekursive Berechnung analog zum 1. Teilschritt. Ergebnis: A (n 2) hat obere Hessenberg-Form. Falls A C n n Hermitesch ist, erhält man durch dieses Vorgehen sogar Tridiagonalform: A U H AU = Damit kann tatsächlich wie gefordert eine Reduktion in n 2 Teilschritten durchgeführt werden. 37

21 Vorgehen beim EW- / EV-Problem: 1.) Transformiere A auf einfachere Form, A Tridiagonal- bzw. obere Hessenberg-Matrix mittels ÄT, i.a. (n 2) Teilschritte 2.) Wende iteratives Verfahren auf die vereinfachte Matrix an! Inverse Vektoriteration zur Bestimmung eines EW / EV (Abschnitt 2.5) QR-Algorithmus mit Shift-Technik für alle EW / EV (Abschnitt 2.6) Prinzip der Sturmschen Kette mit Bisektion für spezielle EW (Abschnitt 2.7) 38

22 2.5 Vektoriteration (Potenzmethoden) Die Konvergenzeigenschaften des QR-Verfahrens (vgl. Abschnitt 2.6) beruhen wesentlich auf der einfachsten direkten Möglichkeit, Eigenwerte und -vektoren einer normalen Matrix A C n n zu bestimmen: der Vektoriteration. a) Direkte Vektoriteration nach von Mises Betrachte die Krylov-Sequenz v (i+1) := Av (i) = A i+1 v (0), i = 0, 1, 2,... (2.6) zu einem Startwert v (0) C n \ {0}. Falls λ 1 dominanter EW ist, d.h. λ 1 einfach und λ 1 > λ 2... λ n, so konvergieren die normierten Krylov-Vektoren v (i) / v (i) 2 und die quadratischen Formen (Rayleigh-Quotienten) v (i)h Av (i) / v (i) 2 2 gegen den normierten EV x 1 zum dominanten EW λ 1 : lim i v (i) v (i) 2 = x 1, v (i)h Av (i) lim i v (i) 2 2 = λ 1. Denn stellt man v (0) in der Orthonormalbasis {x 1, x 2,...,x n } von A dar, folgt wobei n v (0) = α i x i, i=1 ( n n v (k) = A k v (0) = α i λ k i x i = α 1 λ k 1 x 1 + i=1 i=2 λ i λ 1 < 1 (dabei wird α1 0 angenommen). α i α 1 ( λi λ 1 ) k x i ), Die einfache Vektoriteration (2.6) hat jedoch gravierende Nachteile: 39

23 Man erhält nur den EV zum betragsgrößten EW λ 1. Aber: Falls λ 2 > λ 3... λ n, so ergibt der Ansatz mit A λ 1 x 1 x H 1 /x H 1 x 1 statt A Konvergenz gegen x 2 bzw. λ 2. Falls v (0) x 1 (d.h. α 1 = 0), ist der Startwert nicht hinreichend allgemein gewählt. Allerdings ergibt sich nur theoretisch keine Konvergenz gegen x 1, λ 1, praktisch doch aufgrund der Rundungsfehler (diese können also durchaus erwünscht sein). Die Konvergenz ist linear mit Konvergenzfaktor λ 2 /λ 1. Liegen die EW λ 2 und λ 1 betragsmäßig dicht zusammen, so konvergiert die direkte Vektoriteration nur sehr langsam. Bessere Ergebnisse liefert die b) Inverse Vektoriteration nach Wielandt Betrachte nun die Folge (A λi)v (i+1) = v (i), i = 0, 1, 2,... (2.7) zu einem Startwert v (0) C n \ {0} für eine Näherung λ zum EW λ j, wobei angenommen wird, dass 0 λ j λ λ i λ, i j. Dann ergibt sich v (k) = (A λi) k v (0) ONB = (A λi) k ( n i=1 wegen (A λi)x i = (λ i λ)x i. Also (λ j λ) k v (k) = α j x j + ( n α i i=1 i j α i x i ) = λ j λ λ i λ }{{} 1 und somit folgt analog zur direkten Vektoriteration n i=1 ) k x i α i 1 (λ i λ) kx i lim i v (i) v (i) 2 = x j, v (i)h Av (i) lim i v (i) 2 2 = λ j. 40

24 Da man bei der inversen Iteration die Eigenwerte von A mit der Näherung λ verschiebt auf die Eigenwerte von A λi, bezeichnet man λ als Shift- Parameter. Falls keine gute Näherung bekannt ist, nimmt man den Rayleigh- Quotienten λ = v (0)H Av (0) / v (0) 2 2 als Shift. Bei einer Variante der inversen Iteration, der Rayleigh-Quotienten-Iteration, wird der Shift im übrigen in jedem Schritt über den Rayleigh-Quotienten aktualisiert. Zwei Punkte sind bei der inversen Iteration noch von Bedeutung: Erstens liegt wieder lineare Konvergenz mit Konvergenzfaktor max λ j λ i j λ i λ < 1 vor. Falls λ eine besonders gute Schätzung von λ j ist, so gilt λ j λ λ i λ 1 i j. Dann konvergiert das Verfahren sehr schnell, i.a. reicht k = 1, 2 aus. Zweitens muß im Gegensatz zur direkten Vektoriteration bei jedem Iterationsschritt das lineare Gleichungssystem (2.7) für verschiedene rechte Seiten v (i) gelöst werden. Daher bringt man A zuerst auf Tridiagonalform, wie im Abschnitt 9.4 beschrieben. Im folgenden werden wir sehen, daß das QR-Verfahren, das den state-ofthe-art für die EW- / EV-Berechnung darstellt, eng verwandt ist mit den beiden Versionen der Vektoriteration. 2.6 Der QR-Algorithmus DAS Verfahren zur Berechnung aller Eigenwerte einer hermiteschen Tridiagonalmatrix. Die Idee dazu geht auf Francis und Kublanovskaja (1961) zurück: 41

25 Bilde eine Folge von Matrizen {A k } k N mit A 0 := A A k = Q k R k QR-Zerlegung (2.8) A k+1 = R k Q k (2.9) wobei Q k unitär ist und R k eine obere Dreiecksmatrix. Erste wesentliche Beobachtung: Für das obige QR-Verfahren gilt: (i) Die Matrizen A k sind ähnlich zu A. (ii) Ist A hermitesch, so auch A k. denn: A k = Q k R k und A k+1 = R k Q k R k = Q H k A k. Also liegt eine ÄT A k+1 = Q H k A kq k vor, und die EW bleiben erhalten. Die Eigenschaft (ii) zeigt man induktiv mittels (A k+1 ) H = Q H k AH k QHH A H k =A k k = Q H k A kq k = A k+1. Bemerkungen: Für reguläre Matrizen A ist die Zerlegung bis auf Phasenfaktoren eindeutig, d.h. Q k R k = Q k Rk Q k = Q k S, Rk = S H R k mit S = diag (e iϕ 1, eiϕ 2,...,eiϕ n ). Jeder Schritt ist eine unitäre ÄT EW bleiben erhalten. Das QR-Verfahren kann so implementiert werden, daß gilt: ist A hermitesch und tridiagonal, so auch A k (s.u.). Wie unten gezeigt wird, gilt mit der Zerlegung A k = L k + D k + L H k : lim L k = 0 k lim D k = Λ = diag (EW von A), k falls die EW von A paarweise verschieden sind. 42

26 Bevor wir das Konvergenzverhalten des QR-Verfahrens genauer betrachten, wollen wir zuerst den engen Zusammenhang des QR-Verfahrens mit den Vektoriterationen des letzten Abschnitts aufzeigen (für reelles A): Wegen der ÄT A k+1 = Q T k A kq k ist Daraus schliesst man auf A k = P T k AP k, P k := Q 1... Q k 1. AP k = P k A k = P k Q k R k = P k+1 R k (2.10) P T k A 1 = R 1 k P T k+1. (2.11) Wir beobachten: Die jeweils erste Spalte der Transformationsmatrix P k folgt der gewöhnlichen Vektoriteration mit Normierung: (2.10) AP k e 1 = r (k) 11 P k+1e 1 Darüberhinaus folgt die jeweils letzte Spalte dieser Transformationsmatrix bzw. die letzte Zeile der linksseitigen Transformationsmatrix Pk T der inversen Vektoriteration (für einen Links-EV) nach Wielandt mit Normierung, aber ohne Shift : (2.11) e T np T k A 1 = e T np T k+1/r (k) nn Damit ist das asymptotische Verhalten der ersten Spalte und letzten Zeile von P k klar, und wir können auf die Resultate aus Abschnitt 2.5 zurückgreifen: Seien λ 1 > λ 2... λ n die EW von A. Dann konvergiert k P k e 1 x 1 (normierter EV zu λ 1 ), ( P k e 1 = x 1 + f k mit Fehler f k = O λ 2 λ 1 k). Für die euklidische Länge der ersten Spalte a 1 (ohne a 11 ) der Matrix A k 43

27 ergibt sich v k := ( ) a (k) 21 a(k) a(k) n1 = (A k a 11 I) e 1 2 }{{} = a (k) 21 2 für Tridi. = min (A k λi) e 1 2 = min Pk T (A λi) P k e 2 1 λ λ ( λ 2 = min (A λi) P k e 1 2 = O λ. (2.12) Der Skalar v k ist also das kleinstmögliche Residuum zu P k e 1 als Näherung für (irgendeinen) EV. Mit jedem QR-Schritt wird v k um den Faktor λ 2 /λ 1 verkleinert. Für die Betrachtung der letzten Spalte sei nun auch λ n 1 > λ n. Somit konvergiert e T npk T k x T n (normierter EV zu λ n ), ( e T npk T = x T n + f k T mit Fehler f k = O λ 1 λ n λ n 1 k). Für die euklidische Länge der n-ten Zeile von A ohne a nn (entspricht der n-ten Spalte von A für symmetrische A!) findet man analog ( ṽ k := a (k) n1 a(k) n n,n 1) a(k) =... = min e T λ npk T (A λi) ( λ n k) 2 = O. (2.13) λ n 1 Dabei ist ṽ k das kleinstmögliche Residuum zu e T npk T als Näherung für (irgendeinen) EV. Mit jedem QR-Schritt wird ṽ k um den Faktor λ n /λ n 1 verkleinert. Diese nahe Verwandtschaft des QR-Verfahrens mit beiden Vektoriterationsalgorithmen motiviert den folgenden Satz, der die Konvergenz des QR- Verfahrens sicherstellt, falls alle EW von A paarweise verschieden sind. 44

28 Allerdings sieht man auch, daß die Konvergenzgeschwindigkeit vom Verhältnis λ 2 /λ 1 bzw. λ n /λ n 1 der EW abhängt, was für nahe benachbarte EW zu beliebig langsamer Konvergenz führt. Die Shiftstrategie der inversen Iteration kann die Konvergenz jedoch so weit verbessern, dass man für symmetrische Matrizen A sogar kubische Konvergenz erhält. Näheres dazu später. Satz 2.7 Konvergenz des QR-Verfahrens Sei A R n n symmetrisch mit den paarweise verschiedenen EW λ 1,...,λ n, und λ 1 > λ 2 >.(.. > ) λ n > 0. Dann gilt mit den Bezeichnungen aus (2.8) - (2.9) und A k = : (i) lim k Q k = I a (k) ij (ii) lim k R k = diag (λ 1,...,λ n ) =: Λ ( ) (iii) lim k a (k) λ ij = O i k λ j für i > j Beweis: Idee: bringe Zerlegung von A k in Zusammenhang mit A k -Zerlegung und zeige die Aussagen für A k (einfacher!). A k = Q 0... Q }{{ k 1 R } k 1... R }{{} 0 P k U k Beweis per vollständiger vollständige Induktion: k = 0 : A 1 = A 0 = Q 0 R 0 k k + 1 : A k = Q k R k nach QR-Zerlegung = Q T k 1... Q T 0 A Q 0... Q }{{}}{{ k 1 } Pk T P k AP k = P k Q k R k Damit ist A k+1 = A A k = AP k U k nach Induktionsvoraussetzung = P k Q }{{} k R k U }{{} k P k+1 U k+1 Ergebnis: die Zerlegung von A k ist mittels der A k -Zerlegung bestimmbar! Untersuche jetzt (i) - (iii) für A k. 45

29 Für die EW von A k gilt: Λ = Q T AQ (Hauptachsentrafo) Λ k = Q T A k Q = diag (λ k 1,...,λ k n) Trick von Wilkinson: Zerlege zur weiteren Untersuchung die orthogonale Matrix Q T in Q T = L R. Eine solche Zerlegung existiert stets nach einer geeigneten Permutation (auch unitäre ÄT) von A und damit Q (A ist regulär!). Damit gilt: A k = QΛ k Q T = QΛ k LR = Q ( Λ k LΛ k)( Λ k R ). Da L normierte untere Dreiecksmatrix ist, folgt speziell ( Λ k LΛ k) ( ) k = l λi ij ij mit λ i λ j λ j Λ k LΛ k ist untere Dreiecksmatrix und 0 Λ k LΛ k = I + E k mit E k = Angewandt auf die A k -Darstellung ergibt sich < 1, i > j, A k = Q ( Λ k LΛ k)( Λ k R ) = Q ( I + E k )( Λ k R ) k 0 Nächster Trick: Zerlege I + E k formal nach QR: I + E k = ˆQ k ˆRk (mit positiven Diagonalelementen von ˆR k k eindeutig!). Wegen E k 0 folgt dann ˆQ k, ˆR k k I. Ergebnis: Wir haben eine weitere QR-Zerlegung von A k berechnet: A k = ( Q ˆQ k )( ˆRk Λ k R ) Bis auf Vorzeichen in der Hauptdiagonale gilt mit den Grenzwerteigenschaften A k = P k U k, P k = Q ˆQ k, U k = ˆR k Λ k R P k+1 = P k Q k Q k = P T k P k+1 = ( Q ˆQ k ) T ( Q ˆQk+1 ) = ˆQ T k ˆQ k+1 k I U k+1 = R k U k R k = U k+1 U 1 k = ˆR k+1 Λ ˆR 1 k = ( ˆRk+1 Λ k+1 R )( ˆRk Λ k R ) 1 k Λ Mit den beiden letzten Aussagen folgt zu guter letzt lim k A k = Λ. 46

30 Analog zur direkten Vektoriteration ist die Konvergenz des QR-Verfahrens sehr langsam, falls λ i /λ j 1 ist. Wie bei der inversen Vektoriteration nach Wielandt kann hier eine Shiftstrategie abhelfen: Sei λ 1 λ 2... λ n 1 > λ n und λ n 1 λ n. Wähle Shift σ so, dass λ 1 σ λ 2 σ... λ n 1 σ λ n σ. Dann konvergiert gemäß (2.13) a (k) n,n 1 wie ( ṽ k = a (k) n,n 1 λ n σ ) k 2 = O λ n 1 σ. }{{} 1 Wählt man als Shift σ k 1 = a nn (k 1), so hat man im Normalfall quadratische, für hermitesche Tridiagonalmatrizen sogar kubische Konvergenz (im Gegensatz zur linearen Konvergenz des einfachen QR-Verfahrens!). Begründung: (nur einfache EW) Sei ṽ k ε. Dann folgt nach Gerschgorin λ n a nn (k) = O(ε) und λ n a (k) nn ṽ k+1 = }{{} ṽ k λ ε n 1 a (k) = O(ε 2 ). nn }{{} O(ε) Sei ṽ k = a (k) n,n 1 2 = a (k) n 1,n 2 ε im Spezialfall einer symmetrischen Tridiagonalmatrix. Man kann zeigen, dass λ n a (k) nn ε 2 und somit λ n a (k) nn ṽ k+1 = }{{} ṽ k λ ε n 1 a (k) = O(ε 3 ). nn }{{} O(ε 2 ) 47

31 In der Praxis ist auch bei mehrfachen EW kein Beispiel bekannt, bei dem sich eine geringere Konvergenzordnung zeigen würde. Statt σ k = a (k) nn wird nach einem Vorschlag von Wilkinson der EW des unteren 2 2-Blocks gewählt, welcher näher an a (k) nn ist. Das gibt raschere Konvergenz, ohne allerdings die Konvergenzordnung zu verbessern. Um im Falle reeller nichtsymmetrischer Matrizen A k eine komplexe Matrix A k+1 für einen komplexen Shift σ k zu vermeiden, wird ein Doppelschritt mit σ k und σ k nach Francis verwandt (vgl. Stoer/Bulirsch). Somit ergibt sich Algorithmus 2.1 QR-Verfahren mit Shift A 0 := A Für k = 0, 1, 2,... Wähle Shift σ k Zerlegung: A k σ k I =: Q k R k (2.14) Rekombination: R k Q k + σ k I =: A k+1 (2.15) Wie im Fall ohne Shift zeigt man sofort, daß alle Matrizen A k ähnlich zu A sind und die Symmetrie erhalten bleibt. Technische Durchführung Implementiert wird die QR-Zerlegung mittels ebener Rotationen in der sogenannten impliziten Shift-Strategie. Diese hat folgende Vorteile: Tridiagonalform bleibt erhalten. 48

32 Falls σ k groß ist, so kann die Addition und Subtraktion von σ k I in (2.14) und (2.15) zu Genauigkeitsverlusten führen. Die implizite Shift- Strategie hingegen berechnet A k+1 ohne explizite Addition und Subtraktion von σ k I. Ist a (k) n,n 1 ε (Schwellenwert), so ist nach Gerschgorin der n-te EW λ n bis auf O(ε 2 ) im symmetrischen Fall genau. Dieser kann dann abgelesen werden, und mit der Restmatrix der Dimension n 1 kann weitergerechnet werden (sogenannte Deflation). Nach Vorabreduktion auf Tridiagonalgestalt mittels Householdertransformationen (Aufwand 4/3n 3 flops) kann das eigentliche QR-Verfahren auf diese Art und Weise in O(n 2 ) flops realisiert werden. Details: Einsatz ebener Rotationen cos sin S j = sin cos j j + 1 a) S1 H S2 H. Sn 1 H a 11 σ k a nn σ k = R k A k σ k I S H n 1... S H 1 (A k σ k I) = R k 49

33 b) S 1 S 2... S n Wiederauffüllen der unteren Nebendiagonale: R k R k S 1... S }{{ n 1 = R } k Q k Q k Wegen der Assoziativität der Matrixmultiplikation gilt: R k Q k = (S Hn 1... (... ( ) ) S H1 (A k σ k I)S 1 }{{}...)...S n 1. }{{}}{{} Daher ergibt sich das sogenannte Chasing: 1 Extra-Element außerhalb der Subdiagonalen nach 1 Schritt von links nach rechts: A k σ k I S H 1 (A k σ k I)S 1 Für den zweiten Schritt von links: (3,1)-Element kann als Bestimmung für den Drehwinkel genommen werden, so daß (3,1)-Element 0 wird. Beachte: wegen A k+1 σ k I = R k Q k folgt A k+1 = S H n 1... S H 1 A k S 1... S n 1. Dies ermöglicht folgendes implizite Vorgehen: B := S1 H A k S 1 (mit S 1 wie oben definiert). Jage nun die beiden Elemente außerhalb der Subdiagonalen die Diagonale entlang: B S2 H BS 2... A k+1 = Sn 1 H... S2 H BS 2... S n 1. Keine explizite Berechnung von ±σ k I ist mehr nötig! 50

34 2.7 Bisektion zur Ermittlung einzelner Eigenwerte In diesem Abschnitt geht es um die Berechnung einzelner Eigenwerte einer reellen, symmetrischen Tridiagonalmatrix a 1 b 2 0 b 2 a 2. T =.. b n. 0 b n a n Natürlich kann man dazu auch das im vorigen Abschnitt diskutierte QR- Verfahren einsetzen. Wenn es aber nur um einige wenige EW geht, ist die im folgenden beschriebene Bisektionsmethode eine sehr gute Alternative. Die Methode beruht auf dem Trägheitssatz von Sylvester: Zwei symmetrische Matrizen A und B haben dann und nur dann gleichviele positive/negative/verschwindende Eigenwerte, wenn A = S T BS mit nichtsingulärem S. Die Trägheit ändert sich also nicht bei Kongruenztransformationen. Damit liegt eine einfache Methode vor, um die Anzahl ν der EW λ 1... λ n der Tridiagonalmatrix T zu bestimmen, die kleiner sind als ein beliebiges λ R. Man zerlegt T λi = LR = LDL T mittels Gauß-Elimination in die Diagonalmatrix D = diag (d 1,...,d n ) und die normierte untere Dreiecks- bzw. Bidiagonalmatrix L. Wenn T λi regulär ist, dann auch L, und der Satz von Sylvester ist anwendbar: Anzahl ν(λ) der negativen Diagonalelemente (negative Pivots) d i = Anzahl der negativen Eigenwerte von T λi = Anzahl der Eigenwerte von T kleiner als λ 51

35 Algorithmus 2.2 Berechnung der negativen Pivots = Anzahl ν(λ) der EW von T kleiner als λ ν := 0; d 1 := a 1 λ; if d 1 < 0 : ν := 1; for i := 2 : n, d i := a i b 2 i /d i 1 λ; if d i < 0 : ν := ν + 1; Folgende Anwendungen hat dieser Algorithmus: a) Berechnung des k-ten Eigenwertes einer Matrix auf eine vorgegebene Genauigkeit. Man startet mit einem Intervall [a, b], welches λ k mit Sicherheit enthält ( Gerschgorin). Dann führt man aus Algorithmus 2.3 Bisektion zur Berechnung λ k while b a > 2 TOL: λ := (a + b)/2; if k > ν(λ) : a := λ else b := λ λ := (a + b)/2; Mit einer Rückwärtsanalyse kann man zeigen, dass dieser Algorithmus auch unter dem Einfluss von Rundungsfehlern ausgezeichnete Ergebnisse liefert. b) Berechnung der Häufigkeitsverteilung m(i) der Eigenwerte einer sehr großen Matrix im Bereich [a, b], unterteilt in die Intervalle [a+(i 1)h, a+ih]: h := (b a)/n; k := ν(a); for i := 1 : N, j := k; k := ν(a + ih); m(i) := k j; 52

36 2.8 Singulärwertzerlegung Als Abschluss des Kapitels über Eigenwerte soll noch die Singulärwertzerlegung erwähnt werden. Sie stellt ein sehr nützliches Mittel zur Analyse von Matrizen (auch nichtquadratischer) dar und findet z.b. in der linearen Ausgleichsrechnung und bei der numerischen Berechnung der Kondition einer Matrix Anwendung. Satz 2.8 Singulärwertzerlegung Sei A R m n eine beliebige relle Matrix. Dann gibt es orthogonale Matrizen U R m m und V R n n, so dass U T AV = Σ = diag (σ 1,...,σ p ) R m n wobei p = min (m, n) und σ 1 σ 2... σ p 0. Die σ i sind die Singulärwerte der Matrix A. Ihre Quadrate sind gerade die Eigenwerte der Matrix A T A. Die Singulärwerte geben Auskunft über den Rang der Matrix A. Sind die ersten k Werte ungleich 0 und die restlichen gleich 0, so hat A den Rang k. Weiterhin ist σ 1 = A 2. Bei der numerischen Berechnung der Singulärwertzerlegung wird das Produkt A T A jedoch nicht explizit geformt. Zunächst wird A mittels eines Reduktionsalgorithmus (Householder-Trafos, ähnlich oben) auf Bidiagonalgestalt gebracht. Danach wird der QR-Algorithmus in modifizierter Gestalt angewandt, so dass nur auf der Bidiagonalmatrix operiert wird. Bezüglich der Details wird auf die Literatur verwiesen. 53