Das QZ-Verfahren Bachelor-Arbeit im 1-Fach Bachelorstudiengang Mathematik der Mathematisch-Naturwissenschaftlichen Fakultät der Christian-Albrechts-Universität zu Kiel vorgelegt von Janina Gnutzmann Erstgutachter: Prof. Dr. Steffen Börm Zweitgutachter: Dipl.-Math. Jens Burmeister Kiel im Januar 2012
Inhaltsverzeichnis 1 Einleitung 3 2 Theoretische Grundlagen 5 2.1 Gewöhnliche Eigenwertprobleme....................... 5 2.1.1 Eigenwerte und Eigenräume...................... 5 2.1.2 Die Schur-Zerlegung.......................... 6 2.2 Das verallgemeinerte Eigenwertproblem................... 9 2.2.1 Die verallgemeinerte Schur-Zerlegung................. 12 3 Gewöhnliche Eigenwertverfahren 15 3.1 Vektoriteration................................. 15 3.2 QR-Iteration.................................. 18 4 Das QZ-Verfahren 21 4.1 Hessenberg-Dreiecks-Form........................... 21 4.2 Deflation..................................... 24 4.3 Der QZ-Schritt................................. 26 4.3.1 Der QZ-Schritt mit Doppel-Shift nach Moler und Stewart..... 29 4.4 Das QZ-Verfahren............................... 34 4.5 Beispiele..................................... 36 5 Ausblicke 39 5.1 Verallgemeinerte Vektoriteration....................... 39 5.2 Selbstadjungierte positiv definite verallgemeinerte Eigenwertprobleme... 39 Literatur 41 Erklärung 43 1
1 Einleitung In vielen Bereichen der Naturwissenschaften spielen Eigenwertprobleme ein große Rolle, zum Beispiel bei der Untersuchung des Schwingungsverhaltens von Konstruktionen. Da sich diese Fragestellungen mathematisch nicht exakt lösen lassen, benötigt für die Lösungen man numerische Verfahren. Dabei geht es darum, das sogenannte gewöhnliche) Eigenwertproblem Ax = λx zu lösen, wobei A eine n n)-matrix, x ein Vektor und λ eine Unbekannte ist. Oftmals ist allerdings auch nach Lösungen x und λ des sogenannten verallgemeinerten Eigenwertproblems Ax = λbx, mit n n)-matrizen A und B, gefragt. Zum Beispiel in verschiedenen Bereichen der Physik, wie in der Mechanik oder bei Schwingungen, wenn mehrere Kräfte wirken. Das Ziel dieser Bachelor-Arbeit ist die Präsentation eines Algorithmus zum Lösen des verallgemeinerten Eigenwertproblems, das sogenannte QZ-Verfahren. Dabei beschränkt sich diese Arbeit auf ein Verfahren mit einer Doppel-Shift-Strategie nach Moler und Stewart. In Kapitel 2 geht es vorwiegend darum, einen kurzen mathematischen Überblick über die Welt der gewöhnlichen und verallgemeinerten Eigenwertprobleme zu verschaffen. In Kapitel 3 werden kurz zwei Verfahren zur Lösung gewöhnlicher Eigenwertprobleme vorgestellt, die Vektoriteration und das QR-Verfahren, welches die Grundlage des in Kapitel 4 beschriebenen QZ-Verfahrens darstellt. Abschließend wird in Kapitel 5 eine weitere Möglichkeit zur Lösung des verallgemeinerten Eigenwertproblems vorgestellt und auf einen wichtigen Spezialfall eingegangen. Eine Implementierung des QZ-Verfahrens ist dieser Arbeit beigelegt, die in Kapitel 4.4 vorgestellten Beispiele wurden mit diesem Programm berechnet. 3
2 Theoretische Grundlagen In diesem Kapitel werden die mathematischen Grundlagen für Eigenwertprobleme behandelt. Es sei immer K {R, C} und n, m N. 2.1 Gewöhnliche Eigenwertprobleme 2.1.1 Eigenwerte und Eigenräume Wir werden hier kurz grundlegende Begriffe und Ergebnisse aus der Linearen Algebra wiederholen, die für diese Arbeit nötig sind. Sei A K n n eine Matrix. Ein Element λ K heißt genau dann Eigenwert von A, wenn es einen Vektor x K n \ {0} gibt, der die Gleichung Ax = λx erfüllt. Den Vektor x bezeichnet man als Eigenvektor der Matrix A zum Eigenwert λ. Die Menge σa) := {λ K : λ ist Eigenwert von A} heißt Spektrum von A. Weiter bezeichnet man E λ A) := KernA λi) als den Eigenraum von A zum Eigenwert λ, welcher von den Eigenvektoren des Eigenwerts λ aufgespannt wird. Das Polynom χ A λ) := deta λi) n-ten Grades heißt charakteristisches Polynom von A. Mit Hilfe dieses Polynoms können wir die Eigenwerte von A gerade als die Nullstellen von χ A charakterisieren. Betrachten wir den komplexwertigen Fall, so liefert uns der Fundamentalsatz der Algebra genau n Nullstellen von χ A und somit n Eigenwerte. Im Fall K = C gilt also σa). Für Blockmatrizen können wir die folgende Aussage treffen, die für die in Kapitel 3 und 4 vorgestellten Verfahren wichtig ist. Lemma 2.1. Sei A K n n mit A = A 11 A 12 0 A 22 ), 2.1) wobei A 11 K p p, A 22 K q q, p + q = n. Dann gilt σa) = σa 11 ) σa 22 ). Beweis. Es gilt und somit deta λi) = deta 11 λi p ) deta 22 λi q ) χ A λ) = χ A11 λ)χ A22 λ). 5
2 Theoretische Grundlagen Daraus erhalten wir χ A λ) = 0 χ A11 λ) = 0 oder χ A22 λ) = 0 und damit folgt aus λ σa) λ σa 11 ) oder λ σa 22 ) die Behauptung. 2.1.2 Die Schur-Zerlegung Die in diesem Abschnitt gegebenen Resultate basieren auf [1]. Definition 2.2 Orthogonal und unitär). Sei Q K n m. Falls Q Q = I gilt, so nennen wir Q orthogonal. Gilt zudem n = m, so heißt Q unitär. Im folgenden Lemma stellen wir hilfreiche Eigenschaften für diese Klasse von Matrizen vor. Lemma 2.3. Sei Q K n m orthogonal. Dann ist Q injektiv und es gilt Qx 2 = x 2 für alle x K m. Ist n = m, also Q unitär, so ist auch Q unitär und es ist insbesondere Q die Inverse von Q. Beweis. Sei x K m. Nach Definition der euklidischen Norm gilt Qx 2 2 = Qx, Qx = Q Qx, x = x, x = x 2 2. Insbesondere kann Qx = 0 nur dann erfüllt sein, wenn bereits x = 0 erfüllt ist, also ist der Kern von Q trivial und die Matrix deshalb injektiv. Sei nun Q unitär, die Matrix sei also quadratisch. Da Q injektiv ist, ist Q invertierbar und es gilt nun Q 1 Q = I = Q Q. Da die Inverse eindeutig bestimmt ist, folgt Q = Q 1 und somit QQ = I. Damit ist Q ebenfalls unitär. Lemma 2.4 Basisergänzung). Sei Q K n m orthogonal, m < n N. Dann existiert eine unitäre Matrix P K n n, die P n m = Q erfüllt. 6
2.1 Gewöhnliche Eigenwertprobleme Beweis. Seien q 1,..., q m die Spaltenvektoren der Matrix Q. Nach Definition 2.2 ist dann {q 1,..., q m } eine Menge paarweise orthogonaler normierter Vektoren, die wir zu einer orthonormalen Basis {q 1,..., q n } ergänzen können. Wir definieren die Matrix P so, dass für alle i {1,..., n} ihre i-te Spalte gerade q i ist. Folgendes Resultat besagt, dass eine Matrix durch unitäre Ähnlichkeitstransformationen auf Block-Dreiecks-Gestalt gebracht werden kann, sofern wir einen invarianten Unterraum kennen. Lemma 2.5. Seien A K n n, p n, Λ K p p und X K n p orthogonal derart, dass AX = XΛ gilt. Dann existieren eine unitäre Matrix Q K n n sowie Matrizen D K n p) n p) und R K p n p) derart, dass die Gleichung ) Q Λ R AQ = 2.2) 0 D erfüllt ist und Q n p = X gilt. Beweis. Gemäß Lemma 2.4 können wir X zu einer unitären Matrix Q mit Q n p = X ergänzen. Wir zerlegen Q dementsprechend in ) Q = X Y und stellen fest, dass auch Y K n n p) orthogonal ist und aus ) ) I 0 = I = Q X ) X X Q = 0 I Y X Y = Y X die Identität Y X = 0 folgt. Ferner erhalten wir ) Q X ) X AX X AY AQ = Y A X Y = Y AX Y AY ) ) X XΛ X AY Λ X AY = Y XΛ Y = AY 0 Y. AY aus der Gleichung AX = XΛ. Die Matrizen X Y Y Y ) ) R := X AY, D := Y AY liefern nun das Gewünschte. 7
2 Theoretische Grundlagen Bei wiederholter Anwendung dieses Lemmas erhalten wir die sogenannte Schur-Zerlegung einer Matrix. Satz 2.6 Schur-Zerlegung). Sei A C n n, dann existieren eine unitäre Matrix Q C n n und eine obere Dreiecksmatrix D C n n, sodass Q AQ = D 2.3) erfüllt ist. Beweis. Wir führen Induktion nach der Dimension n der Matrix A. Der Induktionsanfang n = 1 ist klar, da A in diesem Fall eine obere Dreiecksmatrix ist und Q = I das Gewünschte liefert. Angenommen, die Aussage gilt für alle Matrizen der Dimension n 1 oder kleiner. Nach dem Fundamentalsatz der Algebra existiert mindestens ein Eigenwert λ C von A. Sei x C n \ {0} ein zugehöriger Eigenvektor mit x 2 = 1. Indem wir x als Matrix X C n 1 und λ als Matrix Λ C 1 1 interpretieren, gilt AX = XΛ und wir erhalten mit Lemma 2.5 eine unitäre Matrix Q 1 C n n und Matrizen R 1 C 1 n 1) und A 1 C n 1) n 1), sodass ) Q λ R 1 1AQ 1 = 0 A 1 gilt. Nun wenden wir die Induktionsvoraussetzung auf A 1 an und erhalten eine unitäre Matrix Q 2 C n 1) n 1) und eine obere Dreiecksmatrix R 2 C n 1) n 1) mit Q 2A 1 Q 2 = R 2. Definiere nun ) ) 1 0 λ R 1 Q 2 Q := Q 1, R :=. 0 Q 2 0 R 2 Nach Konstruktion ist Q eine unitäre Matrix, da Q 1 und Q 2 unitär sind, und R ist eine obere Dreiecksmatrix, da R 2 eine obere Dreiecksmatrix ist. Wir erhalten somit ) ) ) ) ) Q 1 0 AQ = 0 Q Q 1AQ 1 0 1 0 λ R 1 1 0 1 = 2 0 Q 2 0 Q 2 0 A 1 0 Q 2 ) ) λ R 1 Q 2 λ R 1 Q 2 = 0 Q 2 A = = R. 1Q 2 0 R 2 8
2.2 Das verallgemeinerte Eigenwertproblem 2.2 Das verallgemeinerte Eigenwertproblem Wir wenden uns nun dem verallgemeinerten Eigenwertproblem Ax = λbx, mit A, B K n n, x K n und λ K, zu. Dies ist, wie der Name schon sagt, eine Verallgemeinerung des gewöhnlichen Eigenwertproblems Ax = λx und kann darauf zurückgeführt werden, indem man B = I setzt. In diesem Abschnitt widmen wir uns der Untersuchung der mathematischen Eigenschaften des Problems. Die dabei gegebenen Definitionen und Resultate basieren auf Stewarts Abschnitt 2.4 in [5]. Definition 2.7 Büschel). Seien A, B K n n sowie λ eine Unbestimmte über K. Dann heißt die lineare Funktion A λb Büschel und wird mit A, B) bezeichnet. Wie im gewöhnlichen Fall können wir Eigenwerte und Eigenvektoren für ein Büschel definieren. Definition 2.8 Spektrum, Eigenwerte, Eigenvektoren). Seien A, B K n n. Die Eigenwerte des Büschels A, B) sind Elemente der Menge σa, B) := {µ K : deta µb) = 0}. 2.4) Dabei bezeichnet σa, B) das Spektrum des Büschels A, B). Für µ K, x K n \ {0} heißt das Paar µ, x) rechtes Eigenpaar des Büschels A, B), falls Ax = µbx gilt oder linkes Eigenpaar, falls x A = µx B gilt, der Vektor x heißt Eigenvektor. In Zukunft sei A, B) stets ein Büschel mit A, B K n n. Wie bei dem normalen Eigenwertproblem meinen wir mit Eigenpaaren rechte Eigenpaare, sofern es nicht anders erwähnt wird. Ein anschaulicher Unterschied zwischen dem gewöhnlichen und dem verallgemeinerten Eigenwertproblem ist, dass sich die geometrische Anschauung des verallgemeinerten Eigenvektors von der des normalen Eigenvektors unterscheidet. Ist nämlich λ, x) ein Eigenpaar der Matrix A, so wird x durch A auf ein Vielfaches von x abgebildet. Dies bedeutet, dass die Richtung des Vektors invariant unter Multiplikation mit A ist. In dem Fall des verallgemeinerten Eigenwertproblems bleibt die Richtung eines Eigenvektors x unter Multiplikation mit A oder B nicht unbedingt erhalten. Stattdessen sind die Richtungen von Ax und Bx bis auf Vorzeichen dieselben, die Vektoren unterscheiden sich nur in der Länge durch den Faktor des zugehörigen Eigenwertes λ. Ein weiterer und wichtiger Unterschied zwischen dem verallgemeinerten und dem gewöhnlichen Eigenwertproblem ist, dass nun der Fall einer singulären Matrix B auftreten kann, während es die Matrix B = I in dem gewöhnlichen Problem nicht ist. Dies hat 9
2 Theoretische Grundlagen mehrere Auswirkungen. Ist B singulär, so ist es möglich, dass jede beliebige Zahl λ ein Eigenwert des Büschels A, B) sein kann. Etwa für A = 1 0 0 0 ) = B 2.5) gilt Ae 2) = 0 = Be 2), wobei e 2) den zweiten Einheitsvektor bezeichnet. Damit erfüllt jedes λ K die Gleichung Ae 2) = λbe 2), und ist also ein Eigenwert. Allgemeiner gilt, dass λ, x) für jedes λ ein Eigenpaar von A, B) ist, falls x 0 ein Nullvektor beider Matrizen A und B ist. Ein weiteres Beispiel für unendlich viele Eigenwerte liefert das Büschel A, B) mit 1 0 0 0 1 0 A = 0 0 0, B = 0 0 1, 2.6) 0 0 1 0 0 0 da für jedes λ K der Vektor x = λ 1 0) T ein Eigenvektor ist. Für die beiden vorgestellten Beispiele gilt jeweils σa, B) = C. Da wir in diesem Fall bereits alle Eigenwerte kennen, interessieren wir uns nur für Büschel mit einem endlichen Spektrum. Solche Paare können wir mit Hilfe der Determinante charakterisieren. Lemma 2.9. Sei A, B) ein Büschel der Dimension n. Dann ist das Spektrum σa, B) genau dann endlich, wenn die Determinante von A, B) nicht identisch null ist. Beweis. Angenommen, es gelte deta λb) 0. Dann ist nach Definition 2.8 jedes µ K ein Eigenwert des Büschels und somit σa, B) = K. Es sei nun deta λb) 0. Dann ist pλ) = deta λb) ein Polynom vom Grad 0 m n und es existieren somit maximal m Nullstellen, die nach Definition gerade die Eigenwerte des Büschels A, B) sind. Definition 2.10 Charakteristisches Polynom). Sei A, B) ein Büschel der Dimension n. Dann nennen wir das Polynom pλ) = deta λb) 2.7) das charakteristische Polynom von A, B) und bezeichnen es mit χ A,B). Es ist λ K also genau dann ein Eigenwert von A, B), wenn χ A,B) λ) = 0 gilt. Betrachten wir nun wieder die beiden Beispiele 2.5 und 2.6, so sehen wir, dass die Determinante der Büschel identisch Null ist. Dies führt uns nun zu folgender Definition. 10
2.2 Das verallgemeinerte Eigenwertproblem Definition 2.11 Regularität). Ein Matrixbüschel A, B) heißt regulär, falls deta λb) nicht identisch null ist. Man sagt auch, das Paar A, B) ist regulär. Wir betrachten nun ein reguläres Büschel A, B) mit einer regulären Matrix B. In diesem Fall gilt σa, B) = σb 1 A, I) = σb 1 A) 2.8) wegen Ax = λbx B 1 Ax = λix B 1 Ax = λx. 2.9) Ist λ 0 ein Eigenwert von A, B), so ist µ = λ 1 ein Eigenwert von B, A), denn es gilt Ax = λbx λ 1 Ax = Bx. 2.10) Lassen wir λ = 0 zu und setzen = 1 0, so kann als Eigenwert eines Büschels auftreten. Dies geschieht, falls B singulär ist. Dann existiert nämlich ein x 0 mit Bx = 0, sodass Null ein Eigenwert von B, A) ist und wir somit als Eigenwert von A, B) auffassen können. Es ist in dem Fall einer singulären Matrix B außerdem möglich, dass χ A,B) c für eine Konstante c K\{0} gilt, also A, B) keine gewöhnlichen Eigenwerte hat. Wir können dann ebenfalls als Eigenwert von A, B) betrachten. Wie wir gesehen haben, ist das Spektrum σa, B) bei einem verallgemeinerten Eigenwertproblem nur von RangB) abhängig, nicht aber von RangA). Hat B keinen vollen Rang, so kann das Spektrum σa, B) endlich, leer oder unendlich sein, wie das folgende Beispiel, entnommen aus [2], zeigt. Im Falle eines leeren Spektrums können wir als Eigenwert ansehen. ) ) 1 2 1 0 Beispiel 2.12. 1) Seien A = und B =. 0 3 0 0 Es ist χ A,B) λ) = 31 λ) und somit σa, B) = {1}. ) ) 1 2 0 1 2) Seien A = und B =. 0 3 0 0 Es ist χ A,B) 3 und somit σa, B) = { }. ) ) 1 2 1 0 3) Seien A = und B =. 0 0 0 0 Es ist χ A,B) 0 und somit σa, B) = C. 11
2 Theoretische Grundlagen 2.2.1 Die verallgemeinerte Schur-Zerlegung Wir kommen nun zu einem für diese Arbeit sehr relevanten Resultat, der verallgemeinerten Schur-Zerlegung. Sie ist die Grundlage für die algorithmischen Überlegungen in Kapitel 4. Definition 2.13 Äquivalenz). Sei A, B) ein Büschel und seien U, V K n n regulär. Dann heißt das Büschel U AV, U BV ) äquivalent zu A, B). Man sagt auch, U AV, U BV ) entsteht aus A, B) durch Äquivalenztransformation. Die Auswirkungen von Äquivalenztransformationen auf Eigenwerte und Eigenvektoren eines Matrixbüschels beschreibt das folgende Lemma. Lemma 2.14. Seien λ, x) und λ, y) linkes bzw. rechtes Eigenpaar eines regulären Büschels A, B). Falls U und V regulär sind, so sind λ, V 1 x) und λ, U 1 y) linkes bzw. rechtes Eigenpaar von U AV, U BV ). Beweis. Durch Einsetzen erhalten wir U AV λu BV )V 1 x) = U A λu B)x = U A λb)x = 0, U 1 y) U AV λu BV ) = y U 1 ) )U AV λu BV ) = y AV λbv ) = y A λb)v = 0. Äquivalenztransformationen lassen außerdem das charakteristische Polynom χ A,B) im Wesentlichen unverändert. Es gilt nämlich detu AV λu BV ) = detu ) detv ) deta λb). 2.11) Da U und V regulär sind, sorgt die Äquivalenztransformation also dafür, dass χ A,B) mit einer von Null verschiedenen Konstante multipliziert wird. Insbesondere bleiben dadurch die Nullstellen des Polynoms und deren Vielfachheiten erhalten. Genauso, wie wir Matrizen durch Ähnlichkeitstransformationen auf aus numerischer Sicht einfachere Formen reduzieren können, können wir ein Büschel durch Äquivalenztransformationen vereinfachen. So können wir entsprechend der gewöhnlichen Schur- Zerlegung 2.6 eine verallgemeinerte Schur-Zerlegung, die auf Stewart [4] zurückgeht, einführen. 12
2.2 Das verallgemeinerte Eigenwertproblem Satz 2.15 Verallgemeinerte Schur-Zerlegung). Seien A, B C n n und A, B) regulär. Dann existieren unitäre Matrizen Q, Z C n n und obere Dreiecksmatrizen S, T C n n, sodass Q AZ = T und Q BZ = S 2.12) gilt. Ein Paar T, S), mit Matrizen T und S wie oben, heißt verallgemeinerte Schur-Form. Beweis. Wir führen Induktion nach der Dimension n der Matrizen A, B. Der Induktionsanfang n = 1 ist klar, da Matrizen der Dimension n = 1 obere Dreiecksmatrizen sind und U = 1 = V das Gewünschte liefern. Angenommen, die Aussage gilt für alle Matrizen der Dimension n 1 oder kleiner. Sei λ, v 1 ) ein Eigenpaar von A, B) mit v 1 2 = 1. Da A, B) regulär ist, ist Av 1 oder Bv 1 ungleich null. Nach Lemma 2.4 exisiert eine orthogonale Matrix V 1 C n n 1) so, dass v 1 V 1 ) unitär ist. Weiter sei U 1 C n n 1) orthogonal und so, dass die Spalten im orthogonalen Komplement von spanav 1 + Bv 1 ) liegen. Nach Lemma 2.4 finden wir u 1 C n so, dass u 1 U 1 ) unitär ist. Mit α 11 := u 1Av 1, a 12 := u 1AV 1 und A 22 := U 1 AV 1 gilt dann u 1 U 1 ) Av 1 V 1 ) = u 1 Av 1 u 1 AV 1 U 1 Av 1 U 1 AV 1 ) = α 11 a 12 0 A 22 ). Zudem erhalten wir mit β 11 := u 1 Bv 1, b 12 := u 1 BV 1 und B 22 := U1 BV 1 ) ) u 1 U 1 ) u 1 Bv 1 V 1 ) = Bv 1 u 1 BV 1 β 11 b 12 U1 Bv 1 U1 BV =. 1 0 B 22 Indem wir die Induktionsvoraussetzung auf A 22 und B 22 anwenden, erhalten wir unitäre Matrizen U 2 und V 2 der Dimension n 1, sodass Â22 = U2 A 22V 2 und ˆB 22 = U2 B 22V 2 obere Dreiecksmatrizen sind. Die unitären Matrizen ) ) 1 0 1 0 U = u 1 U 1 ), V = v 1 V 1 ) 0 U 2 0 V 2 liefern nun das Gewünschte. Aus diesem Satz können wir nun folgende Konsequenzen ziehen, die die Bestimmung der Eigenwerte wesentlich vereinfachen. 13
2 Theoretische Grundlagen Lemma 2.16. Sei A, B) ein reguläres Büschel der Dimension n und sei Â, ˆB) eine verallgemeinerte Schur-Form von A, B). Existiert ein k {1,... n} mit ˆb kk = 0 und â kk 0, so ist der k-te Eigenwert unendlich. Es gilt } {âkk σa, B)\{ } = : ˆb kk 0, k {1,... n}. 2.13) ˆbkk Beweis. Seien U, V K n n die unitären Transformationen, die die verallgemeinerte Schur-Form Â, ˆB) von A, B) erzeugen. Die Aussagen über das Spektrum von A, B) folgen aus der Gleichung deta λb) = detuâv λu ˆBV ) = detuâ λ ˆB)V ) = detu) detâ λ ˆB) detv ) = detu) detv ) = ω ˆbii 0 â ii λˆb ii ) ˆbii =0 n ) â ii λˆb ii wobei ω das Produkt der Determinaten der unitären Transformationen U und V ist, also ω = 1 gilt. Aus 2.11) folgt, dass das Spektrum nicht von der Wahl von U und V abhängt. Wir wollen nun eine einheitliche Schreibweise für endliche und unendliche Eigenwerte eines regulären Büschels A, B) in verallgemeinerter Schur-Form einführen. Wie Satz 2.16 besagt, sind die Eigenwerte von A, B) durch Paare α i, β i ) für i {1,..., n} bestimmt. Ist β i 0 für i n, so ist λ i = α i /β i ein endlicher Eigenwert von A, B), andernfalls liegt ein unendlicher Eigenwert vor. Wir fassen deshalb die Eigenwerte als Paare α i, β i ) auf. Da diese Schreibweise bis auf Skalarmultiplikation eindeutig ist, definieren wir die â ii, projektive Darstellung α i, β i eines Eigenwerts als die Menge α i, β i = {τα i, β i ) : τ C}. 2.14) So ist 0, 1 der Eigenwert Null und 1, 0 ein unendlicher Eigenwert. Einen gewöhnlichen Eigenwert λ können wir nun in der Form λ, 1 darstellen. i=1 14
3 Gewöhnliche Eigenwertverfahren Bevor wir nun zu dem Ziel dieser Arbeit, dem QZ-Verfahren, kommen, verschaffen wir uns einen kurzen Überblick über gewöhnliche Eigenwertverfahren, deren Kenntnis für das Verständnis der folgenden Kapitel erforderlich ist. Dabei wollen wir hauptsächlich die wichtigen Resultate nennen, ohne auf die Beweise einzugehen. Eine detaillierte Einführung in die Theorie der Eigenwertverfahren mit Beweisen zu den gegebenen Aussagen und algorithmischen Umsetzungen kann unter anderem den Büchern von Golub und van Loan [2] und Stewart [5] entnommen werden. Wir werden uns in diesem Kapitel überwiegend auf [1] beziehen. 3.1 Vektoriteration Das Ziel der Vektoriteration ist es, Eigenwerte mit zugehörigen Eigenvektoren einer Matrix A K n n zu berechnen. Wir befassen uns zunächst mit Diagonalmatrizen D = diagλ 1,..., λ n ) K n n mit Eigenwerten λ 1,..., λ n K. Dabei seien die Eigenwerte betraglich absteigend angeordnet und λ 1 dominant und einfach. Dies bedeutet, es gilt λ 1 > λ 2... λ n. 3.1) Zu einem Startvektor z 0) K n betrachten wir nun die Folge z m) ) m N mit und somit z m) := D m z 0) für alle m N, 3.2) z m) i = λ m i z 0) i für alle m N, i {1,..., n}. 3.3) Da λ 1 als dominant und einfach vorausgesetzt war, wird die Komponente z m) 1 des Vektors am schnellsten wachsen und sich somit durchsetzen. Lemma 3.1. Sei z 0) K n ein Startvektor und z m) ) m N die in 3.2) definierte Folge der Iterierten. Dann gilt für alle m N 0 λ m 1 z m) z 0) 1 e1) 2 ) λ2 m z 0) z 0) 2 1 λ 1 e1). 3.4) Die Folge z m) ) m N der Iterierten konvergiert in Abhängigkeit des Quotienten λ 2 / λ 1, also dem Verhältnis des zweitgrößten Eigenwerts zum größten, linear gegen ein Vielfaches 15
3 Gewöhnliche Eigenwertverfahren des ersten kanonischen Einheitsvektors e 1), der ein Eigenvektor zum Eigenwert λ 1 ist. Wir betrachten nun den allgemeineren Fall einer diagonalisierbaren Matrix A K n n mit einem einfachen dominanten Eigenwert λ 1 K. Es existiert also eine reguläre Matrix T K n n mit T AT 1 = D = diagλ 1,..., λ n ), 3.5) wobei die Eigenwerte λ 1,..., λ n wie in 3.1) angeordnet sind. Die Folge der Iterierten definieren wir für einen Startvektor z 0) 3.2 K n wie zuvor in z m) := A m z 0) = Az m 1) für alle m N. 3.6) Sei x 1) ein Eigenvektor zum Eigenwert λ 1. Wie in Lemma 3.1 kann gezeigt werden, dass die Folge der Iterierten abhängig vom Verhältnis λ 2 / λ 1 gegen ein Vielfaches von x 1) konvergiert. Eine Approximation des Eigenwertes λ 1 erhalten wir durch den Rayleigh-Quotienten Λ A x) := x, Ax 2 x, x 2 für x K n \{0}. 3.7) Ist x K n \ {0} ein Eigenvektor der Matrix A zum Eigenwert λ 1, so gilt Λ A x) = λ 1. Für eine Näherung y K n \ {0} des Eigenvektors x liefert der Rayleigh-Quotient Λ A y) eine gute Approximation des Eigenwertes λ 1. Die Vektoriteration ist ein Verfahren um den größten Eigenwert und einen zugehörigen Eigenvektor einer Matrix zu bestimmen. Da in der Praxis das Interesse allerdings meistens bei dem kleinsten Eigenwert liegt, führt uns dies zu der inversen Vektoriteration. Dazu sei nun eine reguläre und diagonalisierbare Matrix A K n n gegeben. Ist λ K ein Eigenwert mit Eigenvektor x K n \{0}, so gilt Ax = λx λ 1 x = A 1 x. 3.8) Dies bedeutet, das Inverse des betragskleinsten Eigenwerts der Matrix A ist der betragsgrößte Eigenwert von A 1. Wir führen deshalb die Vektoriteration mit der Inversen A 1 anstelle von A durch und definieren dazu die Folge z m) ) m N der Iterierten für einen Startvektor z 0) K n \ {0} analog zu 3.6 mit z m) := A m z 0) = A 1 z m 1) für alle m N. 3.9) Da A diagonalisierbar ist, existiert also eine reguläre Matrix T K n n, die 3.5) erfüllt, wobei wir jetzt fordern, dass 1/ λ 1 dominanter Eigenwert von A 1 ist. Die Eigenwerte λ 1,..., λ n von A sind also betraglich aufsteigend geordnet: λ 1 < λ 2... λ n. 3.10) 16
3.1 Vektoriteration Wir erhalten nun die Konvergenz der Folge der Iterierten gegen einen Eigenvektor x 1) des Eigenwertes λ 1 in Abhängigkeit von λ 1 / λ 2, also dem Verhältnis des kleinsten Eigenwerts zum zweitkleinsten. Führen wir nun einen Shift µ K ein und gehen zu der Matrix A µi) 1 über, so können wir Konvergenz gegen einen beliebigen Eigenwert der Matrix erhalten. Dieses Verfahren nennt sich inverse Vektoriteration mit Shift µ. Falls µ / σa) gilt, ist A µi invertierbar. Wir benötigen daher keine Regularität der Matrix A, es reicht wie zuvor die Diagonalisierbarkeit. Für λ K und einen zugehörigen Eigenvektor x 0 folgt die Äquivalenz Ax = λx A µi) 1 x = λ µ) 1 x. 3.11) Wählen wir µ K so, dass λ 1 µ < λ 2 µ... λ n µ 3.12) gilt, und definieren die Iterierte durch z m) := A µi) m z 0) = A µi) 1 z m 1) für alle m N, 3.13) so erhalten wir entsprechend Konvergenz gegen den Eigenwert λ 1 µ von A µi. Indem µ als gute Näherung von λ 1 gewählt wird, kann die Konvergenzrate λ 1 µ / λ 2 µ deutlich verbessert werden. Liegt kein einfacher Eigenwert vor, sondern mehrfache Eigenwerte, oder Eigenwerte gleichen Betrags, es gilt also λ 1 =... = λ k >... λ n für ein k n, 3.14) so werden die Iterierten mit den bisherigen Verfahren gegen einen Vektor aus dem von den Eigenvektoren zu λ 1 bis λ k aufgespannten invarianten Teilraum konvergieren. Um eine Basis des Teilraums zu konstruieren, starten wir die Vektoriteration mit k Vektoren. Diese werden gegen k Vektoren aus dem Teilraum konvergieren und, sofern sie linear unabhängig sind, die gewünschte Basis bilden. Wir beginnen die Iteration deswegen mit einer Startmatrix Z 0) K n k und definieren die Iterierten durch Z m) := A m Z 0) für alle m N. 3.15) Die Konvergenzrate ist jetzt entsprechend den vorherigen Ergebnissen von dem Verhältnis λ k+1 / λ k abhängig, das heißt, das Verfahren kann nur konvergieren, wenn mindestens ein Eigenwert betragsmäßig echt kleiner ist, als die anderen. Um für numerische Stabilität zu sorgen, führen wir eine Orthogonalisierung der Iterierten durch, zum Beispiel 17
3 Gewöhnliche Eigenwertverfahren durch die QR-Zerlegung. Dieses Verfahren wird als orthogonale Iteration bezeichnet. Wir bestimmen eine QR-Zerlegung Z 0) = Q 0) R 0) der Startmatrix, berechnen die Iterierten Z m+1) = AQ m) 3.16) und bestimmen mit einer QR-Zerlegung von Z m+1) anschließend Q m+1) durch Q m+1) R m+1) = Z m+1) 3.17) für alle m N. 3.2 QR-Iteration Sind wir an allen Eigenwerten und ihren zugehörigen Eigenvektoren interessiert, so ist die Idee, die orthogonale Iteration zu erweitern, indem wir k = n und als Startmatrix zum Beispiel Q 0) = I wählen. Dieses Verfahren nennt man die QR-Iteration und ihr Ziel ist es, die Schur-Zerlegung 2.6 zu approximieren. Dazu definieren wir die Folge der Iterierten A m) := Q m)) AQ m) für alle m N, 3.18) Da die Matrizen A m) und Q m) jetzt vollen Rang haben, ist diese Vorschrift mit der Berechnung von Q m) wie in 3.17 zu aufwändig. Indem wir eine QR-Zerlegung der Matrix AQ m) durchführen, erhalten wir Q m+1) R m+1) = AQ m) Q m+1) R m+1) Q m)) = A 3.19) und daraus folgt A m) = Q m)) AQ m) = Q m)) Q m+1) R m+1). 3.20) Setzen wir jetzt ˆQ m+1) = Q m)) Q m+1), so erhalten wir A m) = ˆQ m+1) R m+1) A m+1) = R m+1) ˆQm+1), 3.21) und somit A m+1) = ˆQ m+1) ) m) A ˆQm+1) für alle m N 0. 3.22) Wir können also eine QR-Zerlegung der aktuellen Iterierten A m) durchführen und aus ihr die neue Iterierte A m+1) konstruieren, ohne die Ausgangsmatrix A und die Matrizen Q m) zu kennen. 18
3.2 QR-Iteration Die Konvergenz des Verfahrens entspricht der Konvergent der orthogonalen Iteration, wir müssen nur fordern, dass es einen Eigenwert gibt, der betragsmäßig echt kleiner ist, als die anderen. Um den Rechenaufwand der QR-Zerlegung, der im Allgemeinen bei On 3 ) liegt, zu verringern, bietet es sich an, die Matrix A vorher auf die sogenannte Hessenberg-Gestalt zu transformieren. Definition 3.2. Eine Matrix A K n n heißt obere) Hessenberg-Matrix, falls a ij = 0 für alle i, j {1,..., n} mit i > j + 1 gilt. Wird die QR-Zerlegung anschließend mit Givens-Rotationen durchgeführt, so bleibt die Hessenberg-Form erhalten und der Rechenaufwand beträgt im Allgemeinen nur noch On 2 ), im symmetrischen Fall sogar On). Wir wählen Q 0) also so, dass A 0) = Q 0)) AQ 0) Hessenberg-Gestalt hat. Um den Speicheraufwand zu verringern, wollen wir A m+1) direkt aus A m) berechnen, das heißt, wir führen den QR-Schritt nicht mehr explizit wie in 3.21) aus, sondern wir wollen versuchen, die Berechnung implizit durchzuführen. Da unsere Iterierten Hessenberg- Gestalt haben, führen wir die QR-Zerlegung mit Givens-Rotationen durch, das heißt, ˆQ m) hat die Form ˆQ m) = G 1G 2 G n 1, 3.23) wobei G i eine Givens-Rotation ist, die nur auf die i-te und i + 1)-te Spalte einer Matrix wirkt. Wir können die Berechnung wie folgt durchführen 1) Bestimme G 1 so, dass G 1 A m) ) 21 = 0 gilt. i) Berechne G 1 A m). 2) Bestimme G 2 so, dass G 2 G 1 A m) ) 32 = 0 gilt. i) Berechne G 2 G 1 A m). ii) Berechne G 2 G 1 A m) G 1. 3) Fahre wie in 2) fort, bis A Dreiecks-Gestalt hat. Wir verweisen auf Satz 4.3 um zu zeigen, das dies zum gleichen Ergebnis führt, wie die explizite Berechnung, da die erste Spalte von ˆQ m) offensichtlich nur von G 1 abhängt. Um die Konvergenzgeschwindigkeit zu verbessern, können wir wie bei der Vektoriteration bestimmte Shift-Strategien durchführen. Wählen wir einen Shift µ so, dass λ 1 µ... λ k µ > λ k+1 µ... λ n µ 3.24) 19
3 Gewöhnliche Eigenwertverfahren und λ k+1 =... = λ n gilt, so ist die Konvergenzrate abhängig von λn µ λ k µ. Die Iterierten haben die Form A m) µi = ˆQ m+1) R m+1), A m+1) = R m+1) ˆQm+1) + µi 3.25) und wir erhalten A m+1) = ˆQm+1) ) A m) ˆQm+1), 3.26) somit entsteht A m+1) aus A m) wieder nur durch Äquivalenztransformationen. Wir können jetzt zwischen verschiedenen Shift-Strategien wählen. Eine einfache Variante ist die Wahl von µ = a m) nn als Shift-Parameter, auch Rayleigh-Quotient-Shift genannt. Ist nämlich q m) := Q m) e n) die letzte Spalte von Q m), so folgt Λ A q m) ) = µ. Es lässt sich zeigen, dass hier unter gewissen Voraussetzungen sogar quadratische Konvergenz vorliegt. Die Hoffnung ist, dass durch diesen Shift alle Außerdiagonaleinträge der letzten Zeile schnell gegen Null konvergieren. Lemma 2.1 besagt dann, dass wir einen Eigenwert a m) nn erhalten, sodass wir Deflation durchführen können. Dies bedeutet, ein bereits konvergierter Diagonalblock wird abgespalten und die Iteration anschließend mit einer Matrix kleinerer Dimension fortgeführt. Mit diesem Shift erhält man in On) Iterationen eine obere Dreiecksmatrix. Eine andere Wahl ist der sogenannte Wilkinson-Shift, bei dem man die Eigenwerte der untersten 2 2-Teilmatrix von A verwendet. Da wir darauf hoffen, dass a m) nn gegen einen Eigenwert konvergiert, bietet es sich an denjenigen Eigenwert der Teilmatrix als Shift- Parameter zu wählen, der a m) nn am nächsten liegt. Demnach dürfen wir auf bessere Konvergenz hoffen, als beim Rayleigh-Quotient-Shift. Bei dieser Variante können allerdings komplexe Shift-Parameter auftreten. Um dies zu umgehen, bietet sich ein Doppel-Shift an, bei dem ein Paar von einfachen Shifts zu einem Iterationsschritt zusammengefasst wird. Kombinieren wir einen komplexen Shift µ mit dem komplex konjugierten µ, so erhalten wir mit A m) µi)a m) µi) = A m) ) 2 µ + µ)a m) + µµi 3.27) wieder eine reelle Matrix. Der Doppel-Shift führt dazu, dass die Matrix A m) gegen quasiobere Dreiecksform konvergiert, das heißt, auf der Diagonalen von A treten sowohl 1 1- als auch 2 2-Blöcke auf. 20
4 Das QZ-Verfahren Wir wenden uns nun den numerischen Aspekten des verallgemeinerten Eigenwertproblems zu. Das Ziel dieses Kapitels ist die Präsentation des QZ-Verfahrens, ein Zugang zur numerischen Lösung des verallgemeinerten Eigenwertproblems Ax = λbx. Ist die Matrix B invertierbar, so können wir zu den gewöhnlichen Eigenwertproblemen B 1 Ax = λx oder AB 1 y = λy, y = Bx übergehen, um dann zum Beispiel das QR-Verfahren 3.2) anzuwenden mit dem wir die Eigenwerte von AB 1 oder B 1 A bestimmen können. Das Problem hierbei ist, dass die Berechnung der Inversen im Allgemeinen sehr schlecht konditioniert ist, dieses Verfahren also von der numerischen Sichtweise her nicht geeignet ist. Des Weiteren ist dieser Ansatz bei einer singulären Matrix B nicht möglich. Wir suchen daher einen alternativen Zugang zum Lösen des verallgemeinerten Eigenwertproblems. Die Idee ist, wie schon bei der QR- Iteration, die Approximation der verallgemeinerten Schur-Zerlegung der Matrizen A und B, um daraus die Eigenwerte zu erhalten. 4.1 Hessenberg-Dreiecks-Form Um einen möglichst geringen Rechenaufwand zu erhalten, werden wir, ähnlich dem QR- Verfahren, das Büschel A, B) zunächst auf eine geeignetere Form transformieren. Hier bietet sich eine Transformation auf die sogenannte Hessenberg-Dreiecks-Form an. Wir beziehen uns dabei auf die Vorgehensweise von Golub und van Loan in [2]. Definition 4.1 Hessenberg-Dreiecks-Form). Sei A, B) ein Büschel. Dann hat A, B) Hessenberg-Dreiecks-Form, wenn A eine obere Hessenberg-Matrix und B eine obere Dreiecksmatrix ist. Der erste Schritt in der Berechnung der verallgemeinerten Schur-Zerlegung des Büschels A, B) ist nun die Reduktion der Matrizen A und B auf obere Hessenberg- bzw. obere Dreiecksform durch unitäre Transformationen. Dazu bestimmen wir zunächst eine unitäre Matrix U R n n, sodass U B eine obere Dreiecksmatrix ist und wenden U in gleicher Weise auf A an, damit die Eigenwerte des Büschels erhalten bleiben. 21
4 Das QZ-Verfahren Wir betrachten die Transformationen skizzenhaft am Beispiel von Matrizen der Dimension n = 4: A U A =, B U B = 0 0 0. 0 0 0 Im nächsten Schritt transformieren wir A auf Hessenberg-Gestalt, zum Beispiel durch geeignete Givens-Rotationen. Diese erzeugen jedoch in der Matrix B jeweils einen Nichtnulleintrag in der unteren Dreieckshälfte, der anschließend durch Multiplikation mit einer weiteren Givens-Rotation eliminiert werden muss, damit die Dreiecksform von B erhalten bleibt. Wir bezeichnen im Folgenden mit Q ij und Z ij Givens-Rotationen, die auf die Zeilen bzw. Spalten i und j angewendet werden. In unserem Beispiel bestimmen wir als erstes eine Givens-Rotation Q 34 um den Eintrag a 41 zu eliminieren: A Q 34A =, B Q 34B = 0 0 0. 0 0 0 Der entstandene Nichtnulleintrag b 43 in B kann durch eine Givens-Rotation Z 34 wieder annulliert werden: A AZ 34 =, B BZ 34 = 0 0 0. 0 0 0 0 Auf dem gleichen Weg wird der Eintrag a 31 in A eliminiert: A Q 23A = 0, B Q 23B = 0 0, 0 0 0 0 A AZ 23 = 0, B BZ 23 = 0 0 0. 0 0 0 0 22
4.1 Hessenberg-Dreiecks-Form Die Matrix A hat nun in der ersten Spalte Hessenberg-Gestalt. Nach der Elimination des Eintrages a 42 sind wir fertig: A Q 34A = 0, B Q 34B = 0 0 0, 0 0 0 0 A A Z 34 = 0 0 0, B B Z 34 = 0 0 0 0 0 0. Insgesamt erhalten wir also transformierte Matrizen  = Q 34 Q 23 Q 34 U AZ 34 Z 23 Z34 in Hessenberg- sowie ˆB = Q 34 Q 23 Q 34 U BZ 34 Z 23 Z34 in Dreiecksgestalt. Wie wir gesehen haben, benötigen wir für jeden zu eliminierenden Eintrag a ij zwei unitäre Transformationen. Eine, die den Eintrag a ij eliminiert, und eine, die die Dreiecksgestalt von B bewahrt. Dies kann man zum Beispiel mit Givens-Rotationen oder Householderspiegelungen umsetzen. Zusammenfassend ergibt sich der folgende Algorithmus. Algorithmus 4.2 Hessenberg-Dreiecks-Transformation). Zu gegebenen Matrizen A, B K n n überschreibt der folgende Algorithmus A mit einer oberen Hessenberg-Matrix Q AZ und B mit einer oberen Dreiecksmatrix Q BZ, wobei Q, Z K n n unitär sind. Dabei sei givensa, b) die Funktion, die zu gegebenen Werten a und b eine Givens- Rotation so erstellt, dass der Eintrag b eliminiert wird. Löse Q B = R, wobei Q unitär und R eine obere Dreiecksmatrix ist A Q A for j = 1... n 2 do for i = n... j + 2 do G = givensa i 1,j, A ij ) A G A, B G B G = givens B ii, B i,i 1 ) B BG, A AG i i 1 end for j j + 1 end for 23
4 Das QZ-Verfahren Dieser Algorithmus benötigt in etwa 8n 3 Operationen, die Berechnung von Q und Z benötigt weitere 4n 3 bzw. 3n 3 Operationen. Die Transformation eines Büschels A, B) auf Hessenberg-Dreiecks-Form liefert uns die Grundlage für die verallgemeinerte QR-Iteration, auch bekannt als die QZ-Iteration, die nachfolgend beschrieben wird. 4.2 Deflation In diesem Abschnitt geht es um die Behandlung des Falls einer singulären Matrix B, wie es von Golub und van Loan in [2] beschrieben wird. Es sei Â, ˆB) eine Schur-Form des regulären Büschels A, B). Wir können nun ohne Einschränkung davon ausgehen, dass wir mit  bereits eine Hessenberg-Matrix und mit ˆB eine obere Dreiecksmatrix vorliegen haben. Weiter können wir annehmen, dass  irreduzibel ist, das heißt, dass â k+1,k 0 für alle k {1,..., n 1} gilt. Wäre  nicht irreduzibel, also â k+1,k = 0 für ein k {1,..., n 1}, so können wir das Problem wegen Â λ ˆB Â11 λ = ˆB 11  12 λ ˆB ) 12 0  22 λ ˆB 4.1) 22 mit Â11 λ ˆB 11 K k k und Â22 λ ˆB 22 K n k n k durch Deflation auf zwei Probleme kleinerer Dimension zurückführen. Bisher haben wir nur den Fall einer invertierbaren Matrix B betrachtet. Die Deflation führt nun dazu, dass wir auch den Fall einer singulären Matrix B behandeln können. Ist B nicht invertierbar, so kann auch die obere Dreiecksmatrix ˆB nicht invertierbar sein und dies ist genau dann der Fall, wenn ein Diagonaleintrag gleich null ist, das heißt, es gilt ˆbkk = 0 für ein k {1,..., n}. Wir können diese Situation also sehr leicht erkennen. Tritt dieser Fall ein, so ist es möglich einen Nulleintrag in â n,n 1 zu erzeugen und dann das gesamte Problem um eine Dimension zu reduzieren, wie es das folgende Beispiel für n = 5 und k = 3 illustriert. Das Büschel Â, ˆB) habe Hessenberg-Dreiecks-Form, also 0  = 0, ˆB = 0 0 0. 0 0 0 0 0 0 0 0 0 0 0 0 Der Nulleintrag in der Diagonalen von ˆB kann durch Givens-Rotationen mit Hilfe des sogenannten Bulge Chasing an die Position 5, 5) verschoben werden. Dazu erzeugen 24
4.2 Deflation wir zunächst einen Nulleintrag in ˆb 44 mit einer Givens-Rotation Q 34. Diese erzeugt einen Nichtnulleintrag in â 42.  Q 34 = 0 0 0 0 0, ˆB Q 34 ˆB = 0 0 0 0 0 0 0 0 0 0 0 0. Damit die Hessenberg-Struktur der Matrix  erhalten bleibt, erzeugen wir nun mittels einer Givens-Rotation Z 23 in â 42 einen Nulleintrag ohne die Gestalt von ˆB zu beeinflussen.  ÂZ 23 = 0 0 0 0 0 0, ˆB ˆBZ23 = 0 0 0 0 0 0 0 0 0 0 0 0. Der nächste Schritt ist nun die Elimination des Diagonaleintrages ˆb 55. Die dazu nötige Givens-Rotation Q 45 erzeugt einen Nichtnulleintrag in â 53.  Q 45 = 0 0 0 0 0, ˆB Q 45 ˆB = 0 0 0 0 0 0 0 0 0 0 0 0 0. Durch eine Givens-Rotation Z 34 erzeugen wir den Nulleintrag in â 53 und gleichzeitig in ˆb33 einen Nichtnulleintrag.  ÂZ 34 = 0 0 0 0 0 0, ˆB ˆBZ34 = 0 0 0 0 0 0 0 0 0 0 0 0. 25
4 Das QZ-Verfahren Im letzten Schritt eliminieren wir nun mittels Z 45 den Eintrag â 54 und erhalten außerdem einen Nichtnulleintrag in ˆb 44. 0 Â ÂZ 45 = 0, ˆB ˆBZ45 = 0 0. 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Wie man sieht, haben wir nun den Nulleintrag aus ˆb 33 auf ˆb 55 verschoben und gleichzeitig â 54 eliminiert. Lemma 2.1 besagt nun, dass wir einen Eigenwert â 55, 0 erhalten haben und ihn abspalten können, das heißt, wir können mit einem Büschel der Dimension 4 fortfahren. Diese Bulge Chasing -Technik funktioniert sehr allgemein und kann dazu genutzt werden, den Eintrag a n,n 1 zu eliminieren, unabhängig davon, wo der Nulleintrag entlang der Diagonalen von B auftritt. Wir sind jetzt also in der Lage singuläre Matrizen bei unseren Berechnungen zu berücksichtigen, wobei wir in diesem Fall die Problemgröße sogar schon besonders früh verringern können. 4.3 Der QZ-Schritt In diesem Abschnitt wenden wir uns nun dem eigentlichen QZ-Schritt zu. Wie bei der QR-Iteration gibt es auch hier verschiedenene Shift-Strategien. War unser Ziel bei der QR-Iteration aus einer Hessenberg-Matrix die gewöhnliche Schur-Form zu erhalten, so ist es jetzt unser Ziel ein Büschel in Hessenberg-Dreiecks-Gestalt auf verallgemeinerte Schur-Form zu transformieren. Wir werden zuerst den allgemeinen impliziten QZ-Schritt beschreiben und beziehen uns dabei auf [5]. Sei A, B) ein Büschel in Hessenberg-Dreiecks-Form und sei außerdem B regulär. Setzen wir y = Bx, so gilt Ax = λbx AB 1 y = λy. 4.2) Da B 1 aufgrund der Dreiecksform von B ebenfalls eine obere Dreiecksmatrix ist, hat die Matrix C 0) = AB 1 Hessenberg-Gestalt und wir können ihre Schur-Zerlegung berechnen, indem wir die in der QR-Iteration auftretenden Transformationen H 0), H 1),... anwenden: C 0) := AB 1, C m+1) := H m) ) C m) H m) für alle m N 0. 4.3) 26
4.3 Der QZ-Schritt Da wir aber die Berechnung der Matrix B 1 vermeiden wollen, um die Kondition des Problems nicht zu verschlechtern, versuchen wir den QR-Schritt so abzuändern, dass wir ihn direkt auf A und B anwenden können. Dazu definieren wir A 0) := A, A m+1) := H m) Q m) ) A m) Z m), B 0) := B, B m+1) := H m) Q m) ) B m) Z m) 4.4) für alle m N 0, wobei Q m) und Z m) unitär und so gewählt sind, dass Q m) e 1) = e 1) gilt und das Büschel A m+1), B m+1) ) = H m) Q m) ) A m), B m) )Z m) 4.5) Hessenberg-Dreiecks-Gestalt hat. Daraus erhalten wir wegen C 0) = A 0) B 0) ) 1 nun mit Induktion A m+1) B m+1) ) 1 = H m) Q m) ) A m) Z m) )H m) Q m) ) B m) Z m) ) 1 = H m) Q m) ) A m) Z m) )Z m) ) B m) ) 1 H m) Q m) ) = H m) Q m) ) A m) B m) ) 1 H m) Q m) ) 4.6) = H m) Q m) ) C m) H m) Q m) ) für alle m N 0. Um einzusehen, dass C m+1) = H m) Q m) ) C m) H m) Q m) ) gilt, also C m+1) das Ergebnis eines impliziten QR-Schritts angewandt auf C m) = A m) B m) ) 1 ist, benötigen wir folgenden Satz. Satz 4.3 Implizites Q-Theorem). Sei A K n n und H K n n eine irreduzible Hessenberg-Matrix. Dann ist eine unitäre Matrix Q K n n, welche H = Q AQ erfüllt, bis auf Skalierung eindeutig durch ihre erste oder letzte Spalte bestimmt. Beweis. Wir fassen Q spaltenweise auf und schreiben Q = q 1, q 2,..., q n ). Für die erste Spalte der Gleichung AQ = QH gilt damit Aq 1 = h 11 q 1 + h 21 q 2. Wegen q 1 q 1 = 1 und q 1 q 2 = 0 ist dies äquivalent zu h 11 = q 1Aq 1. Weiter ist h 21 q 2 = Aq 1 h 11 q 1. 27
4 Das QZ-Verfahren Da H irreduzibel ist, ist h 21 0, und damit auch Aq 1 h 11 q 1 0. Wegen q 2 2 = 1 ist q 2 durch h 21 = Aq 1 h 11 q 1 2 bis auf Vorzeichen eindeutig bestimmt. Angenommen, k < n und q 1,..., q k wurden bereits bestimmt. Dann gilt für die k-te Spalte der Gleichung AQ = QH Aq k = h 1k q 1 +... h kk q k + h k+1,k q k+1. Da q 1,..., q k+1 orthonormal zueinander sind, gilt h ik = qi Aq k für alle i {1,..., k}. Wegen h k+1,k 0 ist auch Aq k h 1k q 1... h kk q k 0 und durch h k+1,k = Aq k h 1k q 1... h kk q k 2 wird q k+1 bis auf Vorzeichen eindeutig bestimmt. Die letzte Spalte der Gleichung AQ = QH liefert h in = qi Aq n, i = 1,..., n. Um zu beweisen, dass Q durch die letzte Spalte eindeutig bestimmt ist, betrachten wir die Gleichung Q A = HQ und wenden obige Argumente auf die Zeilen von Q an, beginnend mit der letzten Zeile. Dieser Satz heißt implizites Q-Theorem, da er die Bestimmung von Q implizit durch die erste oder letzte Spalte erlaubt. Wir erhalten nun direkt folgendes Korollar. Korollar 4.4. Seien A K n n, H 1, H 2 K n n Hessenberg-Matrizen und Q 1, Q 2 K n n unitär mit Q 1 AQ 1 = H 1 und Q 2 AQ 2 = H 2. Gilt Q 1 e 1) = Q 2 e 1), so folgt H 1 = H 2. Wir kehren nun zu unseren Überlegungen vor Satz 4.3 zurück und stellen fest, dass H m) Q m) e 1) = H m) e 1) auf Grund der Wahl von Q m) gilt und somit das implizite Q-Theorem besagt, dass C m+1) das Ergebnis eines impliziten QR-Schritts angewandt auf C m) = A m) B m) ) 1 ist. Es gilt also C m) = A m) B m) ) 1 für alle m N 0. 4.7) Die durch 4.4) berechneten Matrizen A m) und B m) entsprechen denen, die bei der gewöhnlichen QR-Iteration entstehen. Wählen wir die unitären Transformationen so, dass die Matrizen C m) gegen obere Dreiecksform konvergieren, erwarten wir, dass der untere Nebediagonaleintrag c m) n,n 1 gegen Null streben wird. Da Am), B m) ) Hessenberg- Gestalt hat, folgt aus 4.7) a m) n,n 1 = cm) n,n 1 bm) n 1,n 1. 4.8) 28
4.3 Der QZ-Schritt Falls also c m) n,n 1 = 0 gilt, folgt demnach am) n,n 1 = 0. Somit haben wir einen Nebendiagonaleintrag der Matrix A m) eliminiert und nach Lemma 2.1 einen Eigenwert des Büschels A m), B m) ) erhalten, den wir abspalten können, um anschließend mit einem Problem kleinerer Dimension fortzufahren. Sollte n 1,n 1 gegen Null konvergieren, so ist die Matrix B singulär und wir erhalten einen unendlichen Eigenwert. 4.3.1 Der QZ-Schritt mit Doppel-Shift nach Moler und Stewart Wir wollen nun die Strategie des Doppel-Shifts untersuchen und einen Weg zur direkten Anwendung der QR-Iteration auf A und B beschreiben. Das folgende Verfahren wurde von Moler und Stewart in [3] beschrieben. Es sei C m) = A m) B m) ) 1 und v m) die erste Spalte der Matrix C m) λ m) I)C m) µ m) I), wobei λ m) und µ m) die Eigenwerte der untersten 2 2-Teilmatrix von C m) sind und demnach die Eigenwerte des Büschels A m), B m) ) mit ) A m) = a m) n 1,n 1 a m) n,n 1 a m) n 1,n a m) nn, B m) = n 1,n 1 n 1,n 0 nn ). 4.9) Da wir λ m) und µ m) nicht explizit ausrechnen wollen, können wir v m), wie in [3] beschrieben, in O1) berechnen. Dazu müssen wir uns verdeutlichen, dass v m) wegen C m) λ m) I)C m) µ m) I) = C m) ) 2 λ m) + µ m) )C m) + λ m) µ m) I 4.10) und der Hessenberg-Struktur von C m) genau drei Nichtnulleinträge hat. Diese können wir wie folgt darstellen: v 1 = + v 2 = + [ a m) n 1,n 1 n 1,n 1 a m) n,n 1 n 1,n 1 a m) 22 22 a m) n,n 1 n 1,n 1 am) 11 11 ) b m) n 1,n am) 11 11 ) nn ) b m) n 1,n nn ) a m) nn ) a m) 21 11 ), nn a m) 11 11 ) am) 11 )] 11 12 22 ) ) 11 a m) 21 m) ) m) a n 1,n a n,n 1 ) nn + a m) n 1,n 1 n 1,n 1 a m) 12 22 n 1,n 1 ) am) 11 11 ) ) a m) 11 11 ) a m) nn nn 12 22 ), am) 11 11 ) v 3 = am) 32 22. 4.11) 29
4 Das QZ-Verfahren Wir sehen, dass nur Differenzen von Diagonalelementen auftreten, also kleine, aber nicht vernachlässigbare Außerdiagonaleinträge durch die Berechnung des Shifts nicht verloren gehen. Weiter müssen wir fordern, dass die erste 2 2-Hauptuntermatrix und die letzte 2 2-Hauptuntermatrix von B m) regulär sind, also 11, bm) 22, bm) n 1,n 1, bm) nn 0 sind. Ist dies nicht der Fall, so können wir die Regularität durch Deflation, wie in 4.2) beschrieben, erreichen. Zu dem Vektor v m) bestimmen wir dann eine 3 3-Householder-Matrix H m), die v m) 2 und v m) 3 eliminiert, und wenden sie auf das Büschel A m), B m) ) an. Dies liefert folgende Form für den Fall n = 5: A m) H m) A m) =, B m) H m) B m) =. 0 0 0 0 0 0 0 0 0 0 0 0 Anschließend transformieren wir das Büschel durch schrittweises Eliminieren der unerwünschten Nichtnulleinträge auf Hessenberg-Dreiecks-Form zurück. Dazu bestimmen wir zuerst eine Householder-Matrix Z m) 1, um die Einträge 31 und 32 zu eliminieren und anschließend Z m) 2, um den Eintrag 21 zu beseitigen: A m) A m) Z m) 1 =, B m) B m) Z m) 1 = 0 0, 0 0 0 0 0 0 0 0 0 0 0 A m) A m) Z m) 2 =, B m) B m) Z m) 2 = 0 0. 0 0 0 0 0 0 0 0 0 0 Als nächstes bestimmen wir eine Householder-Matrix Q m) 1, um die Einträge a m) 31 und a m) 41 zu eliminieren: A m) Q m) 1 A m) = 0 0 0 0 0, B m) Q m) 1 B m) = 0 0. 0 0 0 0 0 30
4.3 Der QZ-Schritt Durch diesen Schritt werden die unerwünschten Nichtnulleinträge von ihrer ursprünglichen Position aus nach rechts unten verschoben und nachdem wir diesen Schritt insgesamt n 2)-mal durchgeführt haben, hat das Büschel wieder Hessenberg-Dreiecks-Gestalt. Dies stellt einen typischen Schritt der QZ-Iteration dar. Die orthogonale Matrix H m) Q m), mit Q m) = Q m) 1 Q m) n 2, hat offensichtlich dieselbe erste Spalte wie H m) und das implizite Q-Theorem besagt jetzt, dass A m+1) B m+1) ) 1 = H m) Q m) ) A m) B m) ) 1 )H m) Q m) ) 4.12) im Grunde gerade die Matrix ist, die wir erhalten, wenn wir den impliziten QR-Schritt mit Doppel-Shift direkt auf A m) B m) ) 1 anwenden. Insgesamt haben wir Algorithmus 4.5 Der QZ-Schritt mit Doppel-Shift). Zu einer gegebenen irreduziblen oberen Hessenberg-Matrix A K n n und einer regulären oberen Dreiecksmatrix B K n n überschreibt der folgende Algorithmus A mit einer quasi-oberen Dreiecks-Matrix Q AZ und B mit einer oberen Dreiecksmatrix Q BZ, wobei Q, Z K n n unitär sind. Sei C = AB 1 und berechne die drei Nichtnulleinträge x, y, z der ersten Spalte wie in 4.11). for k = 1 n 2 do Finde eine Householdermatrix Q k, sodass Q k x y z) = 0 0). A diag I k 1, Q k, I n k 2 ) A B diag I k 1, Q k, I n k 2 ) B Finde eine Householdermatrix Z k1, sodass b k+2,k b k+2,k+1 b k+2,k+2 ) Z k1 = 0 0 ) A Adiag I k 1, Z k1, I n k 2 ) B Bdiag I k 1, Z k1, I n k 2 ) Finde eine Householdermatrix Z k2, sodass b k+1,k b k+1,k+1 ) Z k2 = 0 ). A Adiag I k 1, Z k2, I n k 1 ) B Bdiag I k 1, Z k2, I n k 1 ) x = a k+1,k ; y = a k+2,k if k < n 2 then z a k+3,k end if end for Finde eine Householdermatrix Q n 1 so, dass Q n 1 x y) = 0). A diag I n 2, Q n 1 ) A B diag I n 2, Q n 1 ) B 31
4 Das QZ-Verfahren Finde eine Householdermatrix Z n 1 so, dass b n,n 1 b n,n ) Z n 1 = 0 ). A Adiag I n 2, Z n 1 ) B Bdiag I n 2, Z n 1 ) Dieser Algorithmus benötigt 22n 2 Operationen. Die Matrizen Q und Z können für weitere 8n 2 bzw. 13n 2 Operationen gespeichert werden. Der QZ-Schritt mit Doppel-Shift liefert uns im Allgemeinen noch keine richtige verallgemeinerte Schur-Form des Büschels A, B), sondern ein Büschel, in dem A quasi-obere Dreiecksgestalt hat. Das heißt, unser ursprüngliches Problem wurde nun in ein- und zweidimensionale Blöcke zerlegt. Da wir aber daran interessiert sind, sowohl A als auch B auf obere Dreiecksgestalt zu transformieren, werden wir hier nun noch das in [3] beschriebene Verfahren zur weiteren Reduktion auf verallgemeinerte Schur-Form vorstellen. Es gibt mehrere Gründe, warum wir diese Transformation bevorzugen, anstelle es bei der quasi-oberen Dreiecksform der Matrix A zu belassen und die Eigenwerte durch ein quadratisches Polynom direkt zu berechnen. Zum einen ist die Berechnung der Eigenvektoren eines Büschels in strikter Schur-Form einfacher, zum anderen können wir dem Büschel so mehr Informationen über die Eigenwerte entnehmen, als bei gegebenen Eigenwerten. Sind zum Beispiel die Diagonalelemente a ii und b ii sehr klein, so ist der Eigenwert λ i = a ii /b ii schlecht konditioniert, egal welchen Wert er hat. Es geht nun um die Transformation eines zweidimensionalen Büschels auf strikte verallgemeinerte Schur-Form. Dies werden wir wie gewohnt mit unitären Äquivalenztransformationen umsetzen. Es sei also A, B) ein solches Büschel und B eine Dreiecksmatrix. Die Fälle, in denen ein Diagonaleintrag von B Null ist, können wir leicht behandeln, indem wir jeweils das Element a 21 eliminieren. Ist b 11 = 0, so wählen wir eine unitäre Transformation Q, sodass Q A Dreiecksgestalt hat, und ist b 22 = 0, so wählen wir entsprechend ein unitäres Z, sodass AZ Dreiecksgestalt hat. Durch die Behandlungen von links bzw. rechts bleibt die Nullspalte bzw. -zeile von B erhalten. Diesen Vorgang können wir zum Beispiel mit jeweils einer Givens-Rotation umsetzen. Es sei B also regulär. Wir wählen nun unitäre Transformationen Q und Z so, dass  = Q AZ, ˆB = Q BZ 4.13) Dreiecksgestalt haben. Dazu sei λ σa, B) ein Eigenwert des Büschels und es sei E := A λb. 4.14) Da λ ein Eigenwert des Büschels ist, sind die Zeilen von E linear abhängig. Wir wählen nun eine unitäre Matrix Z so, dass entweder e 11 oder e 21 eliminiert wird. Wegen der 32