QR-Algorithmus Praktische Anwendung auf reelle und komplexe Eigenwerte

Transkript

1 QR-Algorithmus Praktische Anwendung auf reelle und komplexe Eigenwerte Proseminar - Numerische Mathematik Sommersemester Universität Hamburg Fachbereich Mathematik geleitet von Prof. Wolf Hofmann von Niklas Fischer 1

2 In diesem Vortrag werde ich die praktische Durchführung des QR-Algorithmus behandeln. Dabei verfolgen wir das Ziel, alle Eigenwerte einer, im Allgemeinen großen, reellen Matrix A numerisch zu berechnen. Der QR-Algorithmus von Francis hat nun die folgende Form: Zu einer gegebenen Ausgangsmatrix A werde durch A =: H 1 ; H k = Q k R k ; H k+1 = R k Q k ; k = 1; 2; ::: (1) eine Folge ähnlicher Matrizen festgelegt. Die Ähnlichkeit ergibt sich leicht aus der Feststellung: H k = Q k R k, Q 1 H k = R k H k+1 = R k Q k = Q 1 H k Q k Wie wir bereits wissen, wäre es ein unnötiger Aufwand, dieses Verfahren auf eine vollbesetzte Matrix Anzuwenden, da für jeden Iterationsschritt eine QR-Zerlegung und eine Matrixmultiplikation benötigt werden. Daher wollen wir im folgenden davon ausgehen, daßdie Ausgangsmatrix bereits in Hessenbergform vorliegt, und bezeichnen sie mit H, um dies zu verdeutlichen. Satz 1: Es seien i die Eigenwerte von H mit der Eigenschaft j 1 j > j 2 j > ::: > j n j. Weiter seien x i die Eigenvektoren von H, die als Kolonnen in der regulären Matrix X 2 R nn zusammengefaßt seien. Falls für X 1 die LR-Zerlegung existiert, dann konvergieren die Matrizen H k für k! 1 gegen eine Rechtsdreiecksmatrix, und es gilt lim = i ; (i = 1; 2; :::; n). k!1 h(k) i;i Hat die Matrix H Paare von konjugiert komplexen Eigenwerten, derart daß ihre Beträge und die Beträge der reellen Eigenwerte paarweise verschieden sind, und existiert die (komplexe) LR-Zerlegung von X 1, dann konvergieren die Matrizen H k gegen eine Quasidreiecksmatrix. Für die Subdiagonalelemente h (k) i+1;i von H k, die überhaupt gegen Null konvergieren, gilt zusätzlich folgende Abschätzung für hinreichend große k: h (k) i+1;i k i+1 i ; (i = 1; 2; :::; n 1) (2) 2

3 Der Satz liefert uns einerseits die Konvergenz der Matrizenfolge H k, er zeigt uns aber auch gewisse Grenzen auf. Wir können und werden hier nur zwei Fälle für die Eigenwerte i der Ausgangsmatrix betrachten: 1) j 1 j > j 2 j > ::: > j n j 2) j i j > j i+1 j = j i+2 j > j i+3 j, falls i+2 = i+1 Mehrfache Eigenwerte und reelle Eigenwerte vom gleichen Betrag werden wir für unsere Ausgangsmatrix nicht zulassen. In dem Buch Einführung in die Numerische Mathematik II (Stoer, Bulirsch) nden wir übrigens, daßdie Forderung nach der LR-Zerlegung von X 1 nicht entscheidend ist für die Konvergenz, sie sichert viel mehr, daßdie Eigenwerte in der Grenzmatrix schließlich der Größe nach geordnet sind. Ist dies im Einzelfall nicht erforderlich, so können die Forderungen an die Ausgangsmatrix um diesen Punkt gekürzt werden. Als Grenzmatrix erhalten wir nach Satz 1 für den Fall rein reeller Eigenwerte eine Dreiecksmatrix, bei der die Eigenwerte bekanntlich in der Diagonalen stehen. Für den Fall, daßdie Ausgangsmatrix auch Paare von komplex konjugierten Eigenwerten besitzt erhalten wir eine Quasidreiecksmatrix R, die die Gestalt 2 3 R 1;1 R 1;2 R 1;3 R 1;m 0 R 2;2 R 2;3 R 2;m R = 0 0 R 3;3 R 3;m R m;m hat. Hierbei haben die Matrizen R i;i die Ordnung eins oder die Ordnung zwei, und haben im letzten Fall ein Paar von komplex konjugierten Eigenwerten. Die Eigenwerte einer Quasidreiecksmatrix lassen sich leicht berechnen, denn es gilt det(r Q I) = m det(r i;i I i;i ) i=1 wobei I i;i die i i Einheitsmatrix ist. 3

4 Beweis: Sei R 2 R nn die oben dargestellte Quasidreiecksmatrix. Wir betrachten zwei Fälle für R m;m : 1) Sei R m;m von der Ordnung eins. Dann hat R die Gestalt er v R = 0 r n;n dabei ist R e 2 R (n 1)(n 1) wieder eine Quasidreiecksmatrix, und v 2 R n 1. Die Entwicklung der Determinante von R nach der letzten Zeile ergibt sich dann zu er det (R) = ( 1) 2n r n;n det = det (R m;m ) det er. 2) Sei R m;m von der Ordnung zwei. Dann hat R die Gestalt 2 3 er v u R = 4 0 r n 1;n 1 r n 1;n 5 0 r n;n 1 r n;n dabei ist R e 2 R (n 2)(n 2) wieder eine Quasidreiecksmatrix, und v; u 2 R n 2. Die Entwicklung der Determinante von R nach der letzten Zeile ergibt sich dann zu er det (R) = ( 1) 2n 1 u er r n;n 1 det + ( 1) 2n v r n;n det 0 r n 1;n 0 r n 1;n 1 = r n;n 1 r n 1;n det er + r n;n r n 1;n 1 det er = (r n 1;n 1 r n;n r n 1;n r n;n 1 ) det er = det (R m;m ) det er Somit folgt Q det (R) = m det (R i;i ) und da R I wieder eine Quasidreiecksmatrix ist, folgt die Behauptung. i=1 4

5 1 Praktische Durchführung für reelle Eigenwerte Sei H 2 R nn jetzt unsere Ausgangsmatrix, die bereits vorher, etwa durch Householder-Re exionen, ähnlich auf Hessenbergform transformiert wurde. Weiter mögen die Eigenwerte i von H reell und betragsmäßig voneinander getrennt sein, so daßj 1 j > j 2 j > ::: > j n j gilt. Dann konvergiert nach Satz 1 die Matrix A k für k! 1 gegen eine Rechtsdreiecksmatrix, bei der die Eigenwerte bekanntlich in der Diagonalen stehen und somit direkt abgelesen werden können. Die Subdiagonalelemente h (k) i+1;i von H k bilden nach (2) eine Nullfolge, deren Konvergenzgeschwindigkeit von dem Quotienten i+1 i abhängt. Dieser kann aber beliebig nahe bei eins liegen, wodurch die Konvergenz auch beliebig langsam werden kann. Dann wären sehr viele Iterationen nötig, was zu einem erheblichen Rechenaufwand führen würde. 1.1 Konvergenzverbesserung mittels Spektralverschiebung Betrachten wir jetzt die Matrix B = H I, wobei H wieder unsere Ausgangsmatrix ist und 2 R. O ensichtlich ist B wieder eine Hessenbergmatrix und hat die Eigenwerte i. Nach der Abschätzung (2) wird die Konvergenzgeschwindigkeit jetzt durch den Quotienten i+1 i bestimmt, den wir durch geschickte Wahl von beliebig klein kriegen können. Führen wir nun in jedem Iterationsschritt diese explizite Spektralverschiebung aus, so lautet die neue Vorschrift H k k I = Q k R k, H k+1 = R k Q k + k I, k = 1; 2; ::: (3) Man beachte hierbei, daß gilt und somit R k = Q 1 (H k k I) H k+1 k I = Q 1 k (H k k I)Q k folgt, also bleibt die Ähnlichkeit der Iterierten Matrizen weiter erhalten. Ebenso sieht man leicht, daßdie Tatsächlichen Eigenwerte der Matrizen H k nicht verändert werden. Man nennt die Technik der Spektralverschiebung auch eine Shift-Technik und k den Shift. In der Praxis wählt ihn in diesem Fall üblicherweise als k = h (k) nn. 5

6 Das hat den Vorteil. daßes somit am wahrscheinlichsten ist, daßh (k) n;n 1 als erstes hinreichend klein wird. Dann zerfällt die Matrix H k bereits nach wenigen Schritten zu H k = " # bh b h 0 h (k). n;n Diese Form von H k bringt uns ein gutes Stück weiter, wie die Entwicklung der Determinante nach der n-ten Zeile zeigt. Demnach ist nämlich det(h k I) = (h (k) n;n ) ( 1) 2n det( b H I n 1;n 1 ) = h (k) n;n det( b H I n 1;n 1 ). woraus sofort folgt, daßh (k) n;n jetzt ein Eigenwert von H k ist und die anderen Eigenwerte von H k notwendigerweise die Eigenwerte der sich abspaltenden Hessenbergmatrix H b sind. Deshalb kann man nun die Iteration (3) mit H b fortführen. Hierbei ist vor allem zu bemerken, daßh b nur noch die Ordnung n 1 besitzt. Wir können also nach jedem "Zerfall-Schritt" die jeweils letzte Zeile und Spalte streichen und mit einer kleineren Matrix weiterrechnen. Dies nennt man De ation. Kommen wir nun zur praktischen Durchführung. Die in jedem Schritt anstehende QR-Transformation wird mittels (n 1) Rotationsmatrizen U i durchgeführt. So viele Matrizen wollen wir aber selbstverständlich nicht abspeichern, daher nutzen wir jetzt die Assoziativität der Matrixmultiplikation und gewisse Eigenschaften der Rotationsmatrizen aus. Dann ist H k+1 = U 1 n 1 :::U 1 2 U 1 1 (H k k I)U 1 U 2 :::U n 1 + k I. Zunächst führen wir die beiden Matrixmultiplikationen U2 1 U 1 1 (H k k I) aus. Weitere Multiplikationen von links mit U4 1 U 3 1 betre en jetzt nur noch die dritte und die folgenden Zeilen, also werden die ersten beiden Zeilen, sowie die ersten beiden Spalten durch die Fortführung der QR-Zerlegung nicht mehr verändert. Die Multiplikation mit U 1 von rechts bewirkt jetzt nur noch eine Linearkombination der ersten und zweiten Spalte, und ist daher bereits zu diesem Zeitpunkt durchführbar. Folgen wir diesem Schema weiter, so wird klar, daßnach der Multiplikation von links 6

7 mit U 1 3 wiederum die Multiplikation mit U 2 von rechts durchführbar ist. Diese gesta elte Durchführung der QR-Zerlegung macht es uns möglich, die "neue" Hessenbergmatrix nach und nach "über" die alte zu speichern. Da die Subdiagonalelemente von H k eine Nullfolge bilden, ist nun noch ein Kriterium notwendig, um zu entscheiden, wann sie "klein genug" sind. Ein sicheres Kriterium wäre h (k) i+1;i < eps max n h (k) i;i ; h (k) i+1;i+1 o, wobei eps die Maschienengenauigkeit ist. Erfüllt ein Subdiagonalelement also dieses Kriterium, so wird es gleich Null gesetzt. 2 Praktische Durchführung für komplexe Eigenwerte Ausgangspunkt ist wieder unsere Matrix H in Hessenbergform. Neben reellen Eigenwerten i habe sie jetzt auch Paare von komplex konjugierten Eigenwerten. Nun haben wir das Problem, daßmit den reellen Einträgen h (k) n;n keine geeigneten Näherungen für komplexe Eigenwerte erreicht werden können. Wir betrachten die Untermatrix C k von H k mit C k = " # h (k) n 1;n 1 h (k) n 1;n h (k) n;n 1 h (k) n;n Da H k reell ist, sind die Eigenwerte (k) 1 und (k) 2 von C k entweder reell oder komplex konjugiert. Im ersten Fall wählen wir als Shift k den Eigenwert (k) i an h (k) n;n liegt, also k = (k) 1 2 R mit (k) 1 h (k) n;n (k) 2 h (k) n;n von C k, der näher, (k = 1; 2; :::). Im zweiten Fall wählen wir für die beiden folgenden QR-Transformationen k = (k) 1 und k+1 = (k) 2 = k, (k) 1 2 C, (k = 1; 2; :::) 7

8 und führen den Übergang von H k zu H k+2 in einem Schritt aus. Da aber die Matrix H k k I komplexe Diagonalelemente hat, können wir sie nicht in reelle Matrizen Q k ; R k zerlegen. Allerdings gibt es zu einer komplexen Matrix A stets eine unitäre Zerlegung A = UR, wobei U unitär ist (U = U T ; U U = I) und R eine komplexe Rechtsdreiecksmatrix mit reellen Diagonalelementen. Vorab sei gesagt, daßwir den gewünschten Doppelschritt tatsächlich komplett in der reellen Arithmetik durchführen können. Um das zu sehen müssen wir aber zumindest in der Theorie den Doppelschritt mittels unitärer Matrizen durchführen. Er lautet dann entsprechend: H k k I = U k R k H k+1 = R k U k + k I H k+1 k+1 I = U k+1 R k+1 H k+2 = R k+1 U k+1 + k+1 I: Demnach wäre H k+2 = U k+1 U k H ku k U k+1 = (U k U k+1 ) H k U k U k+1. Weiter ist das Matrizenprodukt U k U k+1 R k+1 R k = U k (H k+1 k+1 I)R k = U k (H k+1 k+1 I)U k (H k k I) wobei und = U k (R k U k + k I k+1 I)U k (H k k I) = (U k R k U k + k IU k k+1 IU k )U k (H k k I) = (U k R k + k I k+1 I)U k U k (H k k I) = (H k k+1 I)(H k k I) = H 2 k ( k + k+1 )H k + k k+1 I. s := k + k+1 = k + k = 2 <ef k g t := k k+1 = k k = j k j 2 reell sind, und somit folglich auch die Matrix X := H 2 k sh k + ti. 8

9 Das heißt aber nichts anderes, als daßdurch X = (U k U k+1 )(R k+1 R k ) eine unitäre QR-Zerlegung der reellen Matrix X gegeben ist. Da aber zu jeder reellen Matrix X auch eine reelle QR-Zerlegung existiert, können die Matrizen U k und U k+1 so gewählt werden, daßihr Produkt U k U k+1 = Q eine orthogonale Matrix ist, was wiederum sicherstellt, daßh k+2 = (U k U k+1 ) 1 H k U k U k+1 = Q T H k Q wieder eine reelle Hessenbergmatrix ist. Wie erhalten wir jetzt aber die orthogonale Matrix Q? Eine Möglichkeit wäre, die Matrix X zu berechnen und dann davon die QR-Zerlegung zu bestimmen. Diese Methode wäre aber sehr ine zient. Es gibt eine elegantere Variante, die Grundlage dafür ist allerdings der Satz 2: Die orthogonal-ähnliche Transformation einer Matrix A in eine Hessenbergmatrix H = Q T AQ ist eindeutig bestimmt duch die erste Spalte von Q, falls in der nichtreduzierten Matrix H die Subdiagonalelemente h i+1;i, (i = 1; 2; :::; n 1) positiv sind. Beweis: Wir nehmen an, daßh; Q; A 2 R nn und bezeichnen mit q k die k-te Spalte von Q. Dann zeigen wir, daßaus der Vorgabe von q k die Eindeutigkeit der k-ten Spalte von H sowie der (k + 1)-Spalte von Q folgt. Es sei also q k gegeben, und es gilt H = Q T AQ: Dann folgt, da H = Q T AQ, QH = AQ, für die jeweils k-te Spalte: Aq k = 0 1 nx nx e q i;j h j;k A i=1 j=1 = e 1 (q 1;1 h 1;k + q 1;2 h 2;k + ::: + q 1;n h n;k ) +::: +e n (q n;1 h 1;k + q n;2 h 2;k + ::: + q n;n h n;k ) = h 1;k (e 1 q 1;1 + e 2 q 2;1 + ::: + e n q n;1 ) = +::: +h n;k (e 1 q 1;n + e 2 q 2;n + ::: + e n q n;n ) k+1 X h i;k q i, da h i;;j = 0 für i > j + 1 i=1 Multiplizieren wir die Gleichung von links mit q i T so erhalten wir, aufgrund der Orthonormiertheit der Spalten von Q, durch h i;k = q i T A q k die Eindeutigkeit der Matrixelemente h i;k. Nach Voraussetzung ist H k+1;k > 0, daher erhalten wir für q k+1 : q k+1 = 1 h k+1;k A q k kp h i;k q. i i=1 9

10 Zusammen mit der Normierungsbedingung q k+1 T q k+1 = 1 sind somit die (k + 1)-te Spalte von Q sowie die k-te Spalte von H eindeutig bestimmt. Gesucht ist ja die orthogonale Matrix Q mit H k+2 = Q T H k Q und X = QR. Wir benutzen jetzt den Satz 2, um Q wie folgt zu konstruieren: Zuerst bestimmen wir eine orthogonale Matrix Q 0, welche in der QR-Zerlegung die erste Spalte von X auf die gewünschte Form bringt, also die erste Spalte von X auf ein Vielfaches des ersten Einheitsvektors abbildet, so daßfolgt: Q T r11 g T 0 X = 0 X b Nun ist zu bemerken, daßder weitere Verlauf dieser QR-Zerlegung mittels Givens-Rotationen die erste Spalte von Q 0 nicht mehr ändert. Ebenso gilt für jede orthogonale Matrix Q, e die irgendeine Matrix A auf Hessenbergform transformiert, daßderen erste Spalte eq 1 der erste Einheitsvektor e 1 ist, denn stellt man diese als Produkt von Rotationsmatrizen U i dar, so hat keines der Rotationsindexpaaren den Index eins. Daher ist die erste Spalte der Matrix Q = Q 0Q e gleich der ersten Spalte von Q 0. Nun können wir zunächst die Matrix B = Q T 0 H k Q 0 bestimmen, und diese dann mittels einer geeigneten orthogonalen Matrix Q e zu H k+2 = e Q T B e Q = e Q T Q T 0 H k Q 0 e Q = Q T H k Q orthogonal-ähnlich transformieren. Zur Bestimmen von Q 0 benötigen wir die Elemente der ersten Spalte von X. Wir erinnern uns, daß X := H 2 k sh k + ti. Da H k eine Hessenbergmatrix ist, sind in der ersten Spalte von X nur die ersten drei Einträge x 1 ; x 2 und x 3 ungleich Null. Für sie gilt insbesondere: x 1 = h h 12 h 21 sh 11 + t x 2 = h 21 (h 11 + h 22 s) x 3 = h 21 h 32 10

11 Da wir mit Q 0 also nur zwei Elemente von X eleminieren müssen, läßt sich Q 0 auch einfach als Produkt zweier Rotationsmatrizen erzeugen. Mit geeigneten Winkeln ' 1 und ' 2 wäre dann Q 0 = U(1; 2; ' 1 ) U(1; 3; ' 2 ). Dies hat zur Folge, daßdie orthogonal-ähnliche Transformation der Matrix H k auf die Matrix B nur die ersten drei Zeilen und Spalten von H k betri t. Wir erhalten somit eine Spezielle Struktur, die für n = 7 folgendermaßen aussieht: 2 3 X X X X X X X X X X X X X X X X X X X X X B = Q T 0 H k Q 0 = X 0 X X X X X X X X X X X X X X Die Hessenbergform ist nur in der ersten Spalte verloren gegangen. Nutzen wir diese Struktur für die Transformation von B auf Hessenbergform aus, so benötigen wir für die Behandlung der ersten Spalte zunächst zwei Rotationensmatrizen U 23 = U(2; 3; ' 3 ) und U 24 = U(2; 4; ' 4 ). Es werden also zunächst die zweiten und dritten Zeilen und Spalten, sowie danach die zweiten und vierten Zeilen und Spalten geändert, und es folgt: 2 3 X X X X X X X X X X X X X X 0 X X X X X X B 1 = U24U T 23BU T 23 U 24 = 0 X X X X X X 6 0 X 0 X X X X X X X X X Wie man sieht, wurden die beiden von Null verschiedenen Elemente unterhalb der Subdiagonalen eliminiert, und es entstehen zwei neue von Null verschieden Elemente unterhalb der Subdiagonalen der nächsten Spalte. Man kann also durch analoge Givens-Rotationen die störenden Elemente nach rechts unten verschieben bis die Hessenberggestalt wieder hergestellt ist. Wir erhalten somit H k+2 als relle Hessenbergmatrix mit H k+2 = Q T H k Q. Die Spektralverschiebungen wurden hier nicht explizit vorgenommen, wir haben sie viel mehr für die Konstruktion der ersten Spalte von Q benutzt. Daher heißt der Übergang von H k zu H k+2 auch QR-Doppelschritt mit impliziter Spektralverschiebung. Somit ist im Grunde alles gesagt, die Konvergenz wird durch das zuletzt besprochene Shift-Verfahren verbessert, und wir erhalten allgemein eine Quasidreiecksmatrix R, aus der wir die Eigenwerte bestimmen können. 11

12 Literatur -H.R. Schwarz, Numerische Mathematik (1997 Stuttgart,Teubner): Abschnitt und Stoer Bulirsch, Numerische Mathematik II (1978 Heidelberg, Springer): Abschnitt