8 Numerik von Eigenwertproblemen

Transkript

1 8 Numerk von Egenwertproblemen 8 Das Lanczos-Verfahren Mt dem Lanczos-Verfahren bestmmt man für ene hermtesche Matrx A n n ene untäre Matrx U mt U H AU = T, wobe T ene reelle symmetrsche Trdagonalmatrx st, δ γ 2 0 T = γ 2 γn 0 γ n δ n De Egenwerte von T können dann mt enem anderen Verfahren berechnet werden Zur hermteschen A und q n \{0} defneren wr de Krylov-Räume K (q,a) = span(q,aq,,a q), K 0 (q,a) = {0} Se m der größte Index, so dass q,aq,,a m q lnear unabhängg snd Dann glt A : K m (q,a) K m (q,a), denn A m q lässt sch nach Voraussetzung als Lnearkombnaton der A q, 0 < m, darstellen De Idee des Lanczos-Verfahrens besteht darn, ene Orthonormalbass q,,q von K (q,a) zu konstrueren, mt der sch A auf ene enfache Matrx transformeren lässt Se q = Setze als Start Konstruere Vektoren q, de der Rekurson q = q (8) Aq = γ q +δ q +γ + q +, genügen mt δ = (Aq,q ) γ + = r, r = Aq γ q δ q q + = r γ + falls γ + 0 Es glt dann γ + 0 und δ = (Aq,q ) st reell, wel A als hermtesch vorausgesetzt wurde Weter st q = Satz Durch (8) werden endeutge Vektoren q,,q m bestmmt, so dass q,,q ene Orthonormalbass von K (q,a) für =,,m blden Es glt γ m+ = 0, so dass (8) nach = m abbrcht Bewes: Wr zegen de Behauptung durch Indukton über j Offenbar st q ene Orthonormalbass von K (q,a) Im Induktonsschrtt nehmen wr an, dass q,,q ene Orthonormalbass von K (q,a) blden für j und dass γ > 0, also r 0, erfüllt st für < j Wäre r j = 0, so hätte Aq j ene Bassdarstellung n K j (q,a), also dmk j+ = dmk j, was nur für j = m sen kann Für j < m glt daher r j 0 Damt st q j+ n (8) endeutg bestmmt mt q j+ = sowe (γ j+ q j+,q j ) = (Aq j,q j ) (γ j q j,q j ) (δ j q j,q j ) = (Aq j,q j ) 0 (Aq j,q j ) = 0, 76

2 (γ j+ q j+,q j ) = (Aq j,q j ) (γ j q j,q j ) (δ j q j,q j ) = (q j,aq j ) γ j 0 = (q j,γ j q j 2 +δ j q j +γ j q j ) γ j = γ j γ j = 0 wel γ j reell Für < j st (γ j+ q j+,q ) = (Aq j,q ) 0 0 = (q j,aq ) = (q j,γ q +δ q +γ + q + ) = 0 q j+ K j+ (q,a) folgt aus der Defnton von q j+ Damt blden auch de Vektoren q,,q j+ ene Orthonormalbass von K j+ (q,a) Setze δ γ 2 0 Q = [q q ], J = γ 2 γ 0 γ δ Dann kann man de Rekurson (8) als Matrxglechung schreben (82) AQ = Q J +[0 0 γ + q + ] = Q J +γ + q + e T, wobe e Ê den -ten Enhetsvektor bezechnet De j-te Spalte n (82) ergbt genau den Schrtt j n der Rekurson (8) De J snd reell, symmetrsch und unzerlegbar, also γ j 0 für 2 j m De Matrzen Q n bestzen orthonormale Spalten, Q H Q = I Wenn das Verfahren be m abbrcht, st γ m+ = 0 und daher AQ m = Q m J m, also Q T maq m = J m De Egenwerte von J m snd auch Egenwerte von A wegen J m x = λx A(Q m x) = λq m x Im Allgemenen kann man m = n erwarten, womt Q T AQ = J erfüllt st In desem Fall st J ene zu A ähnlche reelle, symmetrsche Trdagonalmatrx Der Vortel deses Verfahrens st der gernge Rechenaufwand vor allem be schwach besetzten Matrzen Ist man nur an den Egenwerten nteressert, braucht nur de aktuelle Rekurson, ncht aber de gesamte Orthonormalbass gespechert zu werden Der Specherplatzbedarf st daher sehr gerng Theoretsch brcht das Verfahren mt enem Index = m n ab, wenn erstmals γ + = 0 st, dochwrdmanwegendesenflussesderrundungsfehlernderrechenpraxskaumjemalsenγ + = 0 fnden Es st aber a ncht nötg, das Verfahren solange fortzusetzen bs γ + verschwndet, oder auch nur genügend klen wrd Man kann nämlch unter weng enschränkenden Bedngungen zegen, dass für de größten bzw klensten Egenwerte sehr rasch gegen den größten bzw klensten Egenwert von A konvergeren Wenn man nur an den extremen Egenwerten von A nteressert st, genügen deshalb relatv wenge Iteratonen des Verfahrens, um dese mt ausrechender Genaugket durch de extremen Egenwerte ener Matrx J mt << n zu approxmeren De Egenwerte von J können mt dem Verfahren aus dem nächsten Abschntt oder mt dem QR-Verfahren aus Abschntt 86 bestmmt werden 77

3 82 Bestmmung der Egenwerte ener hermteschen Trdagonalmatrx Se δ γ 2 0 J = γ 2 γn 0 γ n δ n ene hermtesche Trdagonalmatrx, nsbesondere seen de δ reell Neben dem QR-Verfahren aus Abschntt 86 können de Egenwerte von T auch drekt aus dem charakterstschen Polynom bestmmt werden Wr können J als unzerlegbar voraussetzen, dh γ 0 für alle Denn andernfalls zerfällt J n zwe Trdagonalmatrzen, de man separat untersuchen kann Wr entwckeln δ γ 2 0 p (µ) = det(j µi ), J = γ 2 γ 0 γ δ nach der letzten Spalte: p 0 (µ) : =, p (µ) = δ µ p (µ) = (δ µ)p (µ) γ 2 p 2 (µ) Für das Newton-Verfahren bestmmen wr heraus auch p (µ) durch p 0(µ) = 0, p (µ) = Für de Wahl des Startwerts verwende Satz Für de Egenwerte λ j der Matrx J glt p (µ) = p (µ)+(δ µ)p (µ) γ 2 p 2(µ) λ j max n { γ + δ +γ + }, γ = γ n+ = 0 Bewes: Des st gerade de Spaltensummennorm (sehe Satz 78) In der Praxs snd dese Matrzen häufg postv-defnt und man möchte nur den klensten Egenwert bestmmen Man hat dann mt x 0 = 0 enen guten Startwert für das Newton-Verfahren und kann es mt dem Doppelschrttverfahren aus Abschntt 47 beschleungen In desem Fall st de her vorgestellte Methode dem noch zu besprechenden QR-Verfahren, be dem alle Egenwerte bestmmt werden, deutlch überlegen 83 Redukton auf Hessenberggestalt H = 0 heßt Hessenbergmatrx, es glt also h j = 0 für < j 78

4 Für ene allgemene Matrx möchte man das gleche Verfahren we be der Gauß-Elmnaton anwenden, um A auf Dreecksgestalt zu brngen Her benötgen wr jedoch ene Ähnlchketstransformaton, um de Egenwerte von A zu erhalten Statt (abgesehen von Permutatonen) muss A = L A A = L A (L ) verwendet werden De Matrx-Multplkaton mt (L ) zerstört jedoch de gerade elmnerte Spalte Elmnere daher nur unterhalb der Subdagonalen We be der Gauß-Elmnaton verwende de Permutatonsmatrzen 0 P jk = 0 0, P jk = P jk 0 mt Wrkung P jk A we A, aber Zele j wrd mt Zele k vertauscht, AP jk we A, aber Spalte j wrd mt Spalte k vertauscht De Frobenus-Matrzen snd defnert durch 0 G j = l j+j 0 l nj, G j = 0 l j+j 0 l nj mt Wrkung AG j addert das l rj -fache der Spalte r auf de Spalte j von A für k = j +,,n G j A addert das l rj -fache der Zele j auf de Zele r von A für k = j +,,n 79

5 Algorthmus: De ersten Spalten von A habe Hessenberggestalt A = 0 0 Bestmme r mt und blde a r = max + j n a j A = P r+ A P r+ P r+ A vertauscht we gewünscht de Zele + mt der Zele r + A P r+ vertauscht daher de Spalte + mt der Spalte r +, lässt mthn de Spalten bs unverändert, zerstört also ncht de n der -ten Spalte durchgeführte Pvotserung Elmnere nun de -te Spalte mt Hlfe von a + : A = G + A G + Auch her werden durch A G + de ersten Spalten von A ncht verändert Wr erhalten daher mt ener Hessenbergmatrx H H = T AT Analog zur QR-Zerlegung zur Lösung enes lnearen Glechungssystems können wr A auch durch Householder-Matrzen auf Hessenberggestalt brngen Se a c T A = mt b 0 b B Wr bestmmen dann w n mt w = und 0 T Mt P = glt dann 0 Q Q b = (I n 2ww H )b = ke a c T Q k A = P AP = 0 Q BQ 0 De übrgen Spalten behandelt man ganz analog 80

6 84 Bestmmung der Egenwerte ener Hessenbergmatrx Auch her können de Egenwerte alternatv mt dem QR-Verfahren aus Abschntt 86 bestmmt werden Se B ene unzerlegbare Hessenbergmatrx, also b + 0 für =,,n Für µ bestmmen wr α,x,,x n mt oder (B µi)x = αe, x n = (83) (b µ)x + b 2 x b n x n + b n x n = α b 2 x + (b 22 µ)x b 2n x n + b 2n x n = 0 b nn x n + (b nn µ)x n = 0 Mtx n = bestmmtmanausderletztenglechungx n,dannx n 2 undausderzwetenglechung x Aus der ersten Glechung erhält man das α De Größen x,,x n,α snd daher endeutg bestmmt Fasst man das System als Glechung n x auf für gegebenes α, so folgt aus der Cramerschen Regel also = x n = α( )n b 2 b 32 b nn, det(b µi) α(µ) = ( ) n b 2 b 32 b nn det(b µi) Damt st α en Velfaches des gesuchten det(b µi) Wr fassen das System (83) als en System n x(µ) auf und dfferenzeren nach µ (84) (b µ)x x + b 2 x b n x n = α b 2 x + (b 22 µ)x 2 x b 2n x n = 0 b nn x n x n = 0 Mt x n = bestmmt man heraus x n,,x und schleßlch α Daher α (µ) = ( ) n b 2 b 32 b nn det(b µi) Mt den Größen α und α kann das Newton-Verfahren durchgeführt werden 85 Potenzmethoden De enfache Vektorteraton Se A n n ene dagonalserbare Matrx Für de Egenwerte λ n Ax = λ x, x =, gelte Se v 0 en Vektor mt λ > λ 2 λ 3 λ n (85) v 0 = n α x, α 0 = 8

7 Satz Für das Verfahren glt unter obgen Voraussetzungen v j+ = Av j = A j+ v 0 (86) lm j λ j v j = α x, oder genauer v j λ j α x c j λ 2 λ Bewes: Mt der Darstellung von v 0 n (85) glt v j = A j v 0 = n λ j α x, = daher v j λ j n α x = λ j =2 λ j α x c j λ 2 λ In der Praxs normert man de v j, bespelswese durch z j = τ j v j, wobe τ j de betragsmäßg größte Komponente von v j st Dann folgt aus (86) wobe α en Normerungsfaktor st lm τ j+ τ j = λ, lmz j = αα x, Natürlch konvergert das Verfahren auch, wenn λ en k-facher Egenwert mt λ > λ k+ st, sofern A nach we vor dagonalserbar st We de obgen Formeln zegen, konvergert der normerte Vektor v j gegen k = α jx j, der ebenfalls Egenvektor zu λ st Das Verfahren versagt offenbar schon, wenn es mehrere verschedene Egenwerte mt maxmalem BetraggbtInsbesonderelässtschdasVerfahrenbereellenMatrzennchtverwenden,wennλ,λ 2 komplex konjugert snd Bestmmung mehrerer Egenwerte mt der enfachen Vektorteraton Wenn λ und x mt der enfachen Vektorteraton bestmmt wurden, so kann man be hermteschen Matrzen ausnutzen, dass de Egenvektoren aufenander senkrecht stehen Man wählt daher en v 0 x und führt mt v 0 de enfache Vektorteraton durch Wegen v j = n α λ j x x =2 konvergert v j /λ j 2 gegen α 2x 2, sofern α 2 0 und λ 2 > λ 3 Ist λ = λ 2, so konvergeren de normerten v j gegen enen weteren Egenvektor von λ Aufgrund von Rundungsfehlern st v j x Man bestmmt daher β j aus ṽ j = Av j mt ṽ j +β j x x, v j = ṽ j +β j x, 82

8 was man als Nachorthogonalseren bezechnet Be unsymmetrschen Matrzen verwende Matrxdeflaton: Satz Se A Ê n n und Ax = λx für x 0 Mt w = x+ x e und H = I 2 wwt w 2 glt dann H = H und λ b T B = HAH = 0 C Bewes: Für de Householder-Matrx H glt bekanntlch H = H = H T Da w n Rchtung x+ x e zegt, steht x x e auf w senkrecht Daher glt H( x e ) = x und H x = x e Also ( ) ( ) x λx Be = H AHe = HA = H = λe x x Nach Bestmmung von B kann de Vektorteraton mt der Matrx C fortgesetzt werden Verwendung des Raylegh-Quotenten Se A hermtesch und v j = A j v 0 ene Näherung des ersten Egenvektors aus der Potenzmethode Mt Hlfe des Raylegh-Quotenten lässt sch de zugehörge Näherung des ersten Egenwerts erheblch verbessern Verwende λ = (Av j,v j ) (v j,v j ) = (v j+,v j ) (v j,v j ) Dann glt λ λ c 2j λ 2 λ falls α 0 n v 0 = m Gegensatz zu O((λ 2 /λ ) j ) aus Satz 85 Bewes: Für v 0 = α x glt we m Bewes von Satz 85 n α x = v j = A j v 0 = n λ j α x, = λ = (Av j,v j ) (v j,v j ) = α 2 λ 2j+ α 2 λ 2j = α 2 λ + n =2 α 2 ( λ λ ) 2j λ α 2 + n =2 α 2 ( λ λ ) 2j = α 2 λ +y α 2 +z = f(y,z) Wegen λ /λ λ 2 /λ st Nach Taylor glt y, z c 2j λ 2 λ 0 für j f(y,z) = f(0,0)+f y (y,z )y +f z (y 2,z 2 )z 83

9 mt y, y 2 y und z, z 2 z Wegen f y = α 2 +z c für z 2 α 2 f z = α 2 λ +y α 2 +z 2 c für z 2 α 2 folgt ( λ 2 2j) λ = λ +O λ Also: Be hermteschen Matrzen de vorletzte Itererte der Potenzmethode mmer n den Raylegh-Quotenten ensetzen! Allerdngs wr dese Regel relatvert durch folgende Anmerkung Statt der Potenzmethode kann man mt verglechbarem Aufwand (ene Matrx-Vektor-Multplkaton pro Schrtt) auch das Lanczos-Verfahren durchführen In J + = U H + AU + bestehen de Spaltenvektoren aus ener Orthonormalbass des Krylov-Raum K + (A,v 0 ) Dann glt λ max (J + ) = max x 0 (J + x,x) (x,x) = max x 0 (U H + AU +x,x) (x,x) = max x 0 (AU + x,u + x) (U + x,u + x), Im Lanczos-Verfahren wrd der Raylegh-Quotent von A über den ganzen Krylov-Raum maxmert und ncht nur über den endmensonalen Telraum spanv De nverse Iteraton nach Weland Ist man nur am betragsmäßg klensten Egenwert der regulären Matrx A nteressert, so kann man de nverse Iteraton verwenden Für enen Start v 0 n st se defnert durch v j = A v j = A j v 0 Da des mt der enfachen Vektorteraton mt Matrx A überenstmmt, glt Satz 85 snngemäß Ist λ ene Schätzung des Egenwerts λ k, so verwende Für dagonalserbares A folgt aus v j = (A λi) v j = (A λi) j v 0 v 0 = n α x, α 0, = dass daher v j = n α (A λi) j x = = (λ k λ) j v j = α k x k + n =, k n = α (λ λ) jx ( ) λk λ j α x λ λ Ist de Schätzung von λ k gut, so konvergert deses Verfahren sehr schnell 84

10 86 Das QR-Verfahren Das QR-Verfahren st für allgemene Matrzen A n n defnert und lefert zemlch scher alle Egenwerte von A In jedem Schrtt des Verfahrens muss ene QR- Zerlegung ener Matrx durchgeführt werden, dessen Aufwand sch vermndert, wenn de Matrx zuvor auf ene enfachere Gestalt gebracht wurde Wr defneren A = A und konstrueren schrttwese Matrzen A durch A = Q R, A + = R Q, wobe mt Q R de Householder-Zerlegung n ene untäre Matrx Q und ene rechte obere Dreecksmatrx R gement st Satz De Matrzen A, Q, R sowe haben de folgenden Egenschaften: (a) A + = Q H A Q, P = Q Q, U = R R (b) A + = P H AP, dh A + st untär ähnlch zu A, (c) A = P U also Bewes: (a) Aus A = Q R folgt Q A Q = R Q = A + (b) folgt aus der sukzessven Anwendung von (a) (c) Aus (b) folgt Q Q A + = AQ Q, P U = Q Q (Q R )R R = Q Q A R R = AQ Q R R = AP U = = A Aus A + = R Q und (b) folgt P R Q = P A + = AP Wr setzen P 0 = I und erhalten aus der letzten Glechung (87) P R = AP für alle 0 Mt deser Matrzenglechung untersuchen wr nun, was mt dem vorderen Tel von P gescheht Für r < n setzen wr P = [ [ (r) ] P (r) ˆP (r) ] R, R = mt R (r) r r, Wr fassen P (r) R (r) auf Setze P (r) Damt st 0 ˆR(r) ˆR (r) (n r) (n r) Aus AP = P R n (87) folgt AP (r) = P(r) R (r) z für z r als Lnearkombnaton der orthonormalen Spaltenvektoren von P (r) mt Glechhet, wenn A und damt R (r) = Bld(P (r) ) = {P (r) z : z r } AP (r) P(r) regulär st Also: 85

11 Der QR-Algorthmus st ene Potenzmethode für de Unterräume P (r) Nun betrachten wr den Fall r = genauer Mt P 0 = I folgt für de erste Spalte n (87) Ae = κp mt κ = (R ) Bezechnen wr de erste Spalte von P mt p, so folgt κ p = Ap = A e, dh abgesehen von der Normerung mt κ, de wegen p = notwendg st, erhalten wr de Potenzmethode für den Startvektor e Wenn es also nur enen betragsgrößten Egenwert gbt und der zugehörge Egenvektor x n der ersten Spalte von A vorkommt, so glt κ p x Es gbt enen völlg analogen Zusammenhang des QR-Verfahrens mt der nversen Iteraton Aus (87) folgt wegen P H P = I für reguläres A (88) P R = AP R P H = P H A P A H = R P H A H P = P R H, wobe her B H = (B ) H = (B H ) verwendet wurde R st auch ene rechte obere Dreecksmatrx, somt st R H ene lnke untere Dreecksmatrx Bezechnen wr her de letzte Spalte von P mt p, so folgt aus der letzten Spalte n (88) A H p = κ p, dh de p snd de Itererten ener nversen Iteraton mt Matrx A H Satz Se A dagonalserbar mt (89) λ > λ 2 > > λ n > 0 Es se A = XDX, D = dag(λ,,λ n ), und de Matrx Y = X bestze ene LR-Zerlegung Dann glt für de Elemente a () jk von A lm a() jk 0 für j > k, lm a() kk λ k für k =,,n Bemerkung De Voraussetzung, dass de Matrx Y ene Dreeckszerlegung bestzt, garantert ledglch, dass de Egenwerte m Grenzwert der Größe nach auf der Hauptdagonalen geordnet snd Aufgrund von Rundungsfehlern dürfte sch des n jedem Fall enstellen Bewes: Se X = QR de QR-Zerlegung von X mt r > 0 und se Y = LU de LR-Zerlegung von Y Wegen A = XDX = QRDR Q H glt (80) Q H AQ = RDR Q H AQ st damt obere Dreecksmatrx mt Dagonalelementen n der n (89) angegebenen Rehenfolge Weter st A m = XD m X = QRD m LU = QRD m LD m D m U Wegen ( ) m (D m LD m λ ) j = l j = λ j 86 0 für < j für = j 0 für > j

12 st Daher glt D m LD m = I +E m mt lm m E m = 0 A m = QR(I +E m )D m U = Q(I +RE m R )RD m U =: Q(I +F m )RD m U mt lm m F m = 0 Nach obgem Lemma hängt de QR-Zerlegung (mt postver Hauptdagonale n R) stetg von den Matrxelementen ab Da I = I I de QR-Zerlegung von I st, folgt für de QR-Zerlegung dass Q m I und R m I Wegen A = P U st I +F m = ˆQ m ˆRm, ˆRm mt postver Dagonale, A m = (QˆQ m )(ˆR m RD m U) = P m U m, und da de QR-Zerlegung bs auf de Multpkaton mt ener Dagonalmatrx endeutg st, folgt heraus: Es exsteren untäre Dagonalmatrzen D m mt Daher folgt aus A m+ = P H map m P m D m = Q Q m Q (8) D H ma m+ D m = D H mp H map m D m Q H AQ (80) = RDR, also lm Wegen d (m) = für alle also m a(m+) j d (m) j d (m) = { λ falls = j 0 falls > j lm m a(m) j = { λ falls = j 0 falls > j Bespel Für de Matrx 0 A = mt den Egenwerten λ = 3, λ 2 = 2, λ 3 = und den Egenvektoren 0 X = 2, X = st de Voraussetzung des letzten Satzes, dass X ene LR-Zerlegung bestzen soll, ncht erfüllt Denn de Hauptuntermatrx X [2] st sngulär, so dass spätestens m zweten Schrtt des Gauß- Algorthmus ene Zelenvertauschung stattfnden muss Nach 30 Schrtten des QR-Verfahrens erhalten wr A 30 = 6e e 6 669e

13 De Dagonalelemente schenen also gegen de Egenwerte zu konvergeren, wobe dese ncht dem Betrage nach geordnet snd Nach weteren 40 Schrtten erhält man A 70 = 48e e 9 507e Aufgrund von Rundungsfehlern bekommt man schleßlch doch noch Konvergenz gegen ene Dreecksmatrx mt der Betragsgröße nach geordneten Egenwerten Aus (8) folgt, dass de Elemente von A m oberhalb der Dagonale oszlleren und nur dem Betrage nach konvergeren Daher sagt man, dass der QR-Algorthmus m Wesentlchen konvergert Ist A ene reelle Matrx, so verläuft der ganze Algorthmus n Ê Bestzt A komplexe Egenwerte, so kann er n der angegebenen Form ncht konvergeren De Voraussetzung des obgen Satzes, dass alle Egenwerte betragsmäßg verscheden snd, st dann ja auch verletzt Ist A hermtesch, so snd wegen A + = P H AP auch alle Itererten hermtesch 87 Rotatons- und Reflektonsmatrzen Mt 0 φ < 2π und c = cosφ, s = snφ st de Rotatonsmatrx zum Wnkel φ auch Gvens-Rotaton genannt, defnert durch c s U 2 (φ) = s c U 2 x bewrkt ene Drehung des Vektors x um den Wnkel φ De Inverse st natürlch de Drehung um den Wnkel φ, also c s U 2 (φ) = U 2 ( φ) = s c Wegen U T = U snd Drehmatrzen orthogonal Im Ê n setzen wr solche Matrzen en, um Drehungen n der,j-ebene zu beschreben c s U j = U j (φ) = 0 0 s c Auch dese Matrzen snd orthogonal mt U j (φ) = Uj T (φ) De Multplkaton mt ener Matrx A hat de folgende Wrkung U j A we A, aber de Zelenvektoren und j werden verändert, AU j we A, aber de Spaltenvektoren und j werden verändert 88

14 Solche Drehmatrzen werden zur Elmnaton von Elementen ener Matrx genutzt Wr können uns auf den Fall n = 2 beschränken und bestmmen für a,b de Größen c,s so, dass U 2 (a,b) T = (r,0) T, (82) a 0 : U 2 = a = 0, b 0 : U 2 = b a 2 + b 2 a a a b a 0 b, r = b b 0 Offenbar snd bede Matrzen untär bzw orthogonal, wenn a,b Ê a a b, r = a a a 2 + b 2, Mt 0 φ < 2π und c = cosφ, s = snφ st de Reflektonsmatrx zum Wnkel φ defnert durch c s V 2 (φ) = s c Wegen V 2 (φ) = c s 0 s c 0 setzt sch V 2 x aus ener Spegelung und ener Drehung zusammen V 2 st symmetrsch und orthogonal, nsbesondere V 2 = V 2 Im Ê n oder n verwenden wr entsprechend V j = V j (φ) = 0 c s 0 s c Auch dese Matrzen snd symmetrsch und orthogonal mt V j (φ) = V j (φ) De Wrkung be der Multplkaton mt ener Matrx A st analog zu U j 88 Beschleungung des QR Algorthmus Se A n n ene belebge Matrx Ähnlch we be der nversen Iteraton kann man durch Enführung enes Shft-Parameters k den QR- Algorthmus für de Egenwerte n der Nähe von k beschleungen Der QR-Algorthmus mt Shft st dann: Setze A = A sowe A k I = Q R, A + = R Q +k I Es glt dann R = Q H (A k I) 89

15 und (83) A + = Q H (A k I)Q +k I = Q H A Q, also st A + weder untär ähnlch zu A We zuvor schleßt man heraus, dass A + auch zu A untär ähnlch st Satz Seen Dann glt P = Q Q, U = R R (84) P U = (A k I)(A k I)(A k I) Bewes: Aus (83) erhalten wr (85) A + = P H AP Wr zegen (84) durch Indukton über Für = besagt (84) P U = Q R = A k I, was gerade der erste Schrtt des QR-Verfahrens mt Shft st Se (84) für bewesen Dann folgt aus der Defnton von A + und (85) R = (A + k I)Q H = P H (A k I)P Q H = P H (A k I)P Heraus erhält man durch Rechtsmultplkaton mt U und Lnksmultplkaton mt P nach Induktonsannahme Aus (84) folgt Da mt U H auch U H P U = (A k I)P U = (A k I)(A k I)(A k I) (A H k I) (A H k I) e n = P U H e n ene untere Drecksmatrx st, glt P U H e n = σ P e n für en σ Damt st de letzte Spalte von P en Velfaches der -ten Itererten des nversen Verfahrens für de Matrx A H mt Start e n und Shfts k,,k Man kann also schnelle Konvergenz erwarten, wenn man k als Raylegh-Quotenten von A H an der Stelle p ( ) n, der letzten Spalte von P, wählt Es glt k = (A H p ( ) n,p ( ) n ) = (p ( ) Deser Shft heßt Raylegh-Quotenten Shft n,ap ( ) n ) (85) = (e n,a e n ) = a () nn Da ene QR-Zerlegung be ener vollbesetzten Matrx A O(n 3 ) Operatonen kostet, brngt man se besser zuvor mt den Methoden aus den Abschntten 8 oder 83 auf Trdagonal- oder Hessenberggestalt LegtdeMatrxA C n n nhessenberggestaltvor,soberechnetmandeqr-zerlegungbessser mt den Drehmatrzen aus dem letzten Abschntt Se A = A und k en Shft-Parameter, bespelswese k = a () nn Mt ener Drehmatrx U 2 n n aus dem vorgen Abschntt können wr das Element a () 2 elmneren Für de folgende Elmnaton an der Stelle (3,2) vewenden wr 90

16 entsprechend ene Drehmatrx U 23 Da Multplkaton von lnks nur de zweten und drtten Zele ändert, blebt de zuvor an der Stelle (2, ) erzelte Null erhalten Wr erhalten daher R = U n n U 2 (A k I) mt ener rechten oberen Dreecksmatrx R De neue Itererte st dann A 2 = R U H 2U H n n +k I DadeMultplkatonvonrechtsmtU H + nurde-teund(+)-tespaltevonr verändert,bestzt A 2 weder obere Hessenberggestalt De obere Hessenberggestalt blebt also m ganzen Verlauf des Algorthmus erhalten Da der QR-Schrtt her nur O(n 2 ) Operatonen kostet, lohnt sch de vorberetende Transformaton von A Ist A hermtesch, so haben wr berets gesehen, dass alle A hermtesch snd Ist A ene hermtesche Trdagonalmatrx, so müssen de A hermtesche Hessenbergmatrzen, also wederum hermtesche Trdagonalmatrzen sen In desem Fall benötgen wr sogar nur O(n) Operatonen für de QR-Zerlegung Nmmt man be jedem Schrtt den Shft k = a () nn, so kann man zegen, dass das Element a () nn quadratsch gegen Null konvergert, sofern der n a() nn erschenende Egenwert enfach st In desem Fall konvergert a () nn allerdngs ncht notwendg gegen den betragsmäßg klensten Egenwert, wel dese Egenschaft durch den Shft verloren geht Ist a () nn genügend klen, so kann man den Algorthmus für de (n, n )-Hauptuntermatrx fortsetzen Analog verfährt man, wenn en anderes Element der Subdagonalen klen wrd Wll man de Egenwerte bs zu ener Genaugket ε bestmmen, so hat sch de Abfrage a () k+k ε( a() kk + a() k+k+ ) bewährt In desem Fall fährt man mt den beden Untermatrzen A[k] und A[k +,n] fort Bespel Wr testen den QR-Algorthmus mt der Shft-Strategue k = a () nn an Hand der Hessenbergmatrx A = De folgende Tabelle enthält de Subdagonalelemente mt dem gerade beschrebenen Abbruchkrterum mt ε = 0 6 a 2 a 32 a e0 223e0 6e0 3 65e0 43e0 355e 4 678e 365e0 382e e 7e0 63e e 532e 393e 6 7 8e0 52e 303e 8 64e0 497e 2 62e e0 289e 5 0 8e0 533e 0 532e 248e e e e 7 De quadratsche Konvergenz am Ende ener jeden Spalte lässt sch gut erkennen Für den QR- Algorthmus ohne Shft benötgt man für dese Genaugket etwa 300 Iteratonen 9

17 Implzte Shfts Der Algorthmus des letzten Abschntts zusammen mt der beschrebenen Deflatonstechnk lefert en gutes Verfahren zur Bestmmung aller Egenwerte von A Es gbt jedoch ene Schwergket Ist A reell, so st k = a nn reell und alle Matrzen A sowe alle Shftparameter k bleben reell Da de nverse Iteraton nur dann rasch konvergert, wenn de Shfts gegen enen Egenwert von A konvergeren, kann der Algorthmus ncht effzent sen, wenn A komplexe Egenwerte bestzt Anstatt mt komplexen Shfts zu arbeten, wollen wr mt reellen Shfts ene Quasdreecksgestalt R R 22 mt R Ê oder R Ê R kk herstellen, um dann de komplexen Egenwerte aus den (2, 2)-Dagonalblöcken zu berechnen Zu desem Zweck wrd ene Varante des QR-Algorthmus hergeletet, be der de Shfts ncht explzt durchgeführt werden Wr hatten ene Hessenbergmatrx B als unzerlegbar bezechnet, wenn b + 0 für alle =,,n Lemma Es seen A,B,Q n n, Q untär und B ene unzerlegbare Hessenbergmatrx mt postven Subdagonalelementen b + Ist B = Q H AQ, so snd B und Q endeutg durch de erste Spalte von Q festgelegt Bewes: Wr geben enen Algorthmus zur Berechnung von B und Q an Wr bezechnen de Spalten von Q mt q und de Spalten von B mt b Wr zegen nduktv, dass de ersten k Spalten von Q und de ersten k Spalten von B endeutg festgelegt snd Für k = st das rchtg, denn de erste Spalte von Q st gesetzt Wegen QB = AQ und wel B Hessenbergmatrx st, glt (86) b k+k q k+ +b kk q k ++b k q = Aq k Multplkaton deser Glechung mt q lefert b k = (Aq k,q ), =,,k Herdurch st de k-te Spalte von B außer b k+k festgelegt Wegen b k+k 0 folgt ebenfalls aus (86) q k+ = ( k ) Aq k b k q b k+k und aus q k+ = erhält man wegen der Postvtät von b k+k auf endeutge Wese b k+k und q k+ Unterblebt n desem Lemma de Forderung, dass b k+,k > 0, so snd q k+ und b k+k nur bs auf enen gemensamen Faktor vom Betrag endeutg bestmmt Satz Se A ene unzerlegbare Hessenbergmatrx, k en Shft-Parameter, = A ki = QR, B = RQ+kI mt unzerlegbarem B Dann glt (vergleche (83)) B = Q H AQ, und man kann B auch mt dem folgendem Algorthmus berechnen: Bestmme ene untäre Matrx P n n, so dass de erste Spalte von P H mt der ersten Spalte 92

18 von Q überenstmmt 2 Bestmme ene untäre Matrx U mt dem Householder Verfahren, so dass B = UPAP H U H ene obere Hessenbergmatrx st Dann glt Q = P H U H und B = B Bewes: Snd U,U 2,,U n 2 de Householder Matrzen zur Transformaton von PAP H auf Hessenberggestalt und st Q H = U n 2 U n 3 U P, so glt B = Q H A Q Wegen der spezellen Gestalt der Matrzen U = I 0 0 Ũ verändert de Lnksmultplkaton mt U ncht de erste Zele, also haben Q H und P deselbe erste Zele Damt haben auch P und Q H deselbe erste Zele Nach Lemma 88 glt also Q = Q und B = B Der obge Algorthmus konzentrert de Wrkung des Shfts k n der Matrx P Nachdem PAP H berechnet worden st, muss nur noch mt enem Standardverfahren PAP H auf Hessenberggestalt gebracht werden Um P zu bestmmen, haben wr de erste Spalte von Q zu berechnen Es st A ki = QR, wobe R ene rechte obere Dreecksmatrx st Ist Q = [q q n ], so glt r q = QRe = (A ki)e, also st de erste Spalte von Q ene Velfaches der ersten Spalte a = (a k,a 2,0,,0) T von A ki Wählt man P mt Pa = ± a e, so glt P H e = ±a/ a und de ersten Spalten von P H und Q stmmen überen Man kann daher P als ebene Drehung wählen, de de zwete Komponenten a 2 annullert Bldet man hermt PAP H, so erhält man ene gestörte obere Hessenbergmatrx, n der zusätzlch das Element an der Stelle (3, ) besetzt st Durch Multplkaton von lnks mt ener Drehung U 23 kannmandesesannullerendemultplkatonmtu 23 vonrechtserzeugtenvonnullverschedenes Element an der Stelle (4, 2) Allgemen hat man m k ten Schrtt en von Null verschedenes Element an der Stelle (k+,k ), das durch ene Rotaton U kk+ an de Stelle (k+2,k) gejagt wrd (=chasng the bulge) Als Shft wählt man we vorher den Raylegh-Quotenten Shft oder auch auch den Wlknson- Shft, dh k als den Egenwert von [ () a n n a () ] n n der a () nn am nächsten legt a () nn Wr beschreben nun, we man de mplzten Shfts verwenden kann, um komplexe Eegenwerte zu bestmmen Dazu werden zwe QR-Schrtte mt den Shfts k 0 und k zu enem Schrtt zusammengefasst Ist A reelle obere Hessenbergmatrx und snd k 0 und k konjugert komplex, so kann man desen Doppelschrtt n reeller Arthmetk ausführen a () nn Der erste Schrtt mt k 0 werde ausgeführt und führe auf de Matrx A = Q H 0 AQ 0,, 93

19 anschleßend folgt der zwete Schrtt mt Shft k, A 2 = Q H A Q = Q H Q H 0 AQ 0 Q Des kann man weder mt folgendem Algorthmus durchführen: Bestmme ene untäre Matrx U, de deselbe erste Zele we Q H QH 0 bestzt 2 Transformere UAU H auf obere Hessenberggestalt A 2 Wr bestmmen zuerst U Es seen R 0,R de oberen Dreecksantele der QR-Zerlegungen von A k 0 I bzw A k I Dann glt nach (84) Q 0 Q R R 0 = (A k I)(A k 0 I) Da R R 0 ene Dreecksmatrx st, st de erste Spalte von Q 0 Q Velfaches der ersten Spalte a von (A k I)(A k 0 I) Wr können also U als Householder-Matrx wählen, de a auf en Velfaches von e transformert Da A obere Hessenberggestalt bestzt, snd nur de dre Komponenten a,a 2,a 3 von a von Null verscheden Man rechnet lecht nach, dass a = a 2 (k 0 +k )a +k 0 k +a 2 a 2, a 2 = a 2 ( a +a 22 (k 0 +k ) ), a 3 = a 2 a 32 Wr wählen nun k 0 und k als de Egenwerte von an n a n n a nn a nn Dann glt k 0 +k = a n n +a nn, k 0 k = a nn a n n a nn a n n Hermt erhält man für de a ( (ann a )(a n n a ) a n n a ) nn a = a 2 +a 2, a 2 a 2 = a 2 (a 22 +a a nn a n n ), a 3 = a 2 a 32 Da man nur an der Rchtung von a nteressert, kann man den gemensamen Faktor a 2 fortlassen und heraus U bestmmen Auch be komplex konjugerten Egenwerten k 0,k snd a,a 2,a 3 reell De Matrx UAU H st ab der drtten Spalte ene Hessenbergmatrx, bestzt aber n den ersten zwe Spalten de Beule a3 a 32 B = a 4 a 42 Ähnlch we zuvor kann man de Beule nach rechts unten jagen durch Matrzen der Form I 0 0 U = 0 H I n 3 mt ener Householder Matrx H Ê 3 3 Im letzten Schrtt wrd ene Drehung U n n benutzt 94

20 Deser Algorthmus konvergert A quadratsch Es gbt allerdngs Matrzen we etwa , de unverändert bleben In der Praxs führt man daher zunächst enen Schrtt mt zufällg gewählten Shfts k 0,k aus 89 Berechnung der sngulären Werte Se A Ê m n mt m n Falls m < n betrachte man A T statt A Mt orthogonalen Matrzen U Ê m m und V Ê n n glt dann D A = U V T, D = dag(σ,,σ n ), 0 mt σ σ n 0 (sehe Abschntt 77) Dann glt AA T = UΣΣ T U T, A T A = VΣΣ T U T mt Σ = D, 0 es legen also Jordansche Normalformen für AA T und A T A vor U besteht aus m orthonormalen Egenvektoren von AA T und V aus n orthonormalen Egenvektoren von A T A Man erhält also de Sngulärwertzerlegung aus den Egenvektoren von AA T und A T A Das folgende Bespel zegt jedoch, dass dese Berechnungsmethode ncht sonderlch stabl st Bespel Se A = ε 0, ε eps 0 ε mt der Maschnengenaugket eps Dann glt 0 ε A T +ε 2 A = ε 0 = ε 0 +ε 2 0 ε Mt λ +ε det(a T 2 A λi) = det +ε 2 = ( λ) 2 (+ε 2 ) 2 λ erhalten wr für de sngulären Werte σ = 2+ε 2 und σ 2 = ε Be Rechnung mt Maschnengenaugket eps erhalten wr statt A T A de Matrx mt sngulären Werten σ = 2 und σ 2 = 0 Damt stmmen de sngulären Werte ncht bs auf Rechengenaugket überen Das Verfahren von Golub und Rensch vermedet den gerade demonstrerten Effekt, ndem es erst gar ncht das Produkt A T A bldet, sondern drekt de Matrx A bearbetet Im ersten Schrtt 95

21 deses Verfahrens wrd mt ener Householder-Matrx Q Ê m m de erste Spalte von A auf en Velfaches des ersten Enhetsvektors gebracht, 0 A =, A = Q A = 0 Anschleßend werden mt ener n n-householder-matrx der Form 0 P = 0 P de Elemente a 3,,a n elmnert, A = A P = 0 De erste Spalte von A wrd dabe ncht verändert Durch Fortsetzung deses Prozesses wrd A auf Bdagonalgestalt gebracht B (87) QA P := Qn Q AP P n 2 = 0 mt α β 0 B = βn 0 α n Wenn B = ÛΣˆV T de Sngulärwertzerlegung von B st, so glt ] ] [Û 0 Σ [ÛΣˆV Q T ˆV T P T = 0 I m n 0 Q T T 0 P T = A Wr brauchen daher nur de Sngulärwertzerlegung der Bdagonalmatrx B zu bestmmen De Matrx α 2 α β 0 α β α2 2 +β2 α 2 β 2 B T B = α 2 n βn 2 2 α n β n 0 α n β n α 2 n +β 2 n st ene symmetrsche Trdagonalmatrx Wr setzen se als unzerlegbar voraus, also α,β 0 für =,,n Um B T B auf Dagonalgestalt zu brngen, wrd ene Varante des QR-Verfahrens verwendet, de de explzte Berechnung von B T B vermedet Se k en Shftparameter und Q der orthogonale 96

22 Antel der QR-Zerlegung von B T B ki Der Algorthmus besteht aus den folgenden Schrtten: Bestmme ene orthogonale Matrx P 0, deren erste Spalte mt Q überenstmmt 2 Transformere BP 0 auf Bdagonalgestalt mt dem Verfahren aus (87) Se P = P 0 P P n 2, wobe P,,P n 2 de Matrzen aus (87) bezechnen, mt denen BP 0 auf Bdagonalgestalt gebracht wrd Dann bestzt P deselbe erste Spalte we Q und B T B = PT B T (Q n Q ) T (Q n Q )B P = P T B T B P Da B T B und Q T B T BQ trdagonal snd, folgt aus Lemma 88, dass Q = P und B T B = Q T B T BQ glt B T B st also de Trdagonalmatrx, de man mt enem QR-Schrtt mt Shft k ausgehend von B T B erhält De erste Spalte von B T B ki st gegeben durch (α 2 k,α β,0,,0) T, also kann P 0 als Drehung U 2 gewählt werden, so dass das Element α β annullert wrd BP 0 hat dann de Gestalt Wr multplzeren dese Matrx von lnks mt ener Drehung U 2, de das Element (2,) elmnert Das entstehende nchttrvale Elemente an der Stelle (, 3) wrd anschleßend mt ener Drehung U 23 durch Multplkaton von rechts elmnert Allgemen wrd das Element, das de Bdagonalgestalt stört, durch Multplkaton von lnks mt U + von der Poston (+,) n de Poston (,+2) gejagt, danach wrd es durch Multplkaton von rechts mt U ++2 an de Poston (+2,+) transportert Als Shft wählt man weder den Egenwert von α 2 n +βn 2 2 α n β n α n β n αn 2 +βn 2, der α 2 n +β 2 n am nächsten st 97