(Gewicht eines Neugeborenen) Zeit t (in Wochen) Gewicht (in Gramm)

Transkript

1 Kapitel 4 Ausgleichsrechnung Wir betrachten die Methode der kleinsten Quadrate, die bereits um 8 von Gauß und unabhängig davon von Adrien Marie Legendre (75-833) entwickelt wurde Problem: Gegeben seien Messdaten (t i,y i ),i=,, m, diesemüssten aus physikalischen oder ökonomischen Gründen alle auf einer Geraden liegen, welche durch y = α + β t (t R) gegeben sei Gesucht ist eine vernünftige Näherung für α und β Beispiel: (Gewicht eines Neugeborenen) Wir betrachten die Messdaten (t n,g n ) der folgenden Tabelle: Zeit t (in Wochen) Gewicht (in Gramm) Gesucht ist nun eine lineare Zunahme des Gewichtes Durch Aufstellen einer Geradengleichung zu den jeweiligen Messzeitpunkten erhält man das folgende überbestimmte LGS: t = t =: α + β = 35 = g t = t =: α + β = 37 = g t = t 3 =: α + β = 3 = g 3 t = t 4 =3: α + β 3 = 34 = g 4 t = t 5 =4: α + β 4 = 365 = g 5 t = t 6 =6: α + β 6 = 368 = g 6 t = t 7 =8: α + β 8 = 39 = g 7 Es ergeben sich somit 7 Gleichungen für Unbekannte, ein solches LGS ist im allgemeinen nicht lösbar Gesucht ist nun eine Ersatzlösung,diedasSystem möglichst gut erfüllt: Wir betrachten die Residuen r = 35 α β r = 37 α β r 3 = 3 α β r 4 = 34 α β 3 r 5 = 365 α β 4 r 6 = 368 α β 6 r 7 = 39 α β 8

2 Kapitel 4: AUSGLEICHSRECHNUNG Ausgleichsgerade (siehe Beispiel) Die Kleinste-Quadrate-Methode verfolgt folgende Idee: Man wähle α und β so, dass Q(α, β) = 7 n= r n minimal wird Notwendiges Kriterium dafür ist, dass Q α = Q β = gilt, also ( 7 ) Q α = (g n α β t n ) α n= = 7 (g n α β t n ) ( ) = n= und ( 7 ) Q β = 7 (g n α β t n ) = (g n α β t n ) ( t n )= β n= n= Man erhält so die Gauß schen Normalengleichungen α α 7 +β n= 7 t n + β n= 7 t n = 7 g n, n= n= 7 t n = 7 t n g n n= n= In diesem Beispiel ergibt sich explizit das LGS [ [ 7 4 α 4 3 β das die Lösungen = [ , α = , 86 β = , 55 liefert Der Wert für β entspricht dabei der durchschnittlichen wöchentlichen Gewichtszunahme des Babys (in Gramm)

3 6 Kapitel 4: AUSGLEICHSRECHNUNG Beachte: Sogenannte Ausreißer (das heißt Messwerte, die im Vergleich mit den übrigen Messwerten deutlich von dem in etwa zu erwartenden Wert abweichen) haben großen Einfluss und verfälschen das Ergebnis Deshalb werden diese bei der Berechnung der Ausgleichsgeraden oft einfach weggelassen Berücksichtigt man dieses bei der erneuten Betrachtung des vorherigen Beispiels und vernachlässigt dort das Geburtsgewicht, also den ersten Messwert, so ergibt sich das LGS [ [ α β = [ das die Lösungen α = 38, 63 β = 6, 8 liefert (und der Realität wesentlich näher kommt als die oben berechneten Werte!) Allgemeine Form: Bei gegebenen Messdaten (t i,y i ),i =,, m sind Werte für α und β gesucht, die eine möglichst gute Ausgleichsgerade y = α + β t (t R), charakterisieren Dazu ist das LGS m m i= m m t i i= t i t i i= [ α β m y i = i= m y i t i i= zu lösen Definiert man t A = t m R m, y = y y m R m, so erhält man die Koeffizientenmatrix in der Form m A T A = m t i i= m t i i= m t i i= und die rechte Seite Also ist das LGS m y i A T y = i= m y i t i [ A T α A β i= = A T y zu lösen; diese Gleichungen werden Gauß sche Normalengleichungen genannt

4 Kapitel 4: AUSGLEICHSRECHNUNG 63 Verallgemeinerung: Statt eines linearen Ansatzes y = α + β t kann man zum Beispiel einen polynomialen Ansatz der Form p n (t) = α ν t ν ν= betrachten und die Koeffizienten α ν so bestimmen, dass p n möglichst gut durch die Punkte (t i,y i ),i=,, m, verläuft Sei dazu m>n+, das heißt, man betrachtet ein überbestimmtes LGS der Form α ν t ν i = y i (i =,, m) ν= Wir betrachten dann den Residuenvektor r =(r,r,, r m ) T mit r i = y i α ν t ν i ν= Ziel ist jetzt, die α ν,ν =,, n, so zu bestimmen, dass m m Q(α,, α n )= ri = y i i= i= (i =,, m) α j t j i j= minimal wird Notwendig dafür ist Q α ν = (ν =,, n), und man erhält analog zum linearen Fall das LGS m m m t i t n i i= i= m m m α t i t i t n+ i i= i= i= = m m t n α n i i= Mit t t t n A = t t t n Rm (n+), y = t m t m tn m i= t n i y y m m y i i= m t i y i i= m t n i y i i=, α = α α n ist das LGS äquivalent mit A T A α = A T y, das heißt, auch hier ergeben sich die Gauß schen Normalengleichungen Dabei war A α = y das ursprüngliche (überbestimmte) LGS und r = A α y der Residuenvektor Es ergibt sich das lineare Ausgleichsproblem m ri min r = A α y min ( ) i=

5 64 Kapitel 4: AUSGLEICHSRECHNUNG Satz 4: Das lineare Ausgleichsproblem ( ) besitzt stets eine Lösung Falls A maximalen Rang besitzt, das heißt, falls rg(a) = n +,istdielösung eindeutig bestimmt und es gilt α =(A T A) A T y Beweis: ) Wir beweisen zunächst die Existenz einer Lösung Sei dazu U der Untervektorraum des R m, der von den Spaltenvektoren von A aufgespannt wird, es sei also U =span { t t n,,, } Dann ist t t n r = A α y = α + α + + α n } t m {{ t n m } := a U und das Minimierungsproblem ( ) istäquivalent damit, ein a U zu finden, so dass a y =min a a U y gilt Aus der Linearen Algebra ist bekannt, dass das Lot n von y R m auf U R m existiert und eindeutig bestimmt ist und den Abstand a y für a U minimiert Sei a ist die orthogonale Projektion von y auf U, sodass n = y a U gilt (es ist also ein LGS zur Berechnung von a zu lösen!) ) Zur Eindeutigkeit der Lösung: Besitzt A maximalen Rang, so sind die Vektoren a = t m,, a n = linear unabhängig Für das Lot n = y a gilt (y a ) T a = a U, dasheißt,esgilty a U Mit der Darstellung a = α i a i für a folgt i= t n t n m t n m y y m ( n T α i a i y) a j = (j =,, n) i= (A α y) T a j = (j =,, n) (A α y) T [ a } a a n =(,, ) {{}}{{} A T α T A T A y T A = T A T A α A T y = A T A α = A T y

6 Kapitel 4: AUSGLEICHSRECHNUNG 65 Dabei ist A T A invertierbar, denn: Sei A T A x =, und u := A x = x a + + x n a n x =(x,, x n ) T Andererseits gilt A T (A x) = A T u = a T i u = (i =,, n) u U Damit muss u = gelten, denn u U und u U lässt nur diese eine Möglichkeit zu Da die Vektoren a,, a n linear unabhängig waren, muss damit die Linearkombination trivial sein, das heißt es muss u = x a + + x n a n x = x = = x n = gelten Damit ist aber x = und (A T A) invertierbar Die Lösung α berechnet sich dann durch α =(A T A) A T y und ist eindeutig Beachte: Besitzt A nicht maximalen Rang, so ist zwar das Lot auf U eindeutig bestimmt, aber die Koeffizienten α i nicht, denn die Spalten von A bilden keine Basis von U sondern nur ein Erzeugendensystem, das heißt, es sind unter Umständen verschiedene Darstellungen des Lotes möglich Bemerkung: Besitzt A maximalen Rang, so ist A T A positiv definit und symmetrisch, also ist das cg- Verfahren anwendbar, auch das Cholesky-Verfahren ist unter Umständen sinnvoll Achtung: Die Matrix A T A ist oft sehr schlecht konditioniert! Deshalb gibt es spezielle orthogonale Verfahren zur Lösung des LGS, siehe Kapitel 53

7 Kapitel 5 Matrizeneigenwertprobleme Problem: Bestimmung aller Eigenwerte und zugehörigen Eigenvektoren einer gegebenen Matrix A Theorie: Die Eigenwerte sind die Nullstellen des charakteristischen Polynoms a λ a a n p(λ) =det(a λ I) =det a a λ, a n a nn λ das heißt, die Bestimmung der Eigenwerte macht zwei Berechnungsschritte nötig: Berechnung der Polynomkoeffizienten des charakteristischen Polynoms (Berechnung der obigen Determinante) Berechnung der Nullstellen des entstandenen Polynoms Die durchzuführenden Berechnungen sind jedoch numerisch äußerst instabil! Wir wollen iterative Methoden zur Berechnung der Eigenwerte und Eigenvektoren herleiten, die die Probleme der Determinantenberechnung und der Nullstellenberechnung umgehen 5 Vektoriteration Die hier zunächst behandelte direkte Vektoriteration geht auf von Mises zurück Idee: Betrachte die Folge {x k } mit x k+ = A x k, x, k =,,, Ist λ ein einfacher Eigenwert von A, der betragsmäßig größer als alle anderen Eigenwerte von A ist, so setzt sich der zugehörige Eigenvektor durch, das heißt, die Folge {x k } konvergiert gegen diesen Eigenvektor

8 Kapitel 5: MATRIZENEIGENWERTPROBLEME 67 Beispiel: Betrachte die Matrix [ A = 4 5 diese besitzt das charakteristische Polynom [ 4 λ p(λ) =det = λ 5 λ 4λ 5 und damit die Eigenwerte λ =5, λ = Für den betragsmäßig größten Eigenwert λ ergibt sich der Eigenvektor [ x = c, c R, Wählt man speziell c = oder c =, so folgt x beispielsweise [ x =, = (Normierung) Setzt man so liefert obige Iterationsvorschrift folgende Tabelle (die Vektoren mit Schlange bezeichnen die bereits normierten Iterationsergebnisse): x x x x x x 3 [ [ 3 5 [, 6 [ 3, 4 3 [, 884 [, [ x 4 x 5 x 6, 995 [, 9994 [, 9998 Satz 5: Es sei A diagonalisierbar, das heißt, A besitze n linear unabhängige Eigenvektoren, und es gelte für die Eigenwerte λ,, λ n λ > λ λ 3 λ n, sei also λ der betragsmäßig größte Eigenwert von A Sei weiter x R n \{} und x sei nicht in dem Untervektorraum enthalten, der von den Eigenvektoren zu den Eigenwerten λ,, λ n aufgespannt wird Dann konvergiert die Folge mit der Iterationsvorschrift x k = x k x k x k+ = A x k gegen einen normierten Eigenvektor von A zum Eigenwert λ

9 68 Kapitel 5: MATRIZENEIGENWERTPROBLEME Beweis: Sei { } y,, y n eine Basis von Eigenvektoren von A mit A y i = λ i y i (i =,, n) ( ) Für x gibt es dann nach Voraussetzung eine Darstellung mit c Damit folgt x = c y + c y + + c n y n und wir erhalten A k x = c A k y + c A k y + + c n A k y n ( ) = c λ k y + c λ k y + + c n λ k n y n A k x c λ k = y + c c ( λ λ ) k y + + c n c ( λn λ ) k y n Für den Grenzübergang k ergibt sich A k x lim k c λ k = y (denn λ i < für i ) λ Wegen folgt A k x c λ k = [ ± y ± c ( ) k c λ y λ ± ± c ( ) k n c λn y λ n }{{} lim k A k x A k x } {{ } A k x k = lim ± Ak x k c λ k y c λ k A k x = ± y y Bemerkung: Problematisch ist unter Umständen die Wahl des Startvektors, da man vorher nicht weiß, ob der gewählte Vektor im Untervektorraum liegt, der von den Eigenvektoren zu den restlichen Eigenwerten aufgespannt wird Nur dann liefert das Verfahren aber tatsächlich den gesuchten Eigenvektor An dieser Stelle kommen uns jedoch die durch die Fließkomma-Arithmetik entstehenden numerischen Fehler zu Hilfe, so dass das Verfahren praktisch unabhängig vom Startvektor x () funktioniert Satz 5: Die Matrix A sei symmetrisch, besitze also ein vollständiges Orthonormalsystem von Eigenvektoren, und es bezeichne (λ i, y i ) ein Eigenwert-Eigenvektor-Paar Ist x eine Eigenvektor- Näherung der Form x = y i + ε r mit y i =, r = und außerdem r y i, so liefert ρ := xt A x x T x = λ i + ε c

10 Kapitel 5: MATRIZENEIGENWERTPROBLEME 69 eine Näherung von λ i (c ist eine Konstante) Der Ausdruck x T A x x T x heißt Rayleigh-Quotient Beweis: Der Vektor r y i besitze die Basisdarstellung r = c j y j j= j i Dann ergibt sich ρ = (y i + ε r)t A (y i + ε r) (y i + ε r) T (y i + ε r) = yt i = λ i y T i A y i + ε r T A y i + ε y T A r + i ε r T A r y T y i i + ε y T r + ε r T y i }{{} i +ε r T r }{{} = = = {}}{{}}{ y i + ε λ i r T y i + ε λ i y T r +ε r T A r i y i +ε r }{{}}{{} = = = {}}{ = λ i y i +ε r T A r +ε = λ i ( + ε )+ε (r T A r λ i ) +ε = λ i + ε rt A r λ i +ε }{{ } := c = Damit folgt die Behauptung Probleme: Man erhält nur einen Eigenvektor, die übrigen bleiben weiter unbekannt Die Konvergenzgeschwindigkeit ist unter Umständen sehr schlecht, sie ist abhängig vom Quotienten λ λ (vgl oben) MAPLE-Prozedur: Die Vektoriteration lässt sich mit Hilfe der folgenden MAPLE-Prozedur implementieren: > restart; > with(linearalgebra); printlevel:=; > vectoriteration:=proc(a, x, eps) local x, x, x, nor,ew;

11 7 Kapitel 5: MATRIZENEIGENWERTPROBLEME x:=vectorscalarmultiply(x,/norm(x, infitity)); # Normierung von x x:= MatrixVectorMultiply(A, x); x:=vectorscalarmultiply(x,/norm(x, infitity)); # Normierung von x while (Norm(VectorAdd(x,x,,), infinity) >eps) and (Norm(VectorAdd(x,x,,-), infinity) >eps) do x:= MatrixVectorMultiply(A, x); x:=vectorscalarmultiply(x,/norm(x, infitity)); x:= x; x:= x; end do; print(x); # Eigenwertberechnung nor:=dotproduct(x, x); # quadrierte Euklidische Norm von x x:=matrixvectormultiply(a, x); ew:=dotproduct(x, x)/nor; print( Eigenwert, ew); end proc; Die Prozedur kann folgendermaßen aufgerufen werden: A:= Matrix([[4,, [ 5, ); x:= Vector([, ); eps:=; vectoriteration(a, x, eps); 5 Inverse Vektoriteration Die inverse Vektoriteration geht auf Wieland (945) zurück Idee: Sei λ eine Schätzung für den einfachen Eigenwert λ i der Matrix A und es gelte λ λ i < λ λ j j i (An dieser Stelle geht ein, dass λ i einfacher Eigenwert sein muss, ansonsten funktioniert die Idee nicht!) Dann ist (λ i λ) der betragsmäßig größte Eigenwert von (A λ I), denn es gilt det [ (A λ I) µ I =det [ (A (λ + µ) I, }{{} λ das heißt, ist λ i Eigenwert von A, soistµ i = λ i λ Eigenwert von (A λ I) und daher = µ i λ i λ Eigenwert von (A λ I) Dabei ergibt sich die letzte Äquivalenz aus (A λi) x = µ i x x = µ i (A λi) x µ i x =(A λi) x Man wende jetzt die direkte Vektoriteration auf die Matrix (A λ I) an, das heißt, man wählt einen Startvektor x und berechnet x k+ =(A λ I) x k beziehungsweise (A λ I) x k+ = x k, In jedem Iterationsschritt muss also ein LGS gelöst werden, dies jedoch immer nur für verschiedene rechte Seiten und mit identischer Koeffizientenmatrix, so dass nach Berechnung

12 Kapitel 5: MATRIZENEIGENWERTPROBLEME 7 einer L U-Zerlegung der Matrix A λ I dann pro Iterationsschritt jeweils nur eine Vorwärtsund eine Rückwärtselimination notwendig ist Beispiel: Betrachte die Matrix A = [ 3 4 Diese besitzt die Eigenwerte λ =,λ = Wir betrachten jetzt λ = alsschätzung von λ Dann ergibt sich [ [ [ 3 3 A λ I = = 4 9 und det (A λ I) = 9 DamitlautetdieInversezu(A λ I): (A λ I) = [ Mit dem Startvektor y = [ erhält man im ersten Iterationsschritt y = 9 [ 9 3 [ = [ Normierung liefert [ ỹ = 9 [ 8 9 = Durch Normierung wird also der Faktor [ [ 9 8 = 9 [ 8 9 [ 8 9 det (A λ I) herausgekürzt Dadurch wird die Berechnung stabil Wir erhalten so ỹ ỹ ỹ 3 ỹ 4 ỹ Nun ist ỹ k eine Näherung für den Eigenvektor zum Eigenwert (λ i λ) der Matrix (A λ I) und gleichzeitig Näherung für den Eigenvektor zum Eigenwert λ i der Matrix A,

13 7 Kapitel 5: MATRIZENEIGENWERTPROBLEME denn es gilt A y = λ i y (A λ I) y =(λ i λ) y }{{} µ i λ i λ y =(A λ I) y Den zugehörigen Eigenwert kann man jetzt mit Hilfe der Matrix A berechnen, es ist im Beispiel (ỹ 5 ) T A ỹ 5 (ỹ 5 ) T = ỹ 5 eine Näherung für λ Bemerkung: Verfeinerte Methoden zur Eigenwertberechnung sind QR-Algorithmus Singulärwertzerlegung (siehe zb Hämmerlin/Hoffmann: Numerische Mathematik, Kapitel und 3) 53 QR-Verfahren Zur Berechnung der Eigenwerte einer Matrix A R n n lässt sich auch das QR-Verfahren verwenden, das auf einer Faktorisierung der Matrix A in ein Produkt aus einer orthogonalen Matrix Q und einer oberen Dreiecksmatrix R beruht, dh A = Q R Eine Matrix Q heißt dabei orthogonal, falls Q = Q T gilt Die n Spalten (Zeilen) einer orthogonalen Matrix Q bilden ein ONS im R n,dhfür die Spalten von Q =(q,,q n ) gilt q T q = σ i j ij, i,j =,,n Eine QR-Faktorisierung von Matrizen ist aus folgendem Grund interessant Satz 53: Die Kondition einer Matrix A R n n bzgl der Spektralnorm und der Frobenius-Norm ändert sich nicht bei Multiplikation mit einer orthogonalen Matrix Beweis: Ist Q R n n orthogonal, so folgt für jedes x R n Q x =(Q x) T Q x = x T Q T Q x = x T x = x Also folgt auch Q A x = A x und damit Q A =max x QAx x =max x Ax x = A Da mit Q auch Q = Q T orthogonal ist, folgt analog (QA) = A Q = A und damit die Behauptung für die Spektralnorm Analog lässt sich die Behauptung für die Frobenius-Norm zeigen

14 Kapitel 5: MATRIZENEIGENWERTPROBLEME 73 Zur Berechnung der QR-Zerlegung wenden wir das Householder-Verfahren an Definition 54: Eine Matrix H R n n der Form H = I u u T mit der Einheitsmatix I R n n und einem Vektor u R n mit u =heißthouseholder Matrix Wegen H T =(I u u T ) T = I u u T = H und H T H = H H =(I u u T )(I u u T ) = I u u T u u T +4uu T u u }{{} T = I = ist die Householder-Matrix symmetrisch und orthogonal Wir betrachten nun zunächst folgendes Problem Für einen gegebenen Vektor a R n \{} ist eine Householder-Matrix H so zu bestimmen, so dass c H a = c e = gilt Wegen Ha = a T H T H a = a T a = a = c e folgt c = ± a }{{} = Wir wählen nun v := a + sign(a ) }{{} 8 < a := : a < a e und u := v v Dann folgt mit c = = v H = I v vt v = I c v v T = a +sign(a ) a e = a + a +a sign(a n ) a =( a + a a ) a + sign(a ) a a a n Tatsächlich erhalten wir in diesem Fall Wir können nun zeigen: Satz 55: Ha = (I c v v T )a = a c v (a +sign(a ) a e ) T a }{{} ( a +sign(a) a a)= c = a v =sign(a ) a e Jede Matrix A R n n lässt sich als Produkt A = Q R mit einer Orthogonalmatrix Q und

15 74 Kapitel 5: MATRIZENEIGENWERTPROBLEME einer oberen Dreiecksmatrix R schreiben Beweis: Wir führen den Beweis mittels vollständiger Induktion über n SeiA =(a,,a n ) Für n =folgta = a Für n>wählen wir eine Householder-Matrix H R n n mit H a = ± a e Dann folgt ± a H A = à mit à R(n ) (n ) Die Induktionsvoraussetzung liefert eine QR-Zerlegung der Form à = Q R, dh Q T à = R Setzen wir nun H = QT so folgt, dass H H A = R eine obere Dreiecksmatix ist Im QR-Algorithmus werden also sukzessive Householder-Matrizen immer kleinerer Dimensionen berechnet Beispiel: ) Zu a = ist eine Householder-Matrix H gesucht mit H a = ± a = ±3 Wähle v = + 3 = 5 und c = v = 3 = 5 Wir erhalten H = 5 5 (5,, ) = ) Berechne die QR-Zerlegung von 9 7 A =

16 Kapitel 5: MATRIZENEIGENWERTPROBLEME 75 Schritt: Wir wählen v = = 8 4 und c = 8 = 4, und erhalten die erste Householder-Matrix H = = Multiplikation mit A ergibt H A = Schritt: Wir wählen ( ) ( ) 5 v = 5 = ( ) 4 und c = =, und erhalten mit die zweite Householder-Matrix H = v v T = ( ) = Damit folgt H H A = Also gilt A = H T HT R = Q R mit Q = H T H T = = R 6, Algorithmus: Die Matrix Q wird durch die einzelnen Vektoren v,,v n der Householder-Matrizen festgelegt, wobei v j =(v jj,,v nj ) nur noch n j +Einträge hat Bei der Speicherung der QR-Zerlegung wird daher statt H j = I c j v j v T j nur der Vektor v j und der Wert c j abgespeichert Man kann v j (bis auf v jj ) im unteren Teil der A-Matrix speichern, rechts oben speichern wir R Dannmüssen noch die Werte v jj und die Werte c j in getrennten Vektoren v und c abgespeichert werden MAPLE-Prozedur: Die QR-Zerlegung einer Matrix A lässt sich mit Hilfe der folgenden MAPLE-Prozedur implementieren:

17 76 Kapitel 5: MATRIZENEIGENWERTPROBLEME > restart; > with(linearalgebra): printlevel:=; > qr zerlegung:=proc(a) local n, j, nor, k, i, summe; global v, c; # option trace; n:=rowdimension(a); v:=vector(n); c:=vector(n); for j from to n do nor:=; for k from j to n do nor := nor + A[k, j A[k, j; end do; nor:=sqrt(nor); if nor =thenv[j :=; else c[j :=/(nor nor + nor abs(a[j, j)); if A[j, j < thennor := nor end if; v[j :=A[j, j+nor; A[j, j := nor; for k from j +ton do summe := v[j A[j, k; for i from j +ton do summe := summe + A[i, j A[i, k; end do; summe := summe c[j; A[j, k :=A[j, k v[j summe; for i from j +ton do A[i, k :=A[i, k A[i, j summe; end do; end do; end if; end do; print(a, v, c); end proc: Anwendung: > A:=Matrix([[3,-9,7, [-4,-3,-,[,-,-35); > qr zerlegung(a); Wir erhalten das Resultat A = 4 5 5, v = 5 8 4, c = 5 Bemerkung: Die QR-Zerlegung lässt sich auch auf Matrizen der Form A R m n mit m>nanwenden, und wir erhalten A = Q R, wobei ( ) R R = mit einer Dreiecksmatrix R R n n und einer Nullmatrix R m n n Daher ist die QR- Zerlegung auch in der Ausgleichsrechnung anwendbar Falls keine Pivotisierungsprobleme auftreten, folgt dann A x b = Q R x b = Q T (Q R x b) = R x Q T b min

18 Kapitel 5: MATRIZENEIGENWERTPROBLEME 77 Daher ist dann nur noch R x =(Q T b) n zu berechnen, wobei (Q T b) n den Teilvektor von Q T b bezeichnet, der nur die ersten n Komponenten von Q T b enthält Anwendung des QR-Verfahrens zur Berechnung der Eigenwerte Definition 56: (QR-Transformation) Gegeben sei eine Matrix A := A R n n Für m =,, zerlege man A m in der Form A m = Q m R m mit einer orthogonalen Matrix Q m und einer oberen Dreiecksmatrix R m, und bilde das vertauschte Produkt Wegen Q T A m m = R m gilt dann A m+ := R m Q m A m+ = Q T m A m Q m, dh, alle A m haben dieselben Eigenwerte wie A = A Satz 57: Die Eigenwerte der Matrix A R n n seien paarweise dem Betrage nach und von Null verschieden Ferner gestatte die Inverse T der Matrix der (linear unabhängigen) Eigenvektoren von A eine LU-Zerlegung (ohne Pivotisierung) Dann gilt für die mittels der QR- Transformation erzeugte Folge von Matrizen A m : - Die Diagonalelemente streben gegen die Eigenwerte von A Diese sind dem Betrage nach geordnet - Die Elemente unter der Diagonale gehen gegen Null - Die Folgen {A m } und {A m+ } streben jeweils gegen obere Dreiecksmatrizen Ferner konvergiert die Folge der Q m gegen eine Diagonalmatrix, die nur oder auf der Diagonale hat Beweis: R Schaback, H Wendland: Numerische Mathematik, 5 Auflage, Springer, 5 54 Eigenwerteinschließungen Wir betrachten nun zwei Verfahren, mit denen das Spektrum einer Matrix A K n n (mit K = R oder K = C) grob eingegrenzt werden kann Solche Abschätzungen können zur Wahl geeigneter Startwerte für Iterationsverfahren ausgenutzt werden Satz 58: (Satz von Gerschgorin) Sei A =(a jk ) n j,k= Kn n und λ ein beliebiger Eigenwert von A Dann gilt n n λ K i = z : z a ii a ij i= i= j= j i

19 78 Kapitel 5: MATRIZENEIGENWERTPROBLEME Die Kreise K i heißen Gerschgorin-Kreise Beweis: Sei Ax = λx mit x =(x,,x n ) T Dann existiert eine Komponente x i mit x j x i für alle j i Sei(Ax) i die i-tekomponentevonax dann ist und somit folgt Also ist λ K i n K j j= λx i =(Ax) i = λ a ii = j= j a ij x j, j= a ij x j x i a ij j= j Bemerkung: Ist λ S(A) (S Spektrum von A), dann ist λ S(A )wobei { A T A K = R, = A T K = C Tatsächlich gilt det(a λi) = det (A λi) T = det(a T λi) = Für λ S(A ) gilt der Satz von Gerschgorin nun entsprechend, dh, n λ z : z a ii a ji i= j= j i bzw λ n z : z a ii i= n a ji = Ki j= j i= Beispiel: Wir wollen die Eigenwerte der Matrix A = 4 3 mit Hilfe des Satzes von Gerschgorin abschätzen Wir erhalten die Gerschgorin-Kreise 5 K = {µ : µ }, K = {µ : µ 4}, K 3 = {µ : µ 3 } 3

20 Kapitel 5: MATRIZENEIGENWERTPROBLEME 79 Da S(A) =S(A T ) wenden wir den Satz auch auf A T Kreise an und erhalten die Gerschgorin- K = {µ : µ }, K = {µ : µ }, K3 = {µ : µ 3 5} 5 3 Auf diese Weise läßt sich die erste Abschätzung des Eigenwerts in der Nähe von noch verbessern! Bemerkung: Die Aussage des Satzes von Gerschgorin beinhaltet, dass strikt diagonaldominante Matrizen nicht singulär sind Weitere Einschließungsresultate für S(A) beruhen auf dem Konzept des Wertebereichs einer Matrix Definition 59: Unter dem Wertebereich einer Matrix A C n n versteht man die Menge aller Rayleigh- Quotienten xt Ax x T x mit x Cn \{} { } W (A) := z = xt A x x T x : x Cn \{}, = {z = x T A x : x C n \{}, x =} Lemma 5: (a) W (A) ist zusammenhängend (b) Ist A C n n hermitesch, dann ist W (A) das reelle Intervall [λ n,λ, wobei λ den größten und λ n den kleinsten Eigenwert von A bezeichnet (c) Ist A schiefhermitesch, dh A T = A, dannistw (A) ein rein imaginäres Intervall, nämlich die konvexe Hülle aller Eigenwerte von A Beweis: a) Liegen z und z z in W (A), dann existieren x, x C n \{} mit z = xt A x x T x, z = xt A x x T x Wegen z z sind x und x linear unabhängig, so dass die Verbindungsstrecke nicht den Nullpunkt enthält Also ist [x, x :={x t = x + t(x x ): t [, } z t := xt t A x t x T t x t, t,

21 8 Kapitel 5: MATRIZENEIGENWERTPROBLEME eine stetige Kurve in W (A) diez und z verbindet b) Sei A hermitesch Dann ist W (A) reell, denn x T x = x > ist reell und x T A x = x T A x =(x T A x) T = x T A T x = x T A x }{{} =A Wegen a) ist W (A) also ein abgeschlossenes reelles Intervall Wir berechnen den maximalen Wert in W (A): Wähle dazu ein α>so,dassa + α I positiv definit ist Dann existiert eine Cholesky- Zerlegung A + α I = G G T, und für x = gilt Also folgt x T A x = x T (A + αi)x x T αi x = x T G G T x α = G T x }{{} α =α max W (A) = max x = xt A x = max x = GT x α = ρ(g G T ) α = ρ(a + αi) α = λ, denn λ ist ein Eigenwert von A genau dann, wenn λ + α ein Eigenwert von A + αi ist: A x = λ x A x + αx =(λ + α)x (A + αi) x =(λ + α) x Durch Übergang von W (A) zu W ( A) beweist man entsprechend, dass der linke Endpunkt von W (A) der kleinste Eigenwert λ n von A ist c) Wegen A T = A ist ia hermitesch, denn (i A) T = i A T = i A T = i A Außerdem gilt W (ia) =iw (A) und S(iA) =is(a) Die Behauptung folgt nun aus Teil b) Bemerkung: Jede Matrix A C n n lässt sich in eine hermitesche Matrix (A + AT ) und eine schiefhermitesche Matrix (A AT ) zerlegen, A = A + AT + A AT Satz 5: (Satz von Bendixson) Das Spektrum von A C n n ist in dem Rechteck ( A + A ) ( A A ) R = W + W enthalten Dabei bezeichnet für Mengen W,W {a + b : a W,b W } C n die Summe W + W die Menge

22 Kapitel 5: MATRIZENEIGENWERTPROBLEME 8 Beweis: Wir zeigen, dass W (A) R Für x C n mit x = gilt ( x T A x = x T A + A T ) + A AT x (A + A T ) (A = x x + x T + A T ) ( A + A ) x W + W ( A A ) Aus Lemma 5 folgt, dass diese Einschlussmenge ein Rechteck ist Beispiel: Wir betrachten die Matrix A = 4 3 und wollen mit Hilfe der Sätze von Gerschgorin und Bendixson deren Eigenwerte abschätzen Für die Gerschgorinkreise von A bzw A T erhalten wir K = {z : z 4 3}, K = {z : z 4 }, K = {z : z + }, K = {z : z + }, K 3 = {z : z }, K3 = {z : z 4} Anwendung des Satzes von Bendixson ergibt H = A + AT = 4, S = A AT = Wir schätzen die Eigenwerte von H nun wieder mit Hilfe von Satz 58 ab und erhalten [4, 4+ [, + [ 3, +3=[ 3, 6 Die Eigenwerte von S sind in [ i, +i=[ i, i enthalten Nach dem Satz von Bendixson liegen die Eigenwerte von A also im Rechteck R =[ 3, 6 + [ i, i Die tatsächlichen Eigenwerte von A sind S(A) ={ 7838,98,46679 }