Eigenwertaufgaben. Heinrich Voss. TUHH Heinrich Voss Kapitel / 80.

Transkript

1 Heinrich Voss Hamburg University of Technology Institute for Numerical Simulation TUHH Heinrich Voss Kapitel / 80

2 Wir betrachten in diesem Kapitel die numerische Behandlung von vollbesetzten. TUHH Heinrich Voss Kapitel / 80

3 Wir betrachten in diesem Kapitel die numerische Behandlung von vollbesetzten. Abschnitt 6.1 Abschnitt 6.2 Abschnitt 6.3 Ergebnisse aus Lineare Algebra Potenzmethode QR Algorithmus TUHH Heinrich Voss Kapitel / 80

4 Vorbetrachtungen Da Eigenwerte und Eigenvektoren reeller Matrizen komplex sein können, betrachten wir gleich für A C n n das spezielle Eigenwertproblem. Ax = λx (1) TUHH Heinrich Voss Kapitel / 80

5 Vorbetrachtungen Da Eigenwerte und Eigenvektoren reeller Matrizen komplex sein können, betrachten wir gleich für A C n n das spezielle Eigenwertproblem. Ax = λx (1) Besitzt (1) eine nichttriviale Lösung x C n \ {0}, so heißt λ eine Eigenwert von A und x ein zugehöriger Eigenvektor. TUHH Heinrich Voss Kapitel / 80

6 Vorbetrachtungen Da Eigenwerte und Eigenvektoren reeller Matrizen komplex sein können, betrachten wir gleich für A C n n das spezielle Eigenwertproblem. Ax = λx (1) Besitzt (1) eine nichttriviale Lösung x C n \ {0}, so heißt λ eine Eigenwert von A und x ein zugehöriger Eigenvektor. Die Menge aller Eigenwerte einer Matrix A heißt das Spektrum von A und wird mit σ(a) bezeichnet. TUHH Heinrich Voss Kapitel / 80

7 Vorbetrachtungen Genauer heißt x 0 mit (1) ein Rechtseigenvektor von A zu λ. TUHH Heinrich Voss Kapitel / 80

8 Vorbetrachtungen Genauer heißt x 0 mit (1) ein Rechtseigenvektor von A zu λ. Ist λ eine Eigenwert von A, so besitzt auch die Gleichung y H (A λi) = 0 (2) nichttriviale Lösungen. Jedes y C n, das die Gleichung (2) erfüllt, heißt ein Linkseigenvektor von A. TUHH Heinrich Voss Kapitel / 80

9 Vorbetrachtungen Genauer heißt x 0 mit (1) ein Rechtseigenvektor von A zu λ. Ist λ eine Eigenwert von A, so besitzt auch die Gleichung y H (A λi) = 0 (2) nichttriviale Lösungen. Jedes y C n, das die Gleichung (2) erfüllt, heißt ein Linkseigenvektor von A. Die Notation ist hier nicht einheitlich. In einigen Büchern werden die nichttrivialen Lösungen von y T (A λi) = 0 die Linkseigenvektoren von A genannt. TUHH Heinrich Voss Kapitel / 80

10 Vorbetrachtungen Genauer heißt x 0 mit (1) ein Rechtseigenvektor von A zu λ. Ist λ eine Eigenwert von A, so besitzt auch die Gleichung y H (A λi) = 0 (2) nichttriviale Lösungen. Jedes y C n, das die Gleichung (2) erfüllt, heißt ein Linkseigenvektor von A. Die Notation ist hier nicht einheitlich. In einigen Büchern werden die nichttrivialen Lösungen von y T (A λi) = 0 die Linkseigenvektoren von A genannt. Wenn wir nur von Eigenvektoren sprechen, so sind stets Rechtseigenvektoren gemeint. TUHH Heinrich Voss Kapitel / 80

11 Vorbetrachtungen Die Eigenwerte von A sind die Nullstellen des charakteristischen Polynoms χ(λ) := det(a λi). TUHH Heinrich Voss Kapitel / 80

12 Vorbetrachtungen Die Eigenwerte von A sind die Nullstellen des charakteristischen Polynoms χ(λ) := det(a λi). Ist λ ein k-fache Nullstelle von χ (ist also das Polynom χ(λ) durch (λ λ) k aber nicht durch (λ λ) k+1 teilbar), so heißt k die algebraische Vielfachheit von λ. TUHH Heinrich Voss Kapitel / 80

13 Vorbetrachtungen Die Eigenwerte von A sind die Nullstellen des charakteristischen Polynoms χ(λ) := det(a λi). Ist λ ein k-fache Nullstelle von χ (ist also das Polynom χ(λ) durch (λ λ) k aber nicht durch (λ λ) k+1 teilbar), so heißt k die algebraische Vielfachheit von λ. Da χ den Grad n besitzt, besitzt also A genau n Eigenwerte, wenn man jeden Eigenwert entsprechend seiner algebraischen Vielfachheit zählt. TUHH Heinrich Voss Kapitel / 80

14 Vorbetrachtungen Die Eigenwerte von A sind die Nullstellen des charakteristischen Polynoms χ(λ) := det(a λi). Ist λ ein k-fache Nullstelle von χ (ist also das Polynom χ(λ) durch (λ λ) k aber nicht durch (λ λ) k+1 teilbar), so heißt k die algebraische Vielfachheit von λ. Da χ den Grad n besitzt, besitzt also A genau n Eigenwerte, wenn man jeden Eigenwert entsprechend seiner algebraischen Vielfachheit zählt. Die geometrische Vielfachheit eines Eigenwerts λ ist die Dimension des Lösungsraums des linearen Gleichungssystems (A λi)x = 0. TUHH Heinrich Voss Kapitel / 80

15 Vorbetrachtungen Die Eigenwerte von A sind die Nullstellen des charakteristischen Polynoms χ(λ) := det(a λi). Ist λ ein k-fache Nullstelle von χ (ist also das Polynom χ(λ) durch (λ λ) k aber nicht durch (λ λ) k+1 teilbar), so heißt k die algebraische Vielfachheit von λ. Da χ den Grad n besitzt, besitzt also A genau n Eigenwerte, wenn man jeden Eigenwert entsprechend seiner algebraischen Vielfachheit zählt. Die geometrische Vielfachheit eines Eigenwerts λ ist die Dimension des Lösungsraums des linearen Gleichungssystems (A λi)x = 0. Nach LA Satz 8.18 ist für jeden Eigenwert die geometrische Vielfachheit kleiner oder gleich der algebraischen Vielfachheit. TUHH Heinrich Voss Kapitel / 80

16 Vorbetrachtungen Gilt B = X 1 AX mit einer regulären Matrix X C n n, so heißen die Matrizen A und B ähnlich, den Übergang von A zu B nennt man eine Ähnlichkeitstransformation. TUHH Heinrich Voss Kapitel / 80

17 Vorbetrachtungen Gilt B = X 1 AX mit einer regulären Matrix X C n n, so heißen die Matrizen A und B ähnlich, den Übergang von A zu B nennt man eine Ähnlichkeitstransformation. Ähnliche Matrizen besitzen (vgl. LA Satz 8.15) dieselben Eigenwerte einschließlich ihrer algebraischen und geometrischen Vielfachheit. TUHH Heinrich Voss Kapitel / 80

18 Vorbetrachtungen Gilt B = X 1 AX mit einer regulären Matrix X C n n, so heißen die Matrizen A und B ähnlich, den Übergang von A zu B nennt man eine Ähnlichkeitstransformation. Ähnliche Matrizen besitzen (vgl. LA Satz 8.15) dieselben Eigenwerte einschließlich ihrer algebraischen und geometrischen Vielfachheit. Naheliegend ist es nun, die Matrix A, deren Eigenwerte bestimmt werden sollen, durch geeignete Ähnlichkeitstransformationen auf eine Gestalt zu bringen, aus der man die Eigenwerte (oder jedenfalls Näherungen hierfür) von A leicht ablesen kann oder für die das Eigenwertproblem leichter gelöst werden kann. TUHH Heinrich Voss Kapitel / 80

19 Vorbetrachtungen Gilt B = X 1 AX mit einer regulären Matrix X C n n, so heißen die Matrizen A und B ähnlich, den Übergang von A zu B nennt man eine Ähnlichkeitstransformation. Ähnliche Matrizen besitzen (vgl. LA Satz 8.15) dieselben Eigenwerte einschließlich ihrer algebraischen und geometrischen Vielfachheit. Naheliegend ist es nun, die Matrix A, deren Eigenwerte bestimmt werden sollen, durch geeignete Ähnlichkeitstransformationen auf eine Gestalt zu bringen, aus der man die Eigenwerte (oder jedenfalls Näherungen hierfür) von A leicht ablesen kann oder für die das Eigenwertproblem leichter gelöst werden kann. Da folgende Lemma ermöglicht es, die Dimension des Eigenwertproblems zu reduzieren. TUHH Heinrich Voss Kapitel / 80

20 Lemma Besitzt A C n n eine Blockzerlegung ( ) A11 A A = 12 O A 22 mit A 11 C m m, A 22 C n m n m, so gilt σ(a) = σ(a 11 ) σ(a 22 ). (3) TUHH Heinrich Voss Kapitel / 80

21 Beweis Es gelte ( A11 A Ax = 12 O A 22 mit x 1 C m und x 2 C n m. ) ( x1 x 2 ) ( x1 = λ x 2 ) TUHH Heinrich Voss Kapitel / 80

22 Beweis Es gelte ( A11 A Ax = 12 O A 22 mit x 1 C m und x 2 C n m. ) ( x1 x 2 ) ( x1 = λ x 2 ) Gilt x 2 0, so ist A 22 x 2 = λx 2 und λ σ(a 22 ). TUHH Heinrich Voss Kapitel / 80

23 Beweis Es gelte ( A11 A Ax = 12 O A 22 mit x 1 C m und x 2 C n m. ) ( x1 x 2 ) ( x1 = λ x 2 ) Gilt x 2 0, so ist A 22 x 2 = λx 2 und λ σ(a 22 ). Ist x 2 = 0, so gilt A 11 x 1 = λx 1 und λ σ(a 11 ). Es ist also σ(a) σ(a 11 ) σ(a 22 ). TUHH Heinrich Voss Kapitel / 80

24 Beweis Es gelte ( A11 A Ax = 12 O A 22 mit x 1 C m und x 2 C n m. ) ( x1 x 2 ) ( x1 = λ x 2 ) Gilt x 2 0, so ist A 22 x 2 = λx 2 und λ σ(a 22 ). Ist x 2 = 0, so gilt A 11 x 1 = λx 1 und λ σ(a 11 ). Es ist also σ(a) σ(a 11 ) σ(a 22 ). Zählt man alle Eigenwerte entsprechend ihrer algebraischen Vielfachheit, so besitzt A n Eigenwerte, A 11 m Eigenwerte und A 22 n m Eigenwerte. Damit kann die Inklusion nicht echt sein, und es ist (3) bewiesen. TUHH Heinrich Voss Kapitel / 80

25 Jordansche Normalform Ist J die Jordansche Normalform der Matrix A und X 1 AX = J, so kann man (vgl. LA Abschnitt 8.5) alle Eigenwerte und Eigenvektoren (und auch Hauptvektoren) von A aus J und der Transformationsmatrix X sofort ablesen. TUHH Heinrich Voss Kapitel / 80

26 Jordansche Normalform Ist J die Jordansche Normalform der Matrix A und X 1 AX = J, so kann man (vgl. LA Abschnitt 8.5) alle Eigenwerte und Eigenvektoren (und auch Hauptvektoren) von A aus J und der Transformationsmatrix X sofort ablesen. Trotzdem wird die Jordansche Normalform in der numerischen Mathematik nicht verwendet. Den Grund zeigt TUHH Heinrich Voss Kapitel / 80

27 Beispiel Die Störung J α := Rn n α der Jordanschen Normalform J 0 mit dem n-fachen Eigenwert 0 besitzt das charakteristische Polynom χ α (λ) = ( 1) n (λ n α). TUHH Heinrich Voss Kapitel / 80

28 Beispiel Die Störung J α := Rn n α der Jordanschen Normalform J 0 mit dem n-fachen Eigenwert 0 besitzt das charakteristische Polynom χ α (λ) = ( 1) n (λ n α). J α besitzt also n verschiedene Nullstellen, und ist daher auf Diagonalgestalt transformierbar. Dies zeigt, dass die Struktur der Jordanschen Normalform nicht stabil unter kleinen Störungen ist. TUHH Heinrich Voss Kapitel / 80

29 Unitäre Transformationen Wir betrachten ferner nicht beliebige Ähnlichkeitstransformationen, denn die nichtsinguläre Transformationsmatrix X kann schlecht konditioniert sein. TUHH Heinrich Voss Kapitel / 80

30 Unitäre Transformationen Wir betrachten ferner nicht beliebige Ähnlichkeitstransformationen, denn die nichtsinguläre Transformationsmatrix X kann schlecht konditioniert sein. In diesem Fall ist die Transformation X 1 AX anfällig für Rundungsfehler. TUHH Heinrich Voss Kapitel / 80

31 Unitäre Transformationen Wir betrachten ferner nicht beliebige Ähnlichkeitstransformationen, denn die nichtsinguläre Transformationsmatrix X kann schlecht konditioniert sein. In diesem Fall ist die Transformation X 1 AX anfällig für Rundungsfehler. Um dies auszuschließen, beschränken wir uns auf unitäre Transformationsmatrizen U, für die also gilt U H U = I. Für diese ist Ux 2 2 = (Ux) H (Ux) = x H U H Ux = x H x = x 2 2 für alle x C n, daher gilt U 2 = 1, und da mit U auch U 1 = U H unitär ist, erhält man κ 2 (U) = 1. TUHH Heinrich Voss Kapitel / 80

32 Schursche Normalform Wir wissen (vgl. LA Satz 8.31), dass man genau die normalen Matrizen mit unitären Matrizen auf Diagonalgestalt transformieren kann. TUHH Heinrich Voss Kapitel / 80

33 Schursche Normalform Wir wissen (vgl. LA Satz 8.31), dass man genau die normalen Matrizen mit unitären Matrizen auf Diagonalgestalt transformieren kann. Allgemeine Matrizen kann man auf obere Dreiecksgestalt transformieren, aus der man dann wieder die Eigenwerte unmittelbar ablesen kann. TUHH Heinrich Voss Kapitel / 80

34 Schursche Normalform Wir wissen (vgl. LA Satz 8.31), dass man genau die normalen Matrizen mit unitären Matrizen auf Diagonalgestalt transformieren kann. Allgemeine Matrizen kann man auf obere Dreiecksgestalt transformieren, aus der man dann wieder die Eigenwerte unmittelbar ablesen kann. Satz 6.3 [Schursche Normalform] Es sei A C n n. Dann existiert eine unitäre Matrix U, so dass obere Dreiecksgestalt besitzt. U H AU = T (4) TUHH Heinrich Voss Kapitel / 80

35 Schursche Normalform Wir wissen (vgl. LA Satz 8.31), dass man genau die normalen Matrizen mit unitären Matrizen auf Diagonalgestalt transformieren kann. Allgemeine Matrizen kann man auf obere Dreiecksgestalt transformieren, aus der man dann wieder die Eigenwerte unmittelbar ablesen kann. Satz 6.3 [Schursche Normalform] Es sei A C n n. Dann existiert eine unitäre Matrix U, so dass obere Dreiecksgestalt besitzt. U H AU = T (4) T heißt Schursche Normalform der Matrix A. TUHH Heinrich Voss Kapitel / 80

36 Bemerkung Besitzt A die Schur Zerlegung U H AU = diag {λ 1,..., λ n } + N mit einer strikten oberen Dreiecksmatrix N, so gilt unabhängig von der Wahl von U für die Schur Norm n n N 2 S = UH AU 2 S λ j 2 = A 2 S λ j 2. j=1 j=1 TUHH Heinrich Voss Kapitel / 80

37 Bemerkung Besitzt A die Schur Zerlegung U H AU = diag {λ 1,..., λ n } + N mit einer strikten oberen Dreiecksmatrix N, so gilt unabhängig von der Wahl von U für die Schur Norm n n N 2 S = UH AU 2 S λ j 2 = A 2 S λ j 2. j=1 j=1 Es gilt N 2 S = 0 genau dann, wenn A eine normale Matrix ist. TUHH Heinrich Voss Kapitel / 80

38 Bemerkung Besitzt A die Schur Zerlegung U H AU = diag {λ 1,..., λ n } + N mit einer strikten oberen Dreiecksmatrix N, so gilt unabhängig von der Wahl von U für die Schur Norm n n N 2 S = UH AU 2 S λ j 2 = A 2 S λ j 2. j=1 j=1 Es gilt N 2 S = 0 genau dann, wenn A eine normale Matrix ist. N S =: (A) heißt die Abweichung von A von der Normalität. TUHH Heinrich Voss Kapitel / 80

39 Quasidreiecksgestalt Bei der bisherigen Behandlung der Ähnlichkeitstransformationen haben wir einen wichtigen Aspekt nicht berücksichtigt. Ist die Ausgangsmatrix A reell, so wird man nur orthogonale Matrizen U (d.h. reelle unitäre Matrizen) zur Transformation benutzen, da sonst U H AU komplexe Elemente enthält. TUHH Heinrich Voss Kapitel / 80

40 Quasidreiecksgestalt Bei der bisherigen Behandlung der Ähnlichkeitstransformationen haben wir einen wichtigen Aspekt nicht berücksichtigt. Ist die Ausgangsmatrix A reell, so wird man nur orthogonale Matrizen U (d.h. reelle unitäre Matrizen) zur Transformation benutzen, da sonst U H AU komplexe Elemente enthält. Besitzt A komplexe Eigenwerte, so kann A hiermit offenbar nicht auf obere Dreiecksgestalt transformiert werden (die Diagonale enthält ja die Eigenwerte). TUHH Heinrich Voss Kapitel / 80

41 Quasidreiecksgestalt Bei der bisherigen Behandlung der Ähnlichkeitstransformationen haben wir einen wichtigen Aspekt nicht berücksichtigt. Ist die Ausgangsmatrix A reell, so wird man nur orthogonale Matrizen U (d.h. reelle unitäre Matrizen) zur Transformation benutzen, da sonst U H AU komplexe Elemente enthält. Besitzt A komplexe Eigenwerte, so kann A hiermit offenbar nicht auf obere Dreiecksgestalt transformiert werden (die Diagonale enthält ja die Eigenwerte). Da mit λ C \ R auch λ Eigenwert von A ist (das charakteristische Polynom hat reelle Koeffizienten!), kann man A auf Quasidreiecksgestalt transformieren. TUHH Heinrich Voss Kapitel / 80

42 Quasidreiecksgestalt Dabei heißt eine Matrix R Quasidreiecksmatrix, falls R 11 R 12 R R 1k O R 22 R R 2k R = O O O... R kk obere Blockdreiecksgestalt besitzt und die Diagonalblöcke R jj alle die Dimension 1 oder 2 besitzen. TUHH Heinrich Voss Kapitel / 80

43 Reelle Schur Form Sei A R n n. Dann existiert eine orthogonale Matrix U, so dass U T AU quasidreieckig ist. U kann so gewählt werden, dass jeder 2 2 Diagonalblock R jj nur komplexe Eigenwerte besitzt. TUHH Heinrich Voss Kapitel / 80

44 Störungssätze Viele Verfahren zur Bestimmung von Eigenwerten bestehen darin, Matrizen X k zu bestimmen, so dass X 1 k AX k mehr und mehr einer Diagonalmatrix gleicht. TUHH Heinrich Voss Kapitel / 80

45 Störungssätze Viele Verfahren zur Bestimmung von Eigenwerten bestehen darin, Matrizen X k zu bestimmen, so dass X 1 k AX k mehr und mehr einer Diagonalmatrix gleicht. Wir fragen daher, wie gut die Eigenwerte einer Matrix durch ihre Diagonalelemente approximiert werden. TUHH Heinrich Voss Kapitel / 80

46 Satz von Gerschgorin Sei Dann gilt A := (a ij ) C n n, z i := n a ij, s j := j=1 j i n a ij. i=1 i j TUHH Heinrich Voss Kapitel / 80

47 Satz von Gerschgorin Sei Dann gilt A := (a ij ) C n n, z i := n a ij, s j := j=1 j i n a ij. i=1 i j (i) Alle Eigenwerte von A liegen in der Vereinigung der Kreise Z i := {z C : z a ii z i }. TUHH Heinrich Voss Kapitel / 80

48 Satz von Gerschgorin Sei Dann gilt A := (a ij ) C n n, z i := n a ij, s j := j=1 j i n a ij. i=1 i j (i) Alle Eigenwerte von A liegen in der Vereinigung der Kreise Z i := {z C : z a ii z i }. (ii) Alle Eigenwerte von A liegen in der Vereinigung der Kreise S j := {z C : z a jj s j }. TUHH Heinrich Voss Kapitel / 80

49 Satz von Gerschgorin Sei Dann gilt A := (a ij ) C n n, z i := n a ij, s j := j=1 j i n a ij. i=1 i j (i) Alle Eigenwerte von A liegen in der Vereinigung der Kreise Z i := {z C : z a ii z i }. (ii) Alle Eigenwerte von A liegen in der Vereinigung der Kreise S j := {z C : z a jj s j }. (iii) Jede Zusammenhangskomponente von n Z i bzw. i=1 n S j enthält genau so viele Eigenwerte von A wie Kreise an der Komponente beteiligt sind, wobei Kreise und Eigenwerte entsprechend ihrer (algebraischen) Vielfachheit gezählt sind. j=1 TUHH Heinrich Voss Kapitel / 80

50 Beweis (i): Sei Ax = λx, x 0. Dann gilt (λ a ii )x i = j i a ij x j für alle i. TUHH Heinrich Voss Kapitel / 80

51 Beweis (i): Sei Ax = λx, x 0. Dann gilt (λ a ii )x i = j i a ij x j für alle i. Sei i {1,..., n} ein Index mit x i = x. Dann folgt λ a ii a ij x j x i z i, j i }{{} 1 und daher gilt λ Z i. TUHH Heinrich Voss Kapitel / 80

52 Beweis (i): Sei Ax = λx, x 0. Dann gilt (λ a ii )x i = j i a ij x j für alle i. Sei i {1,..., n} ein Index mit x i = x. Dann folgt λ a ii a ij x j x i z i, j i }{{} 1 und daher gilt λ Z i. (ii) folgt aus (i), da A und A T dieselben Eigenwerte besitzen. TUHH Heinrich Voss Kapitel / 80

53 Beweis cnt. (iii) Wir betrachten für t [0, 1] A(t) := D + t(a D) mit D := diag {a 11,..., a nn }. TUHH Heinrich Voss Kapitel / 80

54 Beweis cnt. (iii) Wir betrachten für t [0, 1] A(t) := D + t(a D) mit D := diag {a 11,..., a nn }. Dann sind für A(t) die Radien der Kreise Z i (t) bzw. S j (t) gleich tz i bzw. ts j und die Mittelpunkte a ii bzw. a jj. TUHH Heinrich Voss Kapitel / 80

55 Beweis cnt. (iii) Wir betrachten für t [0, 1] A(t) := D + t(a D) mit D := diag {a 11,..., a nn }. Dann sind für A(t) die Radien der Kreise Z i (t) bzw. S j (t) gleich tz i bzw. ts j und die Mittelpunkte a ii bzw. a jj. Offenbar ist die Behauptung für t = 0 richtig. Wächst nun t, so bleibt wegen der stetigen Abhängigkeit der Eigenwerte von den Elementen der Matrix A(t), also von t, die Anzahl der Kreise und Eigenwerte in einer Komponente konstant, solange sie nicht mit einer anderen Komponente zusammenstößt. TUHH Heinrich Voss Kapitel / 80

56 Beweis cnt. (iii) Wir betrachten für t [0, 1] A(t) := D + t(a D) mit D := diag {a 11,..., a nn }. Dann sind für A(t) die Radien der Kreise Z i (t) bzw. S j (t) gleich tz i bzw. ts j und die Mittelpunkte a ii bzw. a jj. Offenbar ist die Behauptung für t = 0 richtig. Wächst nun t, so bleibt wegen der stetigen Abhängigkeit der Eigenwerte von den Elementen der Matrix A(t), also von t, die Anzahl der Kreise und Eigenwerte in einer Komponente konstant, solange sie nicht mit einer anderen Komponente zusammenstößt. Geschieht dies, so addieren sich die Kreise und Eigenwerte. Die Behauptung ist also für alle t 0 und damit für A = A(1) richtig. TUHH Heinrich Voss Kapitel / 80

57 Bemerkung Die Aussage (iii) lässt sich nicht verschärfen zu: In jedem Kreis S i bzw. Z j liegt mindestens ein Eigenwert von A, TUHH Heinrich Voss Kapitel / 80

58 Bemerkung Die Aussage (iii) lässt sich nicht verschärfen zu: In jedem Kreis S i bzw. Z j liegt mindestens ein Eigenwert von A, denn sei A = ( ) TUHH Heinrich Voss Kapitel / 80

59 Bemerkung Die Aussage (iii) lässt sich nicht verschärfen zu: In jedem Kreis S i bzw. Z j liegt mindestens ein Eigenwert von A, denn sei A = ( ) Dann sind die Eigenwerte λ 1/2 = ± 2, und es liegt kein Eigenwert in Z 1 = S 2 = {z : z 1}. TUHH Heinrich Voss Kapitel / 80

60 Bemerkung Die Aussage (iii) lässt sich nicht verschärfen zu: In jedem Kreis S i bzw. Z j liegt mindestens ein Eigenwert von A, denn sei A = ( ) Dann sind die Eigenwerte λ 1/2 = ± 2, und es liegt kein Eigenwert in Z 1 = S 2 = {z : z 1}. Für viele Eigenwert Routinen kann man zeigen, dass die berechneten Eigenwerte λ 1,..., λ n die exakten Eigenwerte einer gestörten Matrix A + E sind, wobei E eine kleine Norm besitzt. TUHH Heinrich Voss Kapitel / 80

61 Bemerkung Die Aussage (iii) lässt sich nicht verschärfen zu: In jedem Kreis S i bzw. Z j liegt mindestens ein Eigenwert von A, denn sei A = ( ) Dann sind die Eigenwerte λ 1/2 = ± 2, und es liegt kein Eigenwert in Z 1 = S 2 = {z : z 1}. Für viele Eigenwert Routinen kann man zeigen, dass die berechneten Eigenwerte λ 1,..., λ n die exakten Eigenwerte einer gestörten Matrix A + E sind, wobei E eine kleine Norm besitzt. Wir fragen daher, wie Störungen die Eigenwerte einer Matrix beeinflussen. Beispielhaft hierfür ist: TUHH Heinrich Voss Kapitel / 80

62 Satz von Bauer Fike Es sei A diagonalisierbar. TUHH Heinrich Voss Kapitel / 80

63 Satz von Bauer Fike Es sei A diagonalisierbar. Ist µ Eigenwert von A + E C n n und X 1 AX = Λ = diag {λ 1,..., λ n }, TUHH Heinrich Voss Kapitel / 80

64 Satz von Bauer Fike Es sei A diagonalisierbar. Ist µ Eigenwert von A + E C n n und X 1 AX = Λ = diag {λ 1,..., λ n }, so gilt min λ µ κ p(x) E p. λ σ(a) TUHH Heinrich Voss Kapitel / 80

65 Satz von Bauer Fike Es sei A diagonalisierbar. Ist µ Eigenwert von A + E C n n und X 1 AX = Λ = diag {λ 1,..., λ n }, so gilt min λ µ κ p(x) E p. λ σ(a) Dabei bezeichnet p die von der Höldernorm n x p := x j p j=1 1/p, p 1, induzierte Matrixnorm und κ p die Kondition bzgl. p. TUHH Heinrich Voss Kapitel / 80

66 Satz von Bauer Fike Es sei A diagonalisierbar. Ist µ Eigenwert von A + E C n n und X 1 AX = Λ = diag {λ 1,..., λ n }, so gilt min λ µ κ p(x) E p. λ σ(a) Dabei bezeichnet p die von der Höldernorm n x p := x j p j=1 1/p, p 1, induzierte Matrixnorm und κ p die Kondition bzgl. p. TUHH Heinrich Voss Kapitel / 80

67 Beweis Für µ σ(a) ist die Aussage trivial. Sei also µ / σ(a). TUHH Heinrich Voss Kapitel / 80

68 Beweis Für µ σ(a) ist die Aussage trivial. Sei also µ / σ(a). Da X 1 (A + E µi)x singulär ist, ist auch I + (Λ µi) 1 (X 1 EX) = (Λ µi) 1 X 1 (A + E µi)x singulär. TUHH Heinrich Voss Kapitel / 80

69 Beweis Für µ σ(a) ist die Aussage trivial. Sei also µ / σ(a). Da X 1 (A + E µi)x singulär ist, ist auch I + (Λ µi) 1 (X 1 EX) = (Λ µi) 1 X 1 (A + E µi)x singulär. Also existiert y C n, y p = 1 mit y + (Λ µi) 1 (X 1 EX)y = 0 TUHH Heinrich Voss Kapitel / 80

70 Beweis cnt. Hieraus folgt 1 = y p = (Λ µi) 1 (X 1 EX)y p max (Λ µi) 1 (X 1 EX)z p z p=1 = (Λ µi) 1 X 1 1 EX p 1 min λ µ X p E p X p, λ σ(a) TUHH Heinrich Voss Kapitel / 80

71 Beweis cnt. Hieraus folgt 1 = y p = (Λ µi) 1 (X 1 EX)y p max (Λ µi) 1 (X 1 EX)z p z p=1 = (Λ µi) 1 X 1 1 EX p 1 min λ µ X p E p X p, λ σ(a) wobei ausgenutzt wurde, dass die p Norm einer Diagonalmatrix gleich dem Betrag des betragsmaximalen Elements der Matrix ist. TUHH Heinrich Voss Kapitel / 80

72 Korollar Für normale Matrizen erhält man insbesondere TUHH Heinrich Voss Kapitel / 80

73 Korollar Für normale Matrizen erhält man insbesondere Korollar 6.9 Es sei A eine normale Matrix und µ ein Eigenwert von A + E C n n. Dann gilt min λ σ(a) λ µ E 2 TUHH Heinrich Voss Kapitel / 80

74 Korollar Für normale Matrizen erhält man insbesondere Korollar 6.9 Es sei A eine normale Matrix und µ ein Eigenwert von A + E C n n. Dann gilt min λ σ(a) λ µ E 2 Beweis Da A normal ist, kann man in Satz 6.8 X unitär wählen, und die Behauptung folgt dann aus κ 2 (X) = 1. TUHH Heinrich Voss Kapitel / 80

75 Potenzmethods Wir betrachten in diesem Abschnitt ein Verfahren zur Bestimmung des betragsgrößten Eigenwerts und zugehörigen Eigenvektors, eine Modifikation hiervon, um auch andere Eigenwerte zu berechnen und eine simultane Variante. TUHH Heinrich Voss Kapitel / 80

76 Potenzmethods Wir betrachten in diesem Abschnitt ein Verfahren zur Bestimmung des betragsgrößten Eigenwerts und zugehörigen Eigenvektors, eine Modifikation hiervon, um auch andere Eigenwerte zu berechnen und eine simultane Variante. Wir besprechen die Methoden vor allem zum besseren Verständnis des dann im nächsten Abschnitt folgenden Arbeitspferdes zur Berechnung von Eigenwerten und Eigenvektoren, des QR Algorithmus. TUHH Heinrich Voss Kapitel / 80

77 Potenzmethods Wir betrachten für A C n n die spezielle Eigenwertaufgabe Ax = λx. (1) TUHH Heinrich Voss Kapitel / 80

78 Potenzmethods Wir betrachten für A C n n die spezielle Eigenwertaufgabe Ax = λx. (1) Es sei A diagonalisierbar, Ax i = λ i x i, i = 1,..., n, und es besitze A einen dominanten Eigenwert λ 1, d.h. λ 1 > λ 2... λ n. (2) TUHH Heinrich Voss Kapitel / 80

79 Potenzmethods Es sei u 0 C n, u 0 0, gegeben. TUHH Heinrich Voss Kapitel / 80

80 Potenzmethods Es sei u 0 C n, u 0 0, gegeben. Multipliziert man u 0 =: n α i x i i=1 m mal mit der Matrix A, so folgt { n A m u 0 = α i λ m i x i = λ m 1 α 1 x 1 + i=1 n i=2 ( ) } m λi α i x i. (3) λ 1 TUHH Heinrich Voss Kapitel / 80

81 Potenzmethods Es sei u 0 C n, u 0 0, gegeben. Multipliziert man u 0 =: n α i x i i=1 m mal mit der Matrix A, so folgt { n A m u 0 = α i λ m i x i = λ m 1 α 1 x 1 + i=1 n i=2 ( ) } m λi α i x i. (3) λ 1 Wegen (2) konvergiert daher die Folge {λ m 1 A m u 0 } gegen ein Vielfaches von x 1, falls α 1 0 gilt, d.h. {A m u 0 } konvergiert gegen die Eigenrichtung span{x 1 } zum dominanten Eigenwert λ 1, wenn der Startvektor u 0 eine Komponente in Richtung von x 1 besitzt. TUHH Heinrich Voss Kapitel / 80

82 Potenzmethods Gilt λ 1 1, so erhält man für große m Exponentenüberlauf oder -unterlauf. Man wird also die Folge {A m u 0 } noch geeignet normieren und erhält die Potenzmethode oder das von Mises Verfahren. TUHH Heinrich Voss Kapitel / 80

83 Potenzmethods Gilt λ 1 1, so erhält man für große m Exponentenüberlauf oder -unterlauf. Man wird also die Folge {A m u 0 } noch geeignet normieren und erhält die Potenzmethode oder das von Mises Verfahren. Sei irgendeine Norm auf C n und u 0 C n \ {0}. TUHH Heinrich Voss Kapitel / 80

84 Potenzmethods Gilt λ 1 1, so erhält man für große m Exponentenüberlauf oder -unterlauf. Man wird also die Folge {A m u 0 } noch geeignet normieren und erhält die Potenzmethode oder das von Mises Verfahren. Sei irgendeine Norm auf C n und u 0 C n \ {0}. Algorithmus 6.14 [Potenzmethode] 1: for m=0,1,... until convergence do 2: v m+1 = Au m ; 3: k m+1 = v m+1 ; 4: u m+1 = v m+1 /k m+1 ; 5: end for TUHH Heinrich Voss Kapitel / 80

85 Potenzmethods Häufig wird eine andere Skalierung der erzeugten Folge gewählt, die billiger ist als die Normierung. Sei dazu l C n ein gegebener Vektor. Hiermit iterieren wir gemäß TUHH Heinrich Voss Kapitel / 80

86 Potenzmethods Häufig wird eine andere Skalierung der erzeugten Folge gewählt, die billiger ist als die Normierung. Sei dazu l C n ein gegebener Vektor. Hiermit iterieren wir gemäß Algorithmus 6.15 [Potenzmethode] 1: for m=0,1,... until convergence do 2: v m+1 = Au m ; 3: k m+1 = l H v m+1 ; 4: u m+1 = v m+1 /k m+1 ; 5: end for TUHH Heinrich Voss Kapitel / 80

87 Konvergenzsatz Es sei λ 1 dominanter Eigenwert von A und u 0 := n α i x i i=1 mit α 1 0 und l C n. TUHH Heinrich Voss Kapitel / 80

88 Konvergenzsatz Es sei λ 1 dominanter Eigenwert von A und u 0 := n α i x i i=1 mit α 1 0 und l C n. Es seien u m und k m nach Algorithmus 6.15 berechnet. Gilt dann l H u m 0 für alle m N und l H x 1 0, so ist lim k m = λ 1, m lim m um = 1 l H x 1 x 1. TUHH Heinrich Voss Kapitel / 80

89 Beweis Offensichtlich gilt u m = A m u 0 /l H A m u 0. TUHH Heinrich Voss Kapitel / 80

90 Beweis Offensichtlich gilt u m = A m u 0 /l H A m u 0. Daher ist und aus k m = l H v m = l H Au m 1 = l H A Am 1 u 0 l H A m 1 u 0 = lh A m u 0 l H A m 1 u 0, lim m λ m 1 A m u 0 = α 1 x 1 TUHH Heinrich Voss Kapitel / 80

91 Beweis Offensichtlich gilt u m = A m u 0 /l H A m u 0. Daher ist und aus folgt k m = l H v m = l H Au m 1 = l H A Am 1 u 0 l H A m 1 u 0 = lh A m u 0 l H A m 1 u 0, lim m λ 1 1 k m = lim m λ m 1 A m u 0 = α 1 x 1 lim m lh (λ m 1 A m u 0 ) lim m lh (λ (m 1) 1 A m 1 u 0 ) = 1, TUHH Heinrich Voss Kapitel / 80

92 Beweis cnt. d.h. lim m k m = λ 1 TUHH Heinrich Voss Kapitel / 80

93 Beweis cnt. d.h. lim m k m = λ 1 und A m u 0 lim m um = lim m l H A m u 0 α 1 x 1 + n i=2 = α i(λ i /λ 1 ) m x i α 1 l H x 1 + n i=2 α 1(λ i /λ 1 ) m l H x i = x 1 l H x 1. TUHH Heinrich Voss Kapitel / 80

94 Bemerkungen 1. Eine häufige Wahl von l ist l = e k für ein k {1,..., n}, d.h. man normiert im Eigenvektor die k te Komponente zu 1, wobei man nicht vorhersagen kann, welches k geeignet ist. TUHH Heinrich Voss Kapitel / 80

95 Bemerkungen 1. Eine häufige Wahl von l ist l = e k für ein k {1,..., n}, d.h. man normiert im Eigenvektor die k te Komponente zu 1, wobei man nicht vorhersagen kann, welches k geeignet ist. 2. Ist A R n n nichtnegativ und irreduzibel, so ist der zum Spektralradius gehörende Eigenvektor positiv, und man kann l = (1, 1,..., 1) T wählen, wenn u 0 positive Komponenten hat. TUHH Heinrich Voss Kapitel / 80

96 Bemerkungen 1. Eine häufige Wahl von l ist l = e k für ein k {1,..., n}, d.h. man normiert im Eigenvektor die k te Komponente zu 1, wobei man nicht vorhersagen kann, welches k geeignet ist. 2. Ist A R n n nichtnegativ und irreduzibel, so ist der zum Spektralradius gehörende Eigenvektor positiv, und man kann l = (1, 1,..., 1) T wählen, wenn u 0 positive Komponenten hat. 3. Wir haben α 1 0 vorausgesetzt. Diese Voraussetzung ist nicht einschneidend, denn durch Rundungsfehler wird (fast immer) ein u m erzeugt, das eine Komponente in Richtung von x 1 besitzt. TUHH Heinrich Voss Kapitel / 80

97 Bemerkungen 1. Eine häufige Wahl von l ist l = e k für ein k {1,..., n}, d.h. man normiert im Eigenvektor die k te Komponente zu 1, wobei man nicht vorhersagen kann, welches k geeignet ist. 2. Ist A R n n nichtnegativ und irreduzibel, so ist der zum Spektralradius gehörende Eigenvektor positiv, und man kann l = (1, 1,..., 1) T wählen, wenn u 0 positive Komponenten hat. 3. Wir haben α 1 0 vorausgesetzt. Diese Voraussetzung ist nicht einschneidend, denn durch Rundungsfehler wird (fast immer) ein u m erzeugt, das eine Komponente in Richtung von x 1 besitzt. 4. Ist λ 1 mehrfacher Eigenwert von A und A diagonalähnlich, so bleiben alle Überlegungen richtig, wenn nur u 0 eine Komponente in Richtung des Eigenraumes von A zu λ 1 besitzt oder eine solche durch Rundungsfehler erzeugt wird. TUHH Heinrich Voss Kapitel / 80

98 Bemerkungen 5. Ist A R n n mit λ 1 = λ 2 > λ 3... λ n und λ 1 λ 2 (also λ 1 = λ 2 oder λ 1 = λ 2 ), so erhält man keine Konvergenz, sondern es treten in der Folge {u m } Oszillationen auf. Auch in diesem Fall kann man aus (drei aufeinanderfolgenden Elementen) der Folge {u m } Näherungen für die zu λ 1 und λ 2 gehörenden Eigenvektoren ermitteln. Eine ausführliche Diskussion findet man in Zurmühl, pp. 283 ff. TUHH Heinrich Voss Kapitel / 80

99 Bemerkungen 5. Ist A R n n mit λ 1 = λ 2 > λ 3... λ n und λ 1 λ 2 (also λ 1 = λ 2 oder λ 1 = λ 2 ), so erhält man keine Konvergenz, sondern es treten in der Folge {u m } Oszillationen auf. Auch in diesem Fall kann man aus (drei aufeinanderfolgenden Elementen) der Folge {u m } Näherungen für die zu λ 1 und λ 2 gehörenden Eigenvektoren ermitteln. Eine ausführliche Diskussion findet man in Zurmühl, pp. 283 ff. 6. Schließlich haben wir vorausgesetzt, dass A diagonalisierbar ist. Ist dies nicht erfüllt, so muss man u 0 als Linearkombination von Hauptvektoren darstellen und erhält ebenfalls Konvergenz des Verfahrens (vgl. Collatz, pp. 325 ff.). TUHH Heinrich Voss Kapitel / 80

100 Bemerkungen 7. Für die Konvergenzgeschwindigkeit gilt mit q := max λ i i=2,...,m λ 1 TUHH Heinrich Voss Kapitel / 80

101 Bemerkungen 7. Für die Konvergenzgeschwindigkeit gilt mit q := max λ i i=2,...,m λ 1 k m+1 λ 1 = = l H A m+1 u 0 l H A m u 0 λ 1 = 1 l H A m u 0 lh (A m+1 u 0 λ 1 A m u 0 ) ( λ m+1 n ( ( ) m+1 ( ) ) ) m 1 λi λi l H A m u 0 lh α i x i λ 1 λ 1 i=2 λ m+1 1 n m l H A m u 0 l 2 α i λ i λ i 1 λ 1 x i 2 Cq m (4) i=2 λ 1 d.h. wir haben lineare Konvergenz mit dem Konvergenzfaktor q. TUHH Heinrich Voss Kapitel / 80

102 Bemerkungen 7. Für die Konvergenzgeschwindigkeit gilt mit q := max λ i i=2,...,m λ 1 k m+1 λ 1 = = l H A m+1 u 0 l H A m u 0 λ 1 = 1 l H A m u 0 lh (A m+1 u 0 λ 1 A m u 0 ) ( λ m+1 n ( ( ) m+1 ( ) ) ) m 1 λi λi l H A m u 0 lh α i x i λ 1 λ 1 i=2 λ m+1 1 n m l H A m u 0 l 2 α i λ i λ i 1 λ 1 x i 2 Cq m (4) i=2 λ 1 d.h. wir haben lineare Konvergenz mit dem Konvergenzfaktor q. Ist also λ 1 von den Beträgen der übrigen Eigenwerte gut getrennt, so erhält man rasche Konvergenz, i.a. ist das Verfahren aber sehr langsam. TUHH Heinrich Voss Kapitel / 80

103 Bemerkungen 8. Bisweilen kann die Konvergenzgeschwindigkeit durch eine Spektralverschiebung verbessert werden, d.h. betrachte A + αi, α C. Dann gehen die Eigenwerte über in λ i + α, und die Konvergenzgeschwindigkeit wird bestimmt durch q := max λ i + α i=2,...,n λ 1 + α. Die Verbesserung hierdurch ist meistens unwesentlich. TUHH Heinrich Voss Kapitel / 80

104 Inverse Iteration Eine erhebliche Beschleunigung der von Mises Iteration erhält man durch die inverse Iteration, die 1944 von Wielandt eingeführt wurde bei der Stabilitätsanalyse von Strukturen, die kleine Störungen bekannter Systeme sind. In diesem Fall sind gute Approximationen für die relevanten Eigenwerte bekannt, und man erhält (wie wir noch sehen werden) rasche Konvergenz. TUHH Heinrich Voss Kapitel / 80

105 Inverse Iteration Eine erhebliche Beschleunigung der von Mises Iteration erhält man durch die inverse Iteration, die 1944 von Wielandt eingeführt wurde bei der Stabilitätsanalyse von Strukturen, die kleine Störungen bekannter Systeme sind. In diesem Fall sind gute Approximationen für die relevanten Eigenwerte bekannt, und man erhält (wie wir noch sehen werden) rasche Konvergenz. Heute wird die inverse Iteration vor allem verwendet zur Bestimmung von Eigenvektoren, wenn wenige Eigenwerte und Eigenvektoren gesucht sind. TUHH Heinrich Voss Kapitel / 80

106 Inverse Iteration Sei λ λ i für alle i. Dann besitzt die Matrix (λi A) 1 die Eigenwerte 1/(λ λ i ) und die Eigenvektoren stimmen mit denen von A überein. TUHH Heinrich Voss Kapitel / 80

107 Inverse Iteration Sei λ λ i für alle i. Dann besitzt die Matrix (λi A) 1 die Eigenwerte 1/(λ λ i ) und die Eigenvektoren stimmen mit denen von A überein. Führt man die von Mises Iteration für (λi A) 1 aus und gilt λ λ i < λ λ j, j = 1,..., n, j i, 1 mit einem einfachen Eigenwert λ i von A, so ist λ λ i dominanter Eigenwert von (λi A) 1 und die Konvergenzgeschwindigkeit wird bestimmt durch q := max λ λ i j i λ λ j. TUHH Heinrich Voss Kapitel / 80

108 Inverse Iteration Sei λ λ i für alle i. Dann besitzt die Matrix (λi A) 1 die Eigenwerte 1/(λ λ i ) und die Eigenvektoren stimmen mit denen von A überein. Führt man die von Mises Iteration für (λi A) 1 aus und gilt λ λ i < λ λ j, j = 1,..., n, j i, 1 mit einem einfachen Eigenwert λ i von A, so ist λ λ i dominanter Eigenwert von (λi A) 1 und die Konvergenzgeschwindigkeit wird bestimmt durch q := max λ λ i j i λ λ j. Ist also λ eine gute Näherung für λ i, so erhält man sehr schnelle Konvergenz. TUHH Heinrich Voss Kapitel / 80

109 Inverse Iteration; feste Shifts 1: for m=0,1,... until convergence do 2: solve (λi A)v m+1 = u m ; 3: k m+1 = l H v m+1 ; 4: u m+1 = v m+1 /k m+1 ; 5: end for TUHH Heinrich Voss Kapitel / 80

110 Inverse Iteration; feste Shifts 1: for m=0,1,... until convergence do 2: solve (λi A)v m+1 = u m ; 3: k m+1 = l H v m+1 ; 4: u m+1 = v m+1 /k m+1 ; 5: end for Wie für die Potenzmethode erhält man im Fall λ λ i < λ λ j für alle j i u m x i l H x i, k m 1 λ λ i unter den entsprechenden Voraussetzungen α i 0, l H v m 0, l H x i 0. TUHH Heinrich Voss Kapitel / 80

111 Inverse Iteration; variable Shifts Die Konvergenz ist natürlich linear. Dies wird verbessert, wenn man λ gleichzeitig iteriert: TUHH Heinrich Voss Kapitel / 80

112 Inverse Iteration; variable Shifts Die Konvergenz ist natürlich linear. Dies wird verbessert, wenn man λ gleichzeitig iteriert: Algorithmus 6.19 [Inverse Iteration; variable Shifts] 1: for m=0,1,... until convergence do 2: solve (λ m I A)v m+1 = u m for v m+1 3: k m+1 = l H v m+1 ; 4: u m+1 = v m+1 /k m+1 ; 5: λ m+1 = λ m 1/k m+1 ; 6: end for TUHH Heinrich Voss Kapitel / 80

113 Inverse Iteration; variable Shifts Die Konvergenz ist natürlich linear. Dies wird verbessert, wenn man λ gleichzeitig iteriert: Algorithmus 6.19 [Inverse Iteration; variable Shifts] 1: for m=0,1,... until convergence do 2: solve (λ m I A)v m+1 = u m for v m+1 3: k m+1 = l H v m+1 ; 4: u m+1 = v m+1 /k m+1 ; 5: λ m+1 = λ m 1/k m+1 ; 6: end for Es gilt ja k m+1 1 λ λ i. Hieraus erhält man eine Schätzung λ (m+1) für λ i durch k m+1 1/(λ (m) λ (m+1) ), und damit die Aufdatierung des Shifts in Algorithmus 6.19 TUHH Heinrich Voss Kapitel / 80

114 Konvergenzsatz Sei λ ein algebraisch einfacher Eigenwert von A mit zugehörigem Eigenvektor ũ, und es gelte l H ũ = l H u 0 = 1. TUHH Heinrich Voss Kapitel / 80

115 Konvergenzsatz Sei λ ein algebraisch einfacher Eigenwert von A mit zugehörigem Eigenvektor ũ, und es gelte l H ũ = l H u 0 = 1. Dann konvergiert das Verfahren in Algorithmus 6.19 lokal quadratisch gegen λ bzw. ũ. TUHH Heinrich Voss Kapitel / 80

116 Konvergenzsatz Sei λ ein algebraisch einfacher Eigenwert von A mit zugehörigem Eigenvektor ũ, und es gelte l H ũ = l H u 0 = 1. Dann konvergiert das Verfahren in Algorithmus 6.19 lokal quadratisch gegen λ bzw. ũ. Beweis Wir zeigen, dass das Verfahren genau die Iterationsvorschrift des Newton-Verfahrens für das Gleichungssystem F (u, λ) := ist und dass F (ũ, λ) nichtsingulär ist. ( ) λu Au l H u 1 = ( ) 0 0 TUHH Heinrich Voss Kapitel / 80

117 Konvergenzsatz Sei λ ein algebraisch einfacher Eigenwert von A mit zugehörigem Eigenvektor ũ, und es gelte l H ũ = l H u 0 = 1. Dann konvergiert das Verfahren in Algorithmus 6.19 lokal quadratisch gegen λ bzw. ũ. Beweis Wir zeigen, dass das Verfahren genau die Iterationsvorschrift des Newton-Verfahrens für das Gleichungssystem F (u, λ) := ( ) λu Au l H u 1 = ( ) 0 0 ist und dass F (ũ, λ) nichtsingulär ist. Dann folgt die quadratische Konvergenz sowohl für den Eigenvektor als auch den Eigenwert aus einem Satz in Mathematik III. Wir werden auf das Newton Verfahren in Kapitel 7 eingehen. TUHH Heinrich Voss Kapitel / 80

118 Beweis cnt. Es gilt F (u, λ) = ( ) λi A u l H. 0 TUHH Heinrich Voss Kapitel / 80

119 Beweis cnt. Es gilt F (u, λ) = ( ) λi A u l H. 0 Das Newton-Verfahren ist also gegeben durch ( ) ( ) ( ) λ(m) I A u m u m+1 u m λ(m) u l H = m Au m 0 λ (m+1) λ (m) l H u m 1 TUHH Heinrich Voss Kapitel / 80

120 Beweis cnt. Es gilt F (u, λ) = ( ) λi A u l H. 0 Das Newton-Verfahren ist also gegeben durch ( ) ( ) ( ) λ(m) I A u m u m+1 u m λ(m) u l H = m Au m 0 λ (m+1) λ (m) l H u m 1 d.h. (λ (m) I A)u m+1 + ( ) λ (m+1) λ (m) u m = 0 l H u m+1 = 1, und dies ist äquivalent Algorithmus TUHH Heinrich Voss Kapitel / 80

121 Beweis cnt. Es sei d.h. ( F (ũ, λ) v = 0 µ) ( λi A)v + µũ = 0, l H v = 0. TUHH Heinrich Voss Kapitel / 80

122 Beweis cnt. Es sei d.h. ( F (ũ, λ) v = 0 µ) ( λi A)v + µũ = 0, l H v = 0. Im Falle µ = 0 gilt ( λi A)v = 0, d.h., da λ ein einfacher Eigenwert von A ist, v = αũ für ein α C, und es folgt 0 = l H v = αl H ũ = α. TUHH Heinrich Voss Kapitel / 80

123 Beweis cnt. Es sei d.h. ( F (ũ, λ) v = 0 µ) ( λi A)v + µũ = 0, l H v = 0. Im Falle µ = 0 gilt ( λi A)v = 0, d.h., da λ ein einfacher Eigenwert von A ist, v = αũ für ein α C, und es folgt 0 = l H v = αl H ũ = α. Im Falle µ 0 gilt und daher ( λi A)v = µũ 0, ( λi A) 2 v = µ( λi A)ũ = 0. TUHH Heinrich Voss Kapitel / 80

124 Beweis cnt. Es sei d.h. ( F (ũ, λ) v = 0 µ) ( λi A)v + µũ = 0, l H v = 0. Im Falle µ = 0 gilt ( λi A)v = 0, d.h., da λ ein einfacher Eigenwert von A ist, v = αũ für ein α C, und es folgt 0 = l H v = αl H ũ = α. Im Falle µ 0 gilt und daher ( λi A)v = µũ 0, ( λi A) 2 v = µ( λi A)ũ = 0. v ist also ein Hauptvektor 2. Stufe, und daher besitzt λ mindestens die algebraische Vielfachheit 2. TUHH Heinrich Voss Kapitel / 80

125 Bemerkung Man entnimmt dem Beweis sofort, dass das Verfahren in Algorithmus 6.18 auch dann lokal konvergiert, wenn A nicht diagonalisierbar ist. TUHH Heinrich Voss Kapitel / 80

126 Bemerkung Man entnimmt dem Beweis sofort, dass das Verfahren in Algorithmus 6.18 auch dann lokal konvergiert, wenn A nicht diagonalisierbar ist. Die inverse Iteration konvergiert sogar kubisch, wenn die Matrix A symmetrisch ist und wenn die Näherung für den Eigenwert aufdatiert wird mit dem Rayleighschen Quotienten λ (m) = (um ) H Au m u m 2. 2 TUHH Heinrich Voss Kapitel / 80

127 Bemerkung Man entnimmt dem Beweis sofort, dass das Verfahren in Algorithmus 6.18 auch dann lokal konvergiert, wenn A nicht diagonalisierbar ist. Die inverse Iteration konvergiert sogar kubisch, wenn die Matrix A symmetrisch ist und wenn die Näherung für den Eigenwert aufdatiert wird mit dem Rayleighschen Quotienten λ (m) = (um ) H Au m u m 2. 2 Diese Aufdatierung ist auch bei nicht symmetrischen Matrizen sinnvoll wegen des folgenden Lemmas. Man erhält dann wie in Abschnitt 8 quadratische Konvergenz (s. Stewart, pp. 346 ff.). TUHH Heinrich Voss Kapitel / 80

128 Lemma Sei A C n n beliebig, x C n, und für µ C der zugehörige Defekt. r(µ) := Ax µx TUHH Heinrich Voss Kapitel / 80

129 Lemma Sei A C n n beliebig, x C n, und für µ C der zugehörige Defekt. r(µ) := Ax µx Dann gilt r(µ) 2 = min! µ = x H Ax x 2. 2 TUHH Heinrich Voss Kapitel / 80

130 Lemma Sei A C n n beliebig, x C n, und für µ C der zugehörige Defekt. r(µ) := Ax µx Dann gilt r(µ) 2 = min! µ = x H Ax x 2. 2 Beweis r(µ) 2 = min! ist ein lineares Ausgleichsproblem zur Bestimmung von µ mit der Koeffizientenmatrix x und der rechten Seite Ax. Die Normalgleichung hierzu lautet x H xµ = x H Ax. TUHH Heinrich Voss Kapitel / 80

131 Inverse Iteration Auf den ersten Blick scheint es eine Schwierigkeit bei der inversen Iteration zu sein, dass die Koeffizientenmatrix λ (m) I A des zu lösenden linearen Gleichungssystems bei Konvergenz von λ (m) gegen einen Eigenwert von A mehr und mehr singulär wird, die Kondition also wächst und damit der Fehler der Lösung des Gleichungssystems wächst. TUHH Heinrich Voss Kapitel / 80

132 Inverse Iteration Auf den ersten Blick scheint es eine Schwierigkeit bei der inversen Iteration zu sein, dass die Koeffizientenmatrix λ (m) I A des zu lösenden linearen Gleichungssystems bei Konvergenz von λ (m) gegen einen Eigenwert von A mehr und mehr singulär wird, die Kondition also wächst und damit der Fehler der Lösung des Gleichungssystems wächst. Man kann jedoch zeigen (vgl. Chatelin, pp. 217 ff.), dass (bei gut konditionierten Problemen) der Fehler, der bei der Lösung von (λ (m) I A)v m+1 = u m gemacht wird, vornehmlich die Richtung des Eigenvektors zu λ, also die gewünschte Richtung, hat. TUHH Heinrich Voss Kapitel / 80

133 QR Algorithmus Der QR Algorithmus dient dazu, alle Eigenwerte einer Matrix A C n n zu bestimmen. TUHH Heinrich Voss Kapitel / 80

134 QR Algorithmus Der QR Algorithmus dient dazu, alle Eigenwerte einer Matrix A C n n zu bestimmen. Er wurde von Francis und Kublanovskaya unabhängig voneinander im Jahr 1961 eingeführt. TUHH Heinrich Voss Kapitel / 80

135 QR Algorithmus Der QR Algorithmus dient dazu, alle Eigenwerte einer Matrix A C n n zu bestimmen. Er wurde von Francis und Kublanovskaya unabhängig voneinander im Jahr 1961 eingeführt. Er wird heute als das beste Verfahren zur Lösung der vollständigen Eigenwertaufgabe für nichtsymmetrische Probleme angesehen. TUHH Heinrich Voss Kapitel / 80

136 Grundform des QR Algorithmus Es sei A 0 := A. Die Grundform des QR Algorithmus ist gegeben durch TUHH Heinrich Voss Kapitel / 80

137 Grundform des QR Algorithmus Es sei A 0 := A. Die Grundform des QR Algorithmus ist gegeben durch Algorithmus 6.24 [QR Algorithmus; Grundform] 1: for i=0,1,... until convergence do 2: Zerlege A i = Q i R i (QR Zerlegung) 3: A i+1 = R i Q i ; 4: end for TUHH Heinrich Voss Kapitel / 80

138 Grundform des QR Algorithmus Es sei A 0 := A. Die Grundform des QR Algorithmus ist gegeben durch Algorithmus 6.24 [QR Algorithmus; Grundform] 1: for i=0,1,... until convergence do 2: Zerlege A i = Q i R i (QR Zerlegung) 3: A i+1 = R i Q i ; 4: end for Die durch den QR Algorithmus erzeugten Matrizen A i sind einander ähnlich und damit ähnlich zu A, denn es gilt A i+1 = R i Q i = Q H i (Q i R i )Q i = Q H i A i Q i. TUHH Heinrich Voss Kapitel / 80

139 Konvergenzsatz Es seien die Eigenwerte von A C n n dem Betrage nach voneinander verschieden und angeordnet gemäß λ 1 > λ 2 > > λ n > 0. (5) TUHH Heinrich Voss Kapitel / 80

140 Konvergenzsatz Es seien die Eigenwerte von A C n n dem Betrage nach voneinander verschieden und angeordnet gemäß λ 1 > λ 2 > > λ n > 0. (5) Es sei A = XΛX 1, und es besitze die Matrix Y := X 1 eine LR Zerlegung. TUHH Heinrich Voss Kapitel / 80

141 Konvergenzsatz Es seien die Eigenwerte von A C n n dem Betrage nach voneinander verschieden und angeordnet gemäß λ 1 > λ 2 > > λ n > 0. (5) Es sei A = XΛX 1, und es besitze die Matrix Y := X 1 eine LR Zerlegung. Dann konvergiert der QR Algorithmus im Wesentlichen, d.h. für A i := (a (i) jk ) j,k gilt lim i a(i) jk = 0 für j > k lim i a(i) kk = λ k für k = 1,..., n. TUHH Heinrich Voss Kapitel / 80

142 Bemerkung Am Ende sind die Eigenwerte von A in A i der Größe der Beträge nach geordnet. TUHH Heinrich Voss Kapitel / 80

143 Bemerkung Am Ende sind die Eigenwerte von A in A i der Größe der Beträge nach geordnet. Beispiel 6.29 Die Matrix A = besitzt die Eigenwerte λ 1 = 3, λ 2 = 2 und λ 3 = 1, und für die Matrix der Eigenvektoren gilt (bis auf die Normierung) X = und X 1 = TUHH Heinrich Voss Kapitel / 80

144 Beispiel Die Voraussetzungen von Satz 6.27 sind also erfüllt. TUHH Heinrich Voss Kapitel / 80

145 Beispiel Die Voraussetzungen von Satz 6.27 sind also erfüllt. Man erhält A 10 = e e e TUHH Heinrich Voss Kapitel / 80

146 Bemerkung Wegen (5) ist A diagonalisierbar, d.h. X und damit Y existieren. TUHH Heinrich Voss Kapitel / 80

147 Bemerkung Wegen (5) ist A diagonalisierbar, d.h. X und damit Y existieren. Die einzige Forderung in Satz 6.27 an die Matrix X ist also, dass Y := X 1 eine LR Zerlegung besitzt. TUHH Heinrich Voss Kapitel / 80

148 Bemerkung Wegen (5) ist A diagonalisierbar, d.h. X und damit Y existieren. Die einzige Forderung in Satz 6.27 an die Matrix X ist also, dass Y := X 1 eine LR Zerlegung besitzt. Verzichtet man hierauf, so erhält man lim i a(i) kk = λ π(k) für eine Permutation π von {1,..., n} (vgl. Wilkinson, p. 519 ff.). TUHH Heinrich Voss Kapitel / 80

149 Beispiel Für die Matrix A = mit den Eigenwerten λ 1 = 3, λ 2 = 2, λ 3 = 1 und den Eigenvektoren X = und X 1 = ist die Voraussetzung von Satz 6.27 nicht erfüllt. TUHH Heinrich Voss Kapitel / 80

150 Beispiel Für die Matrix A = mit den Eigenwerten λ 1 = 3, λ 2 = 2, λ 3 = 1 und den Eigenvektoren X = und X 1 = ist die Voraussetzung von Satz 6.27 nicht erfüllt. Die Matrix X 1 (1 : 2, 1 : 2) ist singulär. TUHH Heinrich Voss Kapitel / 80

151 Beispiel Die orthogonale Iteration liefert nach 30 Schritten A 30 = 1.16e e e TUHH Heinrich Voss Kapitel / 80

152 Beispiel Die orthogonale Iteration liefert nach 30 Schritten A 30 = 1.16e e e Die Diagonalelemente scheinen also gegen die Eigenwerte zu konvergieren, wobei sie allerdings nicht nach der Betragsgöße geordnet sind. Diese Konvergenz würde auch bei exakter Rechnung eintreten (vgl. Bemerkung 6.30). TUHH Heinrich Voss Kapitel / 80

153 Beispiel Die orthogonale Iteration liefert nach 30 Schritten A 30 = 1.16e e e Die Diagonalelemente scheinen also gegen die Eigenwerte zu konvergieren, wobei sie allerdings nicht nach der Betragsgöße geordnet sind. Diese Konvergenz würde auch bei exakter Rechnung eintreten (vgl. Bemerkung 6.30). Iteriert man weiter, so erhält man (durch Rundungsfehler) e A 70 = 1.48e e e TUHH Heinrich Voss Kapitel / 80

154 Bemerkungen Ist A R n n, so gilt Q k R n n, R k R n n für alle k, und der ganze Algorithmus verläuft in R. TUHH Heinrich Voss Kapitel / 80

155 Bemerkungen Ist A R n n, so gilt Q k R n n, R k R n n für alle k, und der ganze Algorithmus verläuft in R. Sind alle Eigenwerte betragsmäßig verschieden, so sind sie alle reell, und der QR Algorithmus konvergiert. Besitzt A jedoch komplexe Eigenwerte, so kann die Grundform nicht konvergieren. TUHH Heinrich Voss Kapitel / 80

156 Bemerkungen Ist A R n n, so gilt Q k R n n, R k R n n für alle k, und der ganze Algorithmus verläuft in R. Sind alle Eigenwerte betragsmäßig verschieden, so sind sie alle reell, und der QR Algorithmus konvergiert. Besitzt A jedoch komplexe Eigenwerte, so kann die Grundform nicht konvergieren. Ist A C n n Hermitesch, so sind alle A m Hermitesch, und A m konvergiert unter den Voraussetzungen von Satz 6.27 gegen eine Diagonalmatrix. TUHH Heinrich Voss Kapitel / 80

157 Beschleunigung des QR Algorithmus Ein Nachteil der Grundform des QR Algorithmus ist, dass sie sehr aufwendig ist. Ist A voll besetzt, so benötigt man in jedem Schritt O(n 3 ) Operationen zur Bestimmung der QR Zerlegung. Dies wird im nächsten Unterabschnitt verbessert. TUHH Heinrich Voss Kapitel / 80