Numerische Methoden. ETH Zürich SS 2006

Transkript

1 Numerische Methoden ETH Zürich SS 2006

2 Inhalt Lineare Algebra Vektorräume (VRe) 2 Matrizen 2 3 Matrixoperationen 3 4 Spur und Determinante 5 5 Rang und Kern 5 6 Spezielle Matrizen 6 7 Eigenwerte und Eigenvektoren 7 8 Ähnlichkeitstransformationen 7 9 Schur und Jordan Normalform 8 0 Normen in C n 9 Normäquivalenz 2 Matrixnormen 2 3 Skalarprodukt und Orthogonalität 4 4 Gram-Schmidt Algorithmus 5 5 Singulärwertzerlegung (SVD) 6 2 Computerarithmetik 9 2 Gleitkommazahlen 9 22 Runden mit Maschinenepsilon 2 23 Gleitkommaoperationen 24 3 Direkte Lösung Linearer Gleichungssysteme: Gaußelimination (GEM) 25 3 Gaußscher Algorithmus 25 3 Dreiecksmatrizen Gaußscher Algorithmus und LR-Zerlegung LR-Zerlegung für schwach besetzte Matrizen Symmetrisch positiv definite Matrizen Pivotstrategien & Nachiteration Spaltenpivotstrategie Existenz von LR-Zerlegungen ohne Spaltenpivotsuche Nachiteration 49 A Übungsaufgaben 50 i

3 Lineare Algebra Wir rekapitulieren grundlegende Begriffe der linearen Algebra, die später wiederholt gebraucht werden Vektorräume (VRe) Definition Ein Vektorraum (VR) über einem Zahlkörper K(= R, C) ist Menge V mit Addition + (kummutativ + assoziativ) und Skalarmultiplikation, mit i) ex 0 V : v V : v + 0 = v, ii) v V : 0 v = 0, v = v für 0, K, iii) (inverses Element): v V ex v V : v + ( v) = 0, iv) α K : v, w V : α(v + w) = αv + αw, α, β K : v V : (α + β) v = αv + βv, v) α, β K, v V : (αβ)v = α(βv) Beispiel 2 V = R n, V = C n V = P n := V = C p ([a, b]) { p n (x) = m k=0 a k x k }, Definition 3 W V Teilraum (TR) W ist VR über K Beispiel 4 a) Sei [a, b] R beschränktes Intervall, und x 0, x,, x n Stützstellen mit a = x 0 < x < < x n = b Dann gilt: V n = { f C 0 ([a, b]) f [xi,x i ] ist linear } C 0 ([a, b]) ist TR b) Polynome vom Grad n sind ein Teilraum der stetigen Funktionen, dh P n C 0 (R) c) Sei v,, v n V beliebig Dann gilt W := span{v,, v n } erzeugendes System := {v = α v + + α n v n : α i K} ist TR von V

4 \tex{spaltenvektor} \tex{$a_{}$} \tex{$\dots$} \tex{$a_{n}$} \tex{$\vdots$} \tex{$\vdots$} \tex{$a_{m}$} \tex{$\dots$} \tex{$a_{mn}$} \tex{zeilenvektor} \tex{diagonale} Direkte Summe von TR: Seien W,, W m W TR = S := {w : w = v + + v m mit v i W i : i =,, m} ist TR S direkte Summe der W i, S = W W m, s S ex! v,, v m mit v i W i ; S = v + + v m Definition 5 i) {v,, v m } V linear unabhängig α v + + α m v m = 0 α,, α m = 0 ii) V = span{u,, u m } u i linear unabhängig = {u,, u m } Basis von V m = dim V 2 Matrizen Sei m, n N mn Zahlen a ij K, i =,, m, j =,, n bilden eine Matrix mit m Zeilen und n Spalten, eine m n Matrix, a a m A = (2) a m a mm Falls a ij R schreiben wir A R m n und analog, falls a ij C schreiben wir A C m n Wir benutzen die Bezeichnungen: A = A(m n): matrixeps mm Definition 2 Sei A m n Matrix, und i p, j q Indizes mit i < < i k m, j < < j l n S = (S pq ) = (a ip,j q ), p =,, k, q =,, l, heisst Untermatrix von A 2

5 Definition 22 A(m n) Blockmatrix, falls a n a l A =, a k a kl mit A ij Untermatrizen von A Beispiel = ( ) A A 2 A 2 A 22 Notation 24 (MATLAB-Notation) Bei einem Vektor a R n bezeichnet in Matlab- Notation a(i) die Komponente a i Die Notation a(k : l) ist eine Kurzform für den Vektor der Länge l k + mit den Komponenten k bis l des Vektors a Analoge Notationen gelten für Matrizen: Die Einträge einer Matrix A sind A(n, m), und der Ausdruck A(k : l, r : s) bezeichnet die Untermatrix von A, aus den Zeilen k bis l und den Spalten r bis s besteht Für eine Vektor a R n mit n Komponenten gilt length (a) = n Untermatrix von A: Symbolisch schreiben wir i i 2 j j 2 Analog ist für Vektoren v K n : v(i : i 2 ) Teilvektor von v; symbolisch: A(m n) = (a,, a n ), wobei a i K m Spaltenvektoren der Matrix A sind i i 2 3 Matrixoperationen Wir rekapitulieren die wichtigsten Matrixoperationen Definition 3 Eine quadratische Matrix A = A(n n) heisst invertierbar B = B(n n), dass AB = BA = I Wir schreiben B Inverse von A, B = A (n n) Es gilt A singulär A nicht invertierbar 3

6 Proposition 32 Die Inverse A (n n) von A = (a,, a n ) existiert die Spalten a,, a n sind linear unabhängig Definition 33 Sei A = A(m n) = (a ij ) R m n Dann ist A = A (n m) = (a ji ) R n m Transponierte von A Wir geben einige Rechenregeln für die Transponierte einer Matrix A Proposition 34 (A ) = A, (A + B) = A + B, (AB) = B A, (αa) = αa α K A ex = (A ) ex und (A ) = (A ) = A Für Matrizen mit komplexen Einträgen ist oft die komplex konjugierte transponierte Matrix von Interesse, die sog hermitesch Transponierte Definition 35 Seien A = (a ij ) C m n Dann ist B = A H := A = (a ji ) die hermitesch Transponierte zu A Beispiel 36 A C n m, B C m n Dann gilt: Definition 37 (AB) H = B H A H, (αa) H = α A H, α C A R n n symmetrisch A = A, schiefsymmetrisch A = A, orthogonal A = A A A = AA = I Definition 38 A C n n hermitesch A = A A H = A, unitär A H A = AA H = I Definition 39 A C n n normal AA H = A H A 4

7 4 Spur und Determinante Sei A = A(n n) eine quadratische Matrix Dann heisst tr(a) := n a ii die Spur von A i= Aus der linearen Algebra erinnern wir an die Determinante von A: det(a) = π P sgn(π) a π a nπn Sie erfüllt folgende Rechenregeln det(a) = det(a ), det(ab) = det(a) det(b), det(a ) = /det(a) det(a) = det(a H ), det(αa) = α n det(a) α K 5 Rang und Kern Definition 5 A = A(m n) hat rang q, wenn die grösste Blockuntermatrix A mit det Ã(q, q) 0 die Grösse q hat Wir schreiben: q = rank(a) A = A(m n) hat maximalen Rang rank A = min(m, n) Ã(q q) von Eigenschaft 52 rank A = dim ( range(a) ) wo range(a) := {y K m : y = Ax, x K n } Eigenschaft 53 ker A = {x K n : Ax = 0 K m } heisst Kern von A, Nullraum von A Es gilt: rank(a) = rank(a ), rank(a) = rank(a H ), rank(a) + dim ( ker(a) ) = n Eigenschaft 54 A nichtsingulär det(a) 0 ker A = {0} rank(a) = n A = {a,, a n } a i linear unabhängig 5

8 \tex{$=$} \tex{$0$} \tex{$0$} \tex{$0$} \tex{$0$} \tex{$=$} \tex{,} \tex{$=$} \tex{$0$} \tex{~} \tex{$=$} \tex{$0$} \tex{$0$} \tex{$0$} \tex{$q+$} \tex{$0$} \tex{$p+$} \tex{$\star$} \tex{$0$} \tex{$q$} 6 Spezielle Matrizen A = A(m n) obere Trapezmatrix a ij = 0 for i > j untere Trapezmatrix a ij = 0 for i < j m = n = obere Dreiecksmatrix a ij = 0 for i > j untere Dreiecksmatrix a ij = 0 for i < j Beispiel 6 (Dreiecksmatrizen) l 0 0 L = 0, U = l n l nn u u n 0 u nn beispieleps 05 9 mm Proposition 62 Sei L eine untere Dreiecksmatrix Dann gilt ) det L = l l nn = n i= l ii = l l nn, det U = u u nn 2) Dreiecksmatrizen schreiben wir symbolisch als beispiel2eps 04 9 mm Definition 63 ) A C m n (p, q)-bandmatrix, wenn a ij = 0 für i > j + p, j > i + q beispiel3eps mm 2) p = q = : A-Tridiagonalmatrix 3) p = m, q = : A untere Hessenberg 6

9 7 Eigenwerte und Eigenvektoren Sei A C n n quadratische Matrix Dann ist: λ C Eigenwert von A 0 x C n : Ax = λx σ(a) = {λ C : λ Eigenwert von A} heisst Spektrum von A x Rechtseigenvektor von A y Linkseigenvektor von A Ax = λx, y H A = λy H λ σ(a) erfüllt die charakteristische Gleichung Proposition 7 p A (λ) := det(a λi) = 0 ) A C n n = p A (λ) P n = σ(a) = {λ,, λ n }, und n 2) det(a) = p A (0) = λ λ 2 λ n, tr(a) = λ i 3) σ(a) = σ(a ), σ(a H ) = σ(a), dh λ σ(a) λ σ(a H ) Der Spektralradius von A C n n ist Für den Spektralradius gilt (nachrechnen!) i= ρ(a) = max λ i = max λ i n λ σ(a) ρ(a) = ρ(a H ), ρ(a k ) = ( ρ(a) ) k, k N 8 Ähnlichkeitstransformationen Ähnlichkeitstransformationen lassen das Spektrum einer Matrix invariant In der Numerik werden Ähnlichkeitstransformationen benutzt, um Eigen- und Singulärwerte und, allgemeiner, die Schur Normalform sowie die Singulärwertzerlegung der Matrix A stabil zu berechnen Definition 8 Seien A(n n), C(n n) Matrizen mit det C 0 Dann heisst die transformierte Matrix C AC ähnlich zu A Proposition 82 σ(a) = σ(c AC), p A (λ) = p C AC(λ) Beweis: λ σ(c AC) = det (C AC λ }{{} C C) = 0, I det (C (A λi) C) = 0, det (A λi) = 0 7

10 9 Schur und Jordan Normalform Wir rekapitulieren den folgenden Satz aus der linearen Algebra: jede Matrix A(n n) kann ähnlich auf die sog Jordan sche Normalform transformiert werden A C n n hat n Eigenwerte λ,, λ n Diese sind Nullstellen des charakteristischen Polynoms p(λ) = det(a λ ) alg Vielfachheit von λ i = Vielfachheit der Nullstelle λ i von p(λ): p(λ) = (λ λ i ) malg i q(λ), Ordnung q(λ) = n m alg i geom Vielfachheit von λ i = m geom i := # lineare unabhängige Eigenvektoren zum Eigenwert λ i Es gilt: m geom i m alg i Defekt: d i := m alg i m geom i 0 Jordan Normalform: T C n n nicht singulär, λ 0 0 λ λ λ λ 0 λ T 0 0 A T = λ λ λ λ λ = J wobei: λ 0 0 λ λ 0 pro Eigenvektor je Jordanblock auftritt Seine Grösse hängt 0 0 λ λ ab von der Länge der Hauptvektorketten 8

11 λ i sind in den verschiedenen Jordanblöcken sind nicht notwendig verschieden, die Jordan sche Normalform ist praktisch schlecht zu berechnen, da die Transformationsmatrix T in der Jordan schen Normalform nicht 2 -isometrisch ist: es gibt x C n : T x 2 x 2 In der Numerik verlangt man deshalb weniger als die Jordan sche Normalform: nur T! = unitär Dies bezahlt damit, dass die transformierte Matrix J weniger Nulleinträge hat Genauer gilt: Theorem 9 (Schur) A C n n beliebig, λ,, λ n C Eigenwerte Dann existiert Q C n n unitär so, dass λ Q H A Q = 0 λ n Beweis: Sei u Eigenvektor zu λ, u 2 = Wähle u 2,, u n C n so, dass V = (u,, u n ) unitär Dann gilt, mit A 0 = A, λ V H 0 A 0 V = A Wiederhole Schlussweise mit A C (n ) (n ) : V 2 = Ṽ 2 0, Ṽ 2 = (ũ 2,, ũ n ) C (n ) (n 2) Rekursion mit Ṽ 3,, Ṽ n ergibt die Behauptung 0 Normen in C n Sei V VR über dem Koeffizientenkörper K = R, C Dann ist : V R + Norm 9

12 x V : x 0 j x = 0 x = 0 (N) x V, α K : αx = α x x, y V : x + y x + y (N2) (N3) Bemerkung 0 x y x y Beweis: (N3) x y = x y + y y x y + y y = x y ; x y = Behauptung Beispiele: V C n, p, x = (x,, x n ) ( n ) x p := x i p p, p < i= Theorem 02 p ist Norm auf C n Beweis: (N), (N2) sind offensichtlich, wir zeigen (N3) Hierzu brauchen wir Lemma 03 Seien indices p, q konjugiert, p + =, p, q q Dann gilt a, b > 0 : ab ap p + bq q Beweis: x log x konkav, dh Dann: α, β 0, α + β = : u, v > 0 : α log u + β log v log(αu + βv) : α = p, β = q, u = ap, v = b q ( log(ab) = log a + log b = α log(a p ) + β log(b q ) log p ap + ) q bq Theorem 04 (Hölder Ungleichung) Seien p, q konjugiert, x, y C n Dann gilt n x i y i x p y q Beweis: x = 0 y = 0 trivial Seien x 0, y 0 Setze i= x = x / x p, ŷ = y / y p 0

13 Lemma 03 = n x i y i x i p x i ŷ i p + ŷ i q q, i =,, n, p x p + p p ŷ q q = Theorem 05 (Minkowski Ungleichung) Sei p, x, y C n Dann x + y p x p + y p Beweis: x + y p p = n i= Hölder x i + y i p n x i + y i p ( x i + y i ) i= ( n ( xi + y i p ) ) q q ( ) x p + y p i= = x + y p/q p ( ) x p + y p = x + y p ( ) x p + y p, p da (p ) q = p, q = (p )/p = p Normäquivalenz Es ist aus der Analysis bekannt, dass alle Normen auf endlichdimensionalen Räumen äquivalent sind Definition p, q auf V äquivalent ex 0 < c pq C pq < mit c pq x q x p C pq x q x V In der Numerik brauchen wir insbesondere für C n die Werte der Äquivalenzkonstanten Beispiel: V = C n c pq q 2 p 2 n 2 n n 2 C pq = (c qp )

14 2 Matrixnormen Definition 2 (Matrixnorm) : C m n R: A 0 A = 0 A = 0, (N) αa = α A α C, A C m n, (N2) A + B A + B A, B C m n (N3) Definition 22 Matrixnorm M konsistent oder verträglich mit Vektornorm V Ax M A M x V x R n Definition 23 M submultiplikativ A C n m, B C m q : A B M A M B M Beispiel: Die Frobeniusnorm in C n m ist ( n A F = i,j= a ij 2 ) 2 = tr (AA H ) 2 F ist konsistent mit 2 : Ax 2 2 = ( x H A H, Ax ) = n i= n 2 a ij x j j= n ( n n ) a ij 2 x j 2 = A 2 F x 2 2 i= j= j= Sei auf C m, auf C n Für A C m n ist A := sup x 0 A x x = max x 0 A x x Operatornorm auf C m n, induziert durch, ist kompatibel, dh A x A x, 2

15 Beispiel: A p := max x 0 A x p x p A B p = max x 0 Bx 0 ABx p Bx p Bx p x p max x 0 Bx 0 ABx p Bx p max x 0 Bx p x p A p B p Proposition 24 F ist submultiplikativ Beweis: Sei A = (a,, a n ) C m n, B = b T C n k Dann Dreiecksungleichung: b T n A B = a b T + + a n b T n A B F a b T F + + a n b T n F = a 2 b a n 2 b n 2 ( n ) ( n ai 2 2 ) bi i= = A F B F i= Weitere wichtige Normen sind: A = A = max j=,,n max i=,,n m i= n j= a ij Spaltensummenorm a ij Zeilensummennorm A = A T, A = A H = A = A Die Norm 2 einer Matrix A C m n steht in engem Zusammenhang mit ρ(a), σ (A) 3

16 Theorem 25 Sei σ (A) maximaler Singularwert von A Dann ist A 2 = ρ(a H A) = ρ(aa H ) = σ (A) Bemerkung 26 A = A T = A 2 = ρ(a), A H A = I = A 2 = 3 Skalarprodukt und Orthogonalität Definition 3 Sei V ein Vektorraum über K Eine Bilinearform (, ) : V V K heisst Skalarprodukt, falls gilt: x, y, z V, γ, λ K : (γx + λy, z) = γ(x, z) + λ(y, z), (S) (y, x) = (x, y) (S2) (x, x) > 0 für alle x 0 (S3) Beispiel: V = C n : (x, y) = y H x = Es gilt Q, A C n n n x i y i i= x, y C n : (Ax, y) = (x, A H y) (Qx, Qy) = (x, Q H Qy) Unitäre Matrizen lassen die Euklidische Norm eines Vektors x invariant Proposition 32 Q C n n unitär, dh Q H Q = I Dann gilt: Qx 2 = x 2 x C n Beweis: Qx 2 2 = (x, Q H Qx) = (x, x) = x 2 2 Definition 33 x, y R n orthogonal x y = 0 und wir schreiben symbolisch: x y 4

17 4 Gram-Schmidt Algorithmus Seien r Vektoren x,, x r C m gegeben Der Gram-Schmidt Algorithmus erzeugt aus (*) eine neue Familie von r Vektoren q,, q r C m derart, dass gilt span{x,, x r } = span{q r,, q r } (4) und die q i sind paarweise orthogonal: Der Gram-Schmidt Algorithmus ist definiert wie folgt: Algorithmus 4 (Gram-Schmidt) input x,, x r C n q := x, for k =,, r do: q i q j für i, j r, i j (42) q k+ := x k+ k i= (q i, x k+ ) (q i, q i ) q i Eigenschaften der q k verifiziert man direkt Etwa (42) durch Induktion: sei (42) schon für i, j k bewiesen Dann folgt für l k aus Algorithmus 4, dass gilt woraus (42) folgt (q l, q k+ ) = (q l, x k+ ) k i= (q i, x k+ ) (q i, q i ) = (q l, x k+ ) (q l, x k+ ) (q l, q l ) (q l, q i ) }{{} δ li (q l, q l ) = 0, In Algorithmus 4 waren r, m beliebig Für r > m ergeben (4) und (42), dass einige der q i verschwiinden müssen Genauer gilt: Proposition 42 Falls die x i vollen Rang r haben, gilt (4) mit q,, q r 0 Falls jedoch s = dim(span{x,, x r }) < r ist, so sind r s > 0 Vektoren der q,, q r gleich 0 Als eine Anwendung des Gram-Schmidt Algorithmus erhalten wir das Basisergänzungslemma: 5

18 Lemma 43 Sei r < n Falls V = [v,, v r ] C n r orthonormale Spalten hat, dh v j = δ ij, dann existiert V 2 C n (n r) derart, dass die Matrix v H i V = [ ] V V 2 unitär ist, dh V H V =, und (rangev ) = rangev 2 Beweis des Basisergänzungslemmas 43 Es besagt: falls die Matrix V = [v,, v t ] C n t, t < n, orthonormale Spalten hat mit v H i v j = δ ij, dann existieren v t+,, v n derart, dass die Matrix V = [V V 2 ], wo V 2 := [v t+,, v n ] unitär ist, dh V H V =, und (range V ) = range V 2 Für den Beweis wenden wir den Gram-Schmidt Algorithmus 4 an auf die r Vektoren {x,, x r } = {v,, v t, e,, e n }, wobei r = n + t ist Gram-Schmidt reproduziert dann die v,, v t (beweisen!) und ergibt weitere n Vektoren q,, q n mit {q i, q j } = δ ij, (v i, q j ) = 0, i t, j n Da dim(span{x,, x r }) = n > t ist, sind n t Vektoren der q i 0 und t der q i verschwinden Eine Anwendung der Normen und der Orthogonalität ist der Beweis der sogenannten Singulärwertzerlegung 5 Singulärwertzerlegung (SVD) Die SVD einer Matrix A ergibt: totale Information über Matrix A, und ist, anders als die Jordan Normalform, stabil berechenbar Theorem 5 Sei A C m n, r = rang(a) Dann existieren σ σ 2 σ r > 0, U C n n, V C m m, unitär mit A = V Σ U H (5) wo σ 0 σ Σ = r R m n

19 Beweis von Theorem 5 Sei x C n, y C m Vektoren mit x 2 = y 2 =, und σ R mit A x = σ y, wobei σ = A 2 Nach Lemma 43 existiert U 2 C n (n ), V 2 C m (m ) derart, dass die Matrizen U = [ x U 2 ] C n n, V = [ y V 2 ] C m m unitär sind Weiterhin gilt V H A U = [ y V 2 ] H A [ x U 2 ] = y H A x y H A U 2 V H 2 A x V H 2 A U 2 =: σ 0 B w H =: A Da gilt auch ( ) σ A w A 2 2 = sup 0 x C n σ 2 + w H w = B w 2 2 A x 2 2 x = (σ 2 + w H w) 2 + B w 2 2 (σ2 + w H w) 2, ( ) σ 2 A w 2 σ w 2 2 (σ2 + w H w) 2 σ 2 + w H w = σ2 + w H w (52) Da auch σ 2 = A 2 2 = V H A U 2 2 = A 2 2, folgt aus (52), dass gilt A 2 A wh w woraus folgt 0 w H w 0, dh w = 0 Also ist A = σ 0 B 0 T = V H 0 A 0 U 0 Rekursion dieser Schlussweise auf B = Behauptung Korollar 52 Die Singulärwerte σ,, σ r sind eindeutig Korollar 53 Falls σ > σ 2 > > σ r, u,, u r, sind ei Singulärvektoren v,, v r eindeutig bis auf einen Faktor λ mit λ = Bild und Kern einer Matrix A C m n können durch die singulären Vektoren charakterisiert werden: 7

20 Korollar 54 Sei A C m n, r min{m, n} der Rang von A Dann gilt: { σi v i i r, A u i = 0 r + i n { σi u A H i i r, v i = 0 r + i m Korollar 55 r A = σ i v i u H i Korollar 56 Sei A C m n, A = V H Σ U Dann ker A = span{u r+,, u n }, range A = span{v,, v r }, ker A H = span{v r+,, v m }, range A H = span{u,, u r } i= Korollar 57 σ i (A) = λ i (A H A), i =,, p Beweis: A = V Σ U H = A H = U Σ H V H = A H A = U Σ H } V {{ H V} Σ U H = I λ i (A H A) = Σ H Σ = ( σ i (A) )2 Also gilt für A hermitesch: A H = A = A H A = A 2 σ i = λ 2 i = λ i, i =,, n σ σ 2 σ r > σ r+ = = σ p = 0 = r = rank(a), ker(a) = span{v r+,, v n }, range(a) = span{u,, u r } Definition 58 Sei A = V Σ U H C m m Dann ist Σ = V H AU = diag(σ,, σ r, 0,, 0) Die Matrix A + := U Σ + V H C n m mit Σ + = diag(,, ), 0,, 0 σ σ r heisst Penrose Pseudoinverse von A 8

21 2 Computerarithmetik 2 Gleitkommazahlen Mathematische Modelle beschreiben Phänomene quantitativ mittels unendlicher Systeme von Zahlen Beispiele sind die rationalen Zahlen Q (abzählbar unendlich) sowie die reellen Zahlen R (überabzählbar unendlich) Auf einem Computer stehen bei alphanumerischen Rechnungen immer nur endlich viele, sogenannte Gleitkommazahlen zur Verfügung, die wir generisch mit F (für floating point numbers ) bezeichnen, und die je nach Hersteller und Compiler variieren Es gilt immer F Q R, F < (2) Definition 2 Gleitkommazahlen sind die Teilmenge F von R von Zahlen der Form wobei x = ( ) s (0 a a 2,, a t ) β e = ( ) s m β e t, (22) β N, β 2 die Basis der Gleitkommazahl x F ist, t N die Anzahl der erlaubten signifikanten Stellen a i von x F ist, mit 0 a i β, (23) m = a a 2 a 3,, a t eine ganze Zahl, die sogenannte Mantisse, ist, mit 0 m β t, (24) e eine ganze Zahl, der Exponent von x F in (22) ist; er variiert in einem endlichen Intervall, dh L e U (25) mit L < 0, U > 0 ganz, und s das Vorzeichen von x F ist Falls N Speicherpositionen für x F zur Verfügung stehen, gilt die Aufteilung s eine Position m t Positionen e N t Positionen Bemerkung 22 x F in (22) ist auch gegeben durch x = ( ) s β e ( a β + a 2 β a t β t ) (26) 9

22 Bemerkung 23 Darstellung (22) ist nicht eindeutig - um Eindeutigkeit zu erhalten, nehmen wir immer an: a 0 (27) a heisst führende Stelle Dann gilt 0 < β t m β t (28) Insbesondere ist also dann x = 0 nicht in F Deshalb treffen wir Konvention 24 Die Menge aller x F wie in (22) ist t F(β, t, L, U) = {0} {x R : x = ( ) s β e i= a i β i }, (29) die Menge der Gleitkommazahlen mit t signifikanten Stellen, Basis β 2, Ziffern 0 a i β und Exponentenbereich (L, U) mit L e U, mit (27) Bemerkung 25 Es gilt x F(β, t, L, U) = x F(β, t, L, U), (20) x min := β L x β U ( β ) =: x max, (2) F(β, t, L, U) = 2(β ) β t (U L + ) + (22) Bemerkung 26 (Nicht normalisierte Gleitkommazahlen) Aus (2) folgt für x R mit 0 < x < x min, dass x / F Dies kann behoben werden durch Aufgeben von a 0 nur für diese x Damit erhält man x der Form (26) mit m β t, x ( β L, β L ) Damit ist immer noch die Darstellung (29) eindeutig und die Menge aller solcher x der Form (29) heisst F D F Es gilt min { x 0 : x F D (β, t, L, U) } = β L t (23) Auf den meisten Rechnern hat man einfach und doppelt genaue Zahlen Gleitkommazahlen (β = 2) ist N = 32 für einfach genaue Zahlen wie folgt verteilt: Für binäre N = 64 für doppelt genaue Zahlen: 8 bits 23 bits s e m bits 52 bits s e m 20

23 Bemerkung 27 (IEEE/IEC Standard) Die Gleitkommadarstellung wurde 985 durch das Institute of Electronics and Electrical Engineers (IEEE) entwickelt und 989 durch die International Electronical Commission (IEC) als Standard IEC 559 angenommen Es gilt: und, für die Ausnahmewerte 0, ± : β t L U IEEE single IEEE double Wert Exponent Mantisse ± 0 L 0 ± U + 0 NaN U Runden mit Maschinenepsilon Zwei Zahlen x, y F, x y, können nicht beliebig nahe zueinander liegen Es gilt für 0 x F : β ε M x min { x y : y F\{0} } ε M x, (22) mit dem Maschinenepsilon ε M Definition 22 (Maschinenepsilon ε M ) Die kleinste Zahl 0 < ε M F mit + ε M > heisst Maschinenepsilon; es gilt ε M = β t (222) Es erfüllt ε M = min { y : y F\{} } Folgender MATLAB code findet ε M : e=; while(+e>) e=e/2; end; 2*e Fig : MATLAB code zur Bestimmung von ε M in MATLAB Beachte, dass Operationen zwischen x, y F nicht Ergebnisse in F liefern müssen; es gilt x, y F impliziert nicht x y F Hier steht für eine generische Operation, 0 {+,,, /}, : R R R Abhilfe schafft hier die Rundung von x y 2

24 Definition 222 (Rundung) Sei F(β, t, L, U) Gleitkommazahlen Die Rundung fl ist eine Abbildung fl: R F definiert für x R in der normalisierten Positionsdarstellung mit Exponent L e U durch 0 x = ( ) s β e a j β j R j= f ( (x) := ( ) s (0, a a 2,, ã t ) β e, (223) wobei ã t := { at für a t+ < β/2, a + für a t+ β/2 Proposition 223 x F = fl(x) = x, x, y R x y = fl(x) fl(y) Bemerkung 224 (Abschneiden) Alternativ zur Rundung kann man auch Abschneiden ã t = a t Dann ist f l wie in (223), mit Bemerkung 225 (Überlauf/Unterlauf) (223) gilt nur für x R mit Exponent e [L, U] Für x (, x max ) (x max, ) ist f l(x) in (223) nicht definiert Sei x, y F und z = x y R Falls sprechen wir von Überlauf, für von Unterlauf z = x y > x max (F) := max{ x : x F} z = x y < x min (F) := min{ x : 0 x F} Theorem 226 Sei F = F(β, t, L, U) R und z R gegeben im Bereich von F, dh mit Dann gibt es δ i R mit x min (F) z x max (F) (224) fl(z) = z( + δ ), δ i < u := 2 β t, i =, 2, (225) fl(z) = z/( + δ 2 ) (226) 22

25 Beweis: (225): ohne Beschränkung der Allgemeinheit sei z > 0 Dann ist z = mβ e t, β t m < β Also ist F z := m β e t z m β e t =: z + F, dh z liegt zwischen den Gleitkommazahlen z, z + F Also ist fl(z) {z, z + } und Daher folgt fl(z) z z + z 2 fl(z) z z βe t 2 2 mβe t m β e t = 2 β t =: u Hier gilt Gleichheit nur dann, wenn m = β t Dann aber ist z = fl(z) F, deshalb gilt δ < u (226) beweist man analog Bemerkung 227 Die Zahl u = 2 β t = 2 ε M (227) heisst Rundungseinheit (Unit Roundoff) von F(β, t, L, U) Beispiele für die Werte der Maschinenarithmetik sowie von u enthält die folgende Tabelle: Machine and arithmetic β t L U u Cray- single Cray- double DEC VAX G format, double DEC VAX D format, double HP 28 and 48G calculators IBM 3090 single IBM 3090 double IBM 3090 extended IEEE single IEEE double IEEE extended (typical) Tab 2: Floating point arithmetic parameters 23

26 23 Gleitkommaoperationen Wir sehen, dass {+,,, /} aus F hinausführt: F F / F im Allgemeinen Definition 23 (Maschinenoperationen) Für x, y F mit x y im Bereich von F heisst x y := fl ( fl(x) fl(y) ) F (238) Maschinenoperation zu Für die Analyse von Algorithmen benutzen wir wegen (225), (226) das sogenannte Standardmodell des Rundungfehlers: für jede Maschinenoperation gilt Bemerkung 232 (Petaflop) x y = (x y)( + δ), δ u, = +,,, / (239) Die aktuellen Grossrechner führen bis zu 0 5 Operationen / Sekunde aus In MATLAB double precision ist u = 2 ε M = , so dass Akkumulation von δ s in (239) schnell die Grösse ergibt, falls (im schlechtesten Fall) bei jeder Operation der maximale Fehler δ = u realisiert wird 24

27 3 Direkte Lösung Linearer Gleichungssysteme: Gaußelimination (GEM) Wir schreiben lineare Gleichungssysteme in der Form Ax = b; (30) hier ist A R n n eine reguläre Matrix, b R n ist gegeben, und x R n ist die gesuchte Lösung Die Matrix A und die Vektoren x, b haben die Komponenten a a 2 a n a 2 a 22 a 2n A =, x = a n a n2 a nn 3 Gaußscher Algorithmus 3 Dreiecksmatrizen x x 2 x n, b = Wir betrachten zuerst einmal zwei Spezialfälle von Matrizen A Wir sagen, daß A eine linke Dreiecksmatrix (oft auch: untere Dreiecksmatrix) ist, falls a ij = 0 für alle i, j mit i < j Analog sprechen wir von A als einer rechten Dreiecksmatrix (oft auch: obere Dreiecksmatrix), falls a ij = 0 für alle i, j mit i > j Linke Dreiecksmatrizen werden meist mit L bezeichnet und rechte Dreiecksmatrizen mit R Die Namensgebung ist aus der Struktur der Matrix leicht verständlich: a 0 0 a a 2 a n a 2 a a 22 a 2n L = a 3 a 32, R = a n a n2 a nn a nn a nn (Im englischsprachigen Raum werden Matrizen dieses Typs typischerweise mit L und U für lower und upper bezeichnet) Hat die Matrix A in (30) linke oder rechte Dreiecksgestalt, dann ist das Lösen des Gleichungssystems besonders einfach Bei Lösen von Lx = b spricht man von Vorwärtssubstitution und beim Lösen von Rx = b 25 b b 2 b n

28 spricht man von Rückwärtssubstitution Die Namensgebung erfolgt aus der Tatsache, daß man beim Lösen von Lx = b die Unbekannten x i sukzessive vorwärts bestimmt dh zuerst x = b /a, mit dessen Hilfe man x 2 bestimmt, dann x 3 usw Bei Lösen von Rx = b werden die Unbekannten x i sukzessive rückwärts bestimmt, dh zuerst x n = b n /a nn, dann damit x n, dann x n 2 usw Dieses Vorwärts- und Rückwärtseinsetzen formalisieren wir in den folgenden zwei Algorithmen Algorithmus 3 (Vorwärtssubstitution) Sei A eine Linksdreiecksmatrix mit a ii 0 für i =,, n Dann kann die Lösung x von Ax = b wie folgt berechnet werden: for i from to n do { } x i := a ii ( ) i b i a ik x k k= (Konvention: leere Summe = 0) Algorithmus 32 (Rückwärtssubstitution) Sei A eine Rechtsdreiecksmatrix mit a ii 0 für i =,, n Dann kann die Lösung x von Ax = b wie folgt berechnet werden: for i from n to by do { } x i := a ii ( b i n k=i+ a ik x k ) (Konvention: leere Summe = 0) Man überzeugt sich leicht davon, daß in beiden Algorithmen für jedes i auf der rechten Seite der Zuweisung Objekte stehen, die bereits in einem vorangehenden Schritt bestimmt wurden Definition 33 Die Menge der n n-linksdreiecksmatrizen wird mit L n bezeichnet Ferner definieren wir L n := {L L n L ii =, i =,, n} Die Linksdreiecksmatrizen und Rechtsdreiecksmatrizen bilden je einen Ring: Theorem 34 Es gilt für beliebige L, L L n : L + L L n ; 2 L L L n ; 3 det L = n i= L ii; 4 Ist L L n regulär, dann ist L L n ; 5 falls L L n, L L n, dann ist L L L n Analoge Aussagen gelten für Rechtsdreiecksmatrizen Beweis: Übung (vgl Aufgabe ) Die Aussagen für Rechtsdreiecksmatrizen folgen aus denen für Linksdreiecksmatrizen durch Transposition 26

29 Theorem 35 Seien L k R n n, k =,, n Linksdreiecksmatrizen von der Form L k = l k+ k l n k Dann ist L k = l k+ k l n k Ferner hat das Produkt L L 2 L n die Darstellung l 2 l L L 2 L n = 3 l k+ k l n l n2 l n k l nn Beweis: Übung (vgl Aufgabe 2) Satz 34 zeigt bereits, daß die Matrizen L k invertierbar sind und daß das Produkt eine Linksdreiecksmatrix sein muß, dessen Diagonaleinträge sind 32 Gaußscher Algorithmus und LR-Zerlegung Im vorhergehenden Abschnitt haben wir gesehen, daß gestaffelte Gleichungssysteme (dh solche, bei denen die Matrix A linke oder rechte Dreiecksgestalt hat) besonders einfach aufzulösen sind Der Gaußsche Algorithmus führt nun den allgemeinen Fall auf diese beiden Fälle zurück, indem er eine Matrix A in ein Produkt aus einer Linksdreiecksmatrix und einer Rechtsdreiecksmatrix zerlegt: A = LR (32) Ist eine solche Zerlegung bekannt, dann kann das Gleichungssystem (30) mithilfe einer Vorwärts- und einer Rückwärtssubstitution gelöst werden Führt man nämlich den Hilfsvektor y = Rx ein, so ergibt sich b = Ax = LRx = L(Rx) = Ly; dies führt auf folgende Vorgehensweise: löse das Gleichungssystem Ly = b für y mithilfe von Algorithmus 3; 27

30 2 löse das Gleichungssystem Rx = y für x mithilfe von Algorithmus 32 Definition 36 Sei A R n n Dann besitzt A eine LR-Zerlegung, falls es eine Rechtsdreiecksmatrix R und eine Linksdreiecksmatrix L L N gibt, so daß A = LR Hat eine reguläre Matrix A eine LR-Zerlegung, so ist diese eindeutig: Theorem 37 Sei A R n n regulär und habe eine LR-Zerlegung LR = A Dann ist R ii 0 für i =,, n, und die Zerlegung ist eindeutig Beweis: Wegen 0 det A = det L det R = n i= R ii folgt die erste Behauptung Seien LR = A = L R zwei LR-Zerlegungen von A Dann sind nach obiger Überlegung R und R invertierbar (ihre Determinanten verschwinden nicht) Somit gilt L R = LR = L L = R(R ) Nach Satz 34 ist L L L n; ebenfalls nach Satz 34 ist R(R ) eine Rechtsdreiecksmatrix Die einzige Matrix, die zugleich Linksdreiecksmatrix und Rechtsdreiecksmatrix ist und ein Element von L n ist, ist die Identität Also ist R = R und L = L Die Voraussetzung der Regularität von A ist wesentlich für die Eindeutigkeitsaussage, wie das Beispiel ( 0 0 zeigt ) ( ) = ( ) = ( 0 ) ( 0 0 Die LR-Zerlegung einer Matrix A R n n geschieht in n Schritten Zur Motivation des Algorithmus schreiben wir das Gleichungssystem (30) aus: ) finis DS a x + a 2 x a n x n = b a 2 x + a 22 x a 2n x n = b 2 a n x + a n2 x a nn x n = b n Es wird nun von der zweiten, dritten, etc Zeile ein geeignetes Vielfaches der ersten Zeile subtrahiert, um die Variable x in Zeilen 2 bis n zu eliminieren Wir definieren also (für a 0) l i := a i, i = 2,, n a und ziehen von der i-ten Zeile das l i -fache der ersten Zeile ab Wir erhalten damit ein Gleichungssystem von der folgenden Form: a x + a 2 x a n x n = b a () 22 x a () 2n x n = b () 2 a () n2 x a () nn x n = b () n 28

31 wobei die neuen Koeffizienten a () ij gegeben sind durch a () ij = a ij a j l i, i, j = 2,, n, b () i = b i b l i, i = 2,, n Offenbar kann man (falls a () 22 0) nun ähnlich weitermachen, um in den Zeilen 3 bis n die Variable x 2 zu eliminieren Dies geschieht, indem man l i2 := a() i2 a () 22, i = 3,, n setzt und dann von der i-ten Zeile (i 3) das l i2 -fache der 2-ten Zeile abzieht Auf diese Weise erhält man dann ein System der Form a x + a 2 x 2 + a 3 x a n x n = b a () 22 x 2 + a () 23 x a () 2n x n = b () 2 a (2) 33 x a (2) 3n x n = b (2) 3 a (2) n3 x a (2) nn x n = b (2) n Nach (n )-Schritten erhält man dann eine schließlich ein System von Gleichungen, das Rechtsdreiecksgestalt hat: a x + a 2 x 2 + a 3 x a n x n = b a () 22 x 2 + a () 23 x a () 2n x n = b () 2 a (2) 33 x a (2) 3n x n = b (2) 3 a (n ) nn x n = b (n ) n Die Zahlen a (k ) kk, k =,, n, die während der Eliminationschritte auftreten, heißen Pivots Offensichtlich müssen wir verlangen, daß die Pivots nicht verschwinden, dh a (k ) kk 0 für k =,, n Die berechneten Koeffizienten l ij und das Endschema ergeben dann die gesuchte LR-Zerlegung: Wir setzen a a 2 l 2 0 a () 22 a () 2 l L := 3 0 a (2) 33 a (2) 34, R := l k+,k l n l n2 l n k l n,n Bonaparte Pivot, , mit dem Spitznamen der gute Teiler 0 0 a nn (n ) 29

32 und behaupten, daß A = LR gilt Um dies einzusehen, schreiben wir die entstandenen Gleichungssysteme in Matrixschreibweise Im k-ten Eliminiationschritt hat das Gleichungssystem die Form A (k) x = b (k) wobei A (k), b (k) folgende Form haben: a a 2 a 3 a n a () 22 a () 23 a () 2n A (k) = a (k) k+ k+ a (k) k+ k+2 a (k), b (k) = k+ n a (k) n k+ a (k) n k+2 a (k) nn Wir setzen aus Notationsgründen A (0) := A, b (0) := b Für die Ausführung des k-ten Schrittes werden die Faktoren l ik := a(k ) ik a (k ) kk, i = k +,, n, b b () 2 b (k) k+ b (k) k+2 b (k) n (33) benötigt Die Verbindung unseres Vorgehens mit der gesuchten LR-Zerlegung von A ist nun, daß A (k) aus A (k ) durch Multiplikation mit eine speziellen Linksdreiecksmatrix ergibt: Setzt man L k := so kann man nachrechnen (Übung!), daß gilt: Man erhält also l k+,k l n k, (34) A (k) = L k A (k ) und b (k) = L k b (k ), k =,, n (35) A (n ) = L n L n 2 L A (0) = L n L n 2 L A Da alle auftretenden Linksdreiecksmatrizen L k regulär sind (vgl Sätze 34, 35), können wir dies umschreiben als LR = A, wobei L := L L 2 L n, R = A (n ) 30

33 Hier ist R eine Rechtsdreiecksmatrix nach Konstruktion (vgl (33)), und L ist eine Linksdreiecksmatrix nach Satz 34 Aus Satz 35 erhalten wir L k = (36) l k+,k l n k und damit wiederum aus Satz 35 für die Einträge in L ganz explizit: l 2 L = L L 2 L n = l 3 l k+,k l n l n2 l n k l n,n (37) Wir haben also eine explizite Konstruktion einer LR-Zerlegung von A gefunden: Die Einträge der Linksdreiecksmatrix L sind die Faktoren l ik, die im Laufe des Algorithmus bestimmt werden und die Rechtsdreiecksmatrix R ist gerade das Endschema des Gaußschen Algorithm, die Matrix A (n ) Wir können unser Vorgehen in dem folgenden abstrakten Algorithmus, der Gaußschen Elimination ohne Pivotsuche festhalten: Algorithmus 38 (Rohfassung der LR-Zerlegung ohne Pivotsuche) A (0) := A for k from to n do { bestimme Matrix L k (vgl (34)) durch Berechnung der Faktoren 2 setze A (k) := L k A (k ) l ik = A(k ) ik A (k ) kk, i = k +,, n } LR-Zerlegung von A ist A = LR mit R = A (n ) und L gegeben durch (37) Für eine Computerimplementierung von Algorithmus 38 müssen die Matrixmultiplikationen noch explizit ausgeschrieben werden In tatsächlichen Implementierungen wird man direkt auf der Matrix A operieren, dh sie während des Algorithmus verändern Dies geschieht aus Speicherplatzgründen, weil man nicht Speicher für die n Matrizen A (0), A (), bereitstellen kann/will In dieser Form erhält man dann 3

34 Algorithmus 39 (LR-Zerlegung ohne Pivotsuche) input: Matrix A output: Linksdreiecksmatrix L und Rechtsdreiecksmatrix R mit LR = A L := Id n = Identitätsmatrix der Größe n n for k from to n do { for i from k + to n do { L ik := A ik A kk % k-te Spalte von L for j from k to n do { % k-te Zeile von R und updaten der Zeilen k +,, n von A A ij := A ij L ik A kj } } } setze R := Rechtsdreiecksanteil von A return (L,R) In der formulierten Form geht die Matrix A in Algorithmus 39 verloren, da sie mit der Rechtsdreiecksmatrix R überschrieben wird In der rechentechnischen Praxis wird zudem weiter Speicher gespart: Nach Beendigung von Algorithmus 39 enthält die Matrix im oberen Teil die gesuchte Rechtsdreiecksmatrix R Der untere Teil enthält noch den unteren Teil der Originalmatrix A (man überzeuge sich davon, daß Algorithmus 39 den unteren Teil von A nicht verändert) Der untere Teil der Matrix A hat genausoviele Einträge wie zum Abspeichern der Linksdreiecksmatrix L genötigt werden (die Diagonaleinträge von L sind alle und müssen daher nicht gesondert abgespeichert werden) In den meisten Implementierungen von LR- Zerlegungen wird deshalb einfach nur die Matrix A R n n übergeben, und zurückgegeben wird wieder eine Matrix à Rn n, in der die wesentliche Information über die Faktoren L und R gespeichert ist: { R ij falls j i à ij = (38) falls j < i Eine Implementierung dieses Algorithmus ist dann wie folgt: L ij Algorithmus 30 (LR-Zerlegung ohne Pivotsuche: klassische Implementierung) input: Matrix A output: überschreibt die Matrix A mit ihrer LR-Zerlegung (vgl (38)) for k from to n do { for i from k + to n do { A ik := A ik A kk % k-te Spalte von L for j from k+ to n do { %k-te Zeile von R und updaten der Zeilen k +, n von A A ij := A ij A ik A kj } } } return (A) Das Lösen eines linearen Gleichungssystems (30) wird deshalb wie folgt durchgeführt: 32

35 LR-Zerlegung (Algorithmus 3) n(n )(n + ) 3 Vorwärtssubst (Algorithmus 3 unter Ausnutzung von L ii = ) n(n ) 2 Rückwärtssubst (Algorithmus 32) n(n + ) 2 Gesamtkosten 3 n3 + n 2 3 n 3 n3 Tabelle 3: Kosten für das Lösen eines linearen Gleichungssystems mit Algorithmus 3 Algorithmus 3 (Gauß-Algorithmus ohne Pivotsuche) Bestimme LR-Zerlegung von A mithilfe von Algorithmus 30 2 Löse Ly = b mithilfe der Vorwärtssubstitution Algorithmus 3 Dabei beachtet man, daß die Diagonalelemente von L gilt: L ii = 3 Löse Rx = y mithilfe der Rückwärtssubstitution Algorithmus 32 In Tabelle 3 sind die Kosten beim Lösen eines linearen Gleichungssystems mithilfe von Algorithmus 3 zusammengestellt Wir haben nur die Multiplikationen/Divisionen gezählt und die Additionen vernachlässigt Wie man sieht, sind die Kosten (für große n) dominiert durch die LR-Zerlegung Bereits für n = 00 machen die Vorwärts- und Rückwärtssubstitionen zusammen nur 3% der Gesamtkosten aus Ein positiver Nebeneffekt ist, daß, falls eine LR-Zerlegung erst einmal aufgestellt ist, das lineare Gleichungssystem (30) für viele verschiedene rechte Seiten b billig gelöst werden kann Bemerkung 32 In der LR-Zerlegung in Algorithmus 30 haben wir nicht den Fall abgefangen, daß ein sog Pivot A (k ) kk = 0 sein könnte Algorithmus 30 versagt deshalb bereits bei dem trivialen Beipiel ( ) 0 A = 0 Der Behandlung solcher Fälle werden wir uns im Abschnitt 33 zuwenden Abschließend stellen wir einen zu Algorithmus 30 äquivalenten Algorithmus zur Bestimmung der LR-Zerlegung vor Algorithmus 33 (Doolittle Variante der LR-Zerlegung) for k from to n do { L kk = for j from k to n do { % Berechne k-te Zeile von R R kj := A kj k l= L klr lj %Konvention: leere Summe = 0 } for i from k + to n do { % Berechne k-te Spalte von L L ik := R kk ( ) k A ik L il R lk l= %Konvention: leere Summe = 0 33

36 } } Man beachte, daß der Algorithmus wohldefiniert ist, da die Rechtsdreiecksmatrix R zeilenweise und die Linksdreiecksmatrix L spaltenweise aufgebaut wird Für jedes k werden von L nur die Spalten bis k und von R nur die Zeilen bis k benötigt, die bereits berechnet wurden Algorithmus 33 stellt die Matrizen L und R in genau derselben Reihenfolge auf wie Algorithmus 30 Von Interesse ist jedoch, daß er aus folgenden Überlegungen hergeleitet werden kann: Für jedes i, j gilt für die LR-Zerlegung von A: A ij = n L il R lj l= Aus der Tatsache, daß L Linksdreiecksmatrix, R Rechtsdreiecksmatrix und L ii =, folgt damit A ij = A ij = i L il R lj + R ij, l= j L il R lj + R jj L ij l= Auflösen dieser beiden Gleichungen nach R ij und L ij ergibt dann die Ausdrücke in Algorithmus LR-Zerlegung für schwach besetzte Matrizen Die LR-Zerlegung in Algorithmus 30 geht von einer vollbesetzten Matrix A aus In der Praxis (zb in der Strukturmechanik und bei der Diskretiersierung von partiellen Differentialgleichungen) sind die auftretenden Matrizen oft schwach besetzt (engl sparse), dh viele Einträge von A sind gleich Null Dies kann in zweierlei Hinsicht ausgenutzt werden: Speicherersparnis: Man speichert nicht die gesamte Matrix A ab, sondern nur die wesentliche Information, dh welche Einträge von Null verschieden sind und was ihre Werte sind 2 Die Matrizen L, R der LR-Zerlegung von A sind ebenfalls schwach besetzt Auch hier kann Speicher und Rechenzeit eingespart werden, indem nur die nicht-trivialen Einträge von L und R berechnet werden Im folgenden stellen wir zwei Typen von schwach besetzten Matrizen vor: Bandmatrizen und Skyline-Matrizen Selbstverständlich decken diese beiden Typen nicht alle in der Praxis auftretenden Fälle von schwach besetzten Matrizen ab Bandmatrizen Definition 34 Eine Matrix A R n n heißt eine Bandmatrix mit Bandbreite p + q +, falls es p, q N 0 mit a ij = 0 für j > i + p oder i > j + q Die Zahl p heißt die oberere Bandbreite und q die untere Bandbreite 34

37 Bandmatrizen haben also nichtverschwindende Einträge höchstens auf den p Nebendiagonalen über der Hauptdiagonalen und auf den q Nebendiagonalen unter der Hauptdiagonalen: a a 2 a,p+ 0 0 a 2 a 22 a 2,p a q+, a q+,2 0 0 a q+2,2 an p,n a n,n q a n,n a nn (39) Um diese Matrix darzustellen, brauchen wir nur (p + q + )n p(p+) reelle Zahlen 2 abzuspeichern Auch die LR-Zerlegung einer Bandmatrix erbt die spezielle Struktur: 2 q(q+) Theorem 35 Sei A R n n eine Bandmatrix mit oberer Bandbreite p und unterer Bandbreite q und LR-Zerlegung LR = A Dann haben L, R Bandstruktur, und es gilt: L ij = 0 falls j > i oder j < i q R ij = 0 falls j < i oder j > i + p Beweis: Die Ausssage des Satzes folgt durch sorgfältige Untersuchung von Algorithmus 33 Man sieht recht einfach, daß die Aussage richtig ist für die erste Zeile von R und die erste Spalte von L Dann schließt man induktiv für die weiteren Zeilen/Spalten mithilfe von Algorithmus 33 Satz 35 sagt aus, daß die Matrizen L, R der LR-Zerlegung der Bandmatrix A aus (39) folgende Struktur haben: L = 0 0 l l q+, l q+,2 0 0 l q+2, l n,n q l n,n finis 2DS 35

38 LR-Zerlegung (Algorithmus 36) nqp Vorwärtssubst (Alg 3; Ausnutzen der Bandstruktur von L) nq Rückwärtssubst (Alg 32; Ausnutzen der Bandstruktur von R) np Gesamtkosten Multiplikationen/Divisionen n(pq + p + q) Tabelle 32: Kosten beim Lösen von Gleichungssystemen mit Bandmatrizen R = r r 2 r,p r 22 r 2,p rn p,n r nn Die Tatsache, daß die Matrizen L und R auch wieder schwach besetzt sind, wird bei Algorithmen zur Bestimmung von LR-Zerlegungen von Bandmatrizen ausgenutzt Es brauchen insbesondere nur die nicht-trivialen Einträge von L, R berechnet zu werden Dies führt auf die folgende Variante von Algorithmus 30, bei dem die beiden inneren Schleifen verkürzt werden können Algorithmus 36 (LR-Zerlegung für Bandmatrizen) input: Matrix A mit oberer Bandbreite p und unterer Bandbreite q output: überschreibt die Matrix A mit ihrer LR-Zerlegung for k from to n do { for i from k + to min {n, k + q} do { A ik := A ik A kk for j from k + to min {n, k + p} do { A ij := A ij A ik A kj } } } return (A) Die Bandstruktur von L und R wird ebenfalls bei der Vorwärts- und Rückwärtssubstitution ausgenutzt (Übung: Man formuliere die entsprechenden Varianten von Algorithmen 3, 32) Die Kosten der Algorithmen sind in Tabelle 32 zusammengestellt Es werden nur Multiplikationen und Divisionen gezählt und vereinfachend n max {p, q} angenommen Skyline-Matrizen Ein wichtiger weiterer Spezialfall der schwach besetzten Matrizen sind die sog Skyline-Matrizen (engl: skyline matrices) Dies sind Matrizen, wie auf der linken Seite in Fig 3 illustriert 36

39 Figur 3: Striche deuten von Null verschiedene Einträge an Links: Skyline-Matrix, bei der die Besetzungsstruktur bei LR-Zerlegung erhalten bleibt Rechts: Keine Skyline-Matrix und die LR-Zerlegung erhält nicht die Besetzungsstruktur A = L = R = 2 3 Figur 32: A R 7 7 und ihre LR-Zerlegung Eine Matrix A R n n heißt eine Skyline-Matrix, falls es für i =,, n Zahlen p i, q i N 0 gibt, so daß A ij = 0 falls j < i p i oder i < j q j (30) Es gilt dann Theorem 37 Sei A R n n eine Skyline-Matrix, dh es gebe p i, q i mit (30) Möge A die LR-Zerlegung A = LR haben Dann gilt für die Einträge von L und R: L ij = 0 für j < i p i, R ij = 0 für i < j q j Beweis: Wie in Satz 35 kann die Aussage mithilfe von Algorithmus 33 eingesehen werden (Übung) Satz 37 besagt, daß die Faktoren L und R der LR-Zerlegung einer Skyline-Matrix A dieselbe Besetzungsstruktur haben wie A Figur 32 zeigt dies für ein einfaches Beispiel Das Erhalten der Besetzungsstruktur kann natürlich algorithmisch ausgenutzt werden, sowohl was Speicher angeht als auch bzgl Rechenzeit, indem nur die nicht-trivialen Einträge von L und R ausgerechnet und abgespeichert werden Dies führt auf Varianten von Algorithmus 33, die analog zum Fall der Bandmatrizen sind Man beachte, daß man die Matrizen in Fig 3 nicht als Bandmatrix behandeln will, da die Bandbreiten p, q je gleich n wären Das rechte Beispiel in Fig 3 ist keine Skyline-Matrix im Sinne obiger Definition, und die Besetzungsstruktur geht bei der LR-Zerlegung verloren: L ist ia eine volle Linksdreiecksmatrix und R eine volle Rechtsdreiecksmatrix (Man spricht bei Zerstörung der Besetzungsstruktur von fill-in) 37

40 32 Symmetrisch positiv definite Matrizen In vielen Anwendungen treten symmetrische, positiv definite Matrizen auf, die oft zudem schwach besetzt sind Der Grund hierfür ist, daß diese Matrizen meist von physikalischen Modellen stammen, bei denen der Ausdruck x Ax eine Energie darstellt Definition 32 Sei A R n n Die transponierte Matrix A ist gegeben durch (A ) ij := A ji i, j {,, n} Eine Matrix A R n n heißt symmetrisch, falls A = A ; 2 positiv definit, falls x Ax > 0 0 x R n ; 3 positiv semi-definit, falls x Ax 0 0 x R n Eine symmetrische, positiv definite Matrix A R n n heißt kurz SPD Theorem 322 Sei A R n n SPD Dann gilt: A ist regulär (invertierbar); 2 A ii > 0 für alle i {,, n}; 3 A ij < (A 2 ii + A jj ) für i j und damit max ij A ij = max i A ii Beweis: Übung Theorem 323 Sei A R n n SPD Dann existiert ein L L n und eine Diagonalmatrix D mit D ii > 0, i =,, n, so daß A = LDL Die Matrizen L und D sind eindeutig Zudem ist L, R := DL die LR-Zerlegung von A, die mithilfe von Algorithmus 30 bestimmt werden kann Beweis: Wir partitionieren die Matrix A wie folgt: A (0) = A = A z z B, wobei z = (A 2,, A n ) Im ersten Schritt der Gaußelimination erhält man A z A () = L A (0) = 0 B, L l 2 =, (32) 0 l n 38

41 wobei l i = A i /A Man beachte, daß nach Satz 322 A > 0 Eine Rechnung zeigt nun, daß A 0 0 L AL = A() L = 0 B 0 Hier ist insbesondere die Matrix B unverändert aus (32) übernommen Man rechnet nun nach (oder verwendet den Trägheitssatz von Sylvester 2 ), daß B wieder SPD ist, denn die Matrix L AL ist wieder SPD Mithin kann man dieselbe Argumentation für B wiederholen Induktiv schließt man dann, daß A L n L AL L 2 L n = d 22 =: D d nn Nach Konstruktion sind die Matrizen L k, k =,, n gerade die Linksdreiecksmatrizen, die in Algorithmus 3 berechnet werden Das hier vorgestellte Induktionsargument zeigt, daß der Algorithmus nicht abbricht, weil in jedem Eliminationsschritt das Pivotelement nicht verschwindet (die Diagonalelemente einer SPD-Matrix sind nach Satz 322 strikt positiv!) Die Eindeutigkeit von L (die dann die Eindeutigkeit von D nach sich zieht) folgt aus Satz 37, weil A = LDL = L(DL ) eine LR-Zerlegung von A ist Satz 323 ist die Basis für die Cholesky 3 -Zerlegung einer SPD-Matrix A Korollar 324 Sei A R n n SPD Dann existiert eine eindeutige Linksdreiecksmatrix L L n mit L ii > 0, i =,, n, so daß A = L L Die Matrix L heißt der Cholesky-Faktor von A Umgekehrt gilt: Sei L L n regulär Dann ist A := L L SPD Beweis: Nach Satz 323 existiert ein L L n und eine Diagonalmatrix D mit D ii > 0, so daß A = LDL Wir setzen nun L := LD /2, ( D /2 ) ij := δ ijd /2 ii Dann gilt offensichtlich L L = A Eindeutigkeit des Cholesky-Faktors: Sei L eine Linksdreiecksmatrix mit L ii > 0, i =,, n und L L = A Definiere die Diagonalmatrix D durch D ij = δ ij L ii Dann ist D invertierbar und ist ein Element von L n Wir haben also 2 Sylvester, James Joseph Cholesky, André-Louis, L := LD A = L L = LDD L = L(DD )L 39

42 Dies ist eine Zerlegung wie in Satz 323 Aus der Eindeutigkeitsaussage von Satz 323 folgt damit, daß L und DD eindeutig bestimmt sind Weil die Diagonalmatrix D positive Diagonaleinträge hat, ist damit auch D eindeutig bestimmt Der Beweis der Aussage, daß für eine reguläre Linksdreiecksmatrix L die Matrix L L SPD ist: Übung Für SPD-Matrizen benutzt man anstelle der LR-Zerlegung in der Praxis die Cholesky-Zerlegung Algorithmisch bestimmt man sie mithilfe einer Variante von Algorithmus 33: Algorithmus 325 (Cholesky-Zerlegung) input: SPD-Matrix A R n n output: Cholesky-Faktor L von A for k from to n do { ( k /2 L kk := A kk Lkj) 2 %Konvention: leere Summe = 0 } } j= for i from k ( + to n do { ) L ik := k A ik L ij L kj L kk j= % Berechne k-te Spalte von L %Konvention: leere Summe = 0 Daß der Algorithmus das Gewünschte leistet, sieht man in ähnlicher Weise wie bei Algorithmus 33, indem man den Anzatz A = LL macht und dann Bestimmungsgleichungen für die Einträge von L herleitet: n A ik = L ij L kj j= Wegen der Symmetrie von A reicht es, k i zu betrachten Nutzt man die Tatsache aus, daß L eine untere Dreiecksmatrix ist, dann folgt: i für k = i: A kk = L 2 kj + L 2 kk, j= k für k < i: A ik = L ij L kj + L ik L kk Auflösen nach L ij und L ii ergibt dann die Ausdrücke, die in Algorithmus 325 auftreten Betrachten wir die Kosten der Cholesky-Zerlegung Aus Algorithmus 325 geht hervor, daß die Cholesky-Zerlegung einer SPD-Matrix A mit 6 n3 Multiplikationen/Divisionen und n Quadratwurzeln berechnet wird Vernachlässigt man die Kosten für das Wurzelziehen, dann ist die Cholesky- Zerlegung ungefähr halb so teuer wie die LR-Zerlegung Die Reduktion um den Faktor 2 liegt 40 j=

43 daran, daß wegen der Symmetrie der Matrix und der Zerlegung nur ein Faktor der Zerlegung berechnet werden muß Da viele in der Praxis auftretenden SPD-Matrizen Bandstruktur haben, formulieren wir noch die Variante der Cholesky-Zerlegung, die die Bandstruktur ausnutzt Algorithmus 326 (Cholesky-Zerlegung für SPD Bandmatrizen) input: SPD-Matrix A R n n ; oberere Bandbreite p = untere Bandbreite q output: Cholesky-Faktor L von A for k from to n do { } L kk := A kk k j=max {,k p} L 2 kj /2 for i from k + to min {n, k + p} do { L ik := k A ik L ij L kj L kk } j=max {,k p} Bemerkung 327 Algorithmus 325 zur Bestimmung der Cholesky-Zerlegung kann auch dazu benutzt werden, zu prüfen, ob eine gegebene symmetrische Matrix positiv definit ist Man führt Algorithmus 325 durch; bricht er ab, weil eine Division durch Null auftritt oder weil eine Wurzel aus einer negativen Zahl gezogen werden soll, dann war die Matrix nicht SPD Andernfalls ist sie SPD (vgl die zweite Aussage aus Korollar 324) 33 Pivotstrategien & Nachiteration 332 Spaltenpivotstrategie Bei unserer Herleitung der LR-Zerlegung nahmen wir stets an, daß die Pivots A (k ) kk muß nicht immer der Fall sein, wie die Matrix ( ) 0 A = 0 0 Dies zeigt Die Matrix A ist jedoch regulär, und man kann Gleichungssysteme von der Form Ax = b lösen, indem man zuerst die Zeilen und 2 vertauscht Die nach Vertauschung dieser Zeilen erhaltene Matrix A per hat dann ein von Null verschiedenes Pivot (A per ) ; in diesem Fall hat A per sogar bereits Rechtsdreiecksgestalt Man erwartet, daß auch bei kleinen Pivots numerische Schwierigkeiten auftauchen Folgendes Beispiel erfüllt diese Erwartung: Beispiel 33 Wir bestimmen in 4-stelliger Gleitkommaarithmetik F (dh β = 0, t = 4) die Lösung x des folgenden linearen Gleichungssystems: ( ) ( ) A =, b = 7 4

44 Es ist dann l 2 = /(3 0 4 ) und die LR-Zerlegung von A ist ( ) ( ) ( L = , R = 0 l Die Lösung von Ly = b führt dann auf ( y = L b = und damit ist die Lösung x von Rx = y ( ) x = R ( 3 ( 2999)) y = = 2999 ) ( Das exakte Ergebnis ist x = ( , ) Hier sind beim Rückwärtseinsetzen in der x -Komponente durch Auslöschung alle Ziffern verloren gegangen Der Grund ist die schlechte Pivotwahl Wir starteten mit einem sehr kleinen Pivot und erhielten dadurch sehr große (und auch sehr kleine) Einträge in der LR-Zerlegung Dies führt dann zu Auslöschung bei der Vorwärts- und Rückwärtssubstitution Beispiel 33 zeigt, daß kleine Pivots zu numerischen Instabilitäten bei Vorwärts- und Rückwärtssubstitution führen können Daß kleine Pivots gemieden werden sollen, legt folgende Betrachtung nahe: Wir nehmen an, daß die rechte Seite b und die gesuchte Lösung Einträge haben, die von vergleichbarer Größenordnung sind (wie in Beispiel 33) Wird bei der Vorwärtsoder Rückwärtssubstitution mit großen Zahlen multipliziert, so entstehen Zwischenergebnisse, die groß sind (wie in Beispiel 33) Da das Endergebnis wieder moderat ist, erwartet man, daß dies durch Subtraktion vergleichbarer Zahlen erreicht wird bei diesen Subtraktionen tritt dann die Gefahr der Auslöschung auf Dies ist im obigen Beispiel 33 eingetreten Um das Problem des kleinen Pivots in den Griff zu bekommen, wird deshalb nicht eine LR-Zerlegung der Matrix A gesucht, sondern die LR-Zerlegung einer Matrix A per, die durch geeignetes Vertauschen von Zeilen von A entstanden ist Man beachte, daß für das Lösen von Gleichungssystemen das Vertauschen von Zeilen keine Rolle spielt (wenn man beim Vektor auf der rechten Seite die entsprechende Vertauschung ebenfalls durchführt) Daß Zeilenvertauschen numerisch vorteilhaft sein kann, zeigt folgende Fortsetzung von Beispiel 33: Beispiel 332 Wir lösen das lineare Gleichungssystem aus Beispiel 33, indem wir die beiden Zeilen von Ax = b vertauschen, dh wir betrachten ( ) ( ) 7 A per = 3 0 4, b per = 3 Nun ist l 2 = und ( 0 L per = ) ) ( ) (, R per = 0 l Für die Lösungen y, x von Ly = b, Rx = y erhalten wir damit ( ) ( y =, x = ) ) )