Numerik für Informatiker und Bioinformatiker. Daniel Weiß

Transkript

1 Numerik für Informatiker und Bioinformatiker Daniel Weiß SS 202

2 Folgende Literatur bildet die Grundlage dieser Vorlesung: P Deuflhard, A Hohmann, Numerische Mathematik, Eine algorithmisch orientierte Einführung, de Gruyter, RW Freund, RHW Hoppe, Stoer/Bulirsch: Numerische Mathematik, Springer, F Locher, Numerische Mathematik für Informatiker, Springer-Verlag, 99 Ch Lubich, Vorlesung zur Numerik J Schropp, Vorlesung zur Algorithmischen Mathematik

3 Kapitel Lineare Gleichungssysteme Problem: Für vorgegebene (n n)-matrix A und rechte Seite b R n finde Lösungsvektor x R n mit oder ausführlich Ax = b () a x + a 2 x a n x n = b a 2 x + a 22 x a 2n x n = b 2 a n x + a n2 x a nn x n = b n, (2) wobei wir mit a ij das Element von A in der i-ten Zeile und j-ten Spalte bezeichnen Fragen: Wann hat das Problem () eine (eindeutige) Lösung? Wenn eine Lösung existiert, wie berechne ich diese? Beispiel (i) Der einfache Fall n =: mit Lösung x = b a für a 0 (ii) Das gestaffelte lineare Gleichungssystem ax = b r x + r 2 x r n x n = c r 22 x r 2n x n = c 2 r n,n x n + r n,n x n = c n r nn x n = c n (3) lässt sich im Fall r ii 0für i =,, n durch die so genannte Rückwärtssubstitution lösen: Lösen der letzten Gleichung ergibt: x n = c n r nn 2

4 KAPITEL LINEARE GLEICHUNGSSYSTEME 3 Lösen der vorletzten Gleichung: x n =(c n r n,n x n ) /r n,n Allgemein gilt: x i = c i n r ij x j /r ii (4) j=i+ für i = n, n,, Satz (Existenz einer eindeutigen Lösung) Das Problem () besitzt genau dann eine eindeutige Lösung x, wenn A invertierbar ist Die Lösung ist in diesem Fall gegeben durch x = A b Wiederholung: Eine Matrix quadratische A heißt invertierbar, falls A existiert mit 0 0 A A = A A = I = Beispiel 2 (i) Das Gleichungssystem besitzt die eindeutige Lösung (ii) Das Gleichungssystem besitzt offenbar keine Lösung (iii) Das Gleichungssystem ( x = )( ) ( x = x 2 ( 5 3 x x 2 x 3 x x 2 x 3 ) = = ) 3 0 besitzt unendlich viele Lösungen: λ 2, λ R

5 KAPITEL LINEARE GLEICHUNGSSYSTEME 4 Gaußsches Eliminationsverfahren Problem: Löse Ax = b, wobei A invertierbar ist Motivation des Gaußschen Eliminationsverfahrens an einem Beispiel: x x 2 = {{ x 3 3 =:A Erstes Ziel: Elimination der Variablen x aus den unteren beiden Gleichungen Diese Zeilenoperationen können durch Multiplikation des Gleichungssystems von links mit der Matrix 0 0 L := realisiert werden: L A = , L b = Da die Matrix L invertierbar ist, sind die Lösungen des Gleichungssystems Ax = b genau die Lösungen von L Ax = L b Nächstes Ziel: Elimination der Variablen x 2 aus der unteren Gleichung Diese Zeilenoperation kann durch Multiplikation des bereits modifizierten Gleichungssystems L Ax = L b von links mit der Matrix L 2 := realisiert werden Wir finden insgesamt: L 2 L A = {{ =:R L 2 L b = 3 2 {{ =:c Das Gleichungssystem Rx = c kann nun durch Rückwärtssubstitution gelöst werden (vgl System (3) mit Lösung (4)) Idee des Gaußschen Eliminationsverfahrens Wir wollen das Gleichungssystem (2) in ein gestaffeltes System der Form (3) umformen Erster Schritt: Wir lassen die erste Zeile unverändert und eliminieren die Variable x in den restlichen Zeilen, dh wir ersetzen die Zeile i durch (Zeile i) a i a (Zeile ), a 0,

6 KAPITEL LINEARE GLEICHUNGSSYSTEME 5 für i =2,, n Wegen der Invertierbarkeit von A lässt sich nach einem eventuellen Zeilentausch a 0 immer garantieren Das Element a heißt Pivotelement Wir erhalten a () x + a () 2 x a () n x n = b () a () 22 x a () 2n x n = b () 2 a () n2 x a () nnx n = b () n mit b () = b und a () j = a j für j =,, n (die erste Zeile bleibt unverändert) und a () ij b () i = a ij a i a a j = b i a i a b für i, j =2,, n Kennen wir nun die Lösung (x 2,, x n ) T des reduzierten Systems (System (5) ohne die erste Gleichung), so lässt sich x mit Hilfe der ersten Gleichung in (5) bestimmen Wir wenden dasselbe Verfahren auf das reduzierte System an und erhalten so rekursiv ein gestaffeltes System: (A {{ (0),b {{ (0) ) (A (),b () ) (A (2),b (2) ) (A (n ) {{,b (n ) {{ ) :=A :=b =:R =:c Konkret gilt: A (k) = L k P k A (k ), b (k) = L k P k b (k ) Hier ist P k eine Permuationsmatrix, welche im Fall a (k) kk = 0 (oder bei bestimmter Pivotwahl, su) zwei Zeilen vertauscht und L k die Frobenius-Matrix L k = l k+,k (6) l n,k (alle unbestimmten Einträge sind 0) mit l ik := ā(k) ik ā (k) kk, wobei ā (k) ij die Elemente von P k A (k ) sind Permutationsmatrix: Die Spalten einer Permutationsmatrix bestehen aus Einheitsvektoren e i = (0,, 0, {{, 0,, 0) T, wobei jeder Enheitsvektor genau einmal auftritt zb Stelle i P = Daher folgt det P = und somit auch die Invertierbarkeit der Permutationsmatrizen Gilt P =(e,, e j, e {{ l,e j+,e j,, e l, e j,e l+,, e n ), so bewirkt die Multiplikation mit P {{ Stelle j Stelle l von links eine Vertauschung der j-ten und l-ten Zeilen: 0 0 x 0 0 x x 3 Das Gaußsche Eliminationsverfahren liefert: = x 2 x x 3 (5)

7 KAPITEL LINEARE GLEICHUNGSSYSTEME 6 Satz 2 (über die LR-Zerlegung) Für jede invertierbare Matrix A existiert eine Permutationsmatrix P derart, dass eine Dreieckszerlegung PA = LR möglich ist, wobei R eine obere Dreiecksmatrix und 0 0 L = l 2 0 l n l n,n eine untere unipotente Dreiecksmatrix ist Eine Dreiecksmatrix heißt unipotent, falls die Elemente auf der Hauptdiagonalen alle geich sind Wiederholung: Eine quadratische Matrix A heißt untere (obere) Dreiecksmatrix, falls gilt a ij = 0 für i<j (i >j) Beweis: Das Gaußsche Eliminationsverfahren liefert R = A (n ) = L n P n A (n 2) = L n P n L P A Wir wollen nun die unipotenten und die Permutationsmatrizen trennen und fügen hierzu Identitäten der Form I = P P ein R = L n P n L n 2 Pn P n P n 2 L n 3 (P n P n 2 ) P n P n 2 P n 3 {{{{ =I =I L 2 (P n P 3 ) P n P 3 P 2 L (P n P 2 ) P n P 2 P A {{{{ =I =I = ˆL n ˆLn 2 ˆL P n P A {{ =:P mit ˆL n := L n und ˆL k := P n P k+ L k (P n P k+ ) für k = n 2,, Die Matrizen ˆL k sind wiederum Frobenius-Matrizen der Form (6), wobei die Einträge ˆl jk bis auf Permutation genau den l jk entsprechen Algorithmus: (i) Bestimme Matrizen P, L und R gemäß Satz 2 mit PA = LR (Dreieckszerlegung) (ii) Löse Lc = P b (Vorwärtssubstitution, vgl Ü) (iii) Löse Rx = c (Rückwärtssubstitution)

8 KAPITEL LINEARE GLEICHUNGSSYSTEME 7 Rechenaufwand der LR-Zerlegung: A A () : n Divisionen, (n ) 2 Multiplikationen und Additionen A L, R: Also insgesamt n j= (j2 + j) = n3 3 n 3 Multiplikationen und Divisionen Hauptarbeit des Algorithmus liegt somit in der Berechnung der LR-Zerlegung Beachte: n n j 2 + j = j= j= (n )n(2n ) 6 + n(n ) 2 = n3 3 n2 6 2n2 6 + n 6 + n2 2 n 2 Speicherplatz: Da Elemente mit Werten 0 und nicht notwendigerweise gespeichert werden müssen, lässt sich das Gaußsche Eliminationsverfahren bei Speicherung der Permutationsmatrix mit n(n + 2) Speicherplätzen realisieren Die relevanten Einträge der Frobenius-Matrizen können im Array der Matrix A bzw A (k) gespeichert werden Die Projektionsmatrix P kann durch weitere n Speicherplätze repräsentiert werden Spaltenpivotwahl: Selbst wenn a 0 bzw im k-ten Schritt a (k ) kk 0 gilt, kann eine Zeilenvertauschung sinnvoll sein Bei der Spaltenpivotwahl wählt man als Pivotelement im k-ten Schritt das Element mit a (k ) jk Dies führt zu a (k ) jk = max k i n a(k ) i,k l ij für alle i, j und somit zu einer besseren Stabilität des Verfahrens (zur Stabilität: siehe unten)