KAPITEL 3. Lineare Gleichungssysteme, direkte Lösungsverfahren

Transkript

1 KAPITEL 3. Lineare Gleichungssysteme, direkte Lösungsverfahren Beispiel 3.2. Gesucht u(x), das eine Differentialgleichung vom Typ u (x) + λ(x)u(x) = f(x), x [0,], mit den Randbedingungen u(0) = u() = 0 erfüllt (Randwertaufgabe). Gitterpunkte: x j = jh, j = 0,..., n, h = n, Dahmen-Reusken Kapitel 3

2 Ableitungen Differenzenquotienten (Taylor): u(x j + h) = u(x j ) + hu (x j ) + h2 2 u (x j ) + h3 6 u (x j ) + O(h 4 ), u(x j h) = u(x j ) hu (x j ) + h2 2 u (x j ) h3 6 u (x j ) + O(h 4 ). Daraus folgt sofort und somit u(x j + h) 2u(x j ) + u(x j h) = h 2 u (x j ) + O(h 4 ), u (x j ) = h 2[u(x j+) 2u(x j ) + u(x j )] + O(h 2 ). D. h., bis auf Terme 2. Ordnung in der Schrittweite h entspricht die 2. Ableitung einem Differenzenquotient. Dahmen-Reusken Kapitel 3 2

3 Diskretisierung: u j+ 2u j + u j h 2 + λ(x j )u j = f(x j ), j =,..., n, zusammen mit den Randbedingungen u 0 = u n = 0. Für kleines h, also großes n: u j u(x j ). Gleichungssystem in Matrixform: 2 + h 2 λ h 2 λ h 2 λ h 2 λ n u u 2. u n 2 u n = f f 2. f n 2 f n. Dahmen-Reusken Kapitel 3 3

4 Beispiel 3.3. Gesucht u(x), das die Integralgleichung u(x) cos(xt)u(t) dt = 2, x [0,] erfüllt. Gitterpunkte t j = ( j ) h, 2 j =,..., n, h = n. Annäherung des Integrals (Mittelpunktsregel): 0 f(t) dt h n j= f(t j ) t t 2 t 3 Dahmen-Reusken Kapitel 3 4

5 Es gilt: 0 f(t) dt h n j= f(t j ) h2 24 max f (x) x [0,] Weitere Annäherung: Gleichung nur in den Punkten x = t i betrachten. Gleichungssystem für u i u(t i ): u i + 2h n j= In Matrixform ergibt sich cos(t i t j )u j = 2, i =,2,..., n. 2h + cos(t t ) cos(t t 2 ) cos(t t n ) cos(t 2 t ) 2h + cos(t 2t 2 ) cos(t n t ) 2h + cos(t nt n ) u u 2. u n = h.. Dahmen-Reusken Kapitel 3 5

6 Beispiel 3.4. In der linearen Ausgleichsrechnung (siehe Kapitel 4) entsteht auf natürliche Weise ein lineares Gleichungssystem (die sogenannten Normalgleichungen). Beispiel 3.5. Zur Lösung eines nichtlinearen Gleichungssystems werden oft Linearisierungsverfahren, wie z.b. das Newton-Verfahren eingesetzt (siehe Kapitel 5). Bei so einem Verfahren ergibt sich eine Reihe von linearen Gleichungssystemen. Dahmen-Reusken Kapitel 3 6

7 Notation: R m n ist die Menge der Matrizen A = a, a,n.. a m, a m,n mit Einträgen a i,j R. In diesem Kapitel geht es um folgende zentrale Aufgabe: Zu A R n n und b = (b,..., b n ) T R n bestimme ein x = (x,..., x n ) T R n, das bzw. kurz a, x a,n x n = b... a n, x a n,n x n = b n Ax = b erfüllt. Dahmen-Reusken Kapitel 3 7

8 Bemerkung 3.6 Folgende Aussagen sind äquivalent für das System Ax = b: (i) Das System hat für jedes b R n eine eindeutige Lösung x R n. (ii) Die Matrix A hat vollen Rang n. (iii) Das homogene System Ax = 0 nur die triviale Lösung x = 0. (iv) Es gilt det A 0. A heißt regulär oder nichtsingulär, wenn det A 0. Annahme: In den Abschnitten wird stets angenommen, daß det A 0 gilt. Dahmen-Reusken Kapitel 3 8

9 3.2 Kondition und Störungssätze Wir betrachten zunächst den einfachsten Fall, daß nur die rechte Seite b gestört ist. Satz 3.7. Sei x + x die Lösung von A(x + x) = b + b. Dann gilt: x x A A b b. Der relative Fehler der Lösung läßt sich also durch das Vielfache κ(a) = κ (A) := A A des relativen Fehlers der rechten Seite (Eingabedaten) abschätzen. Die Größe κ(a) heißt (relative) Konditionszahl (bzgl. der Norm ) der Matrix A. Dahmen-Reusken Kapitel 3 9

10 κ(a) beschreibt auch maßgeblich die Störungen in den übrigen Eingabedaten. Satz 3.9. Es gelte κ(a) A A <. Sei x + x die Lösung von (A + A)(x + x) = b + b. Dann gilt: x x κ(a) κ(a) A A ( A A + b ). b Dahmen-Reusken Kapitel 3 0

11 Bemerkung 3.0. In einer Maschine mit Maschinengenauigkeit eps sind die Daten A, b mit relativen Fehlern eps behaftet. Aufgrund des Satzes 3.9 sagt man, daß es wegen der Kondition des Problems (A, b) x = A b einen für die Bestimmung von x unvermeidlichen Fehler in der Größenordnung κ(a) eps gibt. Dahmen-Reusken Kapitel 3

12 Beispiel 3.. Sei A = ( ) 3.00, b = ( ) Dann gilt A = 0.05 ( ) , A 6 3 = 600, A = 7.997, κ (A) = Für à = ( ) 3, b = ( ) Dahmen-Reusken Kapitel 3 2

13 hat man A = b = ( ) , A 0 0 = 0.00, ( ) 0.003, b = Aus Satz 3.9 ergibt sich somit x x 0.49 als Schranke für den relativen Fehler der Lösung x von à x = b. Da die exakte Lösung x = (, ) T das System Ax = b und x = (0.2229,.3333) T das System à x = b löst, ist der tatsächliche relative Fehler x x Dahmen-Reusken Kapitel 3 3

14 Residuum als Maß für Genauigkeit Gleichungssystem Ax = b. Annäherung der Lösung: x. Residuum r = b A x, ist ohne Kenntnis der Lösung x berechenbar. Beachte: r = 0 x = x. Wie aussagekräftig ist die Größe des Residuums in Bezug auf den tatsächlichen Fehler? Hängt wieder von der Kondition ab. Für die Norm des Residuums im Vergleich zu der des Fehlers gilt: κ(a) r b x x x κ(a) r b. Dahmen-Reusken Kapitel 3 4

15 Beispiel 3.2. Sei A die Matrix aus Beispiel 3. und b = (3,6) T. Exakte Lösung: x = (,0) T. Für die Annäherungen ( x = gilt ), ˆx = ( ) , r = b A x = ˆr = b Aˆx = Die Norm des Residuums für x ist also viel kleiner als für ˆx: r ˆr. Der Fehler in x ist aber viel größer als in ˆx: x x = ˆx x = Dahmen-Reusken Kapitel 3 5

16 3.2. Zeilenskalierung Eine einfache Methode, die Kondition günstig zu beeinflussen, ist die Zeilenskalierung (Zeilenäquilibrierung). Darunter versteht man die Multiplikation der i-ten Zeile mit einer Zahl d i 0 ( i n). Das Gleichungssystem Ax = b wird dadurch in ein äquivalentes System D z Ax = D z b umgeformt, wobei D z die Diagonalmatrix D z = diag(d,..., d n ) bezeichnet. Man kann nun versuchen, die Skalierung D z so zu wählen, daß die Kondition des Gleichungssystems (wesentlich) verbessert wird. Dahmen-Reusken Kapitel 3 6

17 Sei D z die Diagonalmatrix mit Diagonaleinträgen definiert durch d i = Für die skalierte Matrix gilt ( n j= a i,j ). n j= (D z A) i,j = für alle i, also sind die Betragssummen aller Zeilen gleich eins. Eine Matrix mit dieser Eigenschaft heißt zeilenweise äquilibriert. Die Skalierung mit D z hat folgende Optimalitätseigenschaft: κ (D z A) κ (DA) für jede reguläre Diagonalmatrix D, d.h., diese Zeilenskalierung liefert die minimale Konditionszahl bezüglich der Maximumnorm. Dahmen-Reusken Kapitel 3 7

18 Beispiel 3.4. Für A = ( ) erhält man κ (A) = 20.2 und ( D z A = ), κ (D z A) = , die zweite Zeile mit 0 multi- Hierbei wurde die erste Zeile mit pliziert. Dahmen-Reusken Kapitel 3 8

19 3.4 Dreiecksmatrizen, Rückwärtseinsetzen Dreiecksmatrizen ergeben leicht lösbare Systeme. Eine Matrix R = (r i,j ) n i,j= Rn n heißt obere Dreiecksmatrix, falls r i,j = 0 für i > j gilt. Die avisierte leichte Lösbarkeit läßt sich am Beispiel einer oberen Dreiecksmatrix illustrieren: r, x + r,2 x r,n x n = b r 2,2 x r 2,n x n = b r n,n x n + r n,n x n = b n r n,n x n = b n. Da bekanntlich () det R = r, r 2,2 r n,n, ist () genau dann stets eindeutig lösbar, wenn alle Diagonaleinträge r j,j, j =,..., n, von Null verschieden sind. Dahmen-Reusken Kapitel 3 9

20 Dies erlaubt folgendes Vorgehen: Aus der letzten Gleichung in () erhält man sofort x n = b n /r n,n. Einsetzen von x n in die zweitletzte Gleichung erlaubt die Auflösung nach x n : Allgemein sieht dies wie folgt aus: x n = (b n r n,n x n )/r n,n. Rückwärtseinsetzen: Für j = n, n,...,2, berechne x j = ( b j n k=j+ r j,k x k )/r j,j, wobei die für j = n leer ist und als Null interpretiert wird. Dahmen-Reusken Kapitel 3 20

21 Beispiel 3.6. R = , b = x 3 = 4/2 = 2, x 2 = 3 2 = 5, x = (0 ( )( 5) 2 2) = 3 3 Dahmen-Reusken Kapitel 3 2

22 Rechenaufwand 3.7. Für jedes j = n,...,: n j Multiplikationen / Additionen, eine Division, und für j = n eine Division. Also insgesamt n (n j) = j= n(n ) n Divisionen. 2 Additionen / Multiplikationen, Der Rechenaufwand für Rückwärtseinsetzen ist also ca. 2 n2 Operationen. Operation = Multiplikation oder Division. Dahmen-Reusken Kapitel 3 22

23 Eigenschaften 3.8. Das Produkt von oberen (unteren) Dreiecksmatrizen ist wieder eine obere (untere) Dreiecksmatrix. Die Inverse einer oberen (unteren) nichtsingulären Dreiecksmatrix ist wieder eine obere (untere) Dreiecksmatrix. Die Determinante einer Dreiecksmatrix ist gerade das Produkt aller Diagonaleinträge. Dahmen-Reusken Kapitel 3 23

24 3.5 Gauß-Elimination, LR-Zerlegung Die bekannteste Methode, das System Ax = b (det A 0) auf Dreiecksgestalt zu bringen, ist die Gauß-Elimination. A = A () A (2) 0.. Ã (2) A (3) Ã (3). 0 0 Die Einträge der Matrix A (k) werden mit a (k) i,j notiert. Der Eintrag a (k) k,k ( oben) heißt Pivotelement. In entsprechender Weise ist natürlich auch die rechte Seite b umzuformen. Dahmen-Reusken Kapitel 3 24

25 Es ergibt sich das folgende Verfahren: Gauß-Elimination Gegeben A R n n, b R n, (det A 0). Für j =,2,..., n und falls a (j) j,j 0 ist für i = j +, j + 2,..., n subtrahiere in (A b) Zeile j mit Faktor l i,j := a(j) i,j a (j) j,j von Zeile i. Das Resultat hat die Form (R c), wobei R eine obere Dreiecksmatrix ist. Der Algorithmus versagt, falls ein a (j) j,j = 0. Dahmen-Reusken Kapitel 3 25

26 Beispiel x = , (A b) = Gauß-Elimination: j = l 2, = 4 2 l 3, = 6 2 l 4, = j = 3 l 4,3 = 0 2 j = 2 l 3,2 = 4 2 l 4,2 = = (R c). Wegen Ax = b Rx = c liefert Rückwärtseinsetzen die Lösung x = ( 4 2,2, 3,)T. Dahmen-Reusken Kapitel 3 26

27 Der Prozeß Bestimme (A b) (R c) gemäß (3.37), (3.38). Löse Rx = c. heißt Gauß-Elimination ohne Pivotisierung. Letzterer Zusatz wird später erläutert. Dahmen-Reusken Kapitel 3 27

28 Andere Darstellung der Gauß-Elimination Der Übergang von A (j) A (j+), lässt sich als Multiplikation des Systems mit einer regulären Matrix interpretieren. Eine Matrix der Form L k =... l k+,k.... l n,k mit l k+,k,..., l n,k R beliebig, heißt Frobenius-Matrix. Wählt man l i,j := a(j) i,j a (j) j,j Iteriert man dies, ergibt sich (vorausgesetzt a (j) j,j L n L n 2 L A } {{ } =A (n) =:R L j A (j) = A (j+). 0), dann gilt x = L n L n 2 L b, } {{ } =:c, Dahmen-Reusken Kapitel 3 28

29 Mit e k = (0,...,0,,0,...) T gilt L k = I (0,...,0, l k+,k,..., l n,k ) T (e k ) T det L k = L k = I + (0,...,0, l k+,k,..., l n,k ) T (e k ) T. Da die L k invertierbar sind, ergibt sich A = L L 2 L n R =: LR, wobei L := L L 2 L n wieder eine untere Dreiecksmatrix ist. Mehr noch: L läßt sich sofort explizit angeben. Dazu überprüft man wiederum per Rechnung, daß L L 2... L n = l 2, l n, l n,n. Dahmen-Reusken Kapitel 3 29

30 Ein bemerkenswertes Nebenprodukt der Gauß-Elimination ist also eine Faktorisierung von A in ein Produkt einer normierten unteren Dreiecksmatrix L und einer oberen Dreiecksmatrix R. Satz 3.2. Gilt im Gauß-Algorithmus stets (3.37), dann erhält man A = LR, wobei R durch (3.39) definiert ist und L die durch (3.38) definierte normierte untere Dreiecksmatrix ist. Dahmen-Reusken Kapitel 3 30

31 Beispiel Sei A = die Matrix aus Beispiel 3.9 und L = , R = die bei der Gauß-Elimination berechneten Dreiecksmatrizen. Es gilt A = LR. Dahmen-Reusken Kapitel 3 3

32 3.5. Gauß-Elimination mit Spaltenpivotisierung Vertauschung von Zeilen ist sicherlich notwendig, wenn man ein verschwindendes Pivotelement trifft. Das folgende Beispiel zeigt, daß das Vertauschen von Zeilen sehr vorteilhaft sein kann, auch wenn die Pivotelemente nicht Null sind, wenn man Rundungsfehler mit einbezieht. Beispiel ( ) ( ) x x 2 = ( ) 3 7 Mit l 2, = / ergibt Gauß-Elimination ( (R c) = ). Bei 4-stelliger Rechnung ergibt sich daraus ( ) Dahmen-Reusken Kapitel 3 32

33 Rückwärtseinsetzen liefert dann x 6.452, x Exakte Rechnung ergibt allerdings x = , x 2 = , d.h., x ist auf keiner Stelle korrekt. Dieses Ergebnis ist unakzeptabel, weil die Kondition des Problems sehr gut ist: κ (A) = Vertauscht man die Zeilen der Matrix und führt dann einen Eliminationsschritt durch, so ergibt sich ungefähr ( ) 7 (R c) = und bei 4-stelliger Arithmetik schließlich x 4.00, x , also völlig akzeptable Werte. Dahmen-Reusken Kapitel 3 33

34 Beachte: Obwohl a, 0 gilt, ist hier offensichtlich eine Vertauschung von Zeilen angebracht. Es liegt also nahe, als Pivotelement stets das betragsgrößte Element der jeweiligen Spalte zu nehmen. Nach obigen Überlegungen ist es also nicht sinnvoll, nur dann Gleichungen (Zeilen in der Matrix) zu vertauschen. wenn ein Nulleintrag dies erzwingt. Stattdessen setzt man stets bei der Berechnung der Matrix A (j+) aus A (j) ein betragsgrößtes Element in der ersten Spalte der verbleibenden Untermatrix an die Pivotposition. Da man das j-te Pivotelement in der j-ten Spalte sucht, nennt man diesen Vertauschungsvorgang Spaltenpivotisierung. Die Matrix sollte zuvor äquilibriert werden. Dahmen-Reusken Kapitel 3 34

35 Analyse der Gauß-Elimination mit Spaltenpivotisierung S n : alle Permutationen auf der Menge {,..., n}. Beispiel: π : {,2,3} {,2,3} mit π() = 3, π(2) =, π(3) = 2 ist eine Permutation in S 3. Bezeichnet man wieder mit e i den i-ten Basisvektor, so läßt sich jeder Permutation π S n folgendermaßen eine Matrix zuordnen P π := ( e π() e π(2)... e π(n)) T. P i,k : Vertauschung der i-ten und k-ten Zeile von I. Zum Beispiel, für n = 4, i = 2, k = 4 erhält man: P 2,4 = det P i,k = für i = k, det P i,k = für i k. Dahmen-Reusken Kapitel 3 35

36 Bemerkung Für A R n m und π S n ist das Produkt P π A diejenige Matrix, die man aus A durch Vertauschen der Zeilen gemäß π erhält. Gauß-Elimination mit Spaltenpivotisierung ist für jede nichtsinguläre Matrix durchführbar und es gilt folgende Verallgemeinerung von Satz 3.2. Satz Zu jeder nichtsingulären Matrix A existiert eine Permutationsmatrix P, eine (dazu) eindeutige untere normierte Dreiecksmatrix L, deren Einträge sämtlich betragsmäßig durch eins beschränkt sind, und eine eindeutige obere Dreiecksmatrix R, so daß PA = LR. Die Matrizen P, L und R ergeben sich aus der Gauß-Elimination mit Spaltenpivotisierung. Dahmen-Reusken Kapitel 3 36

37 Beweisidee Der Beweis dieses Satzes ist konstruktiv und verläuft im Prinzip genauso wie bei Satz 3.2. Der einzige Unterschied liegt darin, daß etwa im Schritt von A (j) nach A (j+) vor der Elimination gegebenenfalls die j-te Zeile mit einer Zeile i > j vertauscht wird. Sei A (j) die sich nach j Schritten der Gauß-Elimination mit Spaltenpivotisierung ergebende Matrix (A () = A). Diese Matrix hat die Struktur A (j) =... Ã (j), Ã (j) R (n j+) (n j+) Dahmen-Reusken Kapitel 3 37

38 Insgesamt erhält man für die Gauß-Elimination mit Spaltenpivotisierung die Umformungskette L n P τn L n 2 P τ2 L P τ A } {{ } =A (n) =:R Nach Konstruktion ist eine obere Dreiecksmatrix. x = L n P τn L n 2 P τ2 L P τ b, } {{ } =:c R = L n P τn L n 2 P τn 2 P τ2 L P τ A. Es gilt: P π L k P π = P π L k P T π =... l π(k+),k.... l π(n),k =: ˆL k, Dahmen-Reusken Kapitel 3 38

39 Hieraus folgt P π L k = ˆL k P π, also kann man P π in diesem Sinne durch L k ziehen. In (3.52) kann man P τ2 durch L ziehen und erhält R = L n P τn L n 2 P τn 2 P τ3 L 2ˆL P τ2 P τ A, ˆL := P τ2 L P T τ 2 Jetzt kann man P τ3 durch L 2 und ˆL ziehen, also R = L n P τn L n 2 P τn 2 L 3ˆL 2 P τ3ˆl P τ2 P τ A = L n P τn L n 2 P τn 2 L 3ˆL 2ˆL P τ3 P τ2 P τ A mit ˆL 2 := P τ3 L 2 P T τ 3, ˆL := P τ3 P τ2 L P T τ 2 P T τ 3. Man sieht nun das Muster, wie man durch analoge Wiederholung das Produkt der Transpositionen vor A sammelt. Man erhält schließlich R = L n L P π0 A, mit L k = P πk L k P T π k, Dahmen-Reusken Kapitel 3 39

40 Hierbei ist π n = I, π k = τ n τ k+, k = 0,..., n 2. Insgesamt erhält man (! Fehler in (3.56) im Buch). L L n R = P π 0 A. Da die L k wieder Frobenius-Matrizen sind, folgt nun die behauptete Faktorisierung. Dahmen-Reusken Kapitel 3 40

41 3.5.2 Durchführung der LR-Zerlegung Skalierung und Gauß-Elimination mit Spaltenpivotisierung Bestimme die Diagonalmatrix D = diag(d,..., d n ), so daß DA zeilenweise äquilibriert ist, d.h. d i = n k= a i,k, i =,..., n. Wende Gauß-Elimination mit Spaltenpivotisierung auf DA an. Im j-ten Schritt der Gauß-Elimination wählt man diejenige Zeile als Pivotzeile, die das betragsmäßig größte Element in der ersten Spalte der (n + j) (n + j) rechten unteren Restmatrix hat. Falls diese Pivotzeile und die j-te Zeile verschieden sind, werden sie vertauscht. Dahmen-Reusken Kapitel 3 4

42 Programmentwurf LR-Zerlegung mit Skalierung und Spaltenpivotisierung Für i =,2,..., n: d i / ( ) nk= ai,k ; Für j =,2,..., n: a i,j d i a i,j ; (Skalierung) Für j =,2,..., n : Berechne p mit j p n, so daß a p,j = max j i n a i,j ; r j = p; Vertausche Zeile j mit Zeile p; (Spaltenpivotisierung) Für i = j +, j + 2,..., n: a i,j a i,j a j,j (neue Einträge in L) Für k = j +, j + 2,..., n: a i,k a i,k a i,j a j,k ; (neue Einträge in R) Dahmen-Reusken Kapitel 3 42

43 Aufwand. Zeilensummenberechnung: n(n ) Additionen; Berechnung der Skalierung: n Divisionen; Für j =,2,..., n Berechnung der neuen Einträge in L: (n j) Divisionen; Berechnung der neuen Einträge in R: (n j) 2 Multiplik./Additionen Dominierender Aufwand: n j= (n j)2 = n j= j2 n 3 /3. Rechenaufwand LR-Zerlegung über Gauß-Elimination mit Spaltenpivotisierung kostet ca. 3 n3 Operationen. Die Skalierung (falls nötig) kostet nur O(n 2 ) Operationen. Dahmen-Reusken Kapitel 3 43

44 Beispiel A = 2 2 2, dann D = und DA = Gauß-Elimination mit Spaltenpivotisierung: (Skalierun j = : j = 2 : DA V ertauschung Elimination , V ertauschung Elimination Dahmen-Reusken Kapitel 3 44

45 Also L = Man rechnet einfach nach, daß , R = gilt, wobei P = = LR = PDA Die Matrix P ist das Produkt von P,3 und P 2,3. Merke: Skalierung/Äquilibrierung verbessert die Kondition des Problems. Pivotisierung verbessert die Stabilität der Gauß- Elimination/LR-Zerlegung (vgl. Abschnitt 3.8) Dahmen-Reusken Kapitel 3 45

46 3.5.3 Einige Anwendungen der LR-Zerlegung Sei A R n n eine Matrix die schon zeilenweise äquilibriert ist. Sei für diese Matrix die LR-Zerlegung PA = LR bekannt. Lösen eines Gleichungssystems Die Lösung von Ax = b ergibt sich über die Lösung zweier Dreieckssysteme Ax = b PAx = Pb LRx = Pb Ly = Pb und Rx = y. Zuerst bestimmt man also y durch Vorwärtseinsetzen aus Ly = P b, um danach x aus Rx = y durch Rückwärtseinsetzen zu berechnen. Dahmen-Reusken Kapitel 3 46

47 Mehrere rechte Seiten Hat man mehrere Gleichungssysteme mit derselben Matrix A, aber verschiedenen rechten Seiten b, so benötigt man nur einmal den dominierenden Aufwand zur Bestimmung der LR-Zerlegung ( 3 n3 ). Für jede rechte Seite fällt dann nur die Lösung von Ly = Pb, Rx = y für die verschiedenen rechten Seiten b an. Die dazu benötigte Anzahl der Operationen ist jeweils n 2, also von geringerer Ordnung. Dahmen-Reusken Kapitel 3 47

48 Berechnung der Inversen In den meisten Fällen ist es weder notwendig noch angebracht, die Inverse einer Matrix explizit zu berechnen. Dennoch gibt es Situationen, wo dies sinnvoll ist. Man kann dann folgendermaßen vorgehen. Sei x i R n die i-te Spalte der Inverse von A: Aus AA = I folgt A = ( x x 2... x n). Ax i = e i, i =,..., n. Zur Berechnung der Inverse bietet sich folgende Strategie an: Bestimme die LR-Zerlegung P A = LR über Gauß-Elimination mit Spaltenpivotisierung, Löse die Gleichungssysteme LRx i = Pe i, i =,..., n. Gesamtaufwand: etwa 4 3 n3 Operationen. Dahmen-Reusken Kapitel 3 48

49 Berechnung von Determinanten Aus PA = LR folgt det P det A = det L det R = det R. Wegen det P = det P n,rn det P n,rn...det P,r = ( ) #Zeilenvertauschungen, folgt det A = ( ) #Zeilenvertauschungen n j= r j,j. Dahmen-Reusken Kapitel 3 49

50 Nachiteration Rechnerarithmetik: statt L und R erhält man Näherungen L, R. Entsprechend ist der aus (3.59) berechnete Vektor x nicht die exakte Lösung von Ax = b. Das Ziel der Nachiteration ist, diese Näherung iterativ zu verbessern. Sei x 0 := x, r = r 0 := b Ax 0. Der Fehler δ 0 := x x 0 ist gerade die Lösung des Defektsystems Verfahren: Aδ 0 = Ax Ax 0 = b Ax 0 = r 0. Für k = 0,,2,..., gegeben r 0, berechne: Ly k = r k, Rδ k = y k ; x k+ := x k + δ k ; r k+ := b Ax k+ ; Um eine Verbesserung zu erzielen, wird r k in der Praxis oft mit doppelter Genauigkeit berechnet. Dahmen-Reusken Kapitel 3 50

51 3.6 Cholesky-Zerlegung Definition 3.3. A R n n heißt symmetrisch positiv definit (s.p.d.), falls A T = A (Symmetrie) und x T Ax > 0 (positiv definit) für alle x R n, x 0, gilt. Dahmen-Reusken Kapitel 3 5

52 Beispiel A = I (Identität) ist s.p.d. Die Symmetrie ist trivial und x T Ix = x T x = x 2 2 > 0, falls x Sei B R m n, m n, und B habe vollen Rang. Dann ist A := B T B R n n s.p.d., denn: A T = (B T B) T = B T (B T ) T = B T B = A. Sei x R n, x 0. Dann gilt x T Ax = x T B T Bx = (Bx) T (Bx) = Bx Es gilt x T Ax = Bx 2 2 = 0 nur falls Bx = 0 gilt. Da B vollen Rang hat, muß daher x = 0 sein. Dahmen-Reusken Kapitel 3 52

53 Satz A R n n sei s.p.d. Dann gelten folgende Aussagen: (i) A ist invertierbar, und A ist s.p.d. (ii) A hat nur strikt positive (insbesondere reelle) Eigenwerte. (iii) Jede Hauptuntermatrix von A ist s.p.d. (iv) Die Determinante von A ist positiv (und damit die Determinante aller Hauptuntermatrizen von A). (v) A hat nur strikt positive Diagonaleinträge und der betragsgrößte Eintrag von A liegt auf der Diagonalen. (vi) Bei der Gauß-Elimination ohne Pivotisierung sind alle Pivotelemente strikt positiv. Dahmen-Reusken Kapitel 3 53

54 Satz 3.34 Jede s.p.d. Matrix A R n n besitzt eine eindeutige Zerlegung A = LDL T, wobei L eine normierte untere Dreiecksmatrix und D eine Diagonalmatrix mit Diagonaleinträgen d i,i > 0, i =,..., n, ist. Umgekehrt ist jede Matrix der Form LDL T, wobei D eine Diagonalmatrix ist, die d i,i > 0 erfüllt, und L eine normierte untere Dreiecksmatrix ist, symmetrisch positiv definit. Diese Zerlegung heißt Cholesky-Zerlegung. Aufgrund von Satz 3.33 (vi) ist bei s.p.d. Matrizen Gauß-Elimination ohne Pivotisierung durchführbar. Dahmen-Reusken Kapitel 3 54

55 Konstruktion der Cholesky-Zerlegung Beispiel A = Es gilt , L = LDL T = = 0 0 l 2, 0 l 3, l 3,2 0 0 l 2, 0, D = l 3, l 3,2 d, 0 0 l 2, d, d 2,2 0 l 3, d, l 3,2 d 2,2 d 3,3 d, d 2, d 3,3 l 2, l 3, 0 l 3,2 0 0 d, d 2, d 3,3 l 2, l 3, 0 l 3,2 0 0 Die elementweise Auswertung der Gleichung LDL T = A, die man aufgrund der Symmetrie auf den unteren Dreiecksteil beschränken kann, ergibt.. Dahmen-Reusken Kapitel 3 55

56 j = : (,)-Element: d, = a, = 2 = d, = 2 (2,)-Element: l 2, d, = a 2, = 6 l 2, = 6/2 l 2, = 3 (3,)-Element: l 3, d, = a 3, = 2 = l 3, = 2/2 = l 3, = j = 2: (2,2)-Element: l 2 2, d, + d 2,2 = a 2,2 = 2 d 2,2 = = d 2,2 = 3 (3,2)-Element: l 3, d, l 2, + l 3,2 d 2,2 = a 3,2 = 0 = l 3,2 = ( ) 2 3/3 l 3,2 = 2 j = 3: (3,3)-Element: l 2 3, d, + l 2 3,2 d 2,2 + d 3,3 = a 3,3 = 6 d 3,3 = 6 ( ) d 3,3 = 2 = L = , D = Dahmen-Reusken Kapitel 3 56

57 Cholesky-Verfahren Für die aufeinanderfolgenden Spalten, k =,2,..., n, hat man explizite Formeln für d k,k und l i,k (i > k): d k,k = a k,k l i,k = ( a i,k k j= k j= l 2 k,j d j,j, l i,j d j,j l k,j )/d k,k. Dahmen-Reusken Kapitel 3 57

58 Programmentwurf Cholesky-Verfahren Für k =,2,..., n: diag a k,k j<k a 2 k,j a j,j; falls diag < 0 5 a k,k Abbruch a k,k diag, für i = k +,..., n a i,k ( a i,k j<k a i,j a j,j a k,j ) /ak,k ; Rechenaufwand Man kann das Cholesky-Verfahren mit ca. 6 n 3 Multiplikationen und etwa ebenso vielen Additionen realisieren. Der Rechenaufwand beträgt also etwa die Hälfte des Aufwands der Standard-LR-Zerlegung. Dahmen-Reusken Kapitel 3 58

59 Bemerkung LDL T entspricht der LR-Zerlegung für R = DL T. Bei s.p.d. Matrizen ist Pivotisierung weder nötig noch sinnvoll. Beachte, daß Pivotisierung die Symmetrie der Matrix zerstören würde. Die Lösung des Problems Ax = b reduziert sich wieder auf Ly = b, DL T x = y, d.h. L T x = D y. In obiger Version enthält das Verfahren die Abfrage diag < 0 5 a k,k. Falls dies gilt, kann nicht mehr gewährleistet werden, daß das entsprechende Pivotelement strikt positiv ist. In diesem Sinne testet das Verfahren Positiv-Definitheit. Dahmen-Reusken Kapitel 3 59

60 Bandmatrizen A = a, a,p a q, a n p+,n a n,n q+ a n,n. Man sagt dann, A hat Bandbreite p + q. Unter gewissen Voraussetzungen erlaubt die Bandstruktur eine erhebliche Reduktion des Rechen- und Speicheraufwands: Dahmen-Reusken Kapitel 3 60

61 Bei Gauß-Elimination ohne Pivotisierung bleibt die Bandbreite erhalten. Sei L, R die entsprechende LR-Zerlegung. Dann hat L die Bandbreite q und R die Bandbreite p. Der Rechenaufwand bei der LR-Zerlegung ist von der Ordnung pqn, beim Vor- und Rückwärtseinsetzen von der Ordnung (p + q)n. Falls die Bandbreiten kleine Konstanten sind, wird der Aufwand also im wesentlichen durch n bestimmt, so daß sich insgesamt ein Rechenaufwand ergibt, der proportional zur Anzahl n der Unbekannten ist. Dahmen-Reusken Kapitel 3 6

62 Tridiagonalmatrizen Ein wichtiger Spezialfall ergibt sich mit p = q = 2. Die allgemeine Form ist a, a,2 0 0 a 2, a 2,2 a 2, a 3,2 a 3, a n,n 0 0 a n,n a n,n Algorithmus zur Bestimmung der LR-Zerlegung: Setze r, := a,. Für j = 2,3,..., n: l j,j = a j,j /r j,j r j,j = a j,j r j,j = a j,j l j,j r j,j.. Rechenaufwand Ca. 5n Operationen. Dahmen-Reusken Kapitel 3 62

63 3.8 Stabilitätsanalyse bei der LR- und Cholesky-Zerlegung Nach dem Prinzip der Rückwärtsanalyse wird das Ergebnis der Rechnung als Ergebnis exakter Rechnung zu gestörten Eingabedaten A + A interpretiert. Kann man A abschätzen, so liefert der Störungssatz 3.9 über die Kondition Abschätzungen für den Fehler x / x. Sei Ax = b mit A symmetrisch positiv definit. Das Cholesky-Verfahren wird eingesetzt. Man kann zeigen, daß die berechnete Lösung x die exakte Lösung eines gestörten Systems ist, wobei man die Störung durch (A + A) x = b abschätzen kann. A A c n eps Dahmen-Reusken Kapitel 3 63

64 Hierbei ist eps die Maschinengenauigkeit und c n eine kleine Zahl, welche nur von der Dimension n der Matrix A abhängt. Die Störung A ist in der Größenordnung der Datenrundungsfehler. Deshalb ist das Resultat x mit einem Fehler behaftet, der in der Größenordnung des durch die Kondition des Problems bedingten unvermeidbaren Fehlers bleibt: x x x κ (A) A A κ (A) A A κ (A)c n eps κ (A)c n eps κ (A)c n eps wenn κ (A)c n eps. Damit ist das Lösen eines s.p.d. Systems über das Cholesky-Verfahren stabil. Dahmen-Reusken Kapitel 3 64

65 Falls A nicht symmetrisch positiv definit ist, kann man zur Lösung des Problems Ax = b auf eine LR-Zerlegung der Matrix A zurückgreifen. Dazu wird die Gauß-Elimination eingesetzt. Falls Gauß-Elimination mit Spaltenpivotisierung angewendet wird, kann man Resultate wie beim Cholesky-Verfahren zeigen. Damit kann man die Lösung eines linearen Gleichungssystems über die Gauß-Elimination mit Spaltenpivotisierung als ein stabiles Verfahren einstufen. Die Lösung über die Gauß-Elimination ohne Pivotisierung ist im allgemeinen nicht stabil. Dahmen-Reusken Kapitel 3 65

66 Beispiel Betrachte Ax = b, wobei A R n n eine sogenannte Hilbertmatrix ist: Wir wählen b = ( n, A = 2. n n+ n+,..., 2n. n n+. n n ) T, d.h., x = (0,0,...,0,) T. A ist s.p.d. Sei n = 2. Cholesky-Verfahren auf einer Maschine mit eps 0 6. Das berechnete Resultat x ist mit einem Fehler x x x behaftet! Erklärung: κ (A) = A A Dahmen-Reusken Kapitel 3 66

67 3.9. QR-Zerlegung Eine Alternative zur LR-Zerlegung bietet die QR-Zerlegung einer Matrix. Die Matrix A wird zerlegt in eine Dreiecksmatrix und eine orthogonale matrix. Orthogonale Matrizen Eine Matrix Q R n n heißt orthogonal, falls Q T Q = I, d.h., falls die Spalten von Q eine Orthonormalbasis des R n bilden. Die Inverse einer solchen Matrix ist also einfach zu bestimmen: Q = Q T. Dahmen-Reusken Kapitel 3 67

68 Satz 3.4. Sei Q R n n orthogonal. Dann gilt: (i) Q T ist orthogonal. (ii) Qx 2 = x 2 für alle x R n. (iii) κ 2 (Q) =. (iv) Für beliebiges A R n m bzw. A R m n, m N beliebig, gilt A 2 = QA 2 = AQ 2. (v) Es gilt (für A wie vorhin) κ 2 (A) = κ 2 (QA) = κ 2 (AQ). (vi) Sei Q R n n orthogonal, dann ist Q Q orthogonal. Dahmen-Reusken Kapitel 3 68

69 Bemerkungen Grundlage ist folgende einfache Beobachtung: Gelingt es, A R n n als Produkt A = QR zu schreiben, wobei Q orthogonal und R eine obere Dreiecksmatrix ist, so gilt Ax = b QRx = b Rx = Q T b, d.h., das Problem reduziert sich wieder auf Rückwärtseinsetzen, falls R, also A, invertierbar ist. Die QR-Zerlegung kann auch für allgemeine rechteckige (m n)- Matrizen konstruiert werden. Zwei Methoden: Givens-Rotationen und Householder-Transformationen. Dahmen-Reusken Kapitel 3 69

70 3.9. Givens-Rotationen Grundaufgabe: Gegeben sei (a, b) T R 2 \ {0}. Finde c, s R mit ( ) ( ) ( ) c s a r = s c b 0 und c 2 + s 2 =. Offensichtlich ist die obige Matrix dann orthogonal. Bemerkung Man kann wegen c 2 + s 2 = c = cos φ, s = sin φ für ein φ [0,2π] setzen, d.h., die obige Matrix stellt eine Drehung im R 2 um den Winkel φ dar, vgl. Abb.3.3. Für die tatsächliche Rechnung wird φ allerdings nie benötigt. Dahmen-Reusken Kapitel 3 70

71 Da eine Drehung die Euklidische Länge eines Vektors unverändert läßt, gilt natürlich (r,0) T 2 = r = a 2 + b 2 = (a, b) T 2. (0,) (s, c) φ (,0) (c, s) Die Lösung der Grundaufgabe ist: r := ± a 2 + b 2, c := a r, s := b r. Dahmen-Reusken Kapitel 3 7

72 Givens-Rotations-Matrix G i,k = i k... i c 0 0 s k s 0 0 c... O m (R). Dahmen-Reusken Kapitel 3 72

73 für x. G i,k x m = r = ± x 2 i + x2 k, i x. k 0 x k+. x m x i r x i+. x k c = x i r, s = x k r. Dahmen-Reusken Kapitel 3 73

74 Beispiel G,2 5 0 G, mit G,2 = , G,3 = Dahmen-Reusken Kapitel 3 74

75 Reduktion auf obere Dreiecksgestalt Beispiel G,4 G, G 2,4 G, G 3,4 G 2, Mit werden die Einträge angedeutet, die bei der Anwendung von G i,k neu berechnet werden müssen. Die Reihenfolge G,2, G,3, G,4, G 2,3, G 2,4, G 3,4 wäre auch möglich.. Dahmen-Reusken Kapitel 3 75

76 Beispiel wobei G,4 = G, G 2, , G 2,4 = , Dahmen-Reusken Kapitel 3 76

77 Die obige Konstruktion mit Givens-Rotationen zeigt, daß für jede Matrix A R m n eine QR-Zerlegung existiert: Satz Sei A R m n. Dann existiert ein Q O m (R) und eine obere Dreiecksmatrix R R m n mit A = QR, wobei R im Sinne von (3.89), (3.90) zu verstehen ist. Hinsichtlich der Implementierung der QR-Zerlegung über Givens-Rotation bemerken wir, daß die Matrizen G i,k nie explizit berechnet werden. Dahmen-Reusken Kapitel 3 77

78 Zusammenfassend QR-Zerlegung über Givens-Rotationen: Das Verfahren sehr stabil (siehe auch [GL]). Pivotisierung ist nicht erforderlich. Durch Berücksichtigung von schon vorhandenen 0-Einträgen bei dünnbesetzten Matrizen läßt sich das Verfahren flexibel an die Struktur einer Matrix anpassen. Der Aufwand für die QR-Zerlegung einer vollbesetzten m n- Matrix über Givens-Rotationen beträgt etwa 4 3 n3 Operationen, falls m n, und etwa 2mn 2 Operationen, falls m n. Zu beachten ist aber, daß für dünnbesetzte Matrizen der Aufwand wesentlich niedriger ist. Bei sogenannten schnellen Givens-Rotationen wird der Aufwand etwa halbiert ( 2 3 n3, falls n m; mn 2, falls m n). Dahmen-Reusken Kapitel 3 78

79 Householder-Transformationen Zu v = (v,..., v n ) T R n, v 0, definiert man die Dyade vv T := v. v n (v,..., v n ) = v v. v n v Man definiert nun die Householder-Transformation v v n. v n v n. Eigenschaften Q v = I 2 vvt v T v. Q v = Q T v. Q 2 v = I Q αv = Q v, α R, α 0 Q v y = y y T v = 0. Q v v = v. Dahmen-Reusken Kapitel 3 79

80 Die Householder Transformation Q v ist orthogonal: Q v = Q T v. Geometrische Interpretation: Spiegelung. Sei H v = {x R n x T v = 0}. H v y v Q v y Dahmen-Reusken Kapitel 3 80

81 Grundaufgabe Zu y R n, y / span(e ), finde v R n, so daß Q v y = ± y 2 e gilt. Man erhält als Lösung der Grundaufgabe: v = y ± y 2 e. Um Auslöschung bei der Berechnung von v = (y ± y 2, y 2,..., y n ) T zu vermeiden, wählt man: v = y + sign(y ) y 2 e, mit sign(0) :=. Mit dieser Wahl erhält man insgesamt α = sign(y ) y 2 v = y + αe Q v y = αe. Dahmen-Reusken Kapitel 3 8

82 Beispiel 3.5 Zu y = (2,2,) T wird v R 3 gesucht, so daß Q v y = ± y 2 e = ±3 gilt. Aufgrund von (3.94) ergibt sich α = 3 und v = y + αe = (5,2,) T, so daß 3 Q v y = 0. 0 Beachte: zur Berechnung von Q v y die explizite Form von Q v Q v = I 2 vvt v T v = nicht benötigt wird (5,2,) (5,2,) = Dahmen-Reusken Kapitel 3 82

83 Reduktion auf obere Dreiecksform Sei a die erste Spalte der Matrix A R m n, m n. Man wendet die Grundaufgabe mit y = a an, d.h., man setzt v = a + sign(a, ) a 2 e, Q := Q v O m (R), (6) so daß sich Q A = 0. à (2) 0 = A (2) mit à (2) R (m ) (n ) ergibt. Dann erhält man Q 2 Q A = à (3) 0 0 = A (3). Q n... Q 2 Q A = R, also A = Q Q 2... Q n R = QR. Dahmen-Reusken Kapitel 3 83

84 Beispiel A = 2 0, v = 2 0 Q := Q v, Q A = Q 2 + 3e = Q Für die zwei Spalten der Matrix Q A ergibt sich Q 0 0 = 0 0 Q 2 2 = 2 (v ) T v v (v ) T 3 0 (siehe (3.94)), = v = Dahmen-Reusken Kapitel 3 84

85 Daraus folgt Q A = v 2 = Q 2 = Q v 2; Q 2 2 ( = ) = ( ( 2 3 ( + 2) ) 2 3 ) (siehe (3.94)).. Insgesamt erhält man Q 2 0 Q A = Dahmen-Reusken Kapitel 3 85

86 Zusammenfassend QR-Zerlegung über Householder-Spiegelung: Dieses Verfahren ist ebenfalls sehr stabil. Gesonderte Pivotisierung ist wiederum nicht erforderlich. Der Aufwand für die QR-Zerlegung einer vollbesetzten m n- Matrix über Householder-Transformationen ist etwa 2 3 n3 Operationen, falls m n, und etwa mn 2 Operationen, falls m n. Wichtige Anwendungen der QR-Zerlegung: Ausgleichsrechnung, Berechnung von Eigenwerten. Dahmen-Reusken Kapitel 3 86