2. Lineare Gleichungssysteme: direkte und iterative Lösungsverfahren

Transkript

1 2. Lineare Gleichungssysteme: direkte und iterative Lösungsverfahren Problem (P2): Löse Ax = b, A R n und b R. 2.1 Satz: Die folgenden Aussagen sind äquivalent: (i) Ax = b ist für jedes b eindeutig lösbar; (ii) Rang(A) = n; (iii) det(a) 0; (iv) Alle Eingenwerte von A sind ungleich Null; (v) A ist invertierbar; (vi) Ax = 0 hat eine eindeutige Lösung x = 0.

2 Konditionszahlen einer Matrix, Matrixnormen 2.2 Definition: Eine Abbildung : R n n [0, ) heißt Matrixnorm, wenn (i) A > 0 für alle A R n n, A 0; (ii) α A = α A für alle A R n n, α R; (iii) A+B A + B für alle A,B R n n. Eine Matrixnorm auf R n n heißt verträglich mit einer Vektornorm auf R n, wenn gilt Ax A x für alle A R n n,x R n. 2.3 Definition: Sei A R n n invertierbar. Konditionszahl cond(a) von A ist definiert durch cond(a) = A A 1.

3 Beispiele: A = max 1 j n k=1 A 1 = max 1 k n n a jk (Zeilensummennorm), n a jk (Spaltensummennorm). j=1 Sei A R n n symmetrisch, dann gilt A 2 = max{ λ : λ Eigenwert von A} (Spektralnorm). Die Matrixnormen 1, 2 bzw. sind verträglich mit den entsprechenden Vektornormen 1, 2 bzw..

4 2.4 Fehleranalyse, Kondition Problem (P2): Löse Ax = b, A R n n und b R n. Problem ( P2): Löse à x = b, à Rn n und b R n. Kondition: Vergleiche den Ausgabefehler x x mit den Eingabefehler A à und b b, wobei die Lösungen x und x von Ax = b bzw. à x = b ohne Rundungsfehler (exakt) berechnet werden; Hilfsatz: Sei B R n n mit B < 1. Dann ist die Matrix I +B invertierbar, und es gilt (I +B) B.

5 Störungssatz: Die Matrix A R n n sei invertierbar, und es sei A à < 1 A 1. Dann ist die Matrix à ebenfalls invertierbar, und für den relativen Fehler der Lösung von Ax = b gilt ( ) x x cond(a) b b + A Ã. x 1 cond(a) A à b A A Bemerkung: Ist cond(a) A A x x x cond(a) << 1, so wird ( ) b b + A Ã, b A d.h. cond(a) ist der Verstärkungsfaktor, mit dem sich die Eingabefehler A à und b b auf x x auswirken.

6 2.5 Eliminationsverfahren Satz (Cramersche Regel): Sei A R n n regulär. Die Lösung x von Ax = b ergibt sich als a 1,1... a 1,j 1 b 1 a 1,j+1... a 1,n det..... a n,1... a n,j 1 b n a n,j+1... a n,n x j =, j = 1,...,n. det(a) Rechner mit 10 8 Gleitkommaoperationen pro Sekunde n Rechenzeit 0.4 s 1 min 36 Stunden 41 Tage 38 Jahre Jahre

7 Gauß-Elimination mit Pivotierung und Äquilibrierung/Zeilenskalierung Beispiel (Gauß-Elimination mit Pivotierung): (P2) Löse x 1 x 2 x 3 = Initialisierung [A [0] ;b [0] ] = [A;b] 1.Schritt Pivotierung (keine Pivotierung erforderlich): [A [0] p ;b p [0] ] = I [A [0] ;b [0] ] Gauß-Elimination: [A [1] ;b [1] ] = /3 1 0 [A [0] p ;b p [0] ] 1/ Schritt Pivotierung: [A [1] p ;b p [1] ] = Gauß-Elimination: [A [2] ;b [2] ] = Löse Ax = b Löse / / /2 1 [A [1] ;b [1] ] x 1 x 2 x 3 [A [1] p ;b [1] p ] = 2 10/3 4.

8 Definitionen+Eigenschaften: (i) Permutationsmatrix P i,j ist die Einheitsmatrix I mit vertauschten i ten und j ten Zeilen. Die Matrixmultiplikation P i,j A vertauscht i te und j te Zeilen von A. (ii) Pivotsuche: Aus Gründen der numerischen Stabilität trifft man gewöhnlich die Wahl ar(k),k = max a j,k, k = 1,...,n 1, r(k) {k,...,n}. k j n Das Element a r(k),k heißt Pivotelement. (iii) Pivotierung (k-ter Schritt): Pivotsuche und Zeilenvertauschung [A p [k 1] ;b p [k 1] ] = P k,r(k) [A [k 1] ;b [k 1] ] mit 1 k r(k) n.

9 Algorithmus: (Gauß-Elimination mit Pivotierung) Gegeben: A R n n invertierbar, b R n. Initialisierung: Für k = 1,...,n 1: Pivotsuche: Pivotierung: [A [0] ;b [0] ] = [A;b] a [k 1] r(k),k = max a [k 1] k j n j,k Gauß-Elimination: mit g j,k = a [k 1],p j,k 1 [A [k] ;b [k] ] =, k r(k) n [A [k 1] p ;b p [k 1] ] = P k,r(k) [A [k 1] ;b [k 1] ] /a [k 1],p k,k, j = k +1,...,n,...1 g k+1,k 1 [A[k 1] p ;b p [k 1] ].... g n,k 1

10 Bemerkungen: (i) A [n 1] ist eine obere Dreiecksmatrix. (ii) Ax = b ist äquivalent zu A [n 1] x = b [n 1]. (iii) Man braucht a priori nicht zu wissen, ob A invertierbar ist. Ist a [k 1] r(k),k = 0 für ein k = 1,...,n 1, dann ist A singulär und der Algorithmus muss abgebrochen werden. Lemma: Sei A R n n invertierbar, b R n. Die zur Lösung von Ax = b mit Hilfe des Gauß-Eliminationsverfahren erforderliche Anzahl von arithmetischen Operationen ist n3 3. Satz (Numerische Stabilität der Gauß-Elimination): Seien A R n n invertierbar und b R n. Das Gleichungssystem A x = b wird mit Gauß-Elimination mit Pivotierung gelöst. Dann ist die unter dem Einfluss von Rundungsfehlern tatsächlich berechnete Lösung x die exakte Lösung des Gleichungssystems à x = b mit A à A n 1 (n 3 +2n 2 ) eps.

11 Äquilibrierung/Zeilenskalierung: Man kann manchmal die Konditionszahl einer invertierbaren Matrix A R n n verkleinern, indem man die Matrix A mit einer Diagonalmatrix D = d d nn, d jj = von links multipliziert (skaliert). Das Problem ( n 1 a jk ), k=1 (P2) Löse Ax = b, A R n n, b R n, hat die selbe Lösung als DAx = Db.

12 2.6 Iterationsverfahren: Jacobi- und Gauß-Seidel-Verfahren Fixpunkt-Iteration: Mit einer beliebigen invertierbaren Matrix C R n n gilt die Äquivalenz Ax = b Cx = Cx Ax +b x = (I C 1 A)x +C 1 b. Man versucht C so zu wählen, dass zu gegebenem Vektor x [k], k 0, der neue Vektor x [k+1] = (I C 1 A)x [k] +C 1 b mit wenig Aufwand zu berechnen ist; die Iterationsfunktion φ : R n R n, φ(x) = (I C 1 A)x +C 1 b kontrahierend ist und eine möglichst kleine Kontraktionszahl besitzt.

13 Darstellung der Iterationsfunktion: Die Matrix A wird in drei Teile zerlegt gemäß A = L+D +R mit 0 0 a a 12 a 1n. a L = , D =, R = an 1,n a n1 a n,n a nn 0 0 Proposition: a) Die Iterationsfunktion des Jacobi-Verfahrens (JV) lautet φ JV (x) = (I D 1 A)x +D 1 b = D 1 (L +R)x +D 1 b. b) Die Iterationsfunktion des Gauß-Seidel-Verfahrens (GSV) lautet φ GSV (x) = (I (L +D) 1 A)x +(L+D) 1 b = (L+D) 1 Rx +(L+D) 1 b. Verglichen mit der allgemeinen Form φ(x) = (I C 1 A)x +C 1 b, werden hier also die folgenden Matrizen C verwendet: C = D, a jj 0, j = 1,...,n. C = L+D a jj 0, j = 1,...,n. (JV) (GSV)

14 Konvergenzanalyse der Folge x [k+1] = φ(x [k] ), k 0: Definition: Die Iterationsfunktion φ : R n R n heißt kontrahierend, falls es eine Norm existiert, so dass für alle x,y R n gilt φ(x) φ(y) L x y mit der Kontraktionszahl 0 L = I C 1 A < 1. Satz: Die Matrizen A und C seien invertierbar. Dann sind die folgenden Aussagen äquivalent: (i) Die Folge (x [k] ) k N0 konvergiert bei beliebigem Startvektor x [0] R n gegen die Lösung x von Ax = b. (ii) Die Iterationsmatrix B = I C 1 A hat den Spektralradius ρ(b) = max{ λ : λ Eigenwert von B} < 1. (iii) Es gibt eine (natürliche) Matrixnorm auf R n n mit B < 1.

15 Beweisidee ((iii) (i)): Banachscher Fixpunktsatz: Sei φ : R n R n kontrahierend mit der Kontraktionszahl 0 L < 1. Dann hat x = φ(x) genau eine Lösung x R n. Für jeden Startwert x [0] R n konvergiert die Folge (x [k] ) k N0 mit gegen x. Beweisidee (Äquivalenz von (ii) und (iii)): x [k+1] = φ(x [k] ), k 0, Hilfssatz: Gegeben sei die Matrix B R n n. Für jede natürliche Matrixnorm : R n n R gilt ρ(b) B. Zur Matrix B R n n und beliebigem ǫ > 0 existiert eine natürliche Matrixnorm : R n n R so, dass für den Spektralradius ρ(b) gilt B ρ(b)+ǫ.

16 Bemerkungen: (i) Der Banachscher Fixpunktsatz liefert auch die folgenden Fehlerabschätzungen: für k 0 gelten x [k+1] x [k] L 1 L x[k] x [k 1] (a posteriori) x [k] x Lk 1 L x[1] x [0] (a priori) (ii) Die Matrixnormen p, p = 1,2, sind natürliche Matrixnormen. (iii) Satz: Falls die Matrix A R n n stark diagonaldominant ist, d.h. a jj > n a jk für alle j = 1,...,n, k=1 k j dann konvergieren die beiden Jacobi- und Gauß-Seidel-Verfahren für jeden Startvektor x [0] R n.