Kapitel 2: Lineare Gleichungssysteme. 2.1 Motivation: Bildverarbeitung Sei B = (B(n, m)) ein N M stochastisches Feld mit ZVen

Transkript

1 Kapitel 2: Lineare Gleichungssysteme 21 Motivation: Bildverarbeitung Sei B = (B(n, m)) ein N M stochastisches Feld mit ZVen B(n, m) : Ω {0,,255}, n = 1,,N, m = 1,,M dig Camera Realisierung von B η ist additives (weißes) Rauschen Realisierung von B B = Blur(B)+η Ziel: Umkehrung von Blur und Bildentrauschen

2 Linearisiertes Wiener-Filter (h W ): Bestimme eine Matrix h W R K K, K << min{n, M}, so dass ( E B B B h W 2) min Berechnung der Extrema führt zum linearen Gleichungssystem für h W Realisierungen: B B B = Blur(B)+η B B h W B

3 21 Motivation: Elektrische Netzwerke Gegeben: Widerstände R j, j = 1,,5, und Spannung U Gesucht: Ströme I j, j = 1,,6 U R1 C R2 I 1 R6 I 2 A R3 I 3 B I 4 I 6 I 5 R4 D R5 Gesetze von Kirchhoff und Ohm ergeben das Gleichungssystem I 1 I 3 + I 4 = 0, I 2 + I 3 I 5 = 0, I 1 + I 2 + I 6 = 0, I 4 + I 5 I 6 = 0 R 1 I 1 R 4 I 4 + R 6 I 6 = U R 2 I 2 R 5 I 5 R 6 I 6 = 0 R 3 I 3 + R 4 I 4 + R 5 I 5 = 0 R 1 I 1 + R 2 I 2 + R 3 I 3 = U

4 Problem 2: Seien A R n n regulär und b R n Löse Ax = b 22 Konditionierung des Problems 2 Sei eine Vektornorm bzw die zugehörige natürliche Matrixnorm 221 Hilfsatz: Sei B R n n mit B < 1 Dann ist die Matrix I + B regulär, und es gilt (I + B) B 222 Störungssatz: Die Matrix A R n n sei regulär, und es sei A à < 1 A 1 Dann ist die Matrix à Rn n regulär und es gilt x x x cond(a) 1 cond(a) A à A ( b b ) + A à b A mit der Konditionszahl cond(a) = A A 1 von A

5 Bemerkungen: (i) Ist cond(a) A A << 1, so wird x x x cond(a) ( b b ) + A Ã, b A dh cond(a) ist der Verstärkungsfaktor, mit dem sich die relativen Eingabefehler auf den relativen unvermeidbaren Problemfehler auswirken (ii) Die Abschätzung im Satz 222 ist scharf 23 Direkte Eliminationsverfahren Um Ax = b mit der Cramerschen Regel zu lösen, brauchen die Rechner mit 10 8 Gleitkommaoperationen pro Sekunde n Rechenzeit 04 s 1 min 36 Stunden 41 Tage 38 Jahre Jahre

6 231 Dreiecksmatrizen, Rückwärtseinsetzen Sei A R n n eine reguläre obere Dreiecksmatrix a 11 x 1 + a 12 x a 1n x n = b 1 a Ax = b 22 x a 2n x n = b 2 a nn x n = b n Die Lösung durch Rückwärtseinsetzen: n2 2 Rechenoperationen x n = b n ; x j = 1 n b j a jk x k, j = n 1,,1 a nn a jj k=j+1 }{{} n j Mult/Add 232 Gauß-Elimination mit Pivotierung, LR Zerlegungvon A Idee: Ax = b CAx = Cb, det(c) 0, CA obere Dreiecksmatrix

7 Definitionen+Eigenschaften: Seien e 1,,e n R n die standard Einheitsvektoren (i) Frobeniusmatrizen 1 G k := 1 g k+1,k 1 g n,k 1 = I 0 g k+1,k g n,k e k T, k = 1,,n 1 sind regulär (ii) Permutationsmatrizen P ij = I (e i e j )(e i e j ) T, 1 i j n, sind symmetrisch und unitär, dh P 2 i,j = I (iii) G 1 G 2 G n 1 und P ij G k P ij, 1 k < i j n sind untere Dreiecksmatrizen

8 Algorithmus: (Gauß-Elimination mit Pivotierung) Gegeben: A R n n regulär, b R n Initialisierung: [A (0) ; b (0) ] = [A; b] Für i = 1,,n 1: end Pivotsuche: a (i 1) ji = max a (i 1) k,i i k n, j i Pivotierung: [Ã(i 1) ; b (i 1) ] = P ij [A (i 1) ; b (i 1) ] Gauß-Elimination: mit g k,i = ã (i 1) k,i [A (i) ; b (i) ] = G i [Ã(i 1) ; b (i 1) ] /ã (i 1) i,i, i + 1 k n Ausgabe: obere Dreiecksmatrix A (n 1) und b (n 1)

9 Bemerkungen: (i) Man braucht a priori nicht zu wissen, ob A regulär ist Ist a (i 1) ji = 0 für ein i = 1,,n 1, dann ist A singulär und der Algorithmus muss abgebrochen werden ( 0 1 (ii) Man kommt ohne Pivotierung nicht aus, zb bei A = 1 1 Satz:(LR-Zerlegung von A) Zu jeder regulären A R n n existiert eine Permutationsmatrix P, eine eindeutige untere Dreiecksmatrix L = (l ij ), l ii = 1, i = 1,,n, und eine eindeutige obere Dreiecksmatrix R, so dass P A = L R ) Bemerkung: Läßt sich die Gauß-Elimination ohne Pivotierung durchführen, so gilt A = L R, R := A (n 1), L := (G n 1 G 1 ) 1

10 Bemerkungen: (i) Rechenaufwand der Gauß-Elimination mit Pivotierung ist n3 3 + O(n2 ) (ii) Sei A R n n regulär Dann gilt Ax = b LRx = Pb Ly = Pb, Rx = y (iii) Bei Verwendung von Gleitkommaarithmetik erhält man die Matrizen L und R mit F := PA L R 0, wobei F 2 a eps 1 eps n 1, a 2 n 1 max a i,j i,j=1,,n

11 (iv) Nachiteration (Variante der Gauß-Elimination): Wird Ax = b mit stark verfälschter (zb durch Abspeichern von L und R in kurzem Zahlenformat und späteres Einlesen) LR-Zerlegung PA L R gelöst, so gilt für L R x = Pb A A = ǫ 1 >> 1, A = PA L R, x x x k A ǫ 1, k A := cond(a) 1 cond(a) A A Die verbesserte Lösung x (1) = x +δ (1), L Rδ (1) = P(b A x), erfüllt x x (1) x ka 2 ǫ2 1 (Verdopplung der exakten Dezimalstellen) Weitere Schritte der Nachiteration liefern Verbesserung bis zur Maschinengenauigkeit eps In der Praxis genügen 1-3 Schritte

12 233 Cholesky-Zerlegung Definition: Eine symmetrische Matrix A R n n heißt positiv definit, falls x T Ax > 0, x R n \{0} Satz (Cholesky-Zerlegung): Eine symmetrische Matrix A R n n ist positiv definit genau dann, wenn es eine untere Dreiecksmatrix G = (g j,k ) 1 j,k n R n n gibt, so dass A = G G T und g j,j > 0, j = 1,,n Bemerkung: Der Rechenaufwand der Cholesky-Zerlegung ist n O( n 2)

13 Algorithmus (Cholesky-Zerlegung): Eingabe: A R n n positiv definit Für j = 1,,n j 1 Berechne g j,j = aj,j i=1 g 2 j,i Für k = j + 1,,n berechne g k,j = 1 g j,j end ( ) j 1 a k,j g k,i g j,i Bemerkungen: (i) Man kommt bei der Cholesky-Zerlegung ohne Pivotierung aus, da alle Elemente auf der Hauptdiagonale von A (j), j = 0,,n 1, positiv sind (ii) Gleichzeitig stellt die Cholesky-Zerlegung einen Test dar, ob eine gegebene symmetrische Matrix positiv definit ist Ist sie nicht positiv definit, dann ist einer der Einträge g j,j 0 In diesem Fall bricht der Algorithmus ab i=1

14 24 Iterationsverfahren Das Gaußsche Eliminationsverfahren erfordert bei Bandmatrizen mit der Bandbreite M den Aufwand 1 3 nm2 Für große Matrizen (n > 10 6, M > 10 2 ) sind dies bereits Rechenoperationen Bei vielen Aufgaben für zwei- und dreidimensionale Modelle treten Matrizen mit sehr vielen Nullen in den Matrixeinträgen auf, die keine echte Bandstruktur aufweisen Das Gaußsche Eliminationsverfahren würde zum Auffüllen vieler dieser Stellen führen Iterationsverfahren bestimmen die Lösung x näherungsweise und nutzen dabei die Struktur der Matrix A aus, indem sie nur auf die von Null verschiedenen Einträge der Matrix A zugreifen Dies ermöglicht eine kompakte Speicherung dünn besetzter Matrizen (matlab sparse ) und spart Rechenoperationen Gute iterative Verfahren benötigen nm Rechenoperationene zum Lösen von Ax = b, wobei m die durchschnittliche Anzahl der von Null verschiedenen Einträge pro Zeile der Matrix ist

15 Mit einer beliebigen invertierbaren Matrix C R n n gilt die Äquivalenz Ax = b Cx = Cx Ax + b x = (I C 1 A)x + C 1 b Man versucht C so zu wählen, dass zu gegebenem Vektor x [k], k 0, der neue Vektor x (k+1) = (I C 1 A)x (k) + C 1 b mit wenig Aufwand zu berechnen ist, die Folge (x (k+1) ) k N gegen die Lösung von Ax = b konvergiert Zuerst betrachten wir zwei Verfahren, die wenig Aufwand zur Berechnung von x (k+1) erfordern

16 241 Gesamtschritt- und Einzelschrittverfahren Gesamtschrittverfahren (Jacobi-Verfahren 1845) Die Matrix A habe Diagonalelemente a ii 0 1 Wähle beliebigen Startvektor x (0) R n, zb x (0) i = b i a ii 2 Für k = 0, 1, 2, für i = 1, 2,,n: ( löse die i-te Gleichung nach x i ) x (k+1) i = 1 n a ii b i a ij x (k) j j=1 j i

17 Einzelschrittverfahren (Gauß-Seidel-Verfahren 1820) Die Matrix A habe Diagonalelemente a ii 0 1 Wähle beliebigen Startvektor x (0) R n, zb x [0] i = b i a ii 2 Für k = 0, 1, 2, für i = 1, 2,,n: ( löse die i-te Gleichung nach x i ) x [(k+1) i = 1 i 1 n b i a ij x (k+1) j a ij x (k) j a ii j=1 j=i+1

18 Beispiel: Zur numerischen Lösung des Randwertproblems 2 Ordnung u (x) = f(x), x [0, 1], mit u(0) = u(1) = 0 führt man die übliche Diskretisierung u (x k ) 2u(x k) u(x k 1 ) u(x k+1 ), h = 1 h 2 n+1, x k = kh, 0 k n+1, durch und löst das lineare Gleichungssystem Au = b mit der Tridiagonalmatrix A = R n n zur rechten Seite b k = h 2 f(x k ), 1 k n Für spätere Zwecke halten wir fest: die Eigenwerte von A sind ( λ k = 2 1 cos kπ ), 1 k n, n+1 und zugehörige Eigenvektoren sind ( v k = sin jkπ ) n+1 1 j n

19 Zu f(x) 1 sowie n = 4 ist die exakte Lösung u = (2, 3, 3, 2) T Gesamt- und Einzelschrittverfahren liefern die Werte der folgenden Tabellen Tabelle: GSV zum 1-dim Modellproblem, h = 1 5 x (0) x (1) x (2) x (3) x (4) x (5) x (6) x (7) x (20) Tabelle: ESV zum 1-dim Modellproblem, h = 1 5 x (0) x (1) x (2) x (3) x (4) x (5) x (6) x (7) x (20)

20 Die Matrix A = (a ij ) wird zerlegt in 0 0 a a 12 a 1n L = a 21, D = 0 0, R = an 1,n a n1 a n,n a nn 0 0 (i) Die Iterationsfunktion des Gesamtschrittverfahrens lautet φ GSV(x) = (I D 1 A)x + D 1 b = D 1 (L+R)x + D 1 b (ii) Die Iterationsfunktion des Einzelschrittverfahrens lautet φ ESV(x) = (I (L+D) 1 A)x+(L+D) 1 b = (L+D) 1 Rx+(L+D) 1 b Verglichen mit der allgemeinen Form φ(x) = (I C 1 A)x + C 1 b = Bx + c, werden hier also die folgenden Iterationsmatrizen verwendet: B = D 1 (L+R), B = (L+D) 1 R, (Gesamtschrittverfahren) (Einzelschrittverfahren)

21 Die Konvergenz der Fixpunktiteration x (k+1) = (I C 1 A)x (k) + C 1 b = Bx [k] + c (F) bei beliebigem Startwert x (0) R n : Satz: Die Matrizen A und C seien reguär Dann sind die folgenden Aussagen äquivalent: (i) Die Fixpunktiteration (F) konvergiert bei beliebigem Startvektor x [0] R n gegen die Lösung x des linearen Gleichungssystems Ax = b (ii) Die Iterationsmatrix B = I C 1 A hat den Spektralradius ρ(b) = max{ λ : λ Eigenwert von B} < 1 (iii) Es gibt eine natürliche Matrixnorm auf R n n mit B < 1 Bemerkung: Matrixnormen p, p = 1, 2, sind natürliche Matrixnormen

22 Äquivalenz von (ii) und (iii) folgt aus Hilfssatz: Gegeben sei die Matrix B R n n (i) Für jede natürliche Matrixnorm : R n n R gilt ρ(b) B (ii) Zur Matrix B R n n und beliebigem ǫ > 0 existiert eine natürliche Matrixnorm : R n n R so, dass für den Spektralradius ρ(b) gilt B ρ(b)+ǫ Bemerkungen: (i) Für hermitesche Matrizen B C n n stimmen der Spektralradius und die Spektralnorm überein: ρ(a) = A 2 (ii) Der Satz liefert die fundamentale Beziehung ( ρ(b) = lim sup B k ) 1/k, k wobei eine beliebige Matrixnorm ist

23 Satz: lineare Konvergenz der Fixpunktiteration Falls die Fixpunktiteration (F) bei beliebigem Startwert x [0] gegen die Lösung x von Ax = b konvergiert, so gilt lim sup k ( x [k] x ) 1/k ρ(b) x [0] x Bemerkung: Selbst wenn B 1, aber q = ρ(b) < 1 gilt, so wird nach einigen Schritten die lineare Konvergenz x [k] x 0 mit der Geschwindigkeit q k k 0 sichtbar

24 Definition und Satz: Eine Matrix A R n n heißt stark diagonaldominant, wenn a ii > n a ij für alle 1 i n gilt Falls A stark diagonaldominant ist, so gilt j=1 j i ρ( D 1 (L+R)) D 1 (L+R) < 1, ρ( (L+D) 1 R) (L+D) 1 R < 1 Satz: Falls A positiv definit ist, so konvergiert das Einzelschrittverfahren

25 Um die Konvergenz beim ESV zu beschleunigen, wird in jedem Berechnungsschritt (innere Schleife des ESV) eine Verlängerung der Korrektur vorgenommen: 242 SOR (=successive over-relaxation)-verfahren Die Matrix A habe Diagonalelemente a ii 0 Weiter sei ω R (ω wird Relaxationsparameter genannt) 1 Wähle beliebigen Startvektor x [0] R n, zb x [0] i 2 Für k = 0, 1, 2, für i = 1, 2,,n x [k+1] i = 1 i 1 b i a ij x [k+1] j a ii j=1 = b i a ii n a ij x [k] j=i+1 j x [k+1] i = ω x [k+1] i +(1 ω)x [k] i

26 Beispiel: Tabelle: SOR zum 1-dim Modellproblem, h = 1 5, ω = 12 x [0] x [1] x [2] x [3] x [4] x [5] x [6] x [7] x [13] Tabelle: SOR zum 1-dim Modellproblem, h = 1 5, ω = 13 x [0] x [1] x [2] x [3] x [4] x [5] x [6] x [7] x [9]

27 Iterationsfunktion des SOR-Verfahrens Mit A = L + D + R lautet die Iterationsfunktion des SOR-Verfahrens φ SOR (x) = H ω x +ω(d +ωl) 1 b, ω RR, mit der Iterationsmatrix H ω = (D +ωl) 1 ((1 ω)d ωr) Herleitung: i 1 a ii x [k+1] i +ω a ij x [k+1] j j=1 = ωb i ω n j=i+1 a ij x [k] j +(1 ω)a ii x [k] i Dies lautet (D +ωl)x [k+1] = ωb+((1 ω)d ωr)x [k] Bemerkung: Für ω = 1 ist φ SOR = φ ESV

28 Satz: (i) von Kahan: Für beliebiges A mit Diagonalelementen a ii 0 und beliebiges ω R ist ρ(h ω ) ω 1 Die Konvergenz des SOR-Verfahrens kann also höchstens für ω (0, 2) eintreten (ii) von Reich und Ostrowski: Für jede positiv definite Matrix A und jedes ω (0, 2) gilt ρ(h ω ) < 1, also ist das SOR-Verfahren konvergent

29 243 CG-Verfahren (konjugierte Gradienten) Problem 2 : Seien A R n n positiv definit und b R n Löse Ax = b Bemerkung: Problem 2 ist äquivalent zur Minimierungsaufgabe für die konvexe Funktion Φ : R n R Φ(x) = 1 2 x T Ax x T b min! Denn der Gradient Φ(x) = Ax b = 0 genau dann, wenn x das Problem 2 löst, und die Hessematrix A positiv definit ist Definition: Zwei Vektoren v, w R n \{0} heißen konjugiert bzgl A, falls (v, w) A = v T Aw = 0

30 Algorithmus: CG-Verfahren Die Matrix A R n n sei positiv definit und b R n Wähle beliebigen Startvektor x (0) R n 1 r (0) = A x (0) b, d (0) = r (0) 2 Für k = 0, 1, 2, x (k+1) = x (k) +α k d (k), α k = r(k) 2 2 (d (k),d (k) ) A r (k+1) = r (k) +α k A d (k) d (k+1) = r (k+1) +β k d (k), β k = r(k+1) 2 2 r (k) 2 2 Konvergenzgeschwindigkeit ist linear ( k x (k) cond2 (A) 1 x A 2 x cond2 (A)+1) (0) x A, y A := y T Ay