Numerisches Rechnen. (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang. Institut für Geometrie und Praktische Mathematik RWTH Aachen

Transkript

1 Numerisches Rechnen (für Informatiker) M. Grepl P. Esser & G. Welper & L. Zhang Institut für Geometrie und Praktische Mathematik RWTH Aachen Wintersemester 2011/12 IGPM, RWTH Aachen Numerisches Rechnen 1

2 Problemstellung Motivation Lineare Gleichungssysteme, iterative Verfahren geg.: A R n n, b R n, n 1, A dünnbesetzt; ges.: x R n, so dass Ax = b, wobei a 1,1 a 1,2 a 1,n x 1 b 1 a 2,1 a 2,2 a 2,n A =......, x = x 2., b = b 2. a n,1 a n,2 a n,n x n b n und die meisten a i,j = 0 sind. Annahme: A nichtsingulär, d.h. det(a) 0 Spalten von A bilden eine Basis in R n Ax = b eindeutig lösbar. IGPM, RWTH Aachen Numerisches Rechnen 192

3 Poisson-Gleichung Motivation Gesucht u C 2 (Ω) C( Ω), Ω = [0, 1] 2, so daß Beispiel 12.4.: Lösung der diskretisierten Poisson-Gleichung u = 1 in Ω, Für den Fall f 1, g 0, h = 2 6 (n = 64): u = 0 auf Ω. Typisches Beispiel: Wärmeleitungsgleichung, Diffusionsgleichung IGPM, RWTH Aachen Numerisches Rechnen 193

4 Poisson-Gleichung Motivation Diskretisierung mit Finite Differenzen Verfahren: Regelmäßiges quadratisches Gitter mit Schrittweite h = 1 n Ersetzen der Ableitungen durch Finite Differenzen Gesucht ist x R m, m = (n 1) 2, so dass Ax = b mit A R m m T I 4 1 A = 1 I T I h , T = I T I I T 1 4, T R (n 1) (n 1) und der Identitätsmatrix.I R (n 1) (n 1). IGPM, RWTH Aachen Numerisches Rechnen 194

5 Anzahl der Unbekannten ist bei d Ortsvariablen proportional zu h d. Dünnbesetzte lineare Gleichungssysteme Motivation Dünnbesetztheit: Poisson-Gleichung Steifigkeitsmatrizen sind immer dünnbesetzt, d. h. nur eine gleichmäßig beschränkte Anzahl von Einträgen pro Zeile ist von Null verschieden. Diskretisierung mit Finite Differenzen Verfahren: spy(a) nz = 1065 Dahmen-Reusken Elemente: 50625, nnz(g) = 1065, Kapitel density 13 = IGPM, RWTH Aachen Numerisches Rechnen 195

6 Poisson-Gleichung Motivation Eigenschaften von Steifigkeitsmatrizen: Hochdimensionalität Anzahl der Unbekannten h d bei d Ortsvariablen Dünnbesetztheit Blockstruktur Bei Diskretisierung auf regelmäßigen Rechteckgittern Schlechte Kondition Diskrete Poisson-Gleichung: κ(a) = ( ) 2 2 πh Symmetrie, Positiv-Definitheit Diagonaldominanz (strikt für <) a i,j a i,i für alle i, j i IGPM, RWTH Aachen Numerisches Rechnen 196

7 Poisson-Gleichung Motivation Nichtnullelemente von L bei der Cholesky-Zerlegung der Matrix A 1 : Problem des "fill in" bei Cholesky-Zerlegung A = LDL T : spy(l) 0 50 Fill-in bei einem direkten Löser Bemerkung Als direkter Löser für ein Gleichungssystem mit der Matrix A 1 würde sich die Cholesky-Zerlegung A 1 = LDL T anbieten. 200 Nichtnulleinträge der Matrizen A 1 und L: nz = 3389 h 1/16 1/32 1/64 1/128 nz(a 1 ) h 2 nz(l) h 3 Dahmen-Reusken Kapitel 13 6 Das Verhalten nz(l) h 3 gegenüber nz(a 1 ) 5h 2 zeigt den ungünsti- IGPM, RWTH Aachen Numerisches Rechnen 197

8 Motivation Dünnbesetzte Matrizen in Matlab Löse A x = b x = inv(a)*b x = Aˆ(-1)*b x = A\b Sparse Matrices Matlab is slow only if you use it incorrectly. (Mathworks) Wenn A dünnbesetzt ist, ist der Code langsam, wenn man den folgenden Befehl zu oft benutzt : A(i, j) = Warum? Hat damit zu tun, wie Matlab Matrizen speichert... IGPM, RWTH Aachen Numerisches Rechnen 198

9 Dünnbesetzte Matrizen in Matlab Motivation Beispiel, wie dünnbesetzte Matrizen in Matlab gespeichert werden: Was passiert, wenn wir den folgenden Befehl eingeben? C(3,1) = 42 IGPM, RWTH Aachen Numerisches Rechnen 199

10 Dünnbesetzte Matrizen in Matlab Motivation Vorher: Nachher: IGPM, RWTH Aachen Numerisches Rechnen 200

11 Motivation Dünnbesetzte Matrizen in Matlab Der Befehl C(3,1) = 42 benötigt Zeit, die proportional zu den Einträgen in C ist, die ungleich null sind Besseres Vorgehen: drei Vektoren generieren, die die Reihen und Spalten und zugehörige Einträge beinhalten: I(...) =... ; J(...) =... ; X(...) =... ; Zusammenbau der Matrix mit: A = sparse(i,j,x,n,n); Doppelte Einträge werden summiert (z.b. beim Finite Differenzen Code) Preallocate memory (spalloc). IGPM, RWTH Aachen Numerisches Rechnen 201

12 Motivation Aufgabe Für A R n n (nichtsingulär) und b R n ist das Gleichungssystem A x = b zu lösen. Wir nehmen an, daß n groß (n 1000) und A dünnbesetzt ist. Beispiele: Google-Matrix Markov-Ketten Netzwerkanalyse Diskretisierung von (partiellen) DGL (Finite Differenzen, Finite Elemente, Finite Volumen)... IGPM, RWTH Aachen Numerisches Rechnen 202

13 Motivation Erinnerung: Nachiteration Sei x 0 eine näherungweise Lösung von A x = b mit Residuum r 0 = b Ax 0. Der Fehler, δ 0 = x x 0, erfüllt A δ 0 = A x A x 0 = b A x 0 = r 0 Exakte Lösung ergibt sich aus x = x 0 + δ 0 = x 0 + A 1 (b A x 0 ) Problem: Lösung des LGS benötigt. aber... A δ 0 = b A x 0 IGPM, RWTH Aachen Numerisches Rechnen 203

14 Motivation Annahme: wir haben eine näherungweise Lösung x 0 Idee: x = x 0 + A 1 (b A x 0 ) x = x 0 + C(b A x 0 ) x k+1 = x k + C(b A x k ), k = 0, 1, 2,... Ersetze A 1 durch C, wobei A 1 durch C "gut" approximiert wird, und der Aufwand der Matrix-Vektor Multiplikation Cy gering ist. Führe Iteration für k = 0, 1, 2,... ein. Fixpunktiteration: x k+1 = x k + C(b A x k ) := Φ(x k ), k = 0, 1, 2,.... IGPM, RWTH Aachen Numerisches Rechnen 204

15 Motivation Fixpunktgleichung Φ(x) := x + C(b A x) mit geeignetem C R n n nichtsingulär. Fixpunktiteration x k+1 = Φ(x k ) = x k + C(b A x k ) = (I CA)x k + Cb, k = 0, 1, 2,... Für den Fehler e k := x k x ergibt sich also e k+1 = x k+1 x = Φ(x k ) Φ(x ) = (I CA)e k e k = (I CA) k e 0, k = 0, 1, 2,... IGPM, RWTH Aachen Numerisches Rechnen 205

16 Motivation Satz 13.3 Das Verfahren konvergiert für jeden Startwert x 0 gegen die Lösung x des Gleichungssystems genau dann, wenn ρ(i CA) < 1 gilt, wobei ρ(i CA) der Spektralradius, also der betragsmäßig größte Eigenwert, von I CA ist. Folgerung 13.5 Für eine beliebige Vektornorm mit zugehöriger Operatornorm gilt: x k x I CA k x 0 x, k = 0, 1, 2,... Die Konvergenz ist für jeden Startwert x 0 gesichert, falls für irgendeine Norm die Bedingung erfüllt ist. I CA < 1 IGPM, RWTH Aachen Numerisches Rechnen 206

17 Konvergenzrate Dünnbesetzte lineare Gleichungssysteme Motivation Maß für die Konvergenzgeschwindigkeit: ρ(i CA). Je kleiner ρ(i CA) ist, desto schneller wird der Fehler reduziert. Mittlere Fehlerreduktion in k Iterationsschritten ( ) e k 1 k σ k = λ e 0 1 = ρ(i CA) für k Reduktion des Anfangfehlers e 0 um Faktor 1 e benötigt k = ( ln σ k ) 1 Iterationsschritte Asymptotische Konvergenzrate ln(ρ(i CA)) IGPM, RWTH Aachen Numerisches Rechnen 207

18 Motivation Wahl von C Zu A R n n wähle C R n n so, daß A 1 durch C genügend gut in dem Sinne approximiert wird, daß ρ(i CA) möglichst klein ist. die Operation y Cy mit möglichst geringem Aufwand durchführbar ist. Beachte: Bei den meisten iterativen Verfahren wird die Operation y Cy durchgeführt, ohne daß die Matrix C explizit berechnet wird. IGPM, RWTH Aachen Numerisches Rechnen 208

19 Motivation Komplexität Zum Vergleich der unterschiedliche Verfahren, gehen wir davon aus, daß eine Klasse von Gleichungssytemen Ax = b vorliegt vorgegeben ist, mit welchem Faktor R ein (beliebiger) Startfehler reduziert werden soll ( e k = 1 R e0 ) Komplexität eines iterativen Verfahrens Größenordnung der Anzahl arithmetischer Operationen, die benötigt werden, um für das vorliegende Problem eine Fehlerreduktion um den Faktor R zu erreichen. IGPM, RWTH Aachen Numerisches Rechnen 209

20 Motivation Jakobi Gauß-Seidel SOR Conjugate Gradients (später) IGPM, RWTH Aachen Numerisches Rechnen 210

21 Problemstellung Lineare Gleichungssysteme, iterative Verfahren geg.: A R n n, b R n, det(a) 0, und n 1, A dünnbesetzt; ges.: x R n, so dass Ax = b, wobei a 1,1 a 1,2 a 1,n x 1 b 1 a 2,1 a 2,2 a 2,n A =......, x = x 2., b = b 2. a n,1 a n,2 a n,n x n b n und die meisten a i,j = 0 sind. Vorgehen x k+1 = x k + C(b A x k ), k = 0, 1, 2,.... IGPM, RWTH Aachen Numerisches Rechnen 211

22 Definition Definiere die Zerlegung A = D L U wobei a 1, a 2,2 0 D =......, 0 0 a n,n a 1,2 a 1,n. L = a. 2, , U = an 1,n. a n,1 a n,n IGPM, RWTH Aachen Numerisches Rechnen 212

23 Definition Diagonaldominanz Eine Matrix A R n n heißt strikt diagonaldominat, falls gilt n a i,j < a i,i. j=1 j i Zeilen-/Spaltensummenkriterium Eine Matrix A R n n erfüllt das starke Zeilensummenkriterium (bzw. Spaltensummenkriterium), wenn n a max i,j i a i,i < 1, n a bzw. max i,j j a i,i < 1. j=1 j i i=1 j i IGPM, RWTH Aachen Numerisches Rechnen 213

24 Beim Jacobi- oder Gesamtschrittverfahren: Die Iterationsvorschrift lautet C = (diag(a)) 1 = D 1. x k+1 = (I D 1 A) x k + D 1 b, d.h. in Komponentenschreibweise ergibt sich: Algorithmus 13.7 () Gegeben: Startvektor x 0 R n. Für k = 0, 1,... berechne: ( x k+1 i = a 1 i,i b i n ) a i,j x k j, i = 1, 2,..., n j=1 j i IGPM, RWTH Aachen Numerisches Rechnen 214

25 Vorgehen: Löse i-te Gleichung nach der i-ten Unbekannte x i auf. Verwende Werte aus dem vorherigen Iterationsschritt für die übrigen Unbekannten (x j, j i). Beachte: x k und x k+1 müssen gespeichert werden Verfahren leicht parallelisierbar Rechenaufwand. Der Rechenaufwand pro Iterationsschritt ist beim angewandt auf eine dünnbesetzte Matrix A R n n vergleichbar mit einer Matrix-Vektor-Multiplikation A x, beansprucht also O(n) Operationen. IGPM, RWTH Aachen Numerisches Rechnen 215

26 Konvergenz Satz 13.9 Für das gelten folgende Konvergenzkriterien: Falls A als auch 2D A symmetrisch positiv definit sind, folgt ρ(i D 1 A) < 1. Falls A irreduzibel diagonaldominant ist, gilt ρ(i D 1 A) I D 1 A < 1. Satz: hinreichende Bedingung Das konvergiert, falls A das starke Zeilensummen- oder Spaltensummenkriterium erfüllt. IGPM, RWTH Aachen Numerisches Rechnen 216

27 Beispiel Beispiel Das Diffusionsproblem mit der Matrix A 1. Es gilt ρ(i CA) = ρ(i D 1 A 1 ) = max{ h2 λ λ Eigenwert von A 1 } = 1 2 sin 2 ( 1 2 πh) = cos(πh) π2 h 2. Für die asymptotische Konvergenzrate gilt somit ln(ρ(i D 1 A 1 )) ln(1 1 2 π2 h 2 ) 1 2 π2 h 2. Um einen Startfehler um einen Faktor R zu reduzieren, sind etwa K = Iterationsschritte erforderlich. ln R ln ρ(i D 1 A 1 ) 2 π 2 h 2 ln R Beachte: Die geschätzte Anzahl der notwendigen Iterationsschritte wächst in Abhängigkeit der Schrittweite h wie die Konditionszahlen der betreffenden Matrizen. Dahmen-Reusken IGPM, RWTH Aachen Kapitel Numerisches 13 Rechnen

28 Beispiel Sei # die Anzahl von Iterationsschritten, die zur Reduktion des Startfehlers um einen Faktor R = 10 3 benötigt werden, und K die theoretische Schätzung von # aus: Ergebnisse: K = ln 103 ln(cos πh) 2 π 2 h 2 ln 103. h 1/40 1/80 1/160 1/320 # K Komplexität. Da m h 2, folgt, daß K m Iterationsschritte benötigt werden. Da jeder Schritt einen zu m proportionalen Aufwand erfordert, ergibt sich, daß die Komplexität des s (für diese Problemstellung) etwa c m 2 ist. IGPM, RWTH Aachen Numerisches Rechnen 218

29 Beispiel Gleichungssystem x 1 x 2 x 3 x 4 x 5 = IGPM, RWTH Aachen Numerisches Rechnen 219

30 Beispiel Konvergenz IGPM, RWTH Aachen Numerisches Rechnen 220

31 Beim Gauß-Seidel- oder Einzelschrittverfahren: Die Iterationsvorschrift lautet C = (D L) 1. x k+1 = (I (D L) 1 A) x k + (D L) 1 b, oder (D L) x k+1 = U x k + b, d.h. in Komponentenschreibweise ergibt sich: Algorithmus () Gegeben: Startvektor x 0 R n. Für k = 0, 1,... berechne: ( x k+1 i = a 1 i,i b i i 1 a i,j x k+1 j n ) a i,j x k j, i = 1, 2,..., n. j=1 j=i+1 IGPM, RWTH Aachen Numerisches Rechnen 221

32 Vorgehen: Löse i-te Gleichung nach der i-ten Unbekannte x i auf. Verwende die bereits vorher berechneten Komponenten der neuen Annäherung. Beachte: Nur ein Vektor muss gespeichert werden Verfahren nicht mehr einfach parallelisierbar Ergebnis hängt von der Reihenfolge der Berechnung ab. Rechenaufwand. Für eine dünnbesetzte Matrix A R n n ist der Rechenaufwand pro Iterationsschritt beim vergleichbar mit dem Aufwand beim, beträgt also O(n) Operationen. IGPM, RWTH Aachen Numerisches Rechnen 222

33 Konvergenz Satz Für das Gauß-Verfahren gelten folgende Konvergenzkriterien: Falls A symmetrisch positiv definit sind, folgt ρ(i (D L) 1 A) < 1 Falls A irreduzibel diagonaldominant ist, gilt ρ(i (D L) 1 A) I (D L) 1 A < 1. Satz: hinreichende Bedingung Das konvergiert, falls A das starke Zeilensummen- oder Spaltensummenkriterium erfüllt. IGPM, RWTH Aachen Numerisches Rechnen 223

34 Beispiel Beispiel Das Diffusionsproblem mit der Matrix A 1. Dafür gilt: ρ(i CA 1 ) = ρ(i (D L) 1 A 1 ) = (ρ(i D 1 A 1 )) 2 Hieraus ergibt sich: ρ(i CA 1 ) = cos 2 (πh) 1 π 2 h 2. ln(ρ(i (D L) 1 A 1 )) ln(1 π 2 h 2 ) π 2 h 2. Um einen Startfehler um einen Faktor R zu reduzieren sind (asymptotisch) etwa K Iterationsschritte erforderlich, wobei Ergebnisse: K = ln R ln(ρ(i (D L) 1 A 1 )) 1 π 2 ln R. h2 h 1/40 1/80 1/160 1/320 # K Dahmen-Reusken Kapitel IGPM, RWTH Aachen Numerisches Rechnen 224

35 Beispiel Komplexität Für das angewandt auf die diskrete Poisson- Gleichung A 1 x = b, A 1 R m m, m = (n 1) 2, n = 1 h ist die Komplexität c m 2 Operationen. Dahmen-Reusken Kapitel IGPM, RWTH Aachen Numerisches Rechnen 225

37 Successive Over-Relaxation In vielen Fällen ist die Veränderung der x i von Iteration zu Iteration immer in die gleiche Richtung Korrektur ("over-relaxing") des Iterationsschritts kann die Konvergenz verbessern IGPM, RWTH Aachen Numerisches Rechnen 227

38 Successive Over-Relaxation Iterationsvorschrift bei : ( x k+1 i = x k i + a 1 i,i b i i 1 a i,j x k+1 j n ) a i,j x k j, i = 1,..., n. j=1 Algorithmus () j=i Gegeben: Startvektor x 0 R n, Parameter ω (0, 2). Für k = 0, 1,... berechne: ( = x k i + ω a 1 i,i b i i 1 a i,j x k+1 j n a i,j x k j x k+1 i j=1 Dies entspricht der Iterationsvorschrift j=i ( 1 ω D L) xk+1 = ( 1 ω D L) xk A x k + b, d.h. C = ( 1 ω D L) 1. ), i = 1,..., n. IGPM, RWTH Aachen Numerisches Rechnen 228

39 Successive Over-Relaxation Rechenaufwand. Beim ist der Rechenaufwand pro Iterationsschritt vergleichbar mit dem Aufwand beim Gauß- Rechenaufwand. Seidel-Verfahren, Beim also O(n) Operationen ist der für Rechenaufwand ein dünnbesetztes pro Iterationsschritt A R n n. vergleichbar dem Aufwand beim Gauß-Seidel- Verfahren, also O(n) Operationen für eine dünnbesetzte Matrix Konvergenz A R n n. Satz Sei M ω := I ( 1 ω D L) 1 A die Iterationsmatrix des s. Es gilt: ρ(m ω ) ω 1. Für A s.p.d. gilt: ρ(m ω ) < 1 für alle ω (0, 2). Sei A irreduzibel diagonaldominant mit a i,j 0 für alle i j und a i,i > 0 für alle i. Dann gilt: ρ(m ω ) < 1 für alle ω (0, 1]. Dahmen-Reusken IGPM, RWTH Aachen Kapitel Numerisches 13 Rechnen

40 Beispiel Die Diffusionsgleichung wie in den Beispielen und für den Fall h = Beispiel Anzahl der Iterationen in Abhängigkeit von ω: Anzahl der Iterationen in Abhängigkeit von ω (h = ) Dahmen-Reusken IGPM, RWTH Aachen Kapitel Numerisches 13Rechnen

41 Optimaler Wert von ω Optimaler Wert von ω Der optimale Wert von ω ist stark problemabhängig. Für die meisten Probleme ist dieser optimale Wert nicht bekannt. Eine Ausnahme bildet die diskretisierte Poisson-Gleichung (Matrix A 1 ): Der optimale Wert von ω ist stark problemabhängig Für die meisten Probleme ist der optimal Wert nicht bekannt Ausnahme: diskrete Poisson-Gleichung (Matrix A 1 ) Satz Wir betrachten die diskretisierte Poisson-Gleichung A 1 x = b. Sei µ := ρ(i D 1 A 1 ) < 1 der Spektralradius der Iterationsmatrix des s. Sei M ω die Iterationsmatrix des s. Dann ist ρ(m ω ) für den Relaxationsparameter 2 2 ω opt := = 1 + µ µ µ 2 optimal und ρ(m ωopt ) = ω opt 1. IGPM, RWTH Aachen Numerisches Rechnen 231

42 Komplexität Komplexität. Für die diskretisierte Poisson-Gleichung A 1 x = b ergibt sich beim mit dem optimalen ω-wert eine sehr große Komplexitätsverbesserung im Vergleich zum Jacobi- und zum Gauß-Seidel- Verfahren. ( ) 2 cos(πh) ρ(m ωopt ) = ω opt 1 = = 1 sin(πh) 1 + sin(πh) 1 + sin(πh) 1 2πh. ln R K = ln ρ(m ωopt ) 1 2πh ln R ln R m. 2π Da der Aufwand pro Iteration proportional zu m ist, hat dieses Verfahren eine Komplexität (für die vorliegende Problemstellung) von c m 1.5 Operationen. IGPM, RWTH Aachen Numerisches Rechnen 232

43 Beispiel Dünnbesetzte lineare Gleichungssysteme Beispiel Poisson-Gleichung A 1 x = b mit x 0, b und R wie in Beispiel Wir verwenden das mit ω = ω opt. Ergebnisse: h 1/40 1/80 1/160 1/320 # K Dahmen-Reusken Kapitel IGPM, RWTH Aachen Numerisches Rechnen 233

45 Viele Problem in der Praxis führen auf große dünnbesetzte lineare Gleichungssysteme Direkte Verfahren Berechnung der Lösung bis auf Rundungsfehler in O(n 3 ) Operationen Problem des "fill-in" bei dünnbesetzten Matrizen Bestimmung der Lösung näherungweise Konvergenz hängt von Spektralradius ρ(i CA) ab Wenn A das strenge Zeilen- oder Spaltensummenkriterium erfüllt, konvergieren das, das Gauss- Seidel-Verfahren, und Succesive Over-Relaxation. IGPM, RWTH Aachen Numerisches Rechnen 235