Numerische Lineare Algebra Spezielle Systeme

Transkript

1 Numerische Lineare Algebra Spezielle Systeme Friedrich Solowjow 2. Mai 2012, Bonn 1 / 34

2 1 Einleitung Übersicht Definitionen 2 3 Datenzugriff Speichertechniken 2 / 34

3 Übersicht Definitionen Gliederung 1 Einleitung Übersicht Definitionen 2 3 Datenzugriff Speichertechniken 3 / 34

4 Übersicht Definitionen Einleitung Viele numerische Probleme führen auf lineare Gleichungssysteme. Diese müssen unter folgenden Gesichtspunkten gelöst werden: Schnelligkeit Genauigkeit Effiziente Speichernutzung Vorteile durch Strukturausnutzung von dünnbesetzten Gleichungssystemen: Betrachtung der Nicht-Null-Einträge Rechenzeiteinsparung Speicherplatzeinsparung 4 / 34

5 Übersicht Definitionen Spezielle Systeme Es werden u. a. folgende Matrixstrukturen unterschieden: Definitheit Symmetrie Blocksysteme Vandermonde Tridiagonalmatrix Obere Hessenbergmatrix Bandstruktur 5 / 34

6 Übersicht Definitionen Definitheit Definition Sei A R nxn, x R n. A ist: positiv definit, falls x T A x > 0 positiv semidefinit, falls x T A x 0 negativ definit, falls x T A x < 0 negativ semidefinit, falls x T A x 0 indefinit, sonst 6 / 34

7 Übersicht Definitionen Symmetrie Definition Sei A R mxn. A heißt symmetrisch, wenn A = A T. Beispiel: A = a 11 a 1n..... a m1 a mn = a 11 a m a 1n a mn = A T 7 / 34

8 Übersicht Definitionen Blockmatrizen Definition Eine Blockmatrix, ist eine Matrix, die sich durch ein System kleinerer Matrizen darstellen lässt. ( B C Beispiel: Sei A R 2nx2n und B, C, D, E R nxn : A = D E ) 8 / 34

9 Übersicht Definitionen Vandermonde-Matrix Definition Eine Vandermonde-Matrix wird durch die folgende Form definiert: V n = x 1 x 2 x 3... x n x1 2 x2 2 x xn x n 1 1 x n 1 2 x n xn n 1 9 / 34

10 Übersicht Definitionen Tridiagonalmatrix Definition Sei A R nxn.a heißt Tridiagonalmatrix, wenn für i > j + 1 und j > i + 1 alle a ij = 0. Beispiel: A = a 11 a a 21 a 22 a a a(n 1)n 0 0 a n(n 1) a nn 10 / 34

11 Übersicht Definitionen Obere Hessenbergmatrix Definition Sei H R nxn. A heißt (obere) Hessenberg-Matrix, wenn h i,j = 0, für alle i > j + 1. Beispiel: H = h 11 h 12 h h 1n h 21 h 22 h h 2n 0 h 32 h h 3n h n(n 1) h nn 11 / 34

12 Übersicht Definitionen Bandmatrix Definition Seien p, q N mit p, q 0 und A R nxn. A ist genau dann eine Bandmatrix der Bandbreite l = p + q + 1, falls alle a ij = 0, für j + p < i oder i + q < j. 12 / 34

13 Übersicht Definitionen Bandmatrix A = a a 1(q+1) a (p+1) a(n q)n a n(n p)... a nn 13 / 34

14 Gliederung Einleitung 1 Einleitung Übersicht Definitionen 2 3 Datenzugriff Speichertechniken 14 / 34

15 Einleitung Satz 1 Sei A R nxn mit einer LU Zerlegung. Wenn A die obere Bandbreite q und die untere Bandbreite p hat, dann hat U die obere Bandbreite q und L hat die untere Bandbreite p. 15 / 34

16 Beweis Einleitung Der Beweis folgt induktiv. Aus der LU-Zerlegung von A ergibt sich: ( ) α ω T A = = υ B ( 1 0 υ/α I n 1 ) ( B υω T /α ) ( α ω T 0 I n 1 ) Mit den Eigenschaften der Teilmatrizen und der Induktionsvoraussetzung folgt: L = ( ) ( 1 0 α ω T und U = υ/α L 1 0 U 1 ) 16 / 34

17 Band-Gauss-Eliminationsverfahren Idee Sei A R nxn mit oberer Bandbreite q und unterer Bandbreite p. Es wird eine Lösung x des Problems Ax = b gesucht. Der folgende Algorithmus führt eine LU-Zerlegung durch und überschreibt A(i, j) mit L(i, j), falls i > j U(i, j), falls i j 17 / 34

18 Pseudocode Band-Gauss-Eliminationsverfahren for k = 1:n 1 do for i = k + 1:min(k + p, n) do A(i, k) = A(i, k)/a(k, k) end for for j = k + 1:min(k + q, n) do for i = k + 1:min(k + p, n) do A(i, j) = A(i, j) A(i, k)a(k, j) end for end for end for Wenn n >> p und n >> q, dann braucht der Algorithmus 2npq Flops. 18 / 34

19 Band-Vorwärtssubstitution Es wird eine Lösung x zu dem Problem Lx = b gesucht. Idee Sei L R nxn eine untere Dreiecksmatrix mit Bandbreite p. Der folgende Algorithmus überschreibt b mit der Lösung des Problems Lx = b. for j = 1:n do for i = j + 1:min(j + p, n) do b(i) = b(i) L(i, j)b(j) end for end for Wenn n >> p und n >> q, dann braucht der Algorithmus 2np Flops. 19 / 34

20 Band-Rückwärtssubstitution Es wird eine Lösung x zu dem Problem Ux = b gesucht. Idee Sei U R nxn eine obere Dreiecksmatrix mit Bandbreite q. Der folgende Algorithmus überschreibt b mit der Lösung des Problems Ux = b. for j = n: 1:1 do b(j) = b(j)/u(j, j) for i = max(1, j q):j 1 do b(i) = b(i) U(i, j)b(j) end for end for Wenn n >> p und n >> q, dann braucht der Algorithmus 2nq Flops. 20 / 34

21 Satz 2 Sei A R nxn eine nichtsinguläre Bandmatrix, mit oberer Bandbreite p und unterer Bandbreite q. Wenn man das Gaußsche Eliminationsverfahren mit partieller Pivotisierung benutzt um die Gauß-Transformation M j = I α (j) e T j, j = 1:n 1 und die Permutationsmatrizen P 1,..., P n 1 zu berechnen, sodass M n 1 P n 1... M 1 P 1 A = U obere Dreiecksmatrix ist, dann gelten folgende Zusammenhänge: 1 U hat obere Bandbreite p + q 2 α (j) = 0, wenn i j oder i > j + p 21 / 34

22 Obere Hessenbergmatrix Definition Sei H R nxn. A heißt (obere)hessenberg-matrix, wenn h i,j = 0, für alle i > j + 1. h 11 h 12 h h 1n h 21 h 22 h h 2n Beispiel: H = 0 h 32 h h 3n h n(n 1) h nn 22 / 34

23 Hessenberg-LU Einleitung Idee Sei H R nxn eine obere Hessenbergmatrix, U R nxn eine obere Dreiecksmatrix und M i, P i R nxn für 1 i < n. Gaußtransformation: M n 1 P n 1... M 1 P 1 H = U. Wenn i k H(i, k) = U(i, k) Wenn i = k + 1 H(i, k) = (M k ) k+1,k piv(1:n 1) ist ein Vektor, der Permutationen kodiert. 23 / 34

24 Pseudocode Hessenberg-LU for k = 1:n 1 if H(k, k) < H(k + 1, k) piv(k) = 1;H(k, k:n) H(k + 1, k:n) else piv(k) = 0 end if H(k, k) 0 t = H(k + 1, k)/h(k, k) for j = k + 1:n H(k + 1, j) = H(k + 1, j) + th(k, j) end H(k + 1, k) = t end end Der Algorithmus braucht n 2 Flops. 24 / 34

25 Einleitung Idee Sei A R nxn eine symmetrische und positiv definite Matrix. Aus der Cholesky-Zerlegung folgt: A = GG T (G R nxn ). Aus Satz 1 folgt: G hat die selbe Bandbreite wie A. 25 / 34

26 Pseudocode for j = 1:n for k =max(1, j p):j 1 λ =min(k + p, n) A(j:λ, j) = A(j:λ, j) A(j, k)a(a(j:λ, k)) end λ =min(j + p, n) A(j:λ, j) = A(j:λ, j)/ A(j, j) end Wenn n >> p, dann braucht der Algorithmus n(p 2 + 3p) Flops und n Wurzeln. 26 / 34

27 Definition Sei A R nxn.a heißt Tridiagonalmatrix, wenn für i > j + 1 und j > i + 1 alle a ij = 0. Beispiel: A = a 11 a a 21 a 22 a a a(n 1)n 0 0 a n(n 1) a nn 27 / 34

28 Idee Sei A R nxn symmetrische und positiv definite Tridiagonalmatrix. Man kann nun e i (1 i < n) finden, sodass A = LDL T mit: d e d L = , D = e n d n 28 / 34

29 Pseudocode Aus der Zerlegung folgt: a 11 = d 1 a k,k 1 = e k 1 d k 1 k = 2:n a kk = d k + ek 1 2 d k 1 = d k + e k 1 a k,k 1 k = 2:n Es ergibt sich folgender Algorithmus: d 1 = a 11 for k = 2:n e k 1 = a k,k 1 /d k 1 d k = a kk e k 1 a k,k 1 end 29 / 34

30 Pseudocode Um nun Ax = b zu lösen betrachten wir: Ly = b, Dz = y und L T x = z Es ergibt sich folgender Algorithmus: for k = 2:n t = e k 1 ; e k 1 = t/d(k 1); d(k) = d(k) te(k 1) end for k = 2:n b(k) = b(k) e(k 1)b(k 1) end b(n) = b(n)/d(n) for k = n 1: 1:1 b(k) = b(k)/d(k) e(k)b(k + 1) end Der Algorithmus braucht 8n Flops. 30 / 34

31 Datenzugriff Speichertechniken Gliederung 1 Einleitung Übersicht Definitionen 2 3 Datenzugriff Speichertechniken 31 / 34

32 Datenzugriff Speichertechniken Probleme Probleme entstehen bei: Datenzugriff in langen Vektoren Überschreiben von Daten, die noch benötigt werden 32 / 34

33 Datenzugriff Speichertechniken Speichertechniken Eine Lösung sind geeignete Speichertechniken, mit denen Schleifen innerhalb der Algorithmen eingespart werden. u. a bieten sich folgende Methoden an: Compressed Sparse Row (CSR) Band-Einträge in einem Array speichern 33 / 34

34 Datenzugriff Speichertechniken Zusammenfassung Einsparung von Schleifen innerhalb der Algorithmen Reduktion des Speicherverbrauchs Algorithmen werden teilweise komplizierter Mithilfe von auf Bandmatrizen angepassten Algorithmen lässt sich die Rechenzeit deutlich senken und somit lassen sich viele reale Probleme schneller berechnen. 34 / 34