1 Euklidische Approximation

Transkript

1 1 Euklidische Approximation Sei V ein reeller euklidischer Vektorraum. Das Skalarprodukt in V wird mit, V und die Norm mit V bezeichnet. V N V sei ein Teilraum der Dimension N < mit Basis {φ n } n=1,...,n. (1.1) Problemstellung: Sei v V. Bestimme v N V mit v v N V = min w N V N v w N V. (1.2) Die Matrix ) A = ( φ n,φ k V n,k=1,...,n RN N ist symmetrisch und positiv definit. (1.3) Problem (1.1) ist eindeutig lösbar. Es gilt N v N = x n φ n, n=1 wobei x R N die eindeutige Lösung des linearen Gleichungssystems Ax = b ) mit b = ( v,φ k V k=1,...,n RN ist. C. Wieners: Einführung in die Numerische Mathematik 1

2 2 Direkte Lösungsverfahren für lineare Gleichungen (2.1) Sei L R N N eine normierte untere Dreiecksmatrix und b R N, d.h. diag L = I N und L[1 : n,n + 1] = 0 n für n = 1,...,N 1. Dann ist L regulär und das lineare Gleichungssystem Ly = b ist mit O(N 2 ) Operationen lösbar. Entsprech ist für eine reguläre obere Dreiecksmatrix R R N N (d.h. R[n,n] 0 für alle n und R[n + 1,1 : n] = 0 T n für n < N) das LGS Rx = y in O(N 2 ) Operationen lösbar. (2.2) Die normierten unteren Dreiecksmatrizen bilden eine Gruppe. Die regulären oberen Dreiecksmatrizen bilden eine Gruppe. (2.4) Wenn eine Matrix A R N N eine LR-Zerlegung A = LR mit einer normierten untere Dreiecksmatrix L und einer regulären obere Dreiecksmatrix R besitzt, dann ist A regulär und das LGS Ax = b ist mit O(N 2 ) Operationen lösbar. (2.5) Eine Matrix A R N N besitzt genau dann eine LR-Zerlegung von A, wenn alle Hauptuntermatrizen A[1 : n,1 : n] regulär sind. Die LR-Zerlegung ist eindeutig und lässt sich mit O(N 3 ) Operationen berechnen. N N N (2.6) Eine Matrix A R heißt strikt diagonal-dominant, falls A[n,n] > k=1, k n A[n, k] n. (2.7) Wenn A strikt diagonal dominant ist, dann existiert eine LR-Zerlegung. (2.8) Sei A R N N symmetrisch und positiv definit. Dann existiert genau eine Cholesky-Zerlegung A = LL T mit einer regulären unteren Dreiecksmatrix L. C. Wieners: Einführung in die Numerische Mathematik 2

3 LR- und Cholesky-Zerlegung function x = lr_solve(a,b) N = size(a,1); for n=1:n-1 A(n+1:N,n) = A(n+1:N,n) / A(n,n); A(n+1:N,n+1:N) = A(n+1:N,n+1:N) - A(n+1:N,n) * A(n,n+1:N); x = b; for n=2:n x(n) = x(n) - A(n,1:n-1) * x(1:n-1); for n=n:-1:1 x(n) = (x(n) - A(n,n+1:N) * x(n+1:n)) / A(n,n); return function x = cholesky_solve(a,b) N = size(a,1); for n=1:n A(n:N,n) = A(n:N,n) - A(n:N,1:n-1) * A(n,1:n-1) ; A(n:N,n) = A(n:N,n) / sqrt(a(n,n)); x = b for n=1:n x(n) = (x(n) - A(n,1:n-1) * x(1:n-1)) / A(n,n); for n=n:-1:1 x(n) = (x(n) - A(n+1:N,n) * x(n+1:n)) / A(n,n); return C. Wieners: Einführung in die Numerische Mathematik 3

4 2 Direkte Lösungsverfahren für lineare Gleichungen (2.9) Sei π S N eine Permutation. Dann heißt P π = ( e π 1 (1)... e π (N)) 1 R N N Permutationsmatrix zu π. Es gilt (P π A)[n,k] = A[π(n),k] und (AP π )[n,k] = A[n,π 1 (k)]. (2.10) Die Permutationsmatrizen in R N N bilden eine Gruppe. Es gilt P σ P π = P π σ und P π 1 = Pπ T. (2.11) Sei A R N N regulär. Dann existiert eine Permutationsmatrix P, so dass PA eine LR-Zerlegung PA = LR besitzt und für die Einträge L[m,n] 1 gilt. Sie lässt sich mit O(N 3 ) Operationen berechnen. Die Lösung von Ax = b berechnet sich aus Ly = Pb und Rx = y. Sei eine Vektornorm, und sei eine zugeordete Matrixnorm, d. h., Ax A x, x R N, A R M N. (2.12) Sei A R N N regulär, und sei A R N N so klein, dass A < A 1 1 gilt. Dann ist die Matrix à = A + A regulär. Sei b R N, b 0 N, b R N klein und b = b + b. Dann gilt für die Lösungen x R N von Ax = b und x R N von à x = b x κ(a) ( b x 1 κ(a) A + A ). b A A Dabei ist x = x x, x x der relative Fehler, und κ(a) = A A 1 die Kondition von A. C. Wieners: Einführung in die Numerische Mathematik 4

5 LR-Zerlegung mit Pivot-Suche function x = lr_pivot_solve(a,b) N = size(a,1); p = (1:N) ; for n = 1:N-1 [r,m] = max(abs(a(n:n,n))); m = m+n-1; if abs(a(m,n))<eps error( *** ERROR *** Matrix fast singulär ); if (m ~= n) A([n m],:) = A([m n],:); p([n m]) = p([m n]); A(n+1:N,n) = A(n+1:N,n) / A(n,n); A(n+1:N,n+1:N) = A(n+1:N,n+1:N) - A(n+1:N,n) * A(n,n+1:N); x = b(p); for n=2:n x(n) = x(n) - A(n,1:n-1) * x(1:n-1); for n=n:-1:1 x(n) = (x(n) - A(n,n+1:N) * x(n+1:n)) / A(n,n); return C. Wieners: Einführung in die Numerische Mathematik 5

6 2 Arithmetische Grundlagen (2.13) a) Eine Gleitkommazahlen zur Basis B {2, 3,...} der Mantissenlänge M und Exponentenlänge E ist die Menge { FL = ± B e M a m B m : e = e E 1 } + c k B k, a m,c k {0,1,...,B 1} m=1 k=0 b) Eine Gleitkommaarithmetik wird durch eine Abbildung fl: R FL mit fl(x) = x für x FL definiert. Sei bestimmt die Rundung: x y = { fl(x + y), x y = fl(x } y), etc. x fl(x) Die zugehörige Maschinengenauigkeit ist eps = sup : x FL. x (2.14) Sei f : R N R K eine differenzierbare Funktion und x R N. Dann heißt a) κabs kn = x n f k (x) absolute Konditionszahl. b) κrel kn = x n f k (x) xn f k (x) relative Konditionszahl. C. Wieners: Einführung in die Numerische Mathematik 6

7 2 Kondition und Stabilität (2.15) a) Ein Problem heißt sachgemäß gestellt, wenn es eindeutig lösbar ist und die Lösung stetig von den Daten abhängt. b) Die Kondition eines Problems ist eine Maß dafür, wie stark die Abhängigkeit der Lösung von Störungen in den Daten ist. c) Die Stabilität eines numerischen Algorithmus ist eine Maß dafür, wie stark die Daten- Abhängigkeit der numerischen Lösung im Vergeich zu der exakten Lösung ist. (2.16) Wir verwen für x R N und A R M N N x 1 = x[n], x 2 = x T x, x = max x[n] n=1 n=1,...,n Ax und die zugeordnete Operatornorm A p = sup p x 0N x p, d.h. M N A 1 = max A[m,n], A 2 = ρ(a T A), A = max A[m, n] n=1,...,n m=1 m=1,...,m n=1 mit Spekralradius ρ(a) = max{ λ : λ σ(a)} und Spektrum σ(a). C. Wieners: Einführung in die Numerische Mathematik 7

8 3 Ausgleichsrechnung Sei Q R N N orthogonal, d.h. Q T Q = I N. Dann ist κ 2 (Q) = 1. (3.1) Zu v R N und k n mit v[k] 2 + v[n] 2 > 0 existiert eine Givens-Rotation G R N N mit ( ) ( ) G[k,k] G[k,n] c s =, c G[n, k] G[n, n] s c 2 + s 2 = 1, und G[j][j] = 1 für j k,n und G[i][j] = 0 sonst, so dass en T Gv = 0 gilt: Für v[n] > v[k] setze τ = v[k] v[n], s = 1+τ 1 v[n], c = sτ, sonst setze τ = 2 v[k], c = 1+τ 1, s = cτ. 2 Es gilt G = c(e k ek T + e nen T ) + s(e k en T e n ek T ) + e j ej T. j k,n (2.10) Zu v R N, v 0 N, existiert eine Householder-Spiegelung H = I N 2 w T w ww T R N N mit w R N, w[1] = 1, so dass Hv = σe 1 mit σ R und Hw = w gilt: Falls v[1] > 0, setze σ = v 2, sonst setze σ = v 2. Dann definierte w = 1 v[1] σ (v σe 1). (3.3) Zu A R K N existiert eine QR-Zerlegung A = QR mit einer orthogonalen Matrix Q R K K und eine oberen Dreiecksmatrix R R K N, d.h. QQ T = I K und R[k + 1 : K,k] = 0 K k für k = 1,...,K. (3.4) Sei A R K N und b R K. Dann gilt: x R N minimiert Ax b 2 A T Ax = A T b. C. Wieners: Einführung in die Numerische Mathematik 8

9 Berechnung der Householder-Vektoren function [v,beta]=householder(y) N = length(y); s = y(2:n) * y(2:n); if N == 1 s = 0; ; v = [1;y(2:N)]; if s == 0 beta = 0; else mu = sqrt(y(1)^2 + s); if y(1) <= 0 v(1) = y(1) - mu; else v(1) = -s/(y(1) + mu); beta = 2*v(1)^2/(s + v(1)^2); v = v / v(1); return function x = qr_solve(a,b) [M,N] = size(a); for m = 1:min(N,M-1) [v,beta] = householder(a(m:m,m)); if beta ~= 0 w = beta * v * A(m:M,m:N); A(m:M,m:N) = A(m:M,m:N) - v * w; A(m+1:M,m) = v(2:m-m+1); for m = 1:min(N,M-1) v = [1;A(m+1:M,m)]; beta = 2 / (v * v); if beta ~= 2 b(m:m) = b(m:m)-beta*(v *b(m:m))*v; for n=min(n,m):-1:1 x(n) = (b(n)-a(n,n+1:n)*x(n+1:n))/a(n,n); return C. Wieners: Einführung in die Numerische Mathematik 9

10 3 Ausgleichsrechnung (3.5) Zu A R K N mit R = rang(a) existiert eine Singulärwertzerlegung A = V ΣU T mit Matizen V = (v 1 v R ) R K R, U = (u 1, u R ) R N R, Σ = diag(σ 1,...,σ R ) R R R mit V T V = U T U = I R und den Singulärwerten σ 1,...,σ R > 0. Es gilt A = R σ r u r vr T r=1 und Ax = R σ r (vr T x)u r. r=1 (2.22) A + = UΣ 1 V T ist die Pseudo-Inverse. Es gilt A + = R σr 1 v r ur T und Ax = R σr 1 (ur T x)v r. r=1 r=1 (2.22) x = A + b löst die Normalengleichung A T Ax = A T b. (2.23) Sei A R K N und b R M. Dann gilt für die Tikhonov-Regularisierung mit α > 0: x R N minimiert Ax b α x 2 2 (A T A + αi N )x = A T b. (2.24) Es gilt lim α 0 (AT A + αi N ) 1 A T b = A + b. Diskrepanzprinzip: Sei b Bild(A), x = A + b und b δ eine Störung mit b b δ < δ < b 2. Dann existiert ein α = α(δ) > 0 mit Ax α b δ 2 = δ für x α = (A T A + αi N ) 1 A T b δ. Es gilt α(δ) 0 für δ 0. C. Wieners: Einführung in die Numerische Mathematik 10

11 4 Eigenwertberechnung (4.3) H R N N heißt Hessenberg-Matrix, wenn H[n + 2 : N,n] = 0 N n 1 für n = 1,...,N 2. (4.4) Sei A R N N. Dann existiert eine orthogonale Matrix Q R N N, so dass H = QAQ eine Hessenberg-Matrix ist. Die Berechnung benötigt O(N 3 ) Operationen. Wenn A symmetrisch ist, dann ist H eine Tridiagonalmatrix. (4.8) Sei A R N N symmetrisch, tridiagonal, und irreduzibel, d.h. A[n 1,n] = A[n,n 1] 0 und A[n + 2 : N,n] = A[n,n + 2 : N] = 0 N n 1. Die charakteristischen Polynome P n (t) = det ( A[1 : n,1 : n] ti n ) der Hauptuntermatrizen lassen sich durch eine Dreitermrekursion berechnen: Setze P 0 1. Dann gilt P 1 (t) = A[1,1] t und P n (t) = (A[n,n] t)p n 1 (t) A[n 1,n] 2 P n 2 (t). Sie bilden eine Sturmsche Kette: Für die Nullstellen λ n 1 λ n 2 λ n n von P n gilt λ n 1 k 1 < λ n k < λ n 1 k, k = 1,...,n (mit λ n 0 = 2 A und λ n n+1 = 2 A ), und es gilt für t ( A, A ) λ n k < t λ n k+1 mit k = W n (t) und W n (t) = # { j {1,...,n}: P j (t)p j 1 (t) < 0 oder P j (t) = 0 }. C. Wieners: Einführung in die Numerische Mathematik 11

12 4 Eigenwertberechnung Sei A R N N symmetrisch mit Eigenwerten λ 1,...,λ N und ONB aus Eigenvektoren v 1,...,v N. Dann gilt A = n (4.9) Der Rayleigh-Quotient ist λ n v n (v n ) und Ax = λ n (vn x)v n. n r(a,x) = x Ax x x, x RN, x 0 N. (4.10) Sei λ 1 = ρ(a) und λ n < λ 1 für n = 2,...,N. Dann gilt für alle w R N mit w v 1 > 0 lim k r(a,ak w) = λ 1, (4.11) Sei w 2 = 1 und µ = r(a,w). Dann gilt min λ n µ Aw µw 2. n=1,...,n 1 lim k A k A k w = v 1. w 2 Eine konvergente Folge (d k ) in R mit Grenzwert d konvergiert a) linear, wenn c (0,1) und k 0 > 0 existieren mit d k+1 d c d k d für k k 0 b) superlinear, wenn zu jedem ε > 0 ein k 0 > 0 existiert mit d k+1 d ε d k d für k k 0 c) von der Ordnung p > 1, wenn wenn C > 0 existiert mit d k+1 d C d k d p. C. Wieners: Einführung in die Numerische Mathematik 12

13 4 Eigenwertberechnung (4.12) Inverse Iteration mit variablem shift S0) Wähle z 0 R N, z 0 0 N, ε 0. Setze k = 0. S1) Setze w k = 1 z k 2 z k, µ k = r(a,w k ). S2) Falls Aw k µ k w k 2 ε STOP. S3) Berechne z k+1 = (A µ k I N ) 1 w k. S4) Setze k := k + 1, gehe zu S1). Wenn der Startvektor z 0 hinreich nahe bei einem Eigenvektor v m mit isoliertem Eigenwert λ m liegt, konvergiert die Iteration kubisch (d.h. von der Ordnung p = 3). (4.13) QR-Iteration mit shift (A R N N symmetrisch) S0) Berechne A 0 = QAQ tridiagonal (Hessenberg-Transformation). Wähle ε 0. Setze k = 0. S1) Falls A k [n + 1,n] ε für ein n: getrennte Eigenwertberechnung für A k [1 : n,1 : n] und A k [n + 1 : N,n + 1 : N]. S2) Berechne d k = 1 2 (A k [N 1,N 1] A k [N,N]) und s k = A k [N,N] + d k sgn(d k ) dk 2 + A k [N 1,N] 2. S3) Berechne QR-Zerlegung Q k R k = A k s k I N und setze A k+1 = R k Q k + s k I N. S4) Setze k := k + 1, gehe zu S1). Es gilt A k+1 = Q k A k Q k. Falls der shift µ k = A k [N,N] gewählt wird, entspricht die QR-Iteration der Inversen Iteration mit variablem shift und Startvektor z 0 = e N. C. Wieners: Einführung in die Numerische Mathematik 13

14 4 Eigenwertberechnung (4.14) Gershgorin Zu A R N N sind die Gershgorin-Kreise durch K n = { λ C: λ A[n,n] A[n,k] }, k n defininiert. Dann gilt n = 1,...,N N σ(a) K n. n=1 (4.15) Sei A R N N symmetrisch mit Eigenwerten λ 1 λ 2 λ N. λ n = max dims=n λ N+1 n = min dims=n min r(a,x), 0 N x S max r(a,x). 0 N x S C. Wieners: Einführung in die Numerische Mathematik 14

15 5 Iterative Lösungsverfahren für lineare Gleichungen (5.1) Sei A,B R N N mit ρ(i N BA) < 1. Dann ist A invertierbar, und für alle b R N und alle Startvektoren x 0 R N konvergiert die Iteration x k+1 = x k + B(b Ax k ), k = 0,1,2,... gegen lim k x k = A 1 b. (5.2) Sei K R N N und ε > 0 Dann existiert eine Vektor-Norm und eine zugeordnete Matrix-Norm, so dass K ρ(k ) + ε gilt. Anwung: Es gilt x x k I N BA k x x 0 (lineare Konvergenz). (5.3) Konvergenz des Gauß-Seidel-Verfahrens Sei A = L + D + R R N N symmetrisch positiv definit und sei B = (L + D) 1. Dann gilt bezüglich der Energienorm x A = x T Kx Ax und K A = sup A x x 0 A N I N BA A < 1. Anwung der Neumannschen Reihe ergibt dann A 1 = (I N BA) k B. k=0 C. Wieners: Einführung in die Numerische Mathematik 15

16 5 Iterative Lösungsverfahren für lineare Gleichungen (5.4) Eine Matrix A R N N heißt stark diagonal-dominant, wenn und wenn ein j {1,...,N} existiert N A[n,k] A[n,n], n = 1,...,N, k=1 k n N A[j,k] < A[j,j]. k=1 k n (5.5) Eine Matrix A R N N sei irreduzibel. Dann existiert zu jedem Paar j n eine Folge j = j 0,j 1,j 2,...,j R = n mit A[j 1,j 0 ] 0,...,A[j R,j R 1 ] 0. (5.6) Eine Matrix A R N N sei stark diagonal-dominant und irreduzibel. Dann gilt: a) A ist regulär und das Jacobi-Verfahren x k+1 = x k + diag(a) 1 (b Ax k ) konvergiert. b) Sei A[n,n] > 0 für alle n. Dann ist A positiv definit. c) Sei A[n,n] > 0 und A[n,k] 0 für n k. Dann ist A 1 [n,k] 0 für alle n,k. C. Wieners: Einführung in die Numerische Mathematik 16

17 5 Iterative Lösungsverfahren: Krylov-Verfahren (5.7) Zu C R N N und d R N ist k-te Krylov-Raum K k (C,d) = span { d,cd,..c k 1 d } = { P(C)d : P P k 1 }. (5.8) Zu einer regulären Matrix A R N N, einer rechten Seite b R N und einem Startwert x 0 R N sei x R N die Lösung von Ax = b und r 0 = b Ax 0. Sei B R N N eine reguläre Matrix (Vorkonditionierer). Wenn dimk k (AB,r 0 ) < k für ein k gilt, dann ist x x 0 + K k 1 (BA,Br 0 ). Sei, ein Skalarprodukt in R N. Gram-Schmidt-Verfahren zur Berechnung einer Orthonormalbasis v 1,...,v k von K k (BA,Br 0 ) = span{br 0,BABr 0,...,(BA) k 1 Br 0 } = {V k y : y R k }, V k = ( v 1 v k ). S0) Wähle x 0 R N, setze r 0 = b Ax 0, z 1 = Br 0, h 10 = z 1 V und v 1 = h 1 z S1) Für k = 1,2,3,... berechne w k = BAv k, z k+1 = w k k h jk v j mit h jk = v j,w k V j=1 v k+1 = 1 h k+1,k z k+1 mit h k+1,k = z k+1 V Dann gilt BAv k = k+1 h jk v j, also BAV k = V k+1 H k mit H k = (h jm ) R k+1,k. j=1 C. Wieners: Einführung in die Numerische Mathematik 17

18 5 Iterative Lösungsverfahren: GMRES-Verfahren S0) Wähle x 0 R N, ε > 0. Berechne r 0 = b Ax 0, z 1 = Br 0, h 10 = z 1 2 und v 1 = h 1 z 1. Setze k = S1) Berechne w k = BAv k und z k+1 = w k k h jk v j mit h jk = (v j ) T w k j=1 v k+1 = 1 h k+1,k z k+1 mit h k+1,k = z k+1 2 S2) Berechne y k R k mit ρ k = H k y k h 10 e 1 2 = min! Dabei ist H k = (h jm ) j=1,...,k+1, m=1,...,k R k+1,k. S3) Wenn ρ k < ε, setze x k = x 0 + k yj k v j j=1 S4) Setze k := k + 1 und gehe zu S1). STOP. (5.4) Es gilt ρ k = min B(b Az) 2. z x 0 +span{v 1,...,v k } Das GMRES-Verfahren ist wohldefiniert, und wenn es abbricht, gilt x x k 2 (BA) 1 2 ε. (5.5) Für C α > 0 gelte z T BAz αz T z und BA 2 C. ) k/2 Dann gilt für das GMRES-Verfahren x k x 2 κ 2 (BA) (1 α2 C 2 x 0 x 2. C. Wieners: Einführung in die Numerische Mathematik 18

19 5 Iterative Lösungsverfahren: CG-Verfahren S0) Wähle x 0 R N, ε > 0. Berechne r 0 = b Ax 0, y 0 = Br 0, ρ 0 = (y 0 ) T r 0 und d 1 = y 0. Setze k = 0. S1) Falls ρ k ε STOP S2) Setze k := k + 1 und berechne u k = Ad k ρ α k = k 1 (u k ) T d k x k = x k 1 + α k d k r k = r k 1 α k u k y k = Br k ρ k = (y k ) T r k d k+1 = y k + ρ k ρ k 1 d k Gehe zu S1). (5.6) x k x A = min z x 0 +span{d 1,...,d k } z x A ( min κ(ba) 1 ) k x A 2 x 0 x A. P P k, P(0)=1 λ σ(ba) κ(ba) + 1 C. Wieners: Einführung in die Numerische Mathematik 19

20 5 Transformierte Chebychev-Polynome (5.6) k b min max P(t) 2 a 1 P P k, P(0)=1 t [a,b] b a + 1 P 4, P 5, P 6, P 12 mit P k (0) = 1 zu [a,b] = [0.1,2.1] C. Wieners: Einführung in die Numerische Mathematik 20