QR-Zerlegung mit Householder-Transformationen

Transkript

1 1/ QR-Zerlegung mit Householder-Transformationen Numerische Mathematik 1 WS 011/1

2 Orthogonales Eliminieren / Sei x R n ein Vektor x = 0. Ziel: Ein orthogonales H R n;n bestimmen, sodass Hx = kxke 1 ; ein Vielfaches des ersten Einheitsvektors ist e 1 = 4 5

3 Householder-Transformation / Das kann man durch Drehungen (Givens-Rotationen) oder durch Spiegelungen (Householder-Transformationen) erreichen. x x x 1

4 4/ Householder-Transformation Setzt man ~w := x + sgn(x 1 )kxke 1 ; und w := ~w k ~wk dann ist der Orthogonalprojektor auf hwi := span(w ) gegeben durch ~w ~w P := ww T T ~w ~w T = = k ~wk k ~wk ~w T ~w : x +kxke 1 hwi? x hwi w Px x 1

5 5/ Householder-Transformation Damit ist der (duale) Orthogonalprojektor auf hwi? gegeben durch Q := I P = I ww T ; und entsprechend die Householder-Spiegelung (an hwi? ) H := I P = I ww T : hwi? x +kxke 1 x hwi Hx Qx w Px x 1

6 Alternative Darstellung / Die Householder-Transformation H R n;n hat also die Darstellung H = I ww T = I ww T w T w ; wobei w R n mit kwk = 1. Ist v R n n f0g aber ein linear abhängiger Vektor v = w, mit R n f0g so gilt ebenfalls I vv T v T v = I ww T w T w = I ww T w T w = H:

7 Normalisierte Darstellung / Ist x = 0 so ist der erste Eintrag von ebenfalls nicht 0, d.h. ~w 1 = 0. ~w := x + sgn(x 1 )kxke 1 Dann erfüllt der Vektor v := 1 ~w 1 ~w R n die Bedingung v 1 = 1.

8 Normalisierte Darstellung 8/ Somit ist die Householder-Transformation gegeben durch H = I P = I vv T v T v = I kvk vv T = I vv T ; wobei := kvk :

9 Berechnung von v und 9/ function [ beta, v ] = house ( x ) n = length ( x ); if ( norm ( x ) < n eps ) beta = 0; v = eye (n,1); else % bereche w w =... % berechne v v = w / w (1); end % berechne beta beta =...

10 Vorteil 10/ Die Householder-Transformation kann man also als H = I vv T schreiben, wobei R und v R n die Form hat. 1 v v = 4 5 H I vv T Speicherbedarf: n n. v n

11 11/ H anwenden Es sei R, v R n und die Householder-Transformation Dann ist für X R n;` gerade H = I vv T R n;n : HX = (I vv T )X = X vv T X = X v v T X {z } =:X 1 R 1;` in O(n`) = X (vx 1 ) {z } =:X R n;` in O(n`) = X vx 1 = X X {z } in O(n`) =: Y : H I vv T Laufzeit, Matrix-Vektor-Multiplikation: O(n ) O(n) Laufzeit, Matrix-Matrix-Multiplikation: O(n ) O(n )

12 H anwenden in Matlab 1/ function Y = h_ anwenden ( v, beta, X ) Y = zeros ( size ( X )); % X1 in der ersten Zeile von Y speichern % X in Y speichern % Y ausrechnen Y =...

13 QR-Zerlegung (Formal) 1/ Wir wollen eine QR-Zerlegung der Matrix A = R 5; mittels Householder-Transformationen berechnen.

14 QR-Zerlegung (Formal) A = Schritt 1: Berechne v 1 R 5 und 1 sodass mit und H 1 := I 1 v 1 v T 1 R5;5 ^H 1 := H 1 gilt ^H 1 A = a () 11 a () 1 a () 1 0 a () a () 0 a () a () : 4 0 a () 4 a () a () 5 a () 5 14/

15 QR-Zerlegung (Formal) ^H 1 A = a () 11 a () 1 a () 1 0 a () a () 0 a () a () 4 0 a () 4 a () a () 5 a () 5 Schritt : Berechne v R 4 und sodass mit H := I v v T R4;4 und ^H := 1 H gilt ^H ^H 1 A = a () 11 a () 1 a () 1 0 a () a () 0 0 a () : a () a () 5 15/

16 QR-Zerlegung (Formal) ^H ^H 1 A = a () 11 a () 1 a () 1 0 a () a () 0 0 a () a () a () 5 Schritt : Berechne v R und sodass mit und ^H := H H := I v v T R; 5 gilt ^H ^H ^H 1 A = a (4) 11 a (4) 1 a (4) 1 0 a (4) a (4) 0 0 a (4) : /

17 QR-Zerlegung (Formal) 1/ ^H ^H ^H 1 A = {z } =:Q T a (4) 11 a (4) 1 a (4) 1 0 a (4) a (4) 0 0 a (4) =: R: Dann ist Q orthogonal, R obere Dreiecksmatrix und somit eine QR-Zerlegung von A. A = QR

18 QR-Zerlegung (im Rechner) 18/ Es werden die H i, ^H i, etc. nicht explizit gebildet. Man rechnet nur sog. Elementarreflektoren v 1, v,... aus und speichert diese in den frei werdenden Null-Elementen (die erste 1 muss nicht gespeichert werden). Dabei braucht man ein extra Array für die 1,,...

19 QR-Zerlegung (im Rechner) 19/ Mit obigen Bezeichnungen durchläuft man die Abfolge = a () 11 a () 1 a () 1 v 1; a () a () v 1; a () a () 4v 1;4 a () 4 a () 5 4 v 1;5 a () 5 a () 5 = a () 11 a () 1 a () 1 v 1; a () a () v 1; v ; a () 4v 1;4 v ; a () 5 4 v 1;5 v ;4 a () 5 = 1 0 a (4) 11 a (4) 1 a (4) 1 v 1; a (4) a (4) v 1; v ; a (4) 4 5 v 1;4 v ; v ; v 1;5 v ;4 v ; = 1 wobei v i ;j := v i j den j-ten Eintrag von v i bezeichnet.

20 QR-Zerlegung (in LAPACK) SUBROUTINE DGEQRF ( M, N, A, LDA, TAU, WORK, LWORK, INFO ).. Scalar Arguments.. INTEGER INFO, LDA, LWORK, M, N.... Array Arguments.. DOUBLE PRECISION A ( LDA, ), TAU ( ), WORK ( ).. Purpose ======= DGEQRF computes a QR factorization of a real M - by - N matrix A : A = Q R. Arguments ========= M ( input ) INTEGER The number of rows of the matrix A. M >= 0. N ( input ) INTEGER The number of columns of the matrix A. N >= 0. A ( input / output ) DOUBLE PRECISION array, dimension (LDA,N) On entry, the M - by - N matrix A. On exit, the elements on and above the diagonal of the array contain the min (M, N ) - by - N upper trapezoidal matrix R ( R is upper triangular if m >= n ); the elements below the diagonal, with the array TAU, represent the orthogonal matrix Q as a product of min (m, n ) elementary reflectors ( see Further Details ). LDA ( input ) INTEGER 0/

21 QR-Zerlegung in Matlab 1/ function [ QR, betas ] = qr_zerlegung ( A ) [n, m ] = size ( A ); min_nm = min ([ n -1, m ]); betas = zeros (1, min_ nm ); for i =1: min_nm [ beta_i, v_i ] = house (...); % A ^( i ) --> A ^( i +1)... h_anwenden (...)... end A ( i +1: n, i ) = v_i (: end ); betas ( i ) = beta_i ; QR = A ;

22 Problem Hat man die QR-Zerlegung in der Form a (4) 11 a (4) 1 a (4) 1 v 1; a (4) a (4) v 1; v ; a (4) 4 5 v 1;4 v ; v ; v 1;5 v ;4 v ; = 1 gespeichert, so kann man Q = ^H ^H ^H 1 und ebenso (da Householder-Transformationen symmetrisch sind) Q T = ^H ^H ^H 1 nicht so einfach mit einem Vektor (oder mit einer Matrix) Multiplizieren. /

23 Lösung / function Y = q_ anwenden ( QR, betas, X, transponiert ) if ( transponiert ) % hier soll Q ^ T X ausgerechnet werden for i = h_anwenden (...)... end else % hier soll Q X ausgerechnet werden for i = h_anwenden (...)... end end

24 Q-Anwenden (in LAPACK) SUBROUTINE DORMQR ( SIDE, TRANS, M, N, K, A, LDA, TAU, C, LDC, $ WORK, LWORK, INFO ) Purpose ======= DORMQR overwrites the general real M - by - N matrix C with SIDE = 'L ' SIDE = 'R ' TRANS = 'N ': Q C C Q TRANS = 'T ': Q T C C Q T where Q is a real orthogonal matrix defined as the product of k elementary reflectors Q = H (1) H ()... H ( k ) as returned by DGEQRF. Q is of order M if SIDE = 'L ' and of order N if SIDE = 'R '. Arguments ========= TRANS ( input ) CHARACTER 1 = 'N ': No transpose, apply Q ; = 'T ': Transpose, apply Q T. A ( input ) DOUBLE PRECISION array, dimension (LDA,K) The i - th column must contain the vector which defines the elementary reflector H (i), for i = 1,,...,k, as returned by DGEQRF in the first k columns of its array argument A. A is modified by the routine but restored on exit. SIDE ( input ) CHARACTER 1 4/

25 Lineares Ausgleichsproblem 5/ Sei A R n;m eine Matrix mit vollem Spaltenrang und b R n. Meistens ist auch n m. Ziel: Das lineare Ausgleichsproblem lösen, d.h. ein x R m bestimmen mit min xr m kax bk = kax bk :

26 Lineares Ausgleichsproblem Hat man eine QR-Zerlegung von A R n;m berechnet so ist min xr kax bk = min kqrx bk = min Q(Rx Q T b) m m xr = min Rx Q T b xr m d.h. mit den Bezeichnungen R =: ; R1 0 xr m und Q T b =: wobei R 1 R m;m, b 1 R m, b R n m, hat man min kax bk = min xr m xr m = min xr m kr 1x b 1 k + k0 mit der Lösung und dem Residuum R1 0 x b1 b b1 b, b k = kb k + min xr m kr 1x b 1 k ; x = R 1 b 1 kax bk = kb k: /

27 Ausgleichsproblem lösen (in Matlab) / function [ x, res ] = ausgleichsproblem ( A, b ) [n, m ] = size ( A ); [ QR, beta ] = qr_zerlegung ( A ); QTb = q_ anwenden ( QR, beta, b, true );... x =...; res =...;

28 Asymptotische Laufzeit Es sei m N fest, n N mit n > m variabel, A R n;m und b R n. Dann ist die asymptotische Laufzeit (für n! 1) zur Lösung des linearen Ausgleichsproblems nach obiger Methode min kax bk ; xrm O(n): Würde man erst orthogonales Q R n;n und eine obere Dreiecksmatrix R R n;m berechnen mit QR = A, so würde schon die notwendige Matrix-Vektor-Multiplikation Q T b O(n ) brauchen. 8/

29

30 Berechnung der SVD 0/ Um die SVD einer Matrix der Form A = 4 zu berechnen, wendet man Householder-Transformationen (von links und rechts) an. 5

31 1/ Berechnung der SVD Man durchläuft die Abfolge A =: B 5

32 Berechnung der SVD / Dann kann man die Eigenwerte von B T B = = ; einer symmetrischen positiv semi-definiten Tridiagonalmatrix, berechnen.

33 Eigenwerte von B T B (in LAPACK) SUBROUTINE DSTEV ( JOBZ, N, D, E, Z, LDZ, WORK, INFO ).. Scalar Arguments.. CHARACTER JOBZ INTEGER INFO, LDZ, N.. Array Arguments.. DOUBLE PRECISION D ( ), E ( ), WORK ( ), Z ( LDZ, ) Purpose ======= DSTEV computes all eigenvalues and, optionally, eigenvectors of a real symmetric tridiagonal matrix A. Arguments ========= JOBZ ( input ) CHARACTER 1 = 'N ': Compute eigenvalues only ; = 'V ': Compute eigenvalues and eigenvectors. N ( input ) INTEGER The order of the matrix. N >= 0. D ( input / output ) DOUBLE PRECISION array, dimension (N) On entry, the n diagonal elements of the tridiagonal matrix A. On exit, if INFO = 0, the eigenvalues in ascending order. E ( input / output ) DOUBLE PRECISION array, dimension (N -1) On entry, the (n -1) subdiagonal elements of the tridiagonal matrix A, stored in elements 1 to N -1 of E. On exit, the contents of E are destroyed. /