5 Lineare Ausgleichsrechnung

Transkript

1 Numerik Lineare Ausgleichsrechnung 5.1 Die Normalgleichungen 5.2 Singulärwertzerlegung 5.3 Pseudoinverse 5.4 Orthogonale Matrizen und QR-Zerlegung 5.5 Kondition des Ausgleichsproblems 5.6 Ausgleichspolynome 5 Lineare Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

2 Numerik Die Normalgleichungen Das lineare Ausgleichsproblem (Kleinste-Quadrate-Problem, engl. least squares problem): Gegeben sind A R m n und b R m. Gesucht ist ein Vektor x R n mit b Ax 2 = min x R n b Ax 2. (LS) Andere Formulierung: Bei gegebenen A und b ist jedem x R n durch r x := b Ax ein Residualvektor (Residuum, Defekt) r x zugeordnet, der misst, wie gut x das Gleichungssystem Ax = b erfüllt. Wir wollen einen Vektor x bestimmen, dessen Residuum (gemessen in der Euklid-Norm) so klein wie möglich ist. Beachte: Ist Ax = b lösbar, dann ist x eine Lösung. 5.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

3 Numerik 21 Satz 5.1. Gegeben seien A R m n mit m n sowie b R m. Dann gilt: (a) Ein Vektor x R n ist genau dann eine Lösung von (LS), wenn A r x = (äquivalent: r x 2 R(A)) gilt. Folglich sind die Lösungen von (LS) genau die Lösungen der Normalgleichungen A Ax = A b. (NG) (b) (NG) ist ein LGS mit einer quadratischen Koeffizientenmatrix, die symmetrisch und positiv semidefinit ist. Außerdem sind die Normalgleichungen immer lösbar, d.h. (LS) besitzt mindestens eine Lösung. (c) Ist rank(a) = n, so ist A A positiv definit, also invertierbar und (LS) besitzt genau eine Lösung x = (A A) 1 A b. 5.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

4 Numerik 22 Bemerkungen. (a) Ist x Lösung von (LS) bzw. (NG), so ist b = Ax + r x die eindeutige Zerlegung von b in Komponenten aus R(A) und R(A) = N (A ). Insbesondere gelten für zwei Lösungen x, y von (LS) bzw. (NG) Ax = Ay und r x = r y. (b) x löst (LS) genau dann, wenn [ Im A ] [ ] rx [ ] b A O n x =. 5.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

5 Numerik 23 Zur Lösung eines linearen Ausgleichsproblems bietet sich somit folgendes Vorgehen an: 1: Stelle die Normalgleichungen auf. 2: Löse die Normalgleichungen durch Gauß-Elimination. Beachte: A A ist immer symmetrisch. Besitzt A vollen Spaltenrang, so ist A A sogar positiv definit, besitzt also eine Cholesky-Zerlegung. Allerdings: Weil die Konditionszahl der Koeffizientenmatrix A A von (NG) sehr groß werden kann, auch wenn A selbst nicht extrem schlecht konditioniert ist, ist dieses Verfahren nicht immer zu empfehlen. Genauer: es gilt cond 2 (A A) = cond 2 (A) 2. Hierbei sei die Konditionszahl einer nichtquadratischen Matrizen A durch cond(a) = max x =1 Ax min x =1,Ax Ax (vorläufig) definiert. Man mache sich klar, dass dies eine Verallgemeinerung der bisherigen Definition darstellt. 5.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

6 Numerik 24 Beispiel. Bestimme Ausgleichsgerade durch (, ), (1, 2), (2, 1) bzw. löse das Ausgleichsproblem 1 [ ] α α min Normalgleichungen: [ ] [ α α 1 ] = [ 3 4 ]. 2. Cholesky-Zerlegung: [ ] = LL mit L = [ ]. Ergebnis: x = [α, α 1 ] = [.5,.5], die Ausgleichsgerade ist also y =.5 +.5x mit dem Kleinsten-Quadrate-Fehler [ 3 i=1 y i (α + α 1 x i ) 2 ] 1/2 = [ (.5) 2 + (2 1) 2 + (1 1.5) 2] 1/2 = Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

7 Numerik 25 2 (1,2) (2,1) y=.5+.5x.5.5 (,) Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

8 Numerik Die Singulärwertzerlegung Satz 5.2. Sei A R m n eine Matrix vom Rang r. Dann gibt es orthogonale Matrizen U R m m und V R n n sowie eine Diagonalmatrix [ ] Σr O Σ = R m n mit Σ r = diag(σ 1, σ 2,..., σ r ) R r r O O und σ 1 σ 2 σ r >, so dass A die Zerlegung A = UΣV (SVD) besitzt. Die Darstellung (SVD) heißt Singulärwertzerlegung von A. Die positiven Zahlen σ i nennt man die Singulärwerte von A. Schreibt man U = [u 1, u 2,..., u m ] und V = [v 1, v 2,..., v n ], so heißen u i R m bzw. v i R n zugehörige linke bzw. rechte Singulärvektoren. 5.2 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

9 Numerik 27 Bemerkungen. 1. A = UΣV = r i=1 σ iu i v i = [u 1, u 2,..., u r ] Σ r [v 1, v 2,..., v r ] (Darstellung von A als Summe von r Rang-1-Matrizen). 2. Es gelten: Av i = { σi u i (i = 1, 2,..., r), (i = r + 1, r + 2,..., n) und 3. A u i = { σi v i (i = 1, 2,..., r), (i = r + 1, r + 2,..., m). {u 1,..., u r } ist eine ON-Basis von R(A). {u r+1,..., u m } ist eine ON-Basis von N (A ) = R(A). {v 1,..., v r } ist eine ON-Basis von R(A ) = N (A). {v r+1,..., v n } ist eine ON-Basis von N (A). 5.2 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

10 Numerik A A = V Σ ΣV = V [ ] Σ 2 r O V, AA = UΣΣ U = U O O [ ] Σ 2 r O U. O O σ 2 1,..., σ 2 r sind die von Null verschiedenen Eigenwerte von A A bzw. AA. Insbesondere sind die Singulärwerte σ 1,..., σ r durch A eindeutig festgelegt. Die rechten Singulärvektoren v 1,..., v n bilden eine ON-Basis des R n aus Eigenvektoren von A A: A Av i = { σ 2 i v i (i = 1, 2,..., r), (i = r + 1, r + 2,..., n). Die linken Singulärvektoren u 1,..., u m bilden eine ON-Basis des R m aus Eigenvektoren von AA : AA u i = { σ 2 i u i (i = 1, 2,..., r), (i = r + 1, r + 2,..., m). 5.2 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

11 Numerik Ist A R n n symmetrisch mit von Null verschiedenen Eigenwerten λ 1,..., λ r, λ 1 λ r >, dann sind σ i = λ i die Singulärwerte von A. 6. Das Bild der (n-dimensionalen) Einheitskugel unter A ist ein Ellipsoid (im R m ) mit Mittelpunkt und Halbachsen σ i u i (σ i := für i > r). 7. Für A R m n gilt A 2 = σ 1. Ist A R n n invertierbar, gilt außerdem A 1 2 = σ 1 n und cond 2 (A) = σ 1 /σ n. 8. Besitzt A R m n die SVD A = UΣV, dann besitzt [ ] O A H = R (m+n) (m+n) A O die von Null verschiedenen Eigenwerte ±σ i mit zugehörigen (normierten) Eigenvektoren 1 2 [v i, ±u i ]. 9. Analoge Aussagen gelten für komplexe Matrizen A = UΣV H (U, V unitär). (Ersetze in 5. symmetrisch durch normal!) 5.2 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

12 Numerik 21 Geometrische Interpretation der SVD. Besitzt A R m n die SVD [ ] Σr O A = U V O O mit Σ r = diag(σ 1, σ 2,..., σ r ), U = [u 1, u 2,..., u m ] und V = [v 1, v 2,..., v n ], so kann man die Abbildungseigenschaften von A (und A ) leicht beschreiben (vgl. Bemerkung 2). Beispiel: = [ ] (Werte auf 2 Dezimalstellen gerundet). 5.2 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

13 Numerik u 1 v 1 v 2 x 3 u 2 u 3 x x x x 1 Av 1 = 2.68u 1, A u 1 = 2.68v 1, Av 2 =.92u 2, A u 2 =.92v 2, A u 3 =. 5.2 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

14 Numerik 212 Satz 5.3. Es sei A R m n eine Matrix vom Rang r mit SVD A = UΣV = U [ ] Σ r O O O V. Dann löst [ ] Σ 1 r O x = V U b O O die lineare Ausgleichsaufgabe (LS). Darüberhinaus ist x die eindeutig bestimmte Lösung von (LS) mit minimaler Euklid-Norm. Satz 5.4 (Schmidt, 197; Eckart & Young, 1936; Mirsky, 196). Für eine Matrix A R m n vom Rang r mit SVD A = UΣV besitzt die Approximationsaufgabe für k < r die Lösung min{ A B 2 : B R m n und rank(b) k} A k := k σ i u i vi mit A A k 2 = σ k+1. i=1 5.2 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

15 Numerik 213 Anwendung der SVD in der Datenkompression: Die folgende Grafik zeigt (links oben) das magische Quadrat aus Albrecht Dürers Melancholie I (1514). Die Bildinformation ist in einer Pixelmatrix X der Dimension gespeichert, deren Einträge ganze Zahlen zwischen 1 und 64 verschiedene Graustufen repräsentieren. Wir approximieren X durch Matrizen niedrigen Rangs k (vgl. Satz 5.4): load detail.mat; [U,S,V]=svd(X); X_k=U(:,1:k)*S(1:k,1:k)*V(:,1:k) ; image(x_k), colormap( gray ), axis( image ), axis( off ) Zur Speicherung von X k sind k(m + n) = 73k Zahlen (statt mn = für X) erforderlich. 5.2 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

16 Numerik 214 Original k=1 k=2 k=4 5.2 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

17 Numerik 215 k Relativer Fehler σ k+1 /σ 1 Kompressionsrate Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

18 Numerik Die Pseudoinverse Es sei A R m n eine Matrix vom Rang r mit SVD A = U [ ] Σ r O O O V. Dann heißt [ ] Σ A 1 r O := V U R n m O O die (Moore-Penrose) Pseudoinverse von A. Satz 5.5. Für A R m n gelten die folgenden Aussagen: (P1): A AA = A, (P2): AA A = A, (P3): (AA ) = AA, (P4): (A A) = A A. Darüberhinaus ist A R n m durch die Eigenschaften (P1) (P4) eindeutig bestimmt. 5.3 Die Pseudoinverse TU Bergakademie Freiberg, WS 211/12

19 Numerik 217 Bemerkungen: (1) A b ist die Kleinste-Quadrate-Lösung von Ax = b mit minimaler Euklid- Norm. (2) Für m n = r gilt A = (A A) 1 A. Ist zusätzlich m = n, so folgt A = A 1. (3) Für n m = r gilt A = A (AA ) 1. In diesem Fall löst A b das Problem x 2 min unter allen x mit Ax = b. Satz 5.6. Es sei V ein Unterraum des R n. Dann gibt es genau eine Matrix P = P V R n n mit (a) R(P ) = V, (b) P 2 = P, und (c) P = P. P heißt orthogonale Projektion auf V und ist durch P x = { x, x V,, x V, eindeutig bestimmt. 5.3 Die Pseudoinverse TU Bergakademie Freiberg, WS 211/12

20 Numerik 218 Satz 5.7. Es sei A R m n eine Matrix vom Rang r mit SVD ] A = UΣV = [U [ ] [ ] Σ r O V 1 1 U 2 O O V2 ( U 1 R m r, U 2 R m (m r), V 1 R n r, V 2 R n (n r) ) und der Pseudoinversen A. Dann gelten: P R(A) = AA = U 1 U 1, P N (A) = I n A A = V 2 V 2, P R(A ) = A A = V 1 V 1, P N (A ) = I m AA = U 2 U Die Pseudoinverse TU Bergakademie Freiberg, WS 211/12

21 Numerik 219 Beispiel = [ ] [ ] / / [ ] = (SVD auf 2 Dezimalstellen gerundet). AA = , A A = I Die Pseudoinverse TU Bergakademie Freiberg, WS 211/12

22 Numerik Orthogonale Matrizen und QR-Zerlegung Eine Matrix Q R m m heißt orthogonal, wenn eine der folgenden äquivalenten Bedingungen erfüllt ist: 1. Q Q = I m, d.h. Q ist invertierbar und Q 1 = Q, 2. Qx 2 = x 2 2 x R m, d.h. Q ist normerhaltend, 3. die Spalten (bzw. Zeilen) von Q bilden eine Orthonormalbasis des R m. Für uns wichtig: Sind A R m n beliebig und Q 1 R m m, Q 2 R n n orthogonal, so gilt und folglich: Q 1 A 2 = AQ 2 2 = A 2 cond 2 (Q 1 A) = cond 2 (AQ 2 ) = cond 2 (A). (Durch orthogonale Transformationen wird die Kondition eines Gleichungssystems nicht verschlechtert!) 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

23 Numerik 221 Satz 5.8. Zu jeder Matrix A R m n mit m n gibt es eine orthogonale Matrix Q R m m und eine obere Dreiecksmatrix R R n n mit nichtnegativen Diagonaleinträgen, so dass [ ] R A = Q (QR-Zerlegung von A) O (O steht hier für eine Nullmatrix der Dimension (m n) n). Korollar 5.9. Besitzt die Matrix A aus Satz 5.8 vollen Rang n, dann hat R nur positive Diagonalelemente und ist daher invertierbar. R R ist die Cholesky-Zerlegung von A A. Insbesondere ist R dann durch A eindeutig bestimmt. Zerlegt man Q = [Q 1 Q 2 ], Q 1 R m n, so ist auch Q 1 = AR 1 durch A eindeutig festgelegt und es gilt Q 1 Q 1 = P R(A). Für Q 2 kann man jede Matrix wählen, deren Spalten eine ON-Basis von N (A ) bilden. 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

24 Numerik 222 Das Beispiel [ ] [ ] [ ] c s s A = 1 = s c c, s 2 + c 2 = 1, zeigt, dass die QR-Zerlegung im Fall rank(a) < n i.a. nicht eindeutig ist. Satz 5.1. Die Matrix A R m n, m n, besitze vollen Rang n und die QR-Zerlegung A = Q [ O R ]. Es sei b Rm und Q b = [ c 1 c 2 ] mit c 1 R n, c 2 R m n. Dann ist x = R 1 c 1 die (eindeutig bestimmte) Lösung des Kleinsten- Quadrate-Problems b Ax min x R n und für den Kleinsten-Quadrate- Fehler gilt b Ax 2 = c Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

25 Numerik 223 Satz Die Matrix A R m n besitze Rang r min{m, n}. Dann gibt es eine Permutationsmatrix P R n n und eine orthogonale Matrix Q R m m mit [ ] R1,1 R 1,2 AP = Q. O O Dabei ist R 1,1 R r r eine obere Dreiecksmatrix mit positiven Diagonalelementen und R 1,2 R r (n r). Für b R m sei [ c 1 c 2 ] = Q b mit c 1 R r. Dann ist die Lösungsmenge des Kleinsten-Quadrate-Problems b Ax 2 min x R n durch { [ R 1 1,1 P (c ] } 1 R 1,2 y 2 ) : y 2 R n r beliebig y 2 gegeben. Der zugehörige Kleinste-Quadrate-Fehler berträgt c Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

26 Numerik 224 In unserem Beispiel: = }{{} Q c = Q 2 1 = } {{ } [ O R ] D.h.: c 1 =.5 [2 3, 2] und c 2 =.5 6. Also ist x = [α, α 1 ] = R 1 c 1 = [.5,.5] und b Ax 2 = Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

27 Numerik 225 Bleibt die Frage, wie man eine QR-Zerlegung von A berechnet. Prinzipielle Vorgehensweise: Bestimme eine endliche Folge orthogonaler Matrizen Q 1, Q 2,... Q s : A Q 1 Q 2 Q s A 1 = Q 1 A, A 1 A2 = Q 2 A 1,..., A s 1 As = Q s A s 1, so dass A s = [ ] R O (mit einer oberen Dreiecksmatrix R) gilt. Dann ist [ ] R A = (Q s Q 2 Q 1 ) A s = Q 1 Q 2 Q s A s =: Q O die gesuchte QR-Zerlegung von A. (Ein Produkt orthogonaler Matrizen ist orthogonal.) 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

28 Numerik Householder-Transformationen Jede Matrix der Form P = I m 2uu R m m mit u R m, u 2 = 1, heißt Householder-Transformation. Wegen P = P sowie P 2 = I m ist P orthogonal. Genauer: P ist die Spiegelung an der Hyperebene u := {v R m : u v = } (dem sog. orthogonalen Komplement von u). u x u Px 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

29 Numerik 227 Gegeben: Ein Vektor x = [x 1,..., x m ] R m, x. Gesucht: Eine Householder-Transformation P R m m mit P x = γe 1 (γ R, e 1 = erster Einheitsvektor). Lösung: P = I m 2uu, wobei x 1 + sign(x 1 ) x 2 sign(x 1 ) x 2 u = ũ ũ 2 mit ũ = x 2. x m P x = Für A R m n berechnet man B = P A = A u(2a u) durch w = A u, w = 2w, B = A uw (ohne explizite Kenntnis von P ) in 4mn flops. P wird niemals explizit gespeichert, sondern nur der Vektor u Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

30 Numerik 228 Wie erzeugt man eine QR-Zerlegung mit Householder-Transformationen? x x x x x x x x x x x x A = x x x 1 x x x x x 2 x x x x 3 x x x x x x x } x {{ x } A 1 } {{ x } A 2 } {{ } A 3 Schritt 1. Wähle P 1 R 4 4 so, dass P 1 A(:, 1) = γ 1 e 1 R 4. Bestimme A 1 = P 1 A. Schritt 2. Wähle P 2 R 3 3 so, dass P 2 A 1 (2 : 4, 2) = γ 2 e 1 R 3. Bestimme A 2 = [ ] 1 P 2 A1. Schritt 3. Wähle P 3 R 2 2 so, dass P 3 A 2 (3 : 4, 3) = γ 3 e 1 R 2. Bestimme A 3 = [ I 2 ] O O P A Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

31 Numerik 229 Schematisch: for i = 1:n bestimme u_i so, dass fuer P_i = I - 2*u_i*u_i^T die Identitaet P_i *A(i:m,i) = gamma*e_1 gilt A(i:m,i:n) = P_i *A(i:m,i:n) end A wird hier durch seine QR-Zerlegung überschrieben. Q wird dabei in faktorisierter Form gespeichert: Q = P 1 P 2 P n. Die einzelnen Matrizen P i bzw. P i werden natürlich nicht explizit gespeichert. Es genügt, den Vektor u i (genauer ũ i ) zu speichern. Man speichert ũ i in Spalte i der Matrix A unterhalb der Hauptdiagonalen. Ein Zusatzvektor ist erforderlich für die ersten Komponenten der Vektoren ũ i. 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

32 Numerik 23 In unserem Beispiel: A(1, 1) + sign(a(1, 1)) A(:, 1) 2 ũ 1 = A(2, 1) = A(3, 1) P 1 = I 3 2 ũ ũ1 1 ũ ũ1 1 (wird nicht berechnet). Es folgt sign(a(1, 1)) A(:, 1) 2 3 A 1 (:, 1) = =, A 2 (:, 2) = A(:, 2) 2ũ T 1 A(:, 2) ũ 1 ũ1 ũ 1 = A(:, 2) ũ 1 = 3.5( 3 1).5( ) 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

33 Numerik 231 [ A1 (2, 2) + sign(a 1 (2, 2)) A 1 (2 : 3, 3) 2 ] [ ].5( 3 1) + 2 ũ 2 = A 1 (3, 2) =.5( 3 + 1) P 2 = I 2 2 ũ 2 ũ2 A 2 (2 : 3, 2) = ũ 2 ũ 2 (wird nicht berechnet). Es folgt [ sign(a1 (2 : 3, 2)) A 1 (2 : 3, 2) 2 ] = [ ] 2. Insgesamt [ ] R = O 3 3 2, Q = [ 1 P 2 ] P 1 (nicht explizit bekannt). 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

34 Numerik 232 Benötigt wird auch Q T b = P n P n 1 P 1 b. for i = 1:n tau = -2*u_i^T*b(i:m) b(i:m) = b(i:m) + tau*u_i end In unserem Beispiel: b = 2, ũ 1 = 1, u 1 = 1 ũ 1 = ũ Es folgt τ 1 = , b 1 = b τ 1 u 1 = = 1 3.5( 3 + 1).5(. 3 1) 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

35 Numerik 233 [ ] [ ].5( 3 + 1).5( 3 1) + 2 b 1 (2 : 3) =.5(, ũ 2 = 3 1).5(, 3 + 1) [ u 2 = 1 ] 1.5( 3 1) + 2 ũ 2 = ũ ( 3 1).5( ) Es folgt τ 2 = (, b 2 = b 1 (2 : 3) τ 2 u 2 = 3 1) [ ] und insgesamt c = Q T b = P 2 P 1 b = [ 3,.5 2,.5 6]. 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

36 Numerik Givens-Rotationen Eine Givens-Rotation G(θ) = [ cos θ ] sin θ sin θ cos θ (θ [, 2π)) dreht einen Vektor x R 2 um den Winkel θ (im Gegenuhrzeigersinn). Eine Givens-Rotation in der (i, j)-ebene des R n hat (für i < j) die Form I i 1 O O cos θ sin θ G(i, j, θ) = O I j i 1 O R n n. sin θ cos θ O O I n j 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

37 Numerik 235 Beachte, dass beim Übergang x y = G(i, j, θ)x nur die Komponenten i und j verändert werden. Es gilt: y k = x k k {i, j}, [ ] [ ] [ ] [ ] yi xi cos θ sin θ xi = G(θ) =. sin θ cos θ y j x j Die Matrix G(i, j, θ) ist orthogonal (G(i, j, θ) 1 = G(i, j, θ) = G(i, j, θ) ). Gegeben: i, j, x i, x j ([x i, x j ] [, ]). Gesucht: θ mit [ ] cos θ sin θ sin θ cos θ [ x i x j ] = [ ]. Lösung: x j x i x cos θ =, sin θ = j x 2 i + x2 j x 2 i + x2 j [ ] [ ] cos θ sin θ xi x = 2 i + x2 j. sin θ cos θ x j mit 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

38 Numerik 236 Die Konstruktion einer QR-Zerlegung von A durch Givens-Rotationen ist jetzt offensichtlich. Die Reihenfolge, in der Elemente von A wegrotiert werden: Aufwand: I.a. doppelt so hoch wie bei Householder-Transformationen (eine QR-Zerlegung durch Householder-Transformationen erfordert 2n 2 m n 3 /3 Gleitpunktoperationen). Besitzt A aber bereits viele Nulleinträge unterhalb der Hauptdiagonalen, dann ist eine QR-Zerlegung mit Hilfe von Givens-Rotationen kostengünstiger. 5.4 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

39 Numerik Die Kondition des linearen Ausgleichsproblems Satz Die Matrix A R m n, m n, besitze vollen Rang n. x und x seien die Lˆsungen der beiden Ausgleichsprobleme b Ax 2 min x R n bzw. b Ãx 2 min x R n. Es sei { A ε := max à 2, b b } 2 1 < A 2 b 2 cond 2 (A) (diese Voraussetzung garantiert die Eindeutigkeit von x ). Dann gilt x x 2 x 2 ε κ LS + O ( ε 2) mit κ LS := 2cond 2(A) cos(θ) + tan(θ)cond 2 (A) 2. Der Winkel θ [, π/2] ist definiert durch sin(θ) = b Ax 2 / b Die Kondition des linearen Ausgleichsproblems TU Bergakademie Freiberg, WS 211/12

40 Numerik 238 Interpretation: Ist θ = (oder sehr klein), d.h. der Kleinste-Quadrate- Fehler b Ax 2 ist sehr klein (im Verhältnis zu b 2 ), dann ist wegen cos(θ) 1 und tan(θ) κ LS 2cond 2 (A). Ist θ weder sehr klein noch nahe bei π/2 (z.b. θ = π/4), dann ist die Konditionszahl κ LS sehr viel größer: Sie verhält sich ungefähr wie cond 2 (A) 2 (κ LS = 2cond 2 (A) + cond 2 (A) 2 für θ = π/4). Ist schließlich θ π/2, d.h. x, so ist κ LS praktisch unbeschränkt (tan(θ) für θ π/2). Im Grenzfall θ = π/2 ist x = und (fast) jede beliebig kleine Störung von A bzw. b führt auf x und damit zu einem unendlichen relativen Fehler. 5.5 Die Kondition des linearen Ausgleichsproblems TU Bergakademie Freiberg, WS 211/12

41 Numerik Anwendungen der Ausgleichsrechnung Hauptanwendung ist das Anpassen (Eichen, Kalibrieren) eines Modells y = Φ(x, α) an einen Datensatz {(x j, y j )} m j=1 (engl. data fitting): y j Φ(x j, α), j = 1,..., m. Hierbei sind x : unabhängige Variable (z.b. Ort, Zeit etc.), y : abhängige Variable, α = (α 1,..., α n ) : ein oder mehrere zu bestimmende Parameter. Typischerweise ist y beobachtbar, die α i jedoch nicht, bzw. nur indirekt über y. 5.6 Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

42 Numerik 24 Hängt das Modell Φ linear von den Parametern α ab, d.h. ist Φ(x, α) = α 1 φ 1 (x) + + α n φ n (x) mit gegebenen Regressionsfunktionen {φ j } n j=1, so spricht man von einer linearen Ausgleichsaufgabe. Die Forderung m j=1 y j Φ(x j, α) 2 min α R n führt auf das lineare Ausgleichsproblem (LS) mit A = φ 1 (x 1 ) φ n (x 1 ).. φ 1 (x m ) φ n (x m ), b = y 1. y m, x = α 1. α n. 5.6 Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

43 Numerik Beispiel: Ausgleichspolynome Die folgende Tabelle zeigt die Bevölkerungsentwicklung in den U.S.A (Angaben in Millionen Einwohner). Wir wollen hieraus eine Vorhersage für die Anzahl der Einwohner im Jahr 2 bestimmen und werten hierzu das Interpolationspolynom p 9 vom Grad 9 durch die 1 Datenpaare an der Stelle 2 aus. Wir erhalten p 9 (2) = (?!). 5.6 Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

44 Numerik Interpolationspolynom Grad 9 Zensusdaten Prognose durch Extrapolation U. S. Bevoelkerung [Millionen] Extrapolationen, die auf Polynomen hohen Grades beruhen, sind riskant! 5.6 Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

45 Numerik 243 Bei Ausgleichspolynomen ist das Modell Φ(x, α) ein Polynom in x mit Koeffizienten α i. Nimmt man die Monome {x j } n j= als Regressionsfunktionen, so ist Φ(x, α) = p n (x) := α + α 1 x + + α n x n. Das Ausgleichspolynom p n vom Grad n ist somit durch die Forderung m m y j p n (x j ) 2 = min y j q(x j ) 2 : q P n j=1 j=1 bestimmt. Dabei bezeichnen {(x j, y j )} m j=1 die gegebenen Datenpaare. Für unser Beispiel ergibt sich für p 1 und p 2 sowie die zugehörigen Prognosen p 1 (2) = bzw. p 2 (2) = Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

46 Numerik Zensusdaten Ausgleichsgerade Ausgleichsparabel Zensus 2 Wert 3 U. S. Bevoelkerung [Millionen] Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

47 Numerik 245 Problem. Lege durch (m + 1) Punkte {(x i, y i )} m i=1 ein Polynom p n (x) = α + α 1 x + + α n x n P n, wobei n m (m + 1 Bedingungen für n + 1 Koeffizienten). Ansatz: α + α 1 x + α 2 x 2 + α n x n = y α + α 1 x 1 + α 2 x α n x n 1 = y 1... α + α 1 x m + α 2 x 2 m + α n x n m = y m oder kürzer Aα = y 5.6 Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

48 Numerik 246 mit der (rechteckigen) Vandermonde-Matrix 1 x x 2 x n 1 x 1 x 2 1 x n 1 A =.. R (m+1) (n+1). 1 x m x 2 m x n m A besitzt Rang n + 1, wenn x, x 1,..., x n verschieden sind. Dann ist das Ausgleichspolynom eindeutig bestimmt. Seine Koeffizienten sind die Lösung des linearen Ausgleichsproblems Aα y 2 min α. Beachte: Ist m = n, so ist A quadratisch und invertierbar. Das Polynom p n interpoliert in diesem Fall sämtliche Punkte (x i, y i ). 5.6 Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

49 Numerik 247 Einfache Spezialfälle: n = : (konstantes Polynom) p (x) α mit α = 1 m + 1 m y i. i= n = 1: (Ausgleichsgerade) p 1 (x) = α + α 1 x mit und α α 1 = 1 D m i= x 2 i m i= x i m x i m + 1 i= D = (m + 1) [ m m ] 2 x 2 i x i. i= i= m i= y i m x i y i i= 5.6 Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

50 Numerik Statistischer Zugang Eine gebräuchliche statistische Formulierung der linearen Ausgleichsrechnung schreibt anstelle von b Ax zunächst b = Ax + ξ mit einem Zufallsvektor ξ = ξ(ω) R m ( lineares Modell ), womit auch der Beobachtungsvektor zu einer Zufallsvariablen b = b(ω) wird. Ein gemessener Zahlenvektor b wird somit als Realisierung (eine von vielen möglichen) dieses Zufallsvektors angesehen. Die gegebenen Regressionsfunktionen (und damit A) sowie die zu schätzenden Parameter x bleiben deterministische (nicht zufallsbehaftete) Größen. 5.6 Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

51 Numerik 249 Durch geeignete Wahl der Wahrscheinlichkeitsverteilung von ξ lassen sich so statistische Annahmen über z.b. Messfehler bei der Beobachtung von b in das Modell einbringen. Üblich: E [ξ] = (Erwartungswert Null), und somit E [b] = E [Ax ] + E [ξ] = Ax, d.h. die Messfehler mitteln sich von Versuchsreihe zu Versuchsreihe aus. Die Kovarianzmatrix C = C ξ von ξ = [ξ 1,..., ξ m ] ist definiert durch C = E [ (ξ E [ξ])(ξ E [ξ]) ] [ = E ξξ ] [ ] m = E [ξ i ξ j ] R m m. i,j=1 5.6 Anwendungen der Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12