4 Lineare Ausgleichsrechnung

Numerik I 15 4 Lineare Ausgleichsrechnung Die folgende Tabelle zeigt die Bevölkerungsentwicklung in den U.S.A. 19 191 192 193 194 75.995 91.972 15.711 123.23 131.669 195 196 197 198 199 15.697 179.323 23.212 226.55 249.633 (Angaben in Millionen Einwohner). Wir wollen die Einwohnerzahl im Jahr 2 schätzen und berechnen das Interpolationspolynom p 9 vom Grad 9 durch die 1 Datenpaare, das wir an der Stelle 2 auswerten. Wir erhalten p 9 (2) = 227.459(?!). 4 Lineare Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

Numerik I 151 4 35 Interpolationspolynom Grad 9 Zensusdaten Prognose durch Extrapolation U. S. Bevoelkerung [Millionen] 3 25 2 15 1 227.459 5 19 192 194 196 198 2 Extrapolationen, die auf Polynomen hohen Grades beruhen, sind riskant! 4 Lineare Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

Numerik I 152 Das Ausgleichspolynom (Kleinste-Quadrate-Polynom) p n vom Grad n ist durch die Forderung m m p n (x j ) y j 2 = min q(x j ) y j 2 : grad(q) n j=1 j=1 bestimmt. Dabei bezeichnen (x j, y j ) (j = 1, 2,..., m) die gegebenen Datenpaare. In unserem Beispiel berechnen wir p 1 und p 2 sowie die zugehörigen Prognosen p 1 (2) = 259.771 und p 2 (2) = 28.167. 4 Lineare Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

Numerik I 153 4 35 3 Zensusdaten Ausgleichsgerade Ausgleichsparabel Zensus 2 Wert U. S. Bevoelkerung [Millionen] 25 2 15 1 5 19 192 194 196 198 2 4 Lineare Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

Numerik I 154 Problem. Lege durch m Punkte (x i, y i ), i = 1, 2,..., m, (näherungsweise) ein Polynom vom Grad n p n (x) = α + α 1 x + + α n x n (wobei n + 1(= Anzahl der Koeffizienten) m). Ansatz. α + α 1 x 1 + α 2 x 2 1 + + α n x n 1 = y 1 α + α 1 x 2 + α 2 x 2 2 + + α n x n 2 = y 2. +. =. α + α 1 x m + α 2 x 2 m + + α n x n m = y m oder kürzer Aα = y 4 Lineare Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

Numerik I 155 mit der Vandermonde-Matrix a 1 x 1 x 2 1 x n 1 1 x 2 x 2 2 x n 2 A =.. 1 x m x 2 m x n m R m (n+1). A besitzt Rang n + 1, wenn x 1, x 2,..., x m verschieden sind. Dann ist das Ausgleichspolynom eindeutig bestimmt. Seine Koeffizienten sind die Lösungen des Kleinsten-Quadrate-Problems Aα y 2 min α. Beachte: Ist m = n + 1, dann ist A R (n+1) (n+1) quadratisch und invertierbar. Das Polynom p n interpoliert in diesem Fall sämtliche Punkte (x i, y i ). a ALEXANDRE THÉOPHILE VANDERMONDE (1735 1796) 4 Lineare Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

Numerik I 156 4 Lineare Ausgleichsrechnung 4.1 Die Normalgleichungen 4.2 Orthogonale Matrizen und QR-Zerlegung 4.3 Householder-Transformationen 4.4 Givens-Rotationen 4.5 Singulärwertzerlegung 4.6 Kondition des Ausgleichsproblems 4 Lineare Ausgleichsrechnung TU Bergakademie Freiberg, WS 211/12

Numerik I 157 4.1 Die Normalgleichungen Das lineare Ausgleichsproblem: Gegeben sind A R m n und b R m. Gesucht ist ein Vektor x R n mit b Ax 2 = min x R n b Ax 2. (LS) Andere Formulierung: Bei gegebenen A und b können wir jedem x R n einen Residualvektor r x := b Ax zuordnen, der misst, wie gut x das Gleichungssystem Ax = b erfüllt. Wir wollen einen Vektor x bestimmen, dessen Residuum (gemessen in der Euklid-Norm) so klein wie möglich ist. Beachte: Ist Ax = b lösbar, dann ist x eine Lösung. 4.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

Numerik I 158 Satz 4.1 1. Ein Vektor x R n ist genau dann eine Lösung des linearen Ausgleichsproblems (LS), wenn A T r x = gilt. Folglich sind die Lösungen von (LS) und die Lösungen der Normalgleichungen A T Ax = A T b identisch. (Insbesondere besitzt (LS) mindestens eine Lösung.) 2. Sind die Spalten von A linear unabhängig (d.h. rank(a) = n), so besitzt (LS) genau eine Lösung. Beispiel 1. Gegeben sind m Datenpaare (x i, y i ) (i = 1, 2,..., m). Unter allen Geraden p (x) = α (parallel zur x-achse) wird m i=1 p (x i ) y i 2 durch p (x) = 1 m m i=1 y i minimiert. 4.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

Numerik I 159 Beispiel 2. Bestimme die Ausgleichsgerade p 1 (x) = α + α 1 x durch die Punktwolke (x i, y i ) (i = 1, 2,..., m). Äquivalentes Ausgleichsproblem: Bestimme [α, α 1 ] T R 2 mit y 1 1 x 1 [ ]... α α min. α 1,α 1 y m 1 x m 2 Zugehörige Normalgleichungen: m m x i i=1 m m i=1 x i i=1 x 2 i α α 1 = m i=1 y i m x i y i i=1. 4.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

Numerik I 16 Dieses Gleichungssystem kann (wie jedes 2 2-System) explizit gelöst werden: m m m α = 1 x 2 i x i y i i=1 i=1 i=1 D α m m 1 x i m x i y i i=1 i=1 mit D = m m x 2 i [ m ] 2 x i. i=1 i=1 4.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

Numerik I 161 Eine Methode, das lineare Ausgleichsproblem zu lösen: 1. Bestimme die Normalgleichungen. 2. Löse die Normalgleichungen durch Gauß-Elimination. (Beachte: A T A ist immer symmetrisch. Besitzt A vollen Spaltenrang, so ist A T A sogar positiv definit, besitzt also eine Cholesky-Zerlegung.) Beispiel 3. Bestimme Ausgleichsgerade durch (, ), (1, 2), (2, 1) bzw. löse das Ausgleichsproblem 1 [ ] 2 1 1 α α min. 1 1 1 2 2 4.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

Numerik I 162 1. Normalgleichungen: [ 3 3 3 5 ] [ α α 1 ] = [ 3 4 ]. 2. Cholesky-Zerlegung: [ 3 3 3 5 ] = GGT mit G = Löse Gβ = [3, 4] T und G T α = β. [ 3 3 2 ]. Ergebnis: α = [α, α 1 ] T = [.5,.5] T (die Ausgleichsgerade ist also y =.5 +.5x) mit dem Kleinsten-Quadrate- Fehler [ 3 ] 1/2 y i (α + α 1 x i ) 2 = [ (.5) 2 + (2 1) 2 + (1 1.5) 2] 1/2 =.5 6. i=1 4.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

Numerik I 163 2 (1,2) 1.5 1.5 1 (2,1) y=.5+.5x.5.5 (,).5.5 1 1.5 2 2.5 4.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

Numerik I 164 Weil die Konditionszahl der Koeffizientenmatrix A T A der Normalgleichungen sehr groß werden kann, cond 2 (A T A) = cond 2 (A) 2, ist dieses Verfahren i.a. nicht zu empfehlen: 1 1 2 A =.1, b =.1.1.1, x = [ 1 1 ]. Erstellt man die Normalgleichungen in sechsstelliger Dezimalarithmetik, so ist A T A = [ 1 1 1 1 ] singulär (obwohl A vollen Rang 2 besitzt und nicht extrem schlecht konditioniert ist, cond 2 (A) = 2 1 3 ). 4.1 Die Normalgleichungen TU Bergakademie Freiberg, WS 211/12

Numerik I 165 4.2 Orthogonale Matrizen und QR-Zerlegung Eine Matrix Q R m m heißt orthogonal, wenn eine der folgenden äquivalenten Bedingungen erfüllt ist: (1) Q T Q = I m, d.h. Q ist invertierbar und Q 1 = Q T, (2) Qx 2 = x 2 x R m, d.h. Q ist normerhaltend, (3) die Spalten (bzw. Zeilen) von Q bilden eine Orthonormalbasis des R m. Für uns wichtig: Sind A R m n beliebig und Q 1 R m m, Q 2 R n n orthogonal, so gilt und folglich: Q 1 A 2 = AQ 2 2 = A 2 cond 2 (Q 1 A) = cond 2 (AQ 2 ) = cond 2 (A). (Durch orthogonale Transformationen wird die Kondition eines Gleichungssystems nicht verschlechtert!) 4.2 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 166 Satz 4.2 Zu jeder Matrix A R m n mit m n und rank(a) = n gibt es eine orthogonale Matrix Q R m m und eine invertierbare obere Dreiecksmatrix R R n n mit [ ] R A = Q (QR-Zerlegung von A) O (O steht hier für eine Nullmatrix der Dimension (m n) n). In Beispiel 3: 1 1 1 = 1 2 3 3 2 6 6 2 3 2 6 1 2 2 3 3 2 6 }{{} Q 3 3 2 } {{ } [ O R ] 4.2 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 167 Wie hilft eine QR-Zerlegung bei der Lösung des Ausgleichsproblems? [ ] [ ] R b Ax 2 = b Q R x = O QT b x. O Setze c = Q T b = [ c 1 c 2 ] mit c 1 R n und c 2 R m n, dann [ ] [ ] [ ] c1 R c1 Rx b Ax 2 = x = O c 2 Das bedeutet: (1) Das Kleinste-Quadrate-Problem b Ax 2 min wird durch x = R 1 c 1 (das ist die eindeutige Lösung des LGS Rx = c 1 ) gelöst. (2) Für den Kleinsten-Quadrate-Fehler gilt b Ax 2 = c 2 2. In Beispiel 3: c = Q T b =.5 [2 3, 2, 6] T. D.h.: c 1 =.5 [2 3, 2] T und c 2 =.5 6. Also ist x = [α, α 1 ] T = R 1 c 1 = [.5,.5] T und b Ax 2 =.5 6. 2 2 c 2 2. 2 4.2 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 168 Bleibt die Frage, wie man eine QR-Zerlegung von A berechnet. Prinzipielle Vorgehensweise: Bestimme eine endliche Folge orthogonaler Matrizen Q 1, Q 2,... Q s : A Q 1 Q 2 Q s A 1 = Q 1 A, A 1 A2 = Q 2 A 1,..., A s 1 As = Q s A s 1, so dass A s = [ ] R O (mit einer oberen Dreiecksmatrix R) gilt. Dann ist [ ] R A = (Q s Q 2 Q 1 ) T A s = Q T 1 Q T 2 Q T s A s =: Q O die gesuchte QR-Zerlegung von A. (Ein Produkt orthogonaler Matrizen ist orthogonal.) 4.2 Orthogonale Matrizen und QR-Zerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 169 4.3 Householder-Transformationen Jede Matrix P = I m 2uu T R m m mit u R m, u 2 = 1, heißt Householder-Transformation. Wegen P T = P sowie P 2 = I m ist P orthogonal. Genauer: P ist die Spiegelung an der Hyperebene u := {v R m : u T v = } (dem sog. orthogonalen Komplement von u). u x u Px 4.3 Householder-Transformationen TU Bergakademie Freiberg, WS 211/12

Numerik I 17 Gegeben: Ein Vektor x = [x 1,..., x m ] T R m, x. Gesucht: Eine Householder-Transformation P R m m mit P x = γe 1 (γ R, e 1 = erster Einheitsvektor). Lösung: P = I m 2uu T, wobei x 1 + sign(x 1 ) x 2 u = ũ x 2 mit ũ = ũ 2. x m P x = sign(x 1 ) x 2.. Es genügt, u zu speichern: P x = x 2(u T x )u (in der Praxis speichert man ũ statt u). Wie erzeugt man eine QR-Zerlegung mit Householder-Transformationen? 4.3 Householder-Transformationen TU Bergakademie Freiberg, WS 211/12

Numerik I 171 A = x x x x x x x x x x x x 1 x x x x x x x } x {{ x } A 1 2 x x x x x x } {{ x } A 2 3 x x x x x x } {{ } A 3 Schritt 1. Wähle P 1 R 4 4 so, dass P 1 A(:, 1) = γ 1 e 1 R 4. Bestimme A 1 = P 1 A. Schritt 2. Wähle P 2 R 3 3 so, dass P 2 A 1 (2 : 4, 2) = γ 2 e 1 R 3. Bestimme A 2 = [ ] 1 P 2 A1. Schritt 3. Wähle P 3 R 2 2 so, dass P 3 A 2 (3 : 4, 3) = γ 3 e 1 R 2. Bestimme A 3 = [ I 2 ] O O P A2 3. 4.3 Householder-Transformationen TU Bergakademie Freiberg, WS 211/12

Numerik I 172 Schematisch: for i = 1:n bestimme u_i so, dass fuer P_i = I - 2*u_i*u_i^T die Identitaet P_i *A(i:m,i) = gamma*e_1 gilt A(i:m,i:n) = P_i *A(i:m,i:n) end A wird hier durch seine QR-Zerlegung überschrieben. Q wird dabei in faktorisierter Form gespeichert: Q = P 1 P 2 P n. Die einzelnen Matrizen P i bzw. P i werden natürlich nicht explizit gespeichert. Es genügt, den Vektor u i (genauer ũ i ) zu speichern. Man speichert ũ i in Spalte i der Matrix A unterhalb der Hauptdiagonalen. Ein Zusatzvektor ist erforderlich für die ersten Komponenten der Vektoren ũ i. 4.3 Householder-Transformationen TU Bergakademie Freiberg, WS 211/12

Numerik I 173 In Beispiel 3: ũ 1 = A(1, 1) + sign(a(1, 1)) A(:, 1) 2 A(2, 1) = A(3, 1) 1 + 3 1 1 P 1 = I 3 2 ũ ũ1 T 1 ũ T ũ1 1 (wird nicht berechnet). Es folgt sign(a(1, 1)) A(:, 1) 2 3 A 1 (:, 1) = =, A 2 (:, 2) = A(:, 2) 2ũ T 1 A(:, 2) ũ T 1 ũ1 ũ 1 = A(:, 2) 3 3 2 ũ 1 = 3.5( 3 1).5(. 3 + 1) 4.3 Householder-Transformationen TU Bergakademie Freiberg, WS 211/12

Numerik I 174 [ A1 (2, 2) + sign(a 1 (2, 2)) A 1 (2 : 3, 3) 2 ] [ ].5( 3 1) + 2 ũ 2 = A 1 (3, 2) =.5( 3 + 1) P 2 = I 2 2 ũ T 2 ũ2 A 2 (2 : 3, 2) = ũ 2 ũ T 2 (wird nicht berechnet). Es folgt [ sign(a1 (2 : 3, 2)) A 1 (2 : 3, 2) 2 ] = [ ] 2. Insgesamt [ ] R = O 3 3 2, Q = [ 1 P 2 ] T P T 1 (nicht explizit bekannt). 4.3 Householder-Transformationen TU Bergakademie Freiberg, WS 211/12

Numerik I 175 Benötigt wird auch Q T b = P n P n 1 P 1 b. for i = 1:n tau = -2*u_i^T*b(i:m) b(i:m) = b(i:m) + tau*u_i end In Beispiel 3: b = 2, ũ 1 = 1 1 + 3 1, u 1 = 1 ũ 1 = ũ 1 2 1 1 6 + 2 3 1 + 3 1. 1 Es folgt τ 1 = 6 6 + 2 3, b 1 = b τ 1 u 1 = 2 3 3 2 1 1 + 3 1 = 1 3.5( 3 + 1).5(. 3 1) 4.3 Householder-Transformationen TU Bergakademie Freiberg, WS 211/12

Numerik I 176 [ ] [ ].5( 3 + 1).5( 3 1) + 2 b 1 (2 : 3) =.5(, ũ 2 = 3 1).5(, 3 + 1) [ u 2 = 1 ] 1.5( 3 1) + 2 ũ 2 = ũ 2 2 4 + 2( 3 1).5(. 3 + 1) Es folgt τ 2 = 2 2 6 4 + 2(, b 2 = b 1 (2 : 3) τ 2 u 2 = 3 1) [ ].5 2.5 6 und insgesamt c = Q T b = P 2 P 1 b = [ 3,.5 2,.5 6] T. 4.3 Householder-Transformationen TU Bergakademie Freiberg, WS 211/12

Numerik I 177 4.4 Givens-Rotationen Eine Givens-Rotation G(θ) = [ cos θ ] sin θ sin θ cos θ (θ [, 2π)) dreht einen Vektor x R 2 um den Winkel θ (im Gegenuhrzeigersinn). Eine Givens-Rotation in der (i, j)-ebene des R n hat (für i < j) die Form I i 1 O O cos θ sin θ G(i, j, θ) = O I j i 1 O R n n. sin θ cos θ O O I n j 4.4 Givens-Rotationen TU Bergakademie Freiberg, WS 211/12

Numerik I 178 Beachte, dass beim Übergang x y = G(i, j, θ)x nur die Komponenten i und j verändert werden. Es gilt: y k = x k k {i, j}, [ ] [ ] [ ] [ ] yi xi cos θ sin θ xi = G(θ) =. sin θ cos θ y j x j Die Matrix G(i, j, θ) ist orthogonal (G(i, j, θ) 1 = G(i, j, θ) = G(i, j, θ) T ). Gegeben: i, j, x i, x j ([x i, x j ] [, ]). Gesucht: θ mit [ ] cos θ sin θ sin θ cos θ [ x i x j ] = [ ]. Lösung: x j cos θ = x i x 2 i + x2 j, sin θ = x j x 2 i + x2 j mit [ ] [ ] cos θ sin θ xi sin θ cos θ x j = x 2 i + x2 j. 4.4 Givens-Rotationen TU Bergakademie Freiberg, WS 211/12

Numerik I 179 Die Konstruktion einer QR-Zerlegung von A durch Givens-Rotationen ist jetzt offensichtlich. Die Reihenfolge, in der Elemente von A wegrotiert werden: 3 2 5. 1 4 6 Aufwand: I.a. doppelt so hoch wie bei Householder-Transformationen (eine QR-Zerlegung durch Householder-Transformationen erfordert 2n 2 m n 3 /3 Gleitpunktoperationen). Besitzt A aber bereits viele Nulleinträge unterhalb der Hauptdiagonalen, dann ist eine QR-Zerlegung mit Hilfe von Givens-Rotationen kostengünstiger. 4.4 Givens-Rotationen TU Bergakademie Freiberg, WS 211/12

Numerik I 18 4.5 Die Singulärwertzerlegung Satz 4.3 Sei A R m n eine Matrix vom Rang r. Dann gibt es orthogonale Matrizen U R m m und V R n n sowie eine Diagonalmatrix Σ = [ Σr O O O ] R m n mit Σ r = diag(σ 1, σ 2,..., σ r ) R r r und σ 1 σ 2 σ r >, so dass A die Zerlegung A = UΣV T (SVD) besitzt. Die Darstellung (SVD) heißt Singulärwertzerlegung von A. Die positiven Zahlen σ i nennt man die Singulärwerte von A. Schreibt man U = [u 1, u 2,..., u m ] und V = [v 1, v 2,..., v n ], so heißen u i R m bzw. v i R n zugehörige linke bzw. rechte Singulärvektoren. 4.5 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 181 Bemerkungen. 1. A = UΣV T = [u 1, u 2,..., u r ]Σ r [v 1, v 2,..., v r ] T = r i=1 σ iu i v T i (Darstellung von A als Summe von r Rang-1-Matrizen). 2. Es gelten: Av i = A T u i = { σi u i (i = 1, 2,..., r), (i = r + 1, r + 2,..., n) { σi v i (i = 1, 2,..., r), (i = r + 1, r + 2,..., m) und. 3. {u 1,..., u r } ist eine ON-Basis von R(A). {u r+1,..., u m } ist eine ON-Basis von N (A T ) = R(A). {v 1,..., v r } ist eine ON-Basis von R(A T ) = N (A). {v r+1,..., v n } ist eine ON-Basis von N (A). 4.5 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 182 4. A T A = V Σ T ΣV T = V [ ] Σ 2 r O V T, AA T = UΣΣ T U T = U O O [ ] Σ 2 r O U T. O O σ1, 2..., σr 2 sind die von Null verschiedenen Eigenwerte von A T A bzw. AA T. Insbesondere sind die Singulärwerte σ 1,..., σ r durch A eindeutig festgelegt. Die rechten Singulärvektoren v 1,..., v n bilden eine ON- Basis des R n aus Eigenvektoren von A T A: A T Av i = { σ 2 i v i (i = 1, 2,..., r), (i = r + 1, r + 2,..., n). Die linken Singulärvektoren u 1,..., u m bilden eine ON-Basis des R m aus Eigenvektoren von AA T : AA T u i = { σ 2 i u i (i = 1, 2,..., r), (i = r + 1, r + 2,..., m). 4.5 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 183 5. Ist A R n n symmetrisch mit von Null verschiedenen Eigenwerten λ 1,..., λ r, λ 1 λ r >, dann sind σ i = λ i die Singulärwerte von A. 6. Das Bild der (n-dimensionalen ) Einheitskugel unter A ist ein Ellipsoid (im R m ) mit Mittelpunkt und Halbachsen σ i u i (σ i := für i > r). 7. Für A R m n gilt A 2 = σ 1. Ist A R n n invertierbar, gilt außerdem A 1 2 = σn 1 und cond 2 (A) = σ 1 /σ n. ] 8. Besitzt A R n n die SVD A = UΣV T, dann besitzt H = [ O A T A O R (m+n) (m+n) die von Null verschiedenen Eigenwerte ±σ i mit zugehörigen (normierten) Eigenvektoren 1 2 [v T i, ±u T i ]T. 9. Analoge Aussagen gelten für komplexe Matrizen A = UΣV H (U, V unitär). (Ersetze in 5. symmetrisch durch normal!) 4.5 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 184 Die geometrische Interpretation der SVD. Besitzt A R m n die SVD [ ] Σr O A = U V T O O mit Σ r = diag(σ 1, σ 2,..., σ r ), U = [u 1, u 2,..., u m ] und V = [v 1, v 2,..., v n ], so kann man die Abbildungseigenschaften von A (und A T ) leicht beschreiben (vgl. Bemerkung 2). Z.B.: 1.22.89.41 2.68 [ ] T 1 1 =.52.25.82.92.58.81.81.58 1 2.82.39.41 (Werte auf 2 Dezimalstellen gerundet). 4.5 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 185 1 1 u 1 v 1 v 2 x 3 u 2 u 3 x 2 1 1 1 x 2 1 1 x 1 1 1 1 x 1 Av 1 = 2.68u 1, A T u 1 = 2.68v 1, Av 2 =.92u 2, A T u 2 =.92v 2, A T u 3 =. 4.5 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 186 Satz 4.4 Es sei A R m n eine Matrix vom Rang r mit SVD A = UΣV T = U [ ] Σ r O O O V T. Dann löst [ ] Σ x 1 r O = V U T b O O das Kleinste-Quadrate-Problem (LS). Darüberhinaus ist x die eindeutige bestimmte Lösung von (LS) mit minimaler Euklid-Norm. Satz 4.5 Es sei A R m n eine Matrix vom Rang r mit SVD A = UΣV T. Die Approximationsaufgabe min{ A A k 2 : A k R m n und rank(a k ) k} besitzt für k r die Lösung A k = k σ i u i vi T mit A A k 2 = σ k+1. i=1 4.5 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 187 Anwendung der SVD in der Datenkompression: Die folgende Graphik zeigt (links oben) das magische Quadrat aus Albrecht Dürers Melancholie I (1514). Die Bildinformation ist in einer Pixelmatrix X der Dimension 359 371 gespeichert, deren Einträge, ganze Zahlen zwischen 1 und 64, verschiedene Graustufen repräsentieren. Wir approximieren X durch Matrizen niedrigen Rangs k (vgl. Satz 5): load detail.mat; [U,S,V]=svd(X); X_k=U(:,1:k)*S(1:k,1:k)*V(:,1:k) ; image(x_k), colormap( gray ), axis( image ), axis( off ) Zur Speicherung von X k sind k(m + n) = 73k Zahlen (statt mn = 133189 für X) erforderlich. 4.5 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 188 Original k=1 k=2 k=4 4.5 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 189 k Relativer Fehler σ k+1 /σ 1 Kompressionsrate 1.666.55 2.528.11 4.382.219 4.5 Die Singulärwertzerlegung TU Bergakademie Freiberg, WS 211/12

Numerik I 19 4.6 Stabilität bei Kleinsten-Quadrate-Problemen Satz 4.6 Die Matrix A R m n, m n, besitze vollen Rang n. x und x seien die Lˆsungen der Kleinsten-Quadrate-Probleme b Ax 2 min x R n bzw. b Ãx 2 min x R n. Es sei ε := max { A Ã 2, b b } 2 A 2 b 2 1 cond 2 (A) (diese Voraussetzung garantiert die Eindeutigkeit von x ). Dann gilt x x 2 x 2 ε κ LS + O ( ε 2) mit κ LS := 2cond 2(A) cos(θ) + tan(θ)cond 2 (A) 2. Der Winkel θ [, π/2] ist durch sin(θ) = b Ax 2 / b 2 definiert. 4.6 Stabilität bei Kleinsten-Quadrate-Problemen TU Bergakademie Freiberg, WS 211/12

Numerik I 191 Interpretation: Ist θ = (oder sehr klein), d.h. der Kleinste-Quadrate- Fehler b Ax 2 ist sehr klein (im Verhältnis zu b 2 ), dann ist wegen cos(θ) 1 und tan(θ) κ LS 2cond 2 (A). Ist θ weder sehr klein noch nahe bei π/2 (z.b. θ = π/4), dann ist die Konditionszahl κ LS sehr viel größer: Sie verhält sich ungefähr wie cond 2 (A) 2 (κ LS = 2cond 2 (A) + cond 2 (A) 2 für θ = π/4). Ist schließlich θ π/2, d.h. x, so ist κ LS praktisch unbeschränkt (tan(θ) für θ π/2). Im Grenzfall θ = π/2 ist x = und (fast) jede beliebig kleine Störung von A bzw. b führt auf x und damit zu einem unendlichen relativen Fehler. 4.6 Stabilität bei Kleinsten-Quadrate-Problemen TU Bergakademie Freiberg, WS 211/12

Numerik I 192 Ziele von Kapitel 4. Sie sollten die Problemstellung der Ausgleichsrechunung darstellen können und eine typische Anwendung angeben. Sie sollten wissen, wann die Lösung eines Ausgleichsproblems eindeutig ist. Sie sollten die Äquivalenz der Normalgleichungen mit dem Ausgleichsproblem beweisen können und wann die Lösung eines Ausgleichsproblems mittels Normalgleichungen numerisch unproblematisch ist. Sie sollten wissen, was eine QR-Zerlegung ist, wie diese konstruiert werden kann und wie eine QR-Zerlegung zur Lösung von Ausgleichsproblemen eingesetzt werden kann. Sie sollten die wichtigsten Eigenschaften der Singulärwertzerlegung kennen und deren Verwendung zur Lösung von Ausgleichsproblemen sowie in der Datenkompression beschreiben können. 4.6 Stabilität bei Kleinsten-Quadrate-Problemen TU Bergakademie Freiberg, WS 211/12

Numerik I 193 Sie sollten wissen, wann die Lösung eines Ausgleichsproblems gut bzw. schlecht konditioniert ist. 4.6 Stabilität bei Kleinsten-Quadrate-Problemen TU Bergakademie Freiberg, WS 211/12