Lineare Ausgleichsprobleme. Jetzt: Lösung überbestimmter linearer GS, d.h. mehr Gleichungen als Unbekannte

Transkript

1 Lineare Ausgleichsprobleme Bisher: Lösung linearer GS Ax = b, A R n,n, A regulär, b R n Jetzt: Lösung überbestimmter linearer GS, d.h. mehr Gleichungen als Unbekannte Ax = b mit A R m,n, b R m, m n, rg(a) = n Frage: Was ist ein vernünftiger Lösungsbegriff? Grundlagen der Numerik 153

2 Gaußsche Methode der kleinsten Fehlerquadrate Beispiel: Eine typische Problemstellung Geg.: m Meßpunkte: (t i, b i ) R 2, i = 1,..., m Annahme: Messungen liegt Gesetzmäßigkeit der Gestalt b(t) = ϕ(t; x 1,..., x n ) mit einer Modellfunktion ϕ und n unbekannten Parametern x i zugrunde. Um unvermeidliche Meßfehler auszugleichen, wird m > n gewählt. ( mehr Messungen als Parameter!) Grundlagen der Numerik 154

3 Gaußsche Methode der kleinsten Fehlerquadrate Folgerung: Das Gleichungssystem b i := b(t i ) = ϕ(t i ; x 1,..., x n ), i = 1,..., m, (LAP1) ist dann überbestimmt und wird i.allg. keine Lösung besitzen. Allgemeines Ausgleichsproblem: Minimierung der Fehlerquadratsumme m i=1 (b i ϕ(t i ; x 1,..., x n )) 2 min x 1,...,x n (LAP2) Grundlagen der Numerik 155

4 Gaußsche Methode der kleinsten Fehlerquadrate Spezialfall: Modellfunktion ϕ ist linear in den Komponenten von x = (x 1,..., x n ) T : ϕ(t; x 1,..., x n ) = a 1 (t)x 1 + a 2 (t)x a n (t)x n mit bekannten Funktionen a 1 (t),..., a n (t). Damit a 1 (t 1 )x 1 + a 2 (t 1 )x a n (t 1 )x n = b 1 a 1 (t 2 )x 1 + a 2 (t 2 )x a n (t 2 )x n = b 2. a 1 (t m )x 1 + a 2 (t m )x a n (t m )x n = b m Grundlagen der Numerik 156

5 Gaußsche Methode der kleinsten Fehlerquadrate oder kurz Ax = b, A R m,n, a ij = a j (t i ), b R m Lineares Ausgleichsproblem (LAP): Gegeben A R m,n und b R m mit m n. Finde x R n derart, dass Ax b 2 min x R n (LAP 3) Grundlagen der Numerik 157

6 Gaußsche Methode der kleinsten Fehlerquadrate Bemerkungen: 1. (LAP3) heißt auch lineares Quadratmittelproblem (engl. linear least squares problem) und wird kurz mit Ax = b geschrieben. 2. Die Auswahl der Quadrate bei der Minimierung stammt von Gauß aufgrund wahrscheinlichkeitstheoretischer Überlegungen. Von Gauß stammt auch die im folgenden beschriebene Methode, die er 1821 für die Berechnung der Bahn des Planetoiden Ceres entwickelt hat. 3. Ersetzt man die Euklidische Norm durch die Maximumnorm, so erhält man das Problem der sogenannten Tschebyscheffschen Ausgleichsrechnung. Grundlagen der Numerik 158

7 Gaußsche Methode der kleinsten Fehlerquadrate Beispiel: Ohmsches Gesetz: U = IR, U Spannung, I Stromstärke, R Ohmscher Widerstand. Vorgehen: Durch mehrere Messungen von I und U soll R bestimmt werden. Mit U i := U(I i ) = ϕ(i i ; R) = I i R, i = 1,..., m, berechnet sich R aus m i=1 (U i I i R) 2 min R R Grundlagen der Numerik 159

8 Gaußsche Methode der kleinsten Fehlerquadrate Interpretation: Gerade durch den Nullpunkt legen, die dem Verlauf der Messungen möglichst nahekommt. U I 1 I 2 I 3 I 4 I Grundlagen der Numerik 160

9 Normalgleichungen SATZ: Sei A R m,n, b R m, m n. Dann gilt 1. ξ R n ist genau dann eine Lösung von (LAP3), wenn ξ den sogenannten Normalgleichungen A T Aξ = A T b (LAP4) genügt. 2. (LAP3) besitzt genau dann eine eindeutige Lösung, wenn die Matrix A Vollrang besitzt, d.h. rg A = n. 3. Unter allen Lösungen von (LAP3) gibt es genau eine mit minimaler Euklidischer Norm. Grundlagen der Numerik 161

10 Normalgleichungen Bemerkung: Geometrisch besagen die Normalgleichungen gerade, daß Ax b eine Normale auf R(A) R m (R(A) - Bildraum von A) ist. Es gilt nämlich für alle w R n : Ax b, Aw = A T (Ax b), w = 0. R m b Ax Ax b R(A) Grundlagen der Numerik 162

11 Numerische Lösung der Normalgleichungen Voraussetzung: LAP eindeutig lösbar, d.h. rg(a) = n. Beobachtung: Normalgleichungsmatrix G = A T A ist symmetrisch und positiv definit: 1. G T = (A T A) T = A T A = G 2. x T Gx = x T A T Ax = (Ax) T (Ax) 0 x R n, 3. x T Gx = 0 Ax = 0 x = 0 (rg(a) = n) Zur Lösung der Normalgleichungen bietet sich daher das Cholesky-Verfahren an. Grundlagen der Numerik 163

12 Numerische Lösung der Normalgleichungen Cholesky-Faktorisierung zur Lösung der Normalgleichungen: S1: G = A T A, h = A T b (Normalgleichungen Gx = h) S2: G = LL T (Cholesky-Faktorisierung) S3: Lc = h, L T x = c (Vor /Rückwärtseinsetzen) Aufwand: 1 2 n2 m opms für G = A T A (Symmetrie!) 1 6 n3 opms für G = LL T Grundlagen der Numerik 164

13 Numerische Lösung der Normalgleichungen Beobachtung: Die Anwendung des Normalgleichungsverfahrens mittels Cholesky-Faktorisierung wird beeinträchtigt durch z.t. schlechte Stabilität. Ursachen: 1. Berechnung der Skalarprodukte bei Matrizenmultiplikation 2. Schlechte Kondition von A T A. Die Matrix A T A ist i.allg. wesentlich schlechter konditioniert als A. Da bei praktischen Problemen der Ausgleichsrechnung i.allg. schon A sehr schlecht konditioniert ist, kann diese weitere Verschlechterung nicht ohne weiteres hingenommen werden. Frage: Gibt es Verfahren, die diese Nachteile nicht besitzen? Grundlagen der Numerik 165

14 Orthogonalisierungsverfahren Wiederholung: Q R m,m orthogonal: Q T Q = QQ T = I. Wichtige Eigenschaften: 1. Q 2 = λ max (Q T Q) = λ max (I) = 1 2. Qx 2 2 = xt Q T Qx = x T x = x 2 2 Norminvarianz orthogonaler Transformationen. Wichtigste Verfahrensklasse zur Lösung von Quadratmittelproblemen beruht auf einer QR-Faktorisierung von A. Grundlagen der Numerik 166

15 Orthogonalisierungsverfahren DEF.: Sei A R m,n mit m n. Exstieren eine orthogonale Matrix Q R m,m und eine Matrix R = R 1 R m,n, 0 wobei R 1 R n,n eine obere Dreiecksmatrix ist, so daß A = QR gilt, so nennt man diese Darstellung A = QR eine QR- Faktorisierung von A. Bemerkung: QR-Faktorisierung besitzt große praktische Bedeutung wegen ihrer sehr guten Stabilitätseigenschaften. Grundlagen der Numerik 167

16 Orthogonalisierungsverfahren Annahme: Die Matrix A R m,n, m n, sei mit einer orthogonalen Matrix Q R m,m auf Dreiecksgestalt.... R 1 Q T A = = 0 0 mit oberer Dreiecksmatrix R 1 gebracht. Als Alternative zur Lösung der Normalgleichungen kann dann die Lösung des LAP wie folgt bestimmt werden: Grundlagen der Numerik 168

17 Orthogonalisierungsverfahren Ax b 2 2 = (Ax b)t (Ax b) = (Ax b) T QQ T (Ax b) = [Q T (Ax b)] T [Q T (Ax b)] = Q T (Ax b) 2 2 = ( R1 x b 1 b 2 = R 1 x b b ) 2 Die zweite Norm hängt nicht von x ab. Das Minimum wird also genau dann angenommen, wenn die erste Norm minimal wird. Wegen rg(r 1 ) = rg(a) = n ist R 1 invertierbar und damit wird die erste Norm für x = R 1 1 b Null. Die zweite Norm verschwindet i.allg. nicht, es gilt also Ax b 2 = b Grundlagen der Numerik 169

18 Orthogonalisierungsverfahren SATZ: Sei A R m,n, m n, rg(a) = n, b R m. Sei Q R m,m eine orthogonale Matrix mit Q T A = R = R 1 und Q T b = 0 b 1, mit b 1 R n, b 2 R m n und R 1 R n,n eine obere (invertierbare) Dreiecksmatrix. Dann ist die Lösung des LAP gegeben durch b 2 x = R 1 1 b 1. Grundlagen der Numerik 170

19 Householder-Orthogonalisierung Frage: Wie findet man die QR Zerlegung? Dazu werden vor allem zwei Methoden genutzt die Householder Orthogonalisierung und die Givens Faktorisierung. Hier: Householder Orthogonalisierung Jetzt: Orthogonale Matrix Q als Produkt elementarer orthogonaler Transformationsmatrizen (Householder-Matrizen) konstruieren. Q = Q 1 Q 2 Q p Grundlagen der Numerik 171

20 Householder-Orthogonalisierung DEF.: Eine Matrix Q R m,m der Gestalt bzw. Q = I 2 vvt v T v, v Rm, v 0 Q = I 2ww T, w R m mit w 2 = 1 heißt Householder-Matrix (Householder-Spiegelung). Grundlagen der Numerik 172

21 Householder-Orthogonalisierung Eigenschaften: 1. Q T = I 2(vv T ) T / v 2 2 QT = Q, d.h. Q ist symmetrisch. 2. Q T Q = Q 2 = (I 2ww T )(I 2ww T ) = I 4ww T + 4w(w T w)w T = I, d.h., Q ist orthogonal und involutorisch (Q 2 = I). DEF.: Die Signum Funktion ist wie folgt definiert: sign(x) = { 1, x 0 1, x < 0. Grundlagen der Numerik 173

22 Householder-Orthogonalisierung LEMMA: Sei x = (x 1,..., x m ) T R m \ {0}, v := x ρe 1 mit ρ = sign(x 1 ) x 2. Dann ist durch Q = I 2 vvt v T v = I vvt γ mit γ = vt v 2 eine Householdermatrix gegeben mit Qx = ρe 1 = (ρ, 0,..., 0) T, d.h., der Vektor x wird auf ein Vielfaches des ersten Einheitsvektors transformiert. Grundlagen der Numerik 174

23 Householder-Orthogonalisierung Ziel: Analog zu Gauß Verfahren A schrittweise (spaltenweise) auf obere Dreiecksgestalt bringen. Bezeichnung: A (1) := A, a (1) k k-te Spalte von A(1) Voraussetzung: rg(a) = n a (1) 1 0 Grundlagen der Numerik 175

24 Householder-Orthogonalisierung 1. Schritt: Transformation der ersten Spalte a (1) 1 von A (1) in ein Vielfaches von e 1. Mit v (1) = a (1) 1 ρ (1) e 1 ρ (1) = sign(a (1) 11 ) a(1) 1 2 γ (1) = v(1)t v (1) 2 und Q 1 = I v(1) v (1)T γ (1) erhalten wir Grundlagen der Numerik 176

25 Householder-Orthogonalisierung A (2) = Q 1 A (1) = a (2) 11 a (2) 12 a (2) 1n 0 a (2) 22 a (2) 2n... 0 a (2) m2 a (2) mn mit a (2) 11 = ρ(1). Die Spalten a (2) j, j = 2,..., n, von A(2) ergeben sich nach a (2) j = Q 1 a (1) j = (I v(1) v (1)T )a (1) γ (1) j =: a (1) j β (1) j v(1) Beachte: Q 1 wird nicht explizit gebildet, es wird nur mit v (1) gearbeitet. Grundlagen der Numerik 177

26 2. Schritt: Die Restmatrix a (2) 22 a (2) 2n.. a (2) m2 a (2) mn wird jetzt analog weitertransformiert. Festlegung: v (2) 1 = 0, wobei v (2) = (v (2) 1,..., v(2) m )T. Dann ändert die Anwendung von Q 2 = I v(2) v (2)T γ (2) auf A (2) die erste Zeile und Spalte nicht mehr. Grundlagen der Numerik 178

27 Householder-Orthogonalisierung Nach dem k-ten Schritt ist die Ausgangsmatrix A bis auf eine Restmatrix T (k+1) R m k,n k auf obere Dreiecksgestalt gebracht: A (k+1) = T (k+1) 0 Der Gesamtprozeß für k = 1, 2,..., p = min(m 1, n) wird als Householder-Faktorisierung von A bezeichnet. Grundlagen der Numerik 179

28 Householder-Orthogonalisierung Damit gilt Mit R = A (p+1) = Q p A (p) = Q p Q p 1 Q 2 Q 1 A. Q T = Q p Q p 1 Q 2 Q 1 bzw Q = Q 1 Q 2 Q p 1 Q p erhalten wir unsere angestrebte Faktorisierung A = QR. Grundlagen der Numerik 180

29 Householder-Orthogonalisierung Zusammenfassung: Lösung eines LAP mittels Householder Faktorisierung 1. A = QR, QR-Zerlegung mit Householder-Spiegelungen 2. Transformation von b: Q T b = (b 1, b 2 ) T mit b 1 R n, b 2 R m n 3. Auflösung des gestaffelten Systems R 1 x = b 1 Grundlagen der Numerik 181

30 Householder-Orthogonalisierung Aufwand: n 2 m opms falls m n 2 3 n3 opms falls m n Vergleich mit Cholesky-Verfahren für A T Ax = A T b n 2 m/2 opms falls m n 2 3 n3 opms falls m n Für m n ist Aufwand vergleichbar, für m n bei Householder ungefähr doppelter Aufwand, dafür aber Stabilitätsvorteile. Grundlagen der Numerik 182