Gaußsche Ausgleichsrechnung

Transkript

1 Kapitel 6 Gaußsche Ausgleichsrechnung 6. Gaußsche Methode der kleinsten Fehlerquadrate Die Gaußsche Methode der kleinsten Fehlerquadrate wurde 89 von C.F. Gauß in dem Aufsatz Theorie der Bewegung der Himmelkörper beschrieben. In dem selben Aufsatz wird auch das Gaußsche Eliminationsverfahren erläutert. 6.. Aufgabenstellung Gegeben seien M Messdaten (t i, b i ), wobei t i, b i IR, (i =,...,M). Z.B. handele es sich hierbei um die Zustände b i eines Objektes zu den Zeitpunkten t i. Man nimmt an, dass den Messungen gewisse Gesetzmäßigkeiten zugrunde liegen, die die b i und die t i über eine geeignete Modellfunktion ϕ miteinander verknüpfen: b(t) = ϕ(t; x,...,x N ) mit N unbekannten Parametern x i. Beispiel 6. (Anpassung einer Messreihe an eine Modellfunktion). Zu einer gegeben Messreihe ist eine Gerade durch den Ursprung gesucht, die dem Verlauf der Messungen möglichst gut entspricht. In diesem Fall ist also: N = und b = xt = ϕ(t; x). Ebenso ist es denkbar, für die Modellfunktion einen polynomialen Ansatz zu wählen, d.h. N und b(t) = N x j t j = ϕ(t; x,...,x N ). j= Da i.d.r. davon auszugehen ist, dass die Messungen und/oder die Modellfunktion fehlerhaft sind, gilt b i ϕ(t i ; x,...,x N ) (i =,...,N) und es ergeben sich Abweichungen i := b i ϕ(t i ; x,...,x N ). 69

2 Gaußsche Ausgleichsrechnung 7 Methode der kleinen Fehlerquadrate: Die Methode der kleinsten Fehlerquadrate besteht nun darin, die x,...,x N derart zu bestimmen, dass 2 := M 2 i min. bzgl. x,...,x N. (6.) i= Hierbei sei ϕ linear in x,...,x N, d.h. ϕ(t; x,...,x N ) = a (t)x a N (t)x N mit beliebigen Funktionen a j : IR IR (j =,...,N). Dann ergibt sich Das lineare Ausgleichsproblem (LAP): Falls ϕ linear in x,...,x N ist, dann ist (6.) äquivalent zu b Ax 2 min. bzgl. x,...,x N mit b = (b,...,b M ) T, x = (x,...,x N ) T und A = (a ij ) i=,...,m;j=,...,n, a ij = a j (t i ). Wir betrachten nur den Fall M N (mehr Messdaten als zu bestimmende Parameter.) 6..2 Normalengleichungen Geometrisch läßt sich das lineare Ausgleichsproblem folgendermaßen interpretieren: Wir suchen ein z = Ax aus dem Bildraum I(A) von A, der den kleinsten Abstand zu b hat. Für M = 2 und N = beschreibt I(A) eine Gerade durch den Ursprung IR 2 (bzw. nur den Ursprung, falls A = ( ) ). Offensichtlich muss b Ax dann senkrecht auf auf I(A) sein, damit b Ax minimal wird. Anders ausgedrückt, Ax ist die orthogonale Projektion von b auf I(A). Diese Aussage wird im folgenden Satz allgemein formuliert und bewiesen. Satz 6. V sei ein endlichdimensionaler Vektorraum mit einem Skalarprodukt, und induzierter Norm v =,. U V sei ein Unterraum von V mit orthogonalem Komplement U := {v V : v, u = u U}. Dann gilt v V : v u = min u U v u v u U. Beweis: Sei u U, so dass v u U. Dann gilt u U v u 2 = v u, v u = v u + u u, v u + u u = v u v u, u u + u u 2 }{{} = = v u 2 + u u 2 v u 2. Gleichheit gilt nur bei u = u, woraus sich die Eindeutigkeit ergibt

3 Gaußsche Ausgleichsrechnung 7 Mithilfe von Satz 6. läßt sich eine Aussage über Existenz und Eindeutigkeit des linearen Ausgleichsproblems formulieren. Satz 6.2 (Existenz und Eindeutigkeit der Lösung des linearen Ausgleichsproblems). x IR N ist genau dann Lösung des linearen Ausgleichsproblems, falls es die Normalengleichungen A T Ax = A T b erfüllt. Das Lineare Ausgleichsproblem ist eindeutig lösbar, falls A maximalen Rang besitzt, d.h. rg(a) = N. Beweis: Anwendung von Satz 6. mit V = IR M, U = J(A): b Ax min bzgl. x,...,x N b Ax, Ax = x IR N A T (b Ax), x = x IR N A T (b Ax) = A T Ax = A T b. A T A IR N N ist genau dann invertierbar (und damit x eindeutig bestimmt), wenn rg(a) = N. Bemerkung 6. (Begriff Normalengleichung ) Der Begriff Normalengleichungen soll daran erinnern, dass b Ax eine Normale auf I(A) ist Lösung der Normalengleichung Im Prinzip stehen die Verfahren aus Kapitel 3 und 4 zur Verfügung, insbesondere die Cholesky-Zerlegung, da A T A spd ist, falls rg(a) = N. Rechenaufwand:. Berechnung von A T A erfordert N 2 M Rechenoperatoren. 2. Cholesky-Zerlegung 3 N3 Rechenoperatoren. Für M N überwiegt also. Für M N benötigen wir O(N 3 ) Rechenoperatoren. Aber: Die Berechnung von A T A beinhaltet die Berechnung von zahlreichen Skalarprodukten der Spalten von A. Dies kann numerisch problematisch werden wegen möglichen Auslöschungseffekten, die beim Berechnen von Skalarprodukten immer zu erwarten sind.. Außerdem verschlechtert sich die Kondition des linearen Gleichungssystems, da κ 2 (A T A) = (κ 2 (A)) 2, wobei die Kondition von A typischerweise schon schlecht ist. Um diese Schwierigkeiten zu umgehen, konstruiert man eine direkte Methode, die nur auf A operiert und die Kondition von A nicht weiter verschlechtert.

4 Gaußsche Ausgleichsrechnung Orthogonalisierungsverfahren 6.2. Die QR-Zerlegung Definition 6. (Orthogonale Matrizen) Eine Matrix Q IR M M heißt orthogonal, wenn sie regulär ist und wenn Q = Q T gilt. Definition 6.2 (QR-Zerlegung) Eine Zerlegung A = QR heißt QR-Zerlegung der Matrix A IR M N, falls Q IR M M orthogonal ist und R IR M N eine rechte obere -Matrix ist. Man beachte hierbei, dass Q eine quadratische Matrix ist und R folgende Gestalt aufweist ( ) R = R... =:..... mit R IR N N. Bemerkung 6.2 Für eine orthogonale Matrix Q IR M M gilt offensichtlich Qy 2 = y 2 y IR M (da Qy 2 2 = Qy, Qy = QT Qy, y = y, y = y 2 2 ). Außerdem ist mit Q auch Q T orthogonal. Satz 6.3 (Lösung des LAP mithilfe der QR-Zerlegung). b Ax wird genau dann minimal, wenn x folgendermaßen berechnet wird.. Bestimme b := Q T b (wobei Q aus der QR-Zerlegung von A). Bezeichne die ersten N Komponenten von b mit b und die restlichen (M N)- Komponenten von b mit b Löse das Gleichungssystem R x = b durch Rückwärtseinsetzen. Beweis: Mit Bemerkung 6.2 gilt Ax b 2 2 = Q T (QRx b) 2 2 = Rx b 2 2 = R x b b Offenbar ist Ax b 2 2 genau dann minimal, wenn R x b 2 2 R x = b. Zudem gilt min Ax b 2 = b 2 2. x IR N = ist, d.h. Als mögliche orthogonale Transformationen stehen uns Drehungen und Spiegelungen (Reflexionen) zur Verfügung (vgl. Lineare Algebra).

5 Gaußsche Ausgleichsrechnung 73 Drehungen (M = 2): Um a IR 2 auf ein Vielfaches des Einheitsvektors αe durch Drehung um den Winkel θ mit α = a abzubilden, verwende man eine Drehmatrix a αe = Qa mit Q := ( cos θ sin θ sinθ cos θ ). Reflexionen (M = 2): Um a IR 2 auf αe durch eine Spiegelung an der Geraden g abzubilden, verwende man v, a a αe = a 2 v, v v. Die Gerade g ist hierbei die Winkelhalbierende zwischen den beiden Vektoren a und αe, d.h. sie bildet sowohl mit a als auch mit αe den Winkel θ/2. Der Vektor v in obiger Abbildung steht senkrecht auf g (vgl. Lineare Algebra) Householder-Reflexionen Matrizen Q IR N N der Form Q = I 2 vvt v T v heißen Householder-Reflexionen oder Householder-Transformationsmatrizen. Sie beschreiben die Relfexionen an der auf v senkrecht stehenden Ebene. Bemerkung 6.3 man weist leicht nach, dass Householder-Reflexionen symmetrisch, d.h. Q = Q T, orthogonal, d.h. QQ T = Q T Q = I und involutorisch, d.h. Q 2 = I, sind. Analog zur Verwendung von Frobeniusmatrizen bei der LR-Zerlegung läßt sich mithilfe von Householder-Reflexionen sukzessive eine QR-Zerlegung berechnen. Dazu müssen wir die Householder-Reflexionen also derart konstruieren, dass die Spalten der Ausgangsmatrix (bzw. der sich sukzessive ergebenden Untermatrizen) auf die Einheitsvektoren abgebildet werden. Betrachte hierzu die Anwendung von Q auf y IR N y Qy = ) (I 2 vvt v, y v T y = y 2 v v, v v. v, y Damit Qy = αe = y 2 v, v y span {e }, muss gelten α = y 2 und v span {y 2e }. Daraus ergibt sich v := y αe und α = ± y 2. Um Auslöschung zu vermeiden bei der Berechnung von v = (y α, y 2,...,y N ) T, wähle α := sign (y ) y 2.

6 Gaußsche Ausgleichsrechnung 74 Man beachte, dass für derartig bestimmtes v v, v = y αe, y αe = y 2 2 2α y, e + α 2 = 2α(y α) gilt. damit erhalten wir für beliebiges x IR N : v, x v, x Qx = x 2 v = x + v, v α(y α) v. Die QR-Zerlegung von A = (A,...,A N ) IR N N in eine obere Dreiecks- Matrix erfolgt also durch die Elimination der Elemente unterhalb der Diagonalen mithilfe von Householder-Trannsformationen:. Schritt: A = A () A () := Q () A () = α. A ()... A () N mit Q () = I 2 v v T v Tv, v = A α e, α = sign(a ) A. k-ter Schritt: A (k ) = T (k) (, Q (k) Ik = Q(k) ), wobei Q(k) wie im. Schritt mit T (k) anstelle von A = A () konstruiert wird. Insgesamt ergibt sich so nach p = min{m, N} Schritten R = Q (p)... Q () A. Wegen (Q (i) ) 2 = I, erhalten wir die QR-Zerlegung A = Q ()... Q (p) R. }{{} Q Satz 6.4 (Existenz der QR-Zerlegung). Falls A IR M N mit M N vollen Spaltenrang besitzt (d.h. rg(a) = M), dann läßt sich mit dem oben beschriebenen Eliminationsprozess mithilfe von Householder-Reflexionen eine QR-Zerlegung von A bestimmen. Beweis: Der Eliminationsprozess ist komplett durchführbar, da die Untermatrizen T (k) ebenfalls vollen Spaltenrang besitzen müssen, da sich sonst ein Widerspruch zu rg(a) = N ergibt. Mithilfe von Householder-Transformationen und Satz 6.3 läßt sich das LAP also eindeutig lösen, falls rg(a) = N. Bemerkung 6.4 Für eine reguläre Matrix A IR N N gilt κ 2 (A) = κ 2 (R). Im Gegensatz zur LR-Zerlegung kann sich die Kondition der Aufgabe also im Laufe

7 Gaußsche Ausgleichsrechnung 75 des Eliminationsprozesses nicht verschlechtern. Damit stellt die QR-Zerlegung einen stabilen Eliminationsprozess dar, ist allerdings auch etwa doppelt so teuer wie die LR-Zerlegung. Für schlecht konditionierte Probleme muss man diesen höheren Rechenaufwand allerdings in Kauf nehmen Givens-Rotationen Mit Ω kl :=... c s... s c... k l IR M M bezeichnet man eine Givens-Rotation, wobei c 2 + s 2 =. Ω kl beschreibt eine Drehung um den Winktel θ in der (k, l)-ebene mit c = cos θ, s = sinθ. Die Anwendung einer Givensrotation auf einen Vektor x IR N ergibt Ω kl x = y mit y (i) = (Ω kl x) (i) = cx k + sx l (i = k) sx k + cx l (i = l) x i (i k, l). (6.2) Multiplizieren wir eine Givensrotation von links an eine Matrix A IR M N, so entspricht dies einer Anwendung der Givensrotation auf die einzelnen Spalten von A: Ω kl A = (Ω kl A,...,Ω kl A N ). Aufgrund von (6.2) bedeutet das also, dass eine Givens-Rotation nur die k-te und die l-te Zeile von A verändert und eine möglicherweise gegebene Besetzungsstruktur im wesentlichen erhalten bleibt. Um zu entscheiden, wie wir c und s zu wählen haben, um die gewünschten Komponenten x l des Vektors x zu eliminieren, reicht es M = 2 zu betrachten, da Ω kl nur in der (k, l)-ebene operiert. Mit x 2 k + x2 l, s2 + c 2 = folgt ( c s s c ) ( ) xk = x l ( r ) r = ± x 2 k + x2 l, c = x k/r, s = x l /r. { τ := xk /x l, s := / + τ 2, c := sτ falls x l > x k bzw. τ := x l /x k, c := / + τ 2, s := cτ falls x k x l (6.3) Durch diese Fallunterscheidung vermeidet man einen möglichen Exponentenüberlauf.

8 Gaußsche Ausgleichsrechnung 76 Aufgrund ihrer Konstruktion sind die Ω kl offensichtich orthogonal und die Givensrotationen stellen eine Alternative zu den Householder-Reflexionen dar. Mithilfe von Givensrotationen läßt sich A IR M N also ebenfalls orthogonal in eine obere Dreiecksmatrix überführen durch spaltenweise Elimination der Elemente unterhalb der Diagonalen. Beispiel 6.2 (QR-Zerlegung mit Givensrotationen für A IR 5 4 ). A = Ω 54 Ω 54 x x Ω Ω 54 Ω Ω 2 Einmal erzeugte Nullen bleiben so erhalten, vgl. (6.2). x x x 6.3 Nichtlineare Ausgleichsrechnung, Gauß-Newton- Verfahren Gegeben sei nun ein überbestimmtes nichtlineares Gleichungssystem der Form G(x) = mit G : D IR N IR M, M N, G C (D). (6.4) Gesucht ist die Kleinste-Quadrate-Lösung von (6.4), d.h. x D mit G(x ) 2 2 = min x D G(x) 2 2. Idee: Die Linearisierung von G in x wie beim Newton-Verfahren liefert ein überbestimmtes lineares Gleichungssystem, das in jedem Iterationsschritt zu lösen ist: = G(x ) = G(x (n) ) + G (x (n) )(x x (n) ) +... }{{} =: G (n) (x ) mit Funktionalmatrix G (x (n) ) IR M N. Man erhält so das Gauß-Newton-Verfahren: Bestimme bei gegebenem x () D die neue Näherung x (n+) derart, dass G (n) (x (n+) ) 2 2 min. Da G (n) linear ist, ist das äquivalent zu der Minimierungsaufgabe Ax (n+) b 2 2 min.

9 Gaußsche Ausgleichsrechnung 77 mit A = G (x (n) ) IR M N, b = G (x (n) )x (n) G(x (n) ) IR M. D.h. in jedem Iterationsschritt ist ein lineares Ausgleichsproblem zu lösen, z.b. mithilfe einer QR-Zerlegung wie oben beschrieben. Bemerkung 6.5 (Bezug zum Newton-Verfahren). Für M = N fällt das Gauß-Newton- mit dem Newton-Verfahren aus Abschnitt 5.3. zusammen. Denn für M = N gilt Ax (n+) b 2 2 min. Ax (n+) b = und hieraus folgt G (x (n) )x (n+) = G (x (n) )x (n) G(x (n) ) x (n+) = x (n) (G (x (n) )) G(x (n) ) und damit das Newton-Verfahren.

10 Gaußsche Ausgleichsrechnung 78