y (k) (0) = y (k) y(z) = c 1 e αz + c 2 e βz. c 1 + c 2 = y 0 k=1 k=1,...,m y k f k (x)

Transkript

1 9 Ausgleichsrechnung 9.1 Problemstelllung Eine Reihe von Experimenten soll durchgeführt werden unter bekannten Versuchsbedingungen z Ê m. Es sollen Größen x Ê n bestimmt werden, für die ein Gesetz gelten soll. Führe m n Versuche durch, y = f(z, x), f : Ê m Ê n Ê, y k = f(z k, x) =: f k (x), k = 1,...,m. Aufgrund von Messfehlern gilt aber nur y k f k (x),. so dass i.a. m > n Versuche durchgeführt werden. Bestimme nun x aus den y k. Beispiel 9.1 Ein chemischer Prozess wird modelliert durch y + a 1 y + a 0 y = 0, Mit dem Ansatz y(z) = e ωz folgt dann y (k) (0) = y (k) 0 mit k = 0, 1 bekannt. ω + a 1 ω + a 0 = 0. Aus dem nichtoszillatorischen Verhalten der Lösung weiß man, dass diese Gleichung zwei reelle Nullstellen α, β besitzt. Die allgemeine Lösung der Differentialgleichung ist dann Gesucht sind nun die Reaktionszeiten α und β. Aus y(0) = y 0 erhalten wir und aus y (0) = y 0 y(z) = c 1 e αz + c e βz. c 1 + c = y 0 αc 1 + βc = y 0, was nicht ausgenutzt werden kann, weil die Unbekannten α, β darin vorkommen. Daher ist y(z) = c 1 e αz + (y 0 c 1 )e βz = f(z, c 1, α, β), wobei c 1, α, β gesucht sind. Führe also für Zeiten z 1,...,z m, m 3, Messungen durch, y k = f(z k, c 1, α, β). Dies ist ein schwieriges und häufiges Problem, nämlich die Exponentialapproximation. Kehren wir zum allgemeinen Problem zurück, ein x Ê n zu finden mit y k f k (x), k = 1,...,m. Die mathematisch einfachste Möglichkeit besteht nun darin, ein Minimum der Funktion m F(x) = y k f k (x) k=1 über x Ê n zu finden (=Methode der kleinsten Quadrate). Schwieriger und daher von uns nicht behandelt, ist es, die Funktion F(x) = max k=1,...,m y k f k (x) zu minimieren (=diskretes Tschebyscheff-Problem). Ein wichtiger Spezialfall ist ein lineares f(x) = Ax mit einer (m n)-matrix A. In der Methode der kleinsten Quadrate ist dann das Funktional (9.1) F(x) = Ax y, y Ê m, zu minimieren, was man als lineares Ausgleichsproblem bezeichnet. Die notwenige Bedingung für eine Lösung x dieses Problems ist grad x y Ax = A T Ax A T y = 0. Das System A T Ax = A T y heißt Normalgleichungen zu (9.1). 99

2 9. Das lineare Ausgleichsproblem Satz 9. Sei A Ê m n. Die Probleme Ax y Min in x Ê n, A T Ax = A T y, sind äquivalent: Jede Lösung des einen Problems ist auch eine Lösung des anderen Problems. Für je zwei Lösungen x 1, x gilt Ax 1 = Ax und für das Residuuum r = y Ax einer jeden Lösung x haben wir A T r = 0. Beweis: Sei L = Bild(A) Ê m. Dann ist L L = Ê m und für y Ê m gilt dann die eindeutige Zerlegung y = s + r, s L, r L. Da s Bild(A) gibt es ein x 0 Ê n mit Ax 0 = s. Aus r Ax x Ê n folgt Daher womit x 0 die Normalgleichungen erfüllt. 0 = (r, Ax 0 ) = (A T r, x 0 ) A T r = 0. A T y = A T s = A T Ax 0, Für eine Lösung x 0 der Normalgleichungen gilt mit der gleichen Zerlegung y = r + s wie im vorigen Beweisteil 0 = (A T (Ax 0 y), z) = (Ax 0 y, Az) Ax 0 y L Ax 0 = s wegen Ax 0 L. Für x Ê n setze Mit z L und r L folgt (r, z) = 0 und daher Damit ist x 0 ein Minimum von F. z = Ax Ax 0, r = y Ax 0. y Ax = r z = r + z r = y Ax 0. Wenn m n und ranga = n, so ist A T A symmetrisch positiv definit und die Gleichung A T Ax = A T y kann mit dem Cholesky-Verfahren gelöst werden. Da A T A aber oft schlecht konditioniert ist, verwendet man besser das im nächsten Abschnitt dargestellte Verfahren. 9.3 Orthogonalisierungsverfahren Wir wollen y Ax Min mit A Ê m n, m n, bestimmen. Dazu eliminieren wir die erste Spalte von A mit einer (m m)-householder-matrix P 1 und erhalten mit A (0) = A A (1) = P 1 A (0) 0 =

3 Der Householder-Algorithmus verläuft daher genauso wie bei quadratischen Matrizen. Nach n Schritten gilt mit einer unitären Matrix P Ê m m R A (n) = PA =, 0 wobei R Ê n n eine rechte obere Dreiecksmatrix ist. Da rang A = n, besitzt R nichtverschwindende Elemente auf der Hauptdiagonalen. Für die rechte Seite gilt analog ) h = Py = mit h 1 Ê n und h Ê m n. Da P unitär folgt Pz = z und daher ( ) y Ax = P(y Ax) h1 Rx = = h 1 Rx + h. Die Lösung von Rx = h 1 ist damit auch die eindeutige Lösung des Minimierungsproblems F(x) Min. ( h1 h h 9.4 Die Pseudoinverse einer Matrix Zu A Ê m n wollen wir eine Pseudoinverse A + Ê n m definieren, deren Eigenschaften wir an Hand des linearen Gleichungssystems Ax = b für b Ê m festlegen wollen. Da wir keinerlei Voraussetzungen an A stellen, kann das Gleichungssystem unlösbar oder mehrdeutig lösbar sein. Die Lösung x = A + b wird nach folgenden Kriterien festgelegt: Zuerst wird y aus dem Bild von A bestimmt, das den Fehler y b minimiert. Anschließend wird unter allen x mit Ax = y dasjenige ausgewählt, dessen Norm x minimal wird. Wie immer seien Bild(A) m das Bild von A und Kern(A) n der Nullraum von A. Wir definieren die orthogonalen Projektionen P n n : n Kern(A), P m m : m Bild(A). Zu x n gibt es eindeutige x 0 Kern(A) und x Kern(A) mit x = x 0 + x. Dann ist Px = x. Offenbar gilt P = P und wegen (Px, y) = (x, y) = (x, y ) = (x, Py) = (x, Py) = (P H x, y) ist P = P H. Die Projektion P besitzt die gleichen Eigenschaften. Zu jedem y Bild(A) gibt es genau ein x Kern(A) mit Ax = y. Demnach gibt es eine lineare Abbildung f : Bild(A) n mit Af(y) = y, f(y) Kern(A). Ist x eine Lösung von Ax = y, so ist mit x = x 0 + x, x 0 Kern(A), x Kern(A), y = Ax = A(x 0 + x ) = Ax = APx. Wegen x = x 0 + x x ist x = Px die Lösung mit minimaler Norm. Es gilt also f(y) = Px, wobei x eine beliebige Lösung von Ax = y ist. Es ist f P : m n. Die Darstellung von f P durch eine (n m)-matrix ist dann die gesuchte Pseudo-Inverse A +. Denn es wird das nächstgelegene ỹ Bild(A) zu y bestimmt und anschließend die Lösung von Ax = ỹ mit minimaler Norm. 101

4 Beispiele 9.3 (i) Mit A = (1 ) löse Ax = y Ê, x Ê. In diesem Fall ist BildA = Ê. Wir müssen daher nur unter allen Lösungen diejenige mit minimaler Norm finden. Der Lösungsraum ist L = { ( ) ( ) y } + t : t Ê. 0 1 Da L ein affiner Raum ist, ist die Lösung mit minimaler Norm eindeutig bestimmt. Wir können diese mit Hessescher Normalenform bestimmen. Um auch Matrizen A Ê 1 n zu behandeln, lösen wir das Optimierungsproblem direkt, F(t) = ( ) y + t 0 ( ) Min. 1 Es ist F (t) = (y t)( ) + t! = 0 t 0 = 5 y. und damit ist die gesuchte Pseudoinverse (ii) Hier sei A + y = A = Wir müssen y auf Bild(A) projezieren: ( ) ( ) y + t = 1 ( ) 1, Ax =! ( y1 y ( ) 1 5 y. 5 ). F(x) = Ax y Min. Die notwendige Bedingung ist, wie bereits mehrfach hergeleitet, die Normalgleichungen A T Ax = A T y. Das gleiche Ergebnis bekommen wir, wenn wir die notwendige Bedingung für ein Minimum aufstellen F (x) = (x y 1 ) + (x y )( )! = 0 x = 1 5 y y. Damit ist die gesuchte Pseudoinverse. A + = ( ) Satz 9.4 Die Pseudoinverse A + hat die folgenden Eigenschaften: (a) A + A = P, AA + = P, (b) (i) A + A = (A + A) H, (ii) AA + = (AA + ) H, (iii) AA + A = A, (iv) A + AA + = A +. (c) Wenn Z n m die Eigenschaften (b) (i)-(iv) besitzt (an Stelle von A + ), so ist Z = A +. (d) A ++ = A, (A + ) H = (A H ) +. Beweis: (a) Es gilt A + Ax = f(p(ax)) = f(ax) = Px, weil P = Id auf BildA und f(ax) die minimale Lösung von Ax = Ax ist und dies ist Px. 10

5 Weiter ist denn Ax = Py für jede Lösung dieser Gleichung. AA + y = A(f(Py)) = Py, (b) Wegen A + A = P, AA + = P und P = P H, P = P H folgen (i) und (ii). (iii) erhält man aus und (iv) aus (c) Es gilt Z (AA + )Ax = PAx = Ax A + (AA + )y = A + Py = A + y. (iii) für Z (iii) für A = ZAZ = ZAA + Az (iv) für A = Z(AA + A)A + (AA + A)Z = (ZA)(A + A)A + (AA + )(AZ) (i),(ii) für A,Z = (A H Z H )(A H (A + ) H )A + ((A + ) H A H )(Z H A H ) =(A H Z H A H )(A + ) H A + (A + ) H (A H Z H A H ) (iii) für Z = A H (A + ) H A + (A + ) H A H (i) = A + AA + AA + (iv) = A + AA + = A +. (d) Setze in (c) A + statt A. Die Matrix Z = A erfüllt dann (i)-(iv). Genauso argumentiert man bei (A + ) H = (A H ) +. Korollar Das Ausgleichsproblem Ax y Min wird durch x = A + y gelöst. Unter allen Lösungen besitzt A + y die kleinste Norm. Beweis: Es gilt min Ax y = min ỹ y, ỹ Bild (A) also ỹ = Py. Wenn Ax = ỹ, x Kern(A), so folgt für beliebiges x Kern(A) A(x + x) = ỹ, x + x = x + x. Also besitzt x unter allen Lösungen von Ax = ỹ die kleinste Norm. A + kann mit der Singulärwertzerlegung bestimmt werden. Wenn A = UΣV H mit U m m, V n n unitär und Σ m n mit D 0 Σ =, D = diag (σ 1,...,σ r ), σ r > 0, so setze Dann gilt D Σ = n m, A + = V Σ + U H n m. A + A = V Σ + U H UΣV H Ir 0 = V m }{{ m } V H, 103

6 also (A + A) H = A + A. Analog zeigt man AA + = (AA + ) H sowie AA + A = UΣV H Ir 0 V V H = A. Damit sind die Bedingungen (b) (i)-(iv) des vorletzten Satzes alle erfüllt. 9.5 Das nichtlineare Ausgleichsproblem Sei m n und f : Ê n Ê m stetig differenzierbar. Zu y Ê n soll ein x Ê n bestimmt werden mit y f(x) Min. Wir leiten ein Verfahren für dieses Problem durch Linearisierung her. Sei x eine Näherung. Aus der Differenzierbarkeit von f folgt Wir bestimmen daher die Lösung von f(x) = f(x) + f x (x)(x x) + o( x x ). (9.) min z Ê n y f(x) f x(x)(z x). Dies ist ein lineares Ausgleichsproblem, das als Analogon zum Newton-Verfahren zur Lösung nichtlinearer Gleichungen angesehen werden kann. Ähnlich wie beim Newton-Verfahren können wir zeigen, dass die Suchrichtung eine Abstiegsrichtung für das zu minimierende Funktional ist: Lemma Sei rangf x (x) = n, z = x sei die eindeutig bestimmte Lösung von (9.) und s = x x die zugehörige Richtung. Wenn s 0, so gibt es ein λ 0 > 0, so dass in [0, λ 0 ] streng monoton fallend ist. φ(τ) = y f(x + τs) Beweis: Fast genauso wie im analogen Satz für das gewöhnliche Newton-Verfahren erhalten wir φ (0) = d dτ (y f(x + τs)t (y f(x + τs) τ=0 = (f x (x)s) T (y f(x)) (y f(x) T (f x (x)s) = (f x (x)s) T (y f(x)) = (f x (x)s) T r(x), r(x) = y f(x). Nach (9.) ist s = x x die Lösung von also f x (x) T f x (x)s = f x (x) T r(x), φ (0) = s T f x (x) T r(x) = s T f x (x)f x (x)s = f x (x)s < 0 falls rangf x (x) = n und s 0. Wir erhalten damit den Gauß-Newton Algorithmus: 0) Sei x (0) Ê n ein Startvektor. Sei x (i) bereits definiert. 1) Bestimme s (i) durch min s Ê r(x(i) ) f x (x (i) )s, r(x (i) ) = y f(x (i) ). n 104

7 ) Sei φ(τ) = y f(x (i) + τs (i) ). Bestimme die kleinste Zahl k Æ 0 mit φ( k ) < φ(0) oder alternativ φ(τ) Min für τ > 0 durch ein Line-Search-Verfahren. Setze x (i+1) = x (i) + k s (i) oder alternativ = x (i) + τs (i). Beispiel 9.5 Für Probleme der Art n y i = e α jx i, j=1 i = 1,...,m sind die Funktionalmatrizen meist sehr schlecht konditioniert. Für m = n = erhalten wir beispielsweise x1 e α 1x 1 x 1 e α x 1 f α (α) = x e α 1x x e α x mit ( det f α (α) = x 1 x e α 1 x 1 +α x e α 1x +α x 1 ) 0 falls α1 α oder x 1 x. Die Normalgleichungen dürfen daher nicht mit einem Verfahren für fα T f α gelöst werden. 105