Ausgleichsproblem. Definition (1.0.3)

Transkript

1 Ausgleichsproblem Definition (1.0.3) Gegeben sind n Wertepaare (x i, y i ), i = 1,..., n mit x i x j für i j. Gesucht ist eine stetige Funktion f, die die Wertepaare bestmöglich annähert, d.h. dass möglichst genau gilt: f(x i ) y i für i = 1,..., n. Bemerkungen: Ist die Menge der stetigen Funktionen nicht eingeschränkt, so ist die optimale Funktion, die sogar f(x i ) = y i erfüllt, das Interpolationspolynom. Aber: Beim Ausgleichsproblem ist nicht verlangt, dass die Funktion genau durch die gegebenen Wertepaare verläuft. In vielen Anwendungen sind die Wertepaare Messdaten, die mit einem Fehler behaftet sind. Dann ist die Forderung, dass die Funktion durch die Wertepaare verläuft, wenig sinnvoll.

2 Ausgleichsproblem Definition (1.0.4) Gegeben sei eine Menge F von stetigen Funktionen auf einem Intervall [a, b] (F C ([a, b])) n Wertepaare (x i, y i ), i = 1,..., n. Eine Funktion f F heißt Ausgleichsfunktion zu den Wertepaaren, falls das Fehlerfunktional E(f) := n ( ) 2 y i f(x i ) für f minimal wird, d.h. E(f) = min{e(g) g F}. Die Menge F nennt man auch Ansatzfunktionen.

3 Ausgleichsproblem Bemerkungen: Das gefene f ist optimal im Sinne der kleinsten Fehlerquadrate. Dies entspricht der Forderung, dass die 2-Norm des Fehlervektors (f(x 1 ) y 1, f(x 2 ) y 2,..., f(x n ) y n ) T minimal werden soll. Alternativ können andere Normen des Fehlervektors zur Minimierung berechnet werden, jedoch wird die 2-Norm am häufigsten verwendet. Die Fehler können mit Gewichten ω i belegt werden, d.h. n ω i(f(x i ) y i ) 2, wobei ω i > 0 Konstante sind. Hierdurch können z.b. Messwerte aus qualitativ schlechterer Messung geringer gewichtet werden, indem sie mit einem Faktor ω i < 1 multipliziert werden. In Anwendungen wählt man oft F als die Menge aller Geraden. Das so gefene f nennt man Ausgleichsgerade oder Regressionsgerade.

4 Beispiel Zu den Wertepaaren x i y i Ausgleichsgerade bestimmt werden. soll die Lösung: Gesucht ist die Ausgleichsgerade in der Form y = ax + b, also F := {a 1 f 1 + a 2 f 2 a 1, a 2 R} mit den Ansatzfunktionen f 1 (x) = x f 2 (x) = 1. Das Fehlerfunktional hat dann die Form E(f(a, b)) := 4 (y i f(x i )) 2 = 4 (y i (ax i + b)) 2

5 Das Fehlerfunktional E(f(a, b)) soll minimal werden, d.h. die partiellen Ableitungen nach den Parametern a b müssen verschwinden: 0 = 0 = E(f(a, b)) a E(f(a, b)) b = 2 = 2 n (y i (ax i + b))x i n (y i (ax i + b)) Dies liefert 2 Gleichungen für die beiden Unbekannten a b. Nach wenigen Umformungen erhält man: n n a x 2 i + b x i = a n x i + b n 1 = n y i x i n y i

6 Dies ist ein lineares Gleichungssystem für die beiden Unbekannten a b, das sich in Matrix-Vektor-Form schreiben lässt als: ( n x2 i n x i n x i n ) ( ) a = b ( n y ) ix i n y i Nach Einsetzen der Werte für x i y i erhält man: ( ) ( ) ( ) a 91.6 = a = 1.67, b = b 33.3 Die Ausgleichsgerade ist: y = 1.67x

7 Definition (1.1.1) Gegeben sind Basisfunktionen f 1,..., f m, F := {λ 1 f 1 + λ 2 f λ m f m λ i R für alle i = 1,..., m} sowie n Wertepaare (x i, y i ), i = 1,..., n. Man sagt, dass ein lineares Ausgleichsproblem vorliegt. Weiter sei für f = m j=1 λ jf j F: E(λ 1, λ 2,..., λ m ) := = n (y i f(x i )) 2 n ( y i m j=1 = y Aλ 2 2. ) 2 λ j f j (x i )

8 Hierbei ist A = f 1 (x 1 ) f 2 (x 1 )... f m (x 1 ) f 1 (x 2 ) f 2 (x 2 )... f m (x 2 ).... f 1 (x n ) f 2 (x n )... f m (x n ) y = y 1. y n, λ = λ 1. λ m. Das System A λ = y heißt Fehlergleichungssystem.

9 Normalgleichungen Definition (1.1.2) Die Gleichungen 0 = E(f(λ 1, λ 2,..., λ m )) λ i, i = 1,..., m heißen Normalgleichungen zum linearen Ausgleichsproblem. Das System der Normalgleichungen heißt Normalgleichungssystem; es lässt sich als lineares Gleichungssystem in der Form schreiben. A T Aλ = A T y

10 Normalgleichungen Bemerkungen: Das Fehlergleichungssystem besitzt n Gleichungen m Unbekannte. In der Regel ist n > m, d.h. es gibt mehr Wertepaare als zu bestimmende Parameter. Das Gleichungssystem ist überbestimmt. Es gibt nicht immer eine Lösung. Zur Lösung des Ausgleichsproblems muss das Fehlerfunktional in den Parametern minimal werden, d.h. die partiellen Ableitungen nach den Parametern müssen verschwinden. Die Lösungen der Normalgleichungen sind die gesuchten Parameter des Ausgleichsproblems. Das Lösen der Normalgleichungen eines linearen Ausgleichsproblems entspricht dem Lösen eines linearen Gleichungssystems mit symmetrischer m m Matrix A T A, rechter Seite A T y gesuchtem Lösungsvektor λ R m.

11 Beispiel Gesucht ist das lineare Gleichungssystem bestehend aus den Normalgleichungen zu den Wertepaaren: x i y i Lösung: Gegeben sind f 1 (x) = x, f 2 (x) = 1 n = 4 Wertepaare. Die Matrix A ist also eine 4 2 Matrix A = f 1 (x 1 ) f 2 (x 1 ) f 1 (x 2 ) f 2 (x 2 ) f 1 (x 3 ) f 2 (x 3 ) f 1 (x 4 ) f 2 (x 4 ) = f 1 (1) f 2 (1) f 1 (2) f 2 (2) f 1 (3) f 2 (3) f 1 (4) f 2 (4) =

12 A T A = A T y = ( ( ) ) = ( = ( ) ), Damit ist A T Aλ = A T y dasselbe Gleichungssystem wie aus dem vorherigen Beispiel.

13 Beispiel Gegeben sind die Messdaten x i y i Gesucht ist eine Funktion f(x) = ae x + b, die die Daten bestmöglich bzgl. der kleinsten Fehlerquadrate approximiert. Lösung: Die Ansatzfunktionen lauten f 1 (x) = e x f 2 (x) = 1. Das Fehlergleichungssystem hat dann die Form: Aλ = y λ =

14 Hieraus ergibt sich das zugehörige Normalgleichungssystem ( ) ( A T Aλ = A T y λ = ) Dieses System hat die Lösung ( ) damit die Lösung für die Ausgleichsfunktion f(x) = 2.49e x

15 Bild

16 Nichtlineares Ausgleichsproblem Definition (1.1.3) Gegeben sei eine Menge F von Ansatzfunktionen f p, die von m Parametern λ 1, λ 2,..., λ m abhängen: F := {f p (λ 1, λ 2,..., λ m ) λ i R für alle i = 1,..., m}, sowie n Wertepaare (x i, y i ), i = 1,..., n. Das Fehlerfunktional lautet dann n E(λ 1, λ 2,..., λ m ) = (y i f p (λ 1, λ 2,..., λ m, x i )) 2

17 Nichtlineares Ausgleichsproblem Mit den Bezeichnungen f(λ 1,..., λ m ) := := f 1 (λ 1,..., λ m ). f n (λ 1,..., λ m ) y 1 f p (λ 1,..., λ m, x 1 ). y n f p (λ 1,..., λ m, x n ) lässt sich das Fehlerfunktional E(λ 1,..., λ m ) schreiben als: E(λ 1,..., λ m ) = n f i (λ 1,..., λ m ) 2 = f(λ 1,..., λ m ) 2 2 = f(λ) 2 2

18 Nichtlineares Ausgleichsproblem Die Lösung des Ausgleichsproblems entspricht der Aufgabe: Bestimme λ 1, λ 2,..., λ m so, dass E(λ 1, λ 2,..., λ m ) minimal wird unter allen zulässigen Parameterbedingungen. Bemerkung: Für Ansatzfunktionen f p, die linear in den Parametern sind, entspricht die Definition dem linearen Ausgleichsproblem. Das allgemeine Ausgleichsproblem erfordert die Bestimmung des Minimums der Funktion E : R m R. Hierzu können die Normalengleichungen aufgestellt werden, indem die partiellen Ableitungen von f nach den Parametern λ i gleich Null gesetzt das resultierende nichtlineare Gleichungssystem gelöst wird.

19 Beispiel An folgende Daten x i soll eine y i Ansatzfunktion f(x) = ae bx bestmöglich im Sinne der kleinsten Fehlerquadrate angepasst werden. Lösung: Die Parameter a b der Ansatzfunktion f p (a, b, x) = ae bx müssen so bestimmt werden, dass E(a, b) := 5 ( y i f p (a, b, x i ) ) 2 = 5 ( ) 2 y i ae bx i minimal wird.

20 Nichtlineares Ausgleichsproblem Die partiellen Ableitungen von E(a, b) lauten 0 = 0 = E(a, b) a E(a, b) b = 2 = ( ) y i ae bx i e bx i ( ) y i ae bx i ae bx i x i. Dies ist ein nichtlineares Gleichungssystem mit zwei Unbekannten. Die Lösung kann mit einem mehrdimensionalen Newton-Verfahren berechnet werden. Hier hängt die 1. Gleichung linear von a ab kann daher direkt nach a aufgelöst in die 2. Gleichung eingesetzt werden. Dann hängt die 2. Gleichung nur noch von b ab kann über ein eindimensionales Newton-Verfahren gelöst werden. Als Ergebnis ergibt sich: a = b =

21 Nichtlineares Ausgleichsproblem Bemerkungen: Das Vorgehen hat in der Praxis verschiedene Nachteile: Es werden die partiellen Ableitungen benötigt. Diese sind nicht unbedingt bekannt. Das Newton-Verfahren konvergiert nur, wenn eine genügend gute Anfangsnäherung gegeben ist. Hierzu muss man bereits eine Näherung für die optimalen Parameter kennen. Das ist ebenfalls in der Praxis meistens nicht gegeben. Eine Alternative zur Behandlung von Minimierungsverfahren bietet daher das sog. Gauß-Newton-Verfahren an, das diese Nachteile nicht besitzt.

22 Gauß-Newton-Verfahren Ausgangspunkt ist ein nichtlineares Ausgleichsproblem, das zu minimieren ist. Definition (1.1.4) Gegeben ist eine Funktion f : R n R das zugehörige Fehlerfunktional E : R n R gegeben durch E(x) := f(x) 2 2. Das Problem, einen Lösungsvektor x zu finden, für den E(x) minimal wird, nennt man Quadratmittelproblem. Das Gauß-Newton-Verfahren besteht aus einer Kombination von linearer Augleichsrechnung Newton-Verfahren. Hierzu wird in f(x) 2 2 der Vektor f(x) durch einen linearen Ausdruck ersetzt dieser wird minimiert. Das nichtlineare Ausgleichsproblem wird in ein lineares überführt. Der Prozess wird anschließend ähnlich dem Newton-Verfahren iteriert.

23 Gauß-Newton-Verfahren Rückblick: Newton-Verfahren Die Tangentengleichung an einer Stelle x 0 lautet f(x) = f(x 0 ) + f (x 0 )(x x 0 ). Eine entsprechende Linearisierung ist auch für eine mehrdimensionale Funktionen f : R m R möglich in der Form f(x) = f(x 0 ) + Df(x 0 )(x x 0 ), wobei Df(x 0 ) die sogenannte Jacobi-Matrix in x 0 bezeichnet mit f 1 f x 1 (x 0 ) 1 f x 2 (x 0 ) 1 x n (x 0 ) f 2 f Df(x 0 ) = x 1 (x 0 ) 2 f x 2 (x 0 ) 2 x n (x 0 )... f n f x 1 (x 0 ) n f x 2 (x 0 ) n x n (x 0 )

24 Gauß-Newton-Verfahren Zurück zum Ausgleichsproblem Gauß-Newton-Verfahren: Wir nehmen an, dass eine Näherung x (0) vorliegt definieren das in x (0) linearisierte Ausgleichsproblem über Ẽ(x) := f(x (0) ) + Df(x (0) )(x x (0) ) 2 2. Das Minimieren von Ẽ ist ein lineares Ausgleichsproblem, dessen Lösung eine bessere Näherung als x (0) ist mit x (1) bezeichnet wird.

25 Gauß-Newton-Verfahren Definition (1.1.5) Sei x (0) ein Startvektor in der Nähe des Minimums von E. Das Gauß-Newton-Verfahren zur näherungsweisen Bestimmung des Minimums lautet: Für k = 0, 1,... Berechne δ (k) als Lösung des linearen Ausgleichsproblems: Minimiere f(x (k) ) + Df(x (k) )δ (k) 2 2 Setze x (k+1) = x (k) + δ (k). Aufgr der schnelleren für einen größeren Bereich an Startwerten gültigen Konvergenz wird in Anwendungen eine bessere Variante, das sogenannte gedämpfte Gauß-Newton-Verfahren verwendet.

26 Gedämpftes Gauß-Newton-Verfahren Definition (1.1.6) Sei x (0) ein Startvektor in der Nähe des Minimums von E. Das gedämpfte Gauß-Newton-Verfahren zur näherungsweisen Bestimmung des Minimums lautet: Für k = 0, 1,... Berechne δ (k) als Lösung des linearen Ausgleichsproblems: Minimiere f(x (k) ) + Df(x (k) )δ (k) 2 2 durch Lösung von Df(x (k) ) T Df(x (k) )δ (k) = Df(x (k) ) T f(x (k) ) Bestimme die Schrittweite für die Dämpfung: Wähle die größte Zahl t {1, 1 2, 1 4,...}, für die mit ϕ(t) := f(x (k) ) + tδ (k) 2 2 gilt ϕ(t) < ϕ(0). Setze x (k+1) := x (k) + tδ (k).

27 Gauß-Newton-Verfahren Bemerkungen: Bei dem Dämpfungsschritt wird die Korrekturrichtung δ (k) mit einem Faktor t multipliziert. Dieser Faktor entsteht aus fortlaufender Halbierung. Hierdurch konvergiert das Verfahren für eine größere Menge an Startvektoren als beim ungedämpften Verfahren. Außerdem wird ein echter Abstieg der Funktionswerte sichergestellt, so dass f(x (k+1) ) 2 2 = ϕ(t) < ϕ(0) = f(x (k) ) 2 2 Die Konvergenz muss durch weitere Bedingungen garantiert werden. Als Abbruchkriterium der Iteration kann z.b. tδ (k) < ɛ wie bei dem Newton-Verfahren gewählt werden.

28 Gauß-Newton-Verfahren Beispiel Zu den Messdaten x i y i der Ansatzfunktion f(x) = ae bx soll das ungedämpfte Gauß-Newton-Verfahren angewandt werden. Lösung: Die Funktion f besitzt die Komponenten f i (a, b) := y i ae bx i. Daher lautet die i-te Zeile der Jacobi-Matrix (Df) i (a, b) = ( e bx i, ax i e bx i ). Mit dem Startwert x (0) = (1, 1.5) ergibt das ungedämpfte Gauß-Newton-Verfahren die Iterationswerte: k x (k) ( 1 ) ( 2.99 ) ( 1.26 ) ( 2.91 )

29 Gauß-Newton-Verfahren Bei der Newton-Iteration ändert sich ab x (13) = ( ) der Lösungsvektor im Bereich der angegebenen Ziffern nicht mehr. Bemerkung: Für den Startvektor x (0) = ( 2 T 2) tritt bei dem ungedämpften Gauß-Newton-Verfahren keine Konvergenz ein, wohl aber bei dem gedämpften Gauß-Newton-Verfahren.