KAPITEL 6 Nichtlineare Ausgleichsrechnung Beispiel 61 Gedämpfte Schwingung: u + b m u + D m u = 0, Lösungen haben die Form: u(t) = u 0 e δt sin(ω d t + ϕ 0 ) Modell einer gedämpften Schwingung y(t; x 1, x 2, x 3, x 4 ) = x 1 e x2t sin(x 3 t + x 4 ), mit Parametern x 1,, x 4 Methode der kleinsten Fehlerquadrate: 10 ( x1 e x 2t i sin(x 3 t i + x 4 ) b i ) 2 = F(x1, x 2, x 3, x 4 ) 2 2, i=1 mit F : R 4 R 10 definiert durch F i (x) = F i (x 1, x 2, x 3, x 4 ) = x 1 e x 2t i sin(x 3 t i + x 4 ) b i, i = 1,,10 Dahmen-Reusken Kapitel 6 1
Definiert man allgemein die Abbildung F : R n R m, F i (x) := y(t i ; x) b i, i = 1,, m, kann das nichtlineare Ausgleichsproblem wie folgt formuliert werden: Bestimme x R n, so daß oder, äquivalent, F(x ) 2 = min x R n F(x) 2, φ(x ) = min x R n φ(x), wobei φ : R n R, φ(x) := 1 2 F(x) 2 2 = 1 2 F(x)T F(x) Dahmen-Reusken Kapitel 6 2
Die Funktion φ(x) = 1 2 F(x) 2 2 = 1 2 F(x)T F(x) hat in einem Punkt x ein lokales Minimum genau dann, wenn die folgenden zwei Bedingungen erfüllt sind: φ(x ) = 0 φ (x ) R n n (dh, x ist kritischer Punkt von φ), ist symmetrisch positiv definit Es läßt sich durch Nachrechnen bestätigen, daß φ(x) = F (x) T F(x), φ (x) = F (x) T F (x) + m i=1 F i (x)f i (x) Dahmen-Reusken Kapitel 6 3
Taylorentwicklung: Das Gauß-Newton Verfahren F(x) = F(x k ) + F (x k )(x x k ) + O( x x k 2 2 ) Abbruch nach dem linearen Term lineares Ausgleichsproblem: Finde s k R n mit minimaler 2-Norm, so daß F (x k )s k + F(x k ) 2 = min s R n F (x k )s + F(x k ) 2 Setze x k+1 := x k + s k Der Erfolg dieser Strategie hängt von der Wahl des Startwertes ab Bemerkung: mit minimaler 2-Norm kann man weglassen, wenn Rang(F (x)) = n gilt Dahmen-Reusken Kapitel 6 4
Insgesamt erhält man folgendes Verfahren: Algorithmus 63 (Gauß-Newton) Wähle Startwert x 0 Für k = 0,1,2, : Berechne F(x k ), F (x k ) Löse das lineare Ausgleichsproblem (67) Setze x k+1 = x k + s k Als Abbruchkriterium für diese Methode wird häufig F (x k ) T F(x k ) 2 ε benutzt, wobei ε eine vorgegebene Toleranz ist Der zugrunde liegende Gedanke hierbei ist, daß in einem kritischen Punkt x von φ die Ableitung φ(x) = F (x) T F(x) Null sein muß Dahmen-Reusken Kapitel 6 5
Analyse der Gauß-Newton-Methode Sei x ein kritischer Punkt von φ, der in einer Umgebung U eindeutig ist Annahme: Rang(F (x)) = n für alle x U Für x k U hat das lineare Ausgleichsproblem (67) wegen Satz 45 die eindeutige Lösung s k = [F (x k ) T F (x k )] 1 F (x k ) T F(x k ) Deshalb gilt für die Gauß-Newton-Iteration: mit x k+1 = x k [F (x k ) T F (x k )] 1 F (x k ) T F(x k ) = x k [F (x k ) T F (x k )] 1 φ(x k ) = Φ(x k ), Φ(x) := x [F (x) T F (x)] 1 φ(x) Es gilt: x = Φ(x) φ(x) = 0 x = x Die Gauß-Newton-Methode ist also eine Fixpunktiteration Dahmen-Reusken Kapitel 6 6
Beispiel 64 F(x) := ( ) a + rcos x rsin x, mit a > r > 0, x [0,2π] Ausgleichsproblem: min x F(x) 2 F(x) 2 = a 2 + 2arcos x + r 2, ( ) F sin x (x) = r, F (x) T F (x) = r 2, cos x φ(x) = rasin x Es gibt zwei kritische Punkte von φ: Die Iterationsfunktion zu F ist x = 0 (lokales Maximum), x = π (lokales Minimum) Φ(x) = x + a r sin x Dahmen-Reusken Kapitel 6 7
In den kritischen Punkten x = 0, x = π gilt Φ (x ) = 1 + a r cos x Für x = 0 (lokales Maximum) gilt Φ (x ) = a+r r > 1 Für x = π (lokales Minimum) gilt Φ (x ) = a r r = a r 1 Dahmen-Reusken Kapitel 6 8
x 0 x 1 x 2 x 2 x 1 x 0 Dahmen-Reusken Kapitel 6 9
Die Gauß-Newton-Methode hat in diesem Beispiel folgende Eigenschaften: 1 Das lokale Maximum ist abstoßend 2 Die Methode ist linear konvergent in einer Umgebung des lokalen Minimums (wenn a < 2r), oder 3 das lokale Minimum ist auch abstoßend (wenn a > 2r) Man kann zeigen, daß ähnliche Eigenschaften in einem allgemeinen Rahmen gültig sind Dahmen-Reusken Kapitel 6 10
Folgerung 66 Für die Gauß-Newton-Iterationsfunktion Φ gilt Φ (x ) A = ρ(k) F(x ) 2, Φ (x ) ρ(k) F(x ) 2 für jede Operatornorm (Mit K: Matrix aus (612)) Hieraus kann man folgendes schließen: Im Normalfall ist F(x ) 0, K 0 und deshalb Φ (x ) 0 Falls die Gauß-Newton-Methode konvergiert, ist die Konvergenz im allgemeinen nicht schneller als linear Wenn der kritische Punkt x ein lokales Maximum oder ein Sattelpunkt ist, gilt ρ(k) F(x ) 2 1 und deshalb Φ (x ) 1 für jede Operatornorm Das Verfahren bewahrt uns also davor, einen falschen kritischen Punkt zu finden Solche kritischen Punkte sind für das Gauß-Newton-Verfahren also abstoßend, was günstig ist, weil ein (lokales) Minimum gesucht wird Dahmen-Reusken Kapitel 6 11
Die Größe ρ(k) F(x ) 2 ist entscheidend für die lokale Konvergenz des Gauß-Newton-Verfahrens Für ein lokales Minimum x der Funktion φ ist die lokale Konvergenz des Gauß-Newton-Verfahrens gesichert, falls das Residuum F(x ) 2 und die Größe ρ(k) hinreichend klein sind, so daß die Bedingung ρ(k) F(x ) 2 < 1 erfüllt ist Sei x ein lokales Minimum von φ, wofür ρ(k) F(x ) 2 > 1 gilt Dann ist Φ (x ) > 1 für jede Operatornorm Deshalb: Ein lokales Minimum von φ kann für die Gauß-Newton-Methode abstoßend sein Dahmen-Reusken Kapitel 6 12
Beispiel 67 Die Gauß-Newton-Methode angewandt auf das Problem in Beispiel 61 k F(x k ) 2 φ(x k ) 2 φ(x k ) 2 / φ(x k 1 ) 2 0 035035332090089 145e 01-1 034106434131008 133e 01 091 2 022208131421995 488e 02 037 3 016802866234936 102e 01 208 4 009190056278958 180e 01 018 5 008902339976144 118e 03 007 6 008895515308450 381e 04 032 7 008894991006370 115e 04 030 8 008894937563528 407e 05 035 9 008894931422207 138e 05 034 10 008894930687791 485e 06 035 11 008894930599062 168e 06 035 12 008894930588306 587e 07 035 In der letzten Spalte dieser Tabelle sieht man das lineare Konvergenzverhalten der Gauß-Newton-Methode Dahmen-Reusken Kapitel 6 13
Die berechneten Parameterwerte x = x 12 liefern eine entsprechende Lösung y(t; x ) = x 1 e x 2 t sin(x 3 t + x 4 ): 07 06 05 04 03 02 01 0 01 02 03 0 05 1 15 2 25 3 35 4 Dahmen-Reusken Kapitel 6 14
Levenberg-Marquardt-Verfahren Finde s k R n, so daß F (x k )s k + F(x k ) 2 2 + µ2 s k 2 2 = min, wobei µ > 0 ein zu wählender Parameter ist Neue Annäherung: Äquivalente Formulierung: x k+1 = x k + s k Finde s k R n, so daß ( F (x k ) ( ) s k F(x + k ) µi ) 2 = min Großer Vorteil: die Matrix ( F (x k ) µi ) hat immer vollen Rang Dahmen-Reusken Kapitel 6 15
Für die Korrektur s k gilt: s k 2 F(xk ) 2 µ Also kann man durch eine geeignete Wahl von µ eine zu große Korrektur s k vermeiden Mit anderen Worten, der Parameter µ kann eine Dämpfung der Korrektur bewirken Auch das Levenberg-Marquardt-Verfahren kann man als Fixpunktiteration formulieren, wobei Φ µ (x) = x [F (x) T F (x) + µ 2 I] 1 F (x) T F(x) = x [F (x) T F (x) + µ 2 I] 1 φ(x) Dahmen-Reusken Kapitel 6 16
Algorithmus 610 (Levenberg-Marquardt) Wähle Startwert x 0 und Anfangswert für den Parameter µ Für k = 0,1,2, : 1 Berechne F(x k ), F (x k ) 2 Löse das lineare Ausgleichsproblem ( F (x k ) ( ) s k F(x + k ) ) µi 2 = min 3 Teste, ob die Korrektur s k akzeptabel ist Wenn nein, dann wird µ angepaßt und Schritt 2 wiederholt Wenn ja, dann: 4 Setze x k+1 = x k + s k Dahmen-Reusken Kapitel 6 17