Wiederholung: Iterative Verfahren

Transkript

1 Wiederholung: Iterative Verfahren Vorlesung Inverse Probleme

2 Inhalt Landweber-Iteration Nichtlineare Probleme Konjugierte Gradientenmethoden

3 Landweber-Iteration T Tx = T y äquivalente Fixpunktgleichung x = x T (Tx y). Einfachster iterativer Algorithmus x k+1 = x k T (Tx k y), k N Relaxierungsparameter τ R ergibt x k+1 = x k τ T (Tx k y) = (I τ T T )x k + τ T y, k N (1) die sogenannte Landweber Iteration. Für lineare Gleichungen ist die Standard Wahl des Startwertes x 0 = 0.

4 Landweber Gradientenmethode Die Landweber Iteration ist äquivalent zu der Gradientenmethode für das kleinste Quadrate-Problem die deniert ist durch J(x) := 1 2 Tx y 2 min, x X x k+1 := x k τ J (x) = x k τ T (Tx k y), das kleinste Quadrate-Funktional wir während der Iteration kleiner, falls τ klein genug.

5 Landweber - Konvergenz Theorem (Konvergenz der Landweber-Methode) Sei y D(T ) und 0 < τ < 2 T 2, dann gilt x k T y, wenn k.

6 Landweber - Konvergenz Theorem (Konvergenz der Landweber-Methode) Sei y D(T ) und 0 < τ < 2 T 2, dann gilt x k T y, wenn k. Beweis. Mit Hilfe der Singulärwertzerlegung mit Singulärsystem (σ n, u n, v n ) (x k+1, u n ) = (1 τσ 2 n)(x k, u n ) + τσ n (y, v n ) für den n-ten Koezienten. Mit x 0 = 0 erhalten wir: (x k, u n ) = ( 1 (1 τσ 2 n) k 1 ) 1 σ n (y, v n ) x, u n, falls 1 τσ 2 n < 1. Da σ 1 = max n σ n = T, bedeutet dies 0 < τ < 2 T 2.

7 Fehlerverhalten Bemerkung Unter der obigen Bedingung an τ können wir zeigen, dass das kleinste-quadrate Funktional kleiner wird, wenn es gilt Tx k+1 y 2 = Tx k y τ TT (Tx k y) 2 = Tx k y 2 + τ 2 TT (Tx k y) 2 2τ Tx k y, TT (Tx k y) = Tx k y 2 + τ ( τ TT (Tx k y) 2 T (Tx k y) 2) Tx k y 2 + τ T (Tx k y) 2 ( τ T 2 2 ) }{{} 0 Tx k y 2.

8 Landweber - Regularisierungsmethode Wenn wir α := 1 k gilt g α (σ) = als Regularisierungsparameter interpretieren ( 1 (1 τσ 2 ) 1/(α 1)) 1 σ. Für τσ 2 < 2 konvergiert g α (σ) oensichtlich zu 1/σ für α = 1 k 0. Mit Satz aus Kapitel 3 schlieÿen wir daher, dass x k x für k. Ebenfalls analog zu Kapitel 3: Konvergenz kann beliebig langsam sein ( Quellbedingungen).

9 Landweber - Konvergenzraten Annahme: folgende Quellbedingung ist erfüllt x = T p for p Y. Dann gilt für die Singulärwerte im Singulärsystem (σ n, u n, v n ): ( ) (y, (x k x, u n ) = 1 (1 τσn) 2 k 1 vn ) (x, u n ) σ n = σ n (1 τσn) 2 k 1 (p, v n ). Die positive Funktion r(σ) := σ(1 τσ 2 ) k 1 hat ein 1 eindeutiges Maximum an σ = und daher τ(2k 1) (x k x, u n ) r(σ) p Damit gilt für den Fehler x k x = O 1 τ(2k 1) p. ( ) 1. k

10 Landweber - Verrauschte Daten Verrauschte Daten y y δ δ Da α = 1 als Regularisierungsparameter α immer positiv k für verrauschte Daten nach endlich vielen Schritten abbrechen. Insbesondere sollte die Anzahl der Iterationen k von den verrauschten Daten und dem Rauschlevel δ anhängen, also k = k (δ, y δ ). Fehler zwischen exakten und regularisierten Lösung: x k (δ) δ x, u n τσ n k δ + (1 τσ 2 n) k 1 x. Wählen wir also, für δ 0, denn Stopp-Index so dass k (δ) und k (δ)δ 0, dann x k (δ) δ x, d.h. die Landweber-Iteration ist eine konvergenze Regularisierungsmethode.

11 Diskrepanzprinzip Iterativen Methoden: sehr einfach a-posteriori Stopp-Regeln wie Diskrepanzprinzip zu benutzen: Fehler: k (δ, y δ ) := inf{k N Tx δ k y δ < ηδ}, x δ k+1 x 2 x δ k x 2 τ η Tx k δ y δ ( ) Txδ k y δ ηδ, mit η 2 2 τ T. So lange k < k d.h. der Fehler verringert sich mindestens bis der Stopp-Index erreicht ist. x = T p für p Y erfüllt gilt sogar x k δ x = O( δ), also ein Resultat analog zu den stetigen Regularisierungsmethoden aus Kapitel 3.

12 Landweber - Beispiel Primal Adjungiert messungen unbekannt Residuum update

13 Nichtlineare Probleme F (x) = y. Motivation: Äquivalenz zur Gradienten-Abstiegsmethode für das zugehörige kleinste-quadrate Funktional 1 2 Tx y 2 ist. Ableitung gegeben durch J(x) := 1 2 F (x) y δ 2. J (x) = F (x) (F (x) y) Nichtlineare Landweber-Iteration: x k+1 δ = xδ k τ F (xδ k ) (F (xδ k ) y). (2)! Nichtlinearer Fall: Wahl des Anfangswertes x 0 spielt selbe Rolle wie a-priori Information x bei der Tikhonov-Regularisierung (i.a. mehrere Lösungen!).

14 Fehler: Ähnlich linearer Fall x δ k+1 x 2 x δ x k 2 = τ 2 F (x δ ) k (F (x δ ) y δ ) k 2 2τ x δ x, F (x δ ) k k (F (x δ ) y δ ) k τ 2 F (x δ ) k 2(F (x δ ) y δ ) k 2 2τ F (x δ ) y, F (x δ ) y δ k k +2τ F (x δ ) + F (x δ )(x δ x ) F (x ), F (x δ ) y δ k k k k Da F (x k δ ) + F (x k δ )(x k δ x ) F (x ) eine erste Ordnung Taylorentwicklung ist erwartet man (zumindest lokal um die Lösung) eine Abschätzung der Art F (x k δ ) + F (x k δ )(x k δ x ) F (x ) c x k δ x 2.! Aber: Fehler x k δ x 2 kann viel gröÿer sein als F (x k δ ) F (x ) (schlechtgestelltes Problem!)

15 Für die Konvergenzanalyse zeigt sich, dass eine Bedingung der Form F (x k δ ) + F (x k δ )(x k δ x ) F (x ) c F (x k δ ) F (x ) mit c < 1 ausreichend ist, zumindest lokal um eine Lösung. Diese 2 Bedingung beschränkt die Art der Nichtlinearität des Operators F und wird tangential cone condition genannt. Diese Bedingung ersetzt in gewisser Weise die stetige Invertierbarkeit des Operators F (x ), die bei der Konvergenzanalyse wohl-gestellter Probleme eine zentraler Voraussetzung ist.

16 Newtonartige Methoden Grundlegende Idee: lokale Linearisierung. F (x k )(x k+1 x k ) = (F (x k ) y). Da F (x k ) im Fall schlecht-gestellter Probleme kein regulärer Operator Regularisierung: (F (x k ) F (x k ) + α k I )(x k+1 x k ) = F (x k ) (F (x k ) y), Levenberg-Marquardt-Methode Alternativ: Tikhonov-Regularisierung auch mit a-priori Informationen, die gebräuchlichste Form ist der Startwert x 0 in jedem Iterationsschritt: (F (x k ) F (x k ) + α k I )(x k+1 x k ) = F (x k ) (F (x k ) y) + α k (x 0 x k ). iterativ Regularisierte Gauss-Newton-Methode Stop-Index der Regularierungsparameter ist, nicht α k!

17 Konjugierte Gradientenmethoden

18 EIT Quelle:

19 EIT Quelle:

20 EIT Quelle:

21 Frohe Weihnachten & Guten Rutsch