Modern Methods in Nonlinear Optimization

Transkript

1 Modern Methods in Nonlinear Optimization Regularisierung Inverser Probleme Prof. Dr. Bastian von Harrach Technische Universität München, Fakultät für Mathematik - M1 Wintersemester 2010/2011

2

3 Inhaltsverzeichnis 1 Einleitung Ein Beispiel aus der Finanzmathematik: Risikoabschätzung einer binären Option Hintergrund: Ableiten als inverses Problem Parameteridentifikationsprobleme Lineare inverse Probleme Einige Grundbegriffe Moore-Penrose-Inverse Kompakte Operatoren Definition und erste Eigenschaften Spektraltheorie kompakter Operatoren Regularisierung linearer Probleme Regularisierung Schwache Konvergenz Parameterwahlstrategien Ordnungsoptimalität Grundlagen und Definition Ordnungsoptimalität für a-priori Parameterwahlstrategien Das Diskrepanzprinzip Ergänzung: Ordnungsoptimalität des Diskrepanzprinzips 48 i

4 INHALTSVERZEICHNIS 4 Nicht-lineare Probleme Lokale Schlechtgestelltheit Nicht-lineare Regularisierung ii

5 Kapitel 1 Einleitung Hadamard( ) nannte ein Problem wohlgestellt, falls 1. eine Lösung existiert (Existenz), 2. die Lösung eindeutig ist (Eindeutigkeit), 3. die Lösung stetig von den Eingangsdaten abhängt (Stabilität). Trifft eine dieser Eigenschaft nicht zu, so spricht man von einem schlecht gestellten Problem (engl.: ill-posed). Seien X, Y Hilberträume und A : X Y stetig und linear (wir schreiben A L(X, Y )). Dann ist das direkte Problem, zu gegebenem x X den Vektor y = Ax zu berechnen, offenbar wohlgestellt. Für das dazugehörige inverse Problem, eine lineare Gleichung Ax = y zu lösen, bedeuten die Hadamard- Kriterien: Existenz: y R(A) bzw. A surjektiv. Eindeutigkeit: A injektiv. Stabilität: A 1 stetig. In dieser Vorlesung untersuchen wir, wie schlecht gestellte Probleme dennoch stabil gelöst werden können. 1

6 KAPITEL 1. EINLEITUNG 1.1 Ein Beispiel aus der Finanzmathematik: Risikoabschätzung einer binären Option Wir betrachten eine binäre Option (auch: digitale Option oder Cash-or- Nothing-Option). Der Käufer einer solchen Option erhält zu einem späteren Zeitpunkt (am Verfallszeitpunkt/maturity date) einen festgelegten Betrag (payoff), falls dann der Kurs einer bestimmte Aktie (Basiswert, underlying) über einem gewissen Wert (strike) liegt. Ansonsten erhält er nichts. Auf dem ersten Übungsblatt lernen Sie den faire Preis einer solchen Option analytisch sowie numerisch (mit dem Monte Carlo-Verfahren) zu berechnen. Für das dort behandelte Testbeispiel zeigt die linke Seite von Abbildung 1.1 die entsprechend berechneteten Werte in Abhängigkeit vom heutigen Aktienkurs. Die rote durchgezogene Kurge zeigt die analytisch berechneten Werte, die numerisch berechneten Werte sind schwarz gepunktet eingezeichnet. Beide Kurven stimmen sehr gut überein Abbildung 1.1: Analytisch und mit Monte Carlo berechneter Optionspreis und Delta. Zur Risikobewertung einer binären Option ist es wichtig zu wissen, wie stark der Preis V vom Kurs des Underlyings S 0 abhängt, ob etwa schon minimale Kursschwankungen große Wertschwankungen der Option auslösen können. Hierfür relevant ist das sogenannte Delta = V S 0. Die rechte Seite in Abbildung 1.1 zeigt das mittels finiter Differenzen aus den Kurven auf der linken Seite berechnete Delta. 2 (S 0 ) V (S 0 + h) V (S 0 ), h = 10 3 h

7 1.2. HINTERGRUND: ABLEITEN ALS INVERSES PROBLEM Während die numerisch berechneten Werte der Option noch sehr gut mit den korrekten (analytisch berechneten) Werten übereinstimmten, sind die daraus numerisch berechneten Ableitungen offenbar völlig unbrauchbar. Durch die Division durch h werden die in der numerischen Bewertung vorhandenen Fehler um das 1/h = 1000-fache verstärkt und ruinieren das Ergebnis. 1.2 Hintergrund: Ableiten als inverses Problem Der Grund für die beobachtete Instabilität ist, dass die Ableitung einer Funktion nicht stetig von den Funktionswerten abhängt. Ein einfaches Beispiel ist f n (x) = 1 nπ sin(nπx), f n(x) = cos(nπx) Offenbar konvergiert f n (x) glm. auf [0, 1] gegen die Nullfunktion, während f n (x) für keinen Punkt x (0, 1] konvergiert. Wir können die Ableitung auch als inverses Problem zu einer linearen Abbildung zwischen Hilberträumen auffassen. Dazu definieren wir A : L 2 (0, 1) L 2 (0, 1), Af := x 0 f(s) ds Man rechnet leicht nach, dass A tatsächlich eine Abbildung von L 2 (0, 1) nach L 2 (0, 1), sowie linear und stetig ist. Außerdem ist Af g = const. genau dann, wenn f = g (im Sinne der schwachen bzw. distributionellen Ableitung). Offenbar ist auch Af n = f n, f n 2 L 2 (0,1) = 1 2nπ und f n 2 L 2 (0,1) = 1 2, d.h. f n 2 = 1 nπ Af n 2. A kann also nicht stetig invertierbar sein. Das Ableiten einer Funktion ist ein schlecht gestelltes, inverses Problem. 1.3 Parameteridentifikationsprobleme Viele Vorgänge in den Natur- und Wirtschaftwissenschaften lassen sich durch partielle Differentialgleichungen beschreiben, deren Lösung die Vorhersage 3

8 KAPITEL 1. EINLEITUNG des Verhaltens eines Systems bei vollständiger Kenntnis aller dazu nötigen Parameter ermöglicht. So beschreibt z.b. (a(x) u(x)) = f(x) u(x) = 0 x Ω x Ω die stationäre Wärmeverteilung in einem Körper Ω dessen Rand auf Nulltemperatur gehalten wird. u(x) ist dabei die Temperatur im Punkt x. a(x) ist die Wärmeleitfähigkeit und f(x) ist eine von außen angelegte Wärmequelle. Das dazugehörige inverse Problem ist es, die Wärmeleitfähigkeit des Körpers durch Messungen der Temperatur u(x) zu bestimmen. Wir betrachten ein einfaches eindimensionales Beispiel: (a(x)u x (x)) x = f(x) x (0, 1) mit u(0) = 0 = u(1). Falls u x nirgendwo verschwindet, dann erhalten wir a(x) = 1 ( x ) a(0)u x (0) + f(s) ds u x (x) 0 Um a zu berechnen, müssen die Temperaturmessungen u(x) also differenziert werden, was wie im letzten Abschnitt erklärt ein schlecht-gestelltes Problem darstellt. Zusätzliche (nicht-lineare) Instabilitäten können durch die Division durch den möglicherweise kleinen Ausdruck u x (x) auftreten. 4

9 Kapitel 2 Lineare inverse Probleme Der Aufbau dieses Kapitel folgt an vielen Stellen dem sehr empfehlenswerten Lehrbuch [Rieder]. Der Vollständigkeit halber und zur begleitenden Lektüre verweisen wir wann immer möglich auch auf die dort verwendete Nummerierung. Es seien stets X, Y Hilberträume mit Skalarprodukten (, ) X, (, ) Y und dadurch induzierten Normen X, Y. Wir benötigen noch einige grundlegende Begriffe. 2.1 Einige Grundbegriffe Definition und Satz 2.1 (a) L(X, Y ) ist ein Banachraum mit der Operatornorm Ax A L(X,Y ) := sup Y x =0 x X = sup Ax Y. x X =1 (b) Zu A L(X, Y ) ist der adjungierte Operator A L(Y, X) definiert durch (x, A y) X := (Ax, y) Y x X, y Y. Es gilt (A ) = A. Beweis: Wir setzen beides als bekannt voraus und verweisen z.b. auf [Alt]. Satz 2.2 Ist V X ein abgeschlossener Unterraum, dann ist V mit dem Skalarprodukt aus X selbst ein Hilbertraum. 5

10 KAPITEL 2. LINEARE INVERSE PROBLEME Beweis: Offenbar ist (, ) X auch ein Skalarprodukt auf V und die Vollständigkeit folgt direkt aus der Abgeschlossenheit und der Vollständigkeit von X. Definition und Satz 2.3 Sei V X ein (nicht notwendigerweise abgeschlossener) Unterraum. Wir definieren P V L(X) durch P V x := v, wobei v := arg min x ṽ X. ṽ V P V heißt orthogonale Projektion auf V. Außerdem definieren wir das orthogonale Komplement durch Dann gilt V := {x X : (x, V ) = 0} := {x X : (x, v) = 0 v V } (a) v = P V x v V und v x V, insbesondere ist also R(P V ) = V und N(P V ) = V. (b) V = V. (c) X = V V. (d) (V ) = V. (e) Für A L(X, Y ) ist N(A ) = R(A). (f) Für A L(X, Y ) ist R(A ) = N(A). Beweis: Es ist arg min ṽ V x ṽ X = arg min x ṽ 2 X = arg min ṽ V ṽ V ( ) 1 2 (ṽ, ṽ) X (x, ṽ) X Da V ein Hilbertraum ist (Satz 2.2), existiert nach dem Satz von Lax- Milgram (siehe Übungsblatt) genau ein Minimum von 1 2 (ṽ, ṽ) X (x, ṽ) X, dieses ist die eindeutige Lösung von (v, w) = (x, w) w V v x V und v hängt stetig und linear von x ab. Damit ist gezeigt, dass P V L(X) wohldefiniert ist und (a) gilt. Offenbar ist auch P 2 V = P V, also P V tatsächlich eine Projektion. 6

11 2.1. EINIGE GRUNDBEGRIFFE (b) folgt durch stetige Fortsetzung. (c) V V = 0 ist klar und jedes x X lässt sich (stetig) in x = P V x + (x P V x) V + V zerlegen. (d) klar: V (V ) = (V ) (e) Ist umgekehrt x (V ), dann ist nach (a) P V x x V, aber auch P V x x (V ), also (P V x x, P V x x) = 0 und damit x = P V x V. R(A) = {η Y : (η, y) = 0 y R(A)} = {η Y : 0 = (η, Ax) = (A η, x) x X} = {η Y : A η = 0} = N(A ). (f) Aus (A ) = A, (e) und (d) folgt N(A) = N((A ) ) = (R(A ) ) = R(A ). Definition 2.4 Sei V X ein Unterraum von X. Eine lineare Abbildung A : V Y bezeichnen wir auch als Operator von X nach Y mit Definitionsbereich D(A) = V und schreiben A : D(A) X Y. Wenn wir die Schreibweise von Definition 2.4 verwenden, wird meistens D(A) dicht in X liegen und A unbeschränkt sein. Definition und Satz 2.5 Seien A, B und C (möglicherweise unbeschränkte) Operatoren mit Definitionsbereichen D(A), D(B) und D(C). (a) Wir schreiben A B falls D(A) D(B) und Ax = Bx x D(A). Wir schreiben A = B falls zusätzlich D(A) = D(B). 7

12 KAPITEL 2. LINEARE INVERSE PROBLEME (b) Wir definieren A + B und AB punktweise auf den natürlichen Definitionsbereichen D(A + B) = D(A) D(B), D(AB) = {x D(B) : Bx D(A)}. Für 0 α Êdefinieren wir αa punktweise auf D(αA) = D(A). 0A ist der (beschränkte und überall definierte) Nulloperator. (c) Es gelten die folgenden Rechenregeln (A + B) + C = A + (B + C), (A + B)C = AC + BC, (AB)C = A(BC), A(B + C) AB + AC. Beweis: siehe Übungsblatt. Definition und Satz 2.6 (a) Die adjungierte Abbildung eines Operators A : D(A) X Y mit dichtem Definitionsbereich D(A) ist der durch (Ax, y) = (x, A y) x D(A), y D(A ) (2.1) eindeutig definierte Operator A : D(A ) Y X mit Definitionsbereich D(A ) = {y Y : x (Ax, y) ist stetig auf D(A)} (b) Sind A, B und AB Operatoren mit dichten Definitionsbereichen, dann ist (AB) B A. Ist A L(X, Y ), dann gilt sogar (AB) = B A. (c) Ein Operator A : D(A) X X heißt symmetrisch, falls (Ax, y) = (x, Ay) x, y D(A). Ist D(A) dicht in X, so gilt A symmetrisch A A, und A heißt selbstadjungiert, falls A = A D(A) = D(A )). (also insbesondere auch 8

13 2.1. EINIGE GRUNDBEGRIFFE Beweis: (a) Offenbar ist D(A ) ein Unterraum von Y. Für y D(A ) kann x (Ax, y) zu einer stetigen linearen Abbildung X Êfortgesetzt werden, nach dem Satz von Riesz (siehe Übungsblatt) existiert also genau eine Lösung A y der definierenden Gleichung (2.1). Die Linearität von A ist klar. (b) Sei y D(B A ). Wir wollen zeigen, dass y D((AB) ), d.h. x (ABx, y) ist stetig auf D(AB). Sei dazu x D(AB). Dann ist insbesondere x D(B) und A y D(B ), also (Bx, A y) = (x, B A y). Es ist aber auch Bx D(A) und y D(A ), also (ABx, y) = (Bx, A y) = (x, B A y) x D(AB), y D(B A ). Es folgt, dass für alle y D(B A ) die Abbildung x (ABx, y) = (x, B A y) stetig ist in D(AB) und damit D(B A ) D((AB) ). Damit erhalten wir (x, B A y) = (ABx, y) = (x, (AB) y) x D(AB), y D(B A ) und da D(AB) dicht in X liegt folgt also B A (AB). B A y = (AB) y y D(B A ) Nun sei A beschränkt. Um (AB) = B A zu beweisen, müssen wir nur noch zeigen, dass D((AB) ) D(B A ). Sei also y D((AB) ). Dann ist für alle x D(AB) (x, (AB) y) = (ABx, y) = (Bx, A y). wobei wir in der zweiten Umformung A L(X, Y ) verwendet haben. Es ist also x (Bx, A y) stetig in D(AB) und damit A y D(B ). Also ist y D(B A ), womit die Behauptung folgt. (c) Sei A symmetrisch mit dichtem D(A). Für alle y D(A) ist x (Ax, y) = (x, Ay) stetig, also y D(A ) und Ay = A y für alle y D(A), d.h. A A. Die Rückrichtung ist trivial. 9

14 KAPITEL 2. LINEARE INVERSE PROBLEME Bemerkung 2.7 Achtung! Alle von A gebildeten Ausdrücke hängen automatisch auch von D(A) ab, insbesondere auch A und D(A )! Es gibt oft mehrere natürliche Möglichkeiten D(A) zu wählen, dies muss nicht immer der maximal mögliche sein. Umgekehrt ist D(A ) entsprechend Def. 2.6 eindeutig durch A und D(A ) festgelegt und muss ebenfalls nicht mit dem maximal möglichen Definitionsbereich übereinstimmen. Beispiel 2.8 Wir definieren die (eindimensionale) Sobolevräume H 1 (0, 1) = { u L 2 (0, 1) : u L 2 (0, 1) } H 1 0(0, 1) = { u H 1 (0, 1) : u(0) = u(1) = 0 } H 1 π(0, 1) = { u H 1 (0, 1) : u(0) = u(1) } Auf allen drei Räumen können wir den unbeschränkten Ableitungsoperator definieren A 1 : D(A 1 ) L 2 (0, 1) L 2 (0, 1), A 1 f = f, D(A 1 ) = H 1 (0, 1), A 2 : D(A 2 ) L 2 (0, 1) L 2 (0, 1), A 2 f = f, D(A 2 ) = H0 1 (0, 1), A 3 : D(A 3 ) L 2 (0, 1) L 2 (0, 1), A 3 f = f, D(A 3 ) = Hπ(0, 1 1). Dann kann man zeigen, dass (siehe z.b. [Rudin, Ex. 13.4]) A 1 = A 2, A 2 = A 1 A 3 = A Moore-Penrose-Inverse In diesem Abschnitt ist immer A L(X, Y ). Wir interessieren uns für die Lösung der linearen Gleichung y = Ax für möglicherweise nicht injektives und/oder nicht surjektives A. Satz 2.9 (vgl. [Rieder, Satz 2.1.1]) Sei y Y. Äquivalent sind (a) x X löst Ax = P R(A) y 10

15 2.2. MOORE-PENROSE-INVERSE (b) x X minimiert das Residuum Ax y Y Aξ y Y ξ X. (c) x X löst die Normalengleichungen A Ax = A y. (2.2) Beweis: (a) (b) folgt direkt aus unserer Definition von P R(A) und stetiger Fortsetzung. (a) (c) : Nach Satz 2.3(a),(e) ist Ax = P R(A) y Ax y R(A) = N(A ) A Ax = A y. Bemerkung Der Raum unendlich langer Vektoren mit quadratisch summierbaren Einträgen l 2 := {x = (x i ) i Æ: i i Æ x 2 < } ist bzgl. des kanonischen Skalarproduktes (x, x) := i Æx i x i ein Hilbertraum. Betrachte A : l 2 l 2, Ax := y = (y i ) i Æmit y i = 1 i x i. Man rechnet leicht nach, dass A L(l 2 ) und dass für y = (y i ) i Æ, y i = 1 i gilt y l 2 und y R(A), Für x (n) = (x (n) i ) i Æ, x (n) i := 1 für i n und x (n) i Ax (n) y. Es ist also y R(A) \ R(A). := 0 für i > n, gilt Satz 2.10 (vgl. [Rieder, Lemma ]) (a) Zu y Y existiert genau dann eine Lösung der Normalengleichungen (2.2), wenn y R(A) R(A). (b) Zu y R(A) R(A) existiert genau eine Lösung x + der Normalengleichungen mit minimaler Norm, A Ax + = A y und x + x x (A A) 1 A y. 11

16 KAPITEL 2. LINEARE INVERSE PROBLEME Beweis: (a) Löst x die Normalengleichungen, so ist Ax y R(A), also y = Ax + y Ax R(A) R(A). Ist umgekehrt y R(A) R(A), also y = Ax + η mit η R(A) = N(A ) dann folgt A y = A Ax. (b) Die Menge U := (A A) 1 A y ist das Urbild der abgeschlossenen einelementigen Menge {A y} unter der stetigen Abbildung A A. U ist also abgeschlossen und damit vollständig. Für die eindeutige Existenz eines Elementes x + U mit minimaler Norm genügt es deshalb zu zeigen, dass jede minimierende Folge x n U, lim n x n = inf x U x eine Cauchy-Folge ist. U ist außerdem offenbar konvex, also ist 1x 2 n + 1x 2 m U damit inf x 1 x U 2 x n x m Es folgt, dass 1 2 x n x m inf x für n, m. x U inf x U x 2 = lim n,m = lim n,m 1 2 x n x m ( 1 4 x n (x n, x m ) x m 2 also lim n,m (x n, x m ) = inf x U x 2 und damit lim x n x m 2 = 0. n,m n, m und ), Definition 2.11 (vgl. [Rieder, Def ]) Zu A L(X, Y ) definieren wir die Abbildung A + : D(A + ) Y X, y x +, mit dem Definitionsbereich D(A + ) := R(A) R(A), durch die entsprechend Satz 2.10b) eindeutig bestimmte Minimum-Norm-Lösung x + der Normalengleichungen. A + heißt verallgemeinerte oder Moore-Penrose-Inverse von A. Satz 2.12 (vgl. [Rieder, Satz 2.1.8]) (a) D(A + ) = Y, genau dann wenn R(A) abgeschlossen ist. 12

17 2.2. MOORE-PENROSE-INVERSE (b) R(A + ) = N(A). (c) Löst x die Normalengleichungen A Ax = A y, so ist x + = P N(A) x. (d) A + ist linear. Beweis: (a) R(A) = R(A), so ist Y = R(A) R(A) = D(A + ). Ist umgekehrt Y = R(A) R(A) = R(A) R(A), dann folgt R(A) = P R(A) (R(A) R(A) ) = P R(A) (R(A) R(A) ) = R(A). (b)+(c) Sei x + = A + y mit y D(A + ). Angenommen x N(A) mit (x +, x) 0. Für alle λ Êlöst dann auch x + + λx die Normalengleichungen, aber wegen x + + λx 2 = x λ(x +, x) + λ 2 x 2 können wir λ so wählen, dass x + + λx < x +. Dies widerspricht der Minimalnormeigenschaft von x +. Es ist also R(A + ) N(A). Aus A Ax = A y folgt A A(x x + ) = 0 und damit (A(x x + ), A(x x + )) = 0. Es ist also x x + N(A) und mit Satz 2.3 und R(A + ) N(A) folgt x + = P N(A) x und damit (c). Da jedes x die Normalengleichungen zu y := Ax löst, folgt damit auch R(A + ) = N(A) (d) Sind y 1, y 2 D(A + ) und λ Ê, dann löst A + y 1 + λa + y 2 offenbar die Normalengleichungen zu y 1 + λy 2. Mit (c) und (b) folgt A + (y 1 + λy 2 ) = P N(A) (A + y 1 + λa + y 2 ) = A + y 1 + λa + y 2. Satz 2.13 (vgl. [Rieder, Satz 2.1.9]) Die Moore-Penrose-Inverse A + ist die einzige Abbildung R(A) R(A) Y X, die die folgenden vier Moore-Penrose-Axiome erfüllt AA + A = A auf X, A + A = P R(A ) auf X, A + AA + = A + auf D(A + ), AA + = P R(A), auf D(A + ). 13

18 KAPITEL 2. LINEARE INVERSE PROBLEME Beweis: Da A + y die Normalengleichungen löst folgt mit Satz 2.9(a) und damit auch AA + y = P R(A) y y D(A + ) AA + Ax = P R(A) Ax = Ax x X. Jedes x X löst die Normalengleichungen zu y := Ax D(A + ), also folgt aus Satz 2.12c) A + Ax = x + = P R(A ) x und damit wegen R(A + ) = N(A) = R(A ) auch A + AA + y = P R(A ) A+ y = A + y y D(A + ). Erfülle nun umgekehrt A : D(A ) = D(A + ) Y X die Moore-Penrose- Axiome. Für y D(A + ) und x = A y ist dann Ax = AA y = P R(A) y, Nach Satz 2.9 löst x = A y also die Normalengleichungen. Mit Satz 2.12c) folgt A + y = P R(A ) A y = A AA y = A y. 2.3 Kompakte Operatoren Definition und erste Eigenschaften Definition 2.14 A L(X, Y ) heißt kompakt, falls das Bild jeder in X beschränkten Folge eine konvergente Teilfolge in Y besitzt bzw. (äquivalent dazu) wenn A(B) kompakt ist für alle beschränkten Teilmengen B X. Die Menge aller kompakten Operatoren bezeichnen wir mit K(X, Y ). Satz 2.15 (a) K(X, Y ) ist ein Vektorraum. Jede Hintereinanderausführung von kompakten Operatoren und stetigen Operatoren ist wiederum kompakt. (b) Jeder Operator mit endlich dimensionalem Bild ist kompakt (die sogenannten degenerierte Operatoren). 14

19 2.3. KOMPAKTE OPERATOREN (c) K(X, Y ) ist abgeschlossen bezüglich der Operatornorm L(X,Y ). Insbesondere ist also wegen (b) jeder Grenzwert degenerierter Operatoren kompakt. Beweis: (a) ist trivial. (b) folgt aus dem Satz von Bolzano-Weierstrass. (c) Sei (K k ) k Æ K(X, Y ) mit K k K L(X, Y ). Sei (x n ) n Æ X eine beschränkte Folge. Dann existiert eine Teilfolge (x 1,l ) l Æ, so dass K 1 x 1,l konvergiert. Von dieser existiert wiederum eine Teil-Teilfolge (x 2,l ) l Æ, so dass K 2 x 2,l Æ konvergiert und davon eine Teil-Teil-Teilfolge (x 3,l ) l Æ, u.s.w. Für jedes feste k Æbilden dann fast alle Glieder der Diagonalfolge (x l,l ) l Æeine Teilfolge von (x k,l ) l Æ, so dass für jedes k Ædie Folge (K k x l,l ) l Æ Y konvergiert. Damit folgt für alle k, l, m Kx l,l Kx m,m Kx l,l K k x l,l + K k x l,l K k x m,m + K k x m,m Kx m,m K K k ( x l,l + x m,m ) + K k x l,l K k x m,m Der erste Summand wird für hinreichend große k beliebig klein, der zweite Summand für hinreichend große l(k), m(k). Es gilt also lim Kx l,l Kx m,m = 0, l,m d.h. (Kx l,l ) l Æist Cauchy-Folge und damit konvergent. und Æ C > 0 : sup u n (x) C n x Ω sup n (x) u n (y) 0 für x y 0. (2.4) n Æ u Satz 2.16 (Arzela-Ascoli) Sei Ω X kompakt und (u n ) n Æ C(Ω) eine gleichmäßig beschränkte und gleichgradig stetige Folge stetiger Funktionen u k : Ω Ê, d.h. (2.3) Dann besitzt (u n ) n Æeine konvergente Teilfolge in C(Ω) (bzgl. der Supremumsnorm u C(Ω) := sup x Ω u(x). 15

20 KAPITEL 2. LINEARE INVERSE PROBLEME Beweis: (a) Wir zeigen zuerst, dass (u k ) k ÆFast-Cauchy-Folgen besitzt, d.h. zu jedem δ > 0 existiert eine Teilfolge (u ki ) i Æmit lim sup uki u C(Ω) kj < δ. (2.5) i,j Hierzu sei ǫ > 0. Wir überdecken [ C, C] Êund Ω X mit ǫ-kugeln. Seien also (x m ) M m=1 Ω und (y l) L l=1 [ C, C], so dass Ω M m=1 B ǫ (x m ) und [ C, C] L B ǫ (y l ). Wegen (2.3) bildet jedes Folgenglied u k die Punkte x m nach u k (x m ) [ C, C] ab, wir können also jedem u k (mindestens) eine Abbildung mit u k (x m ) y π(m) < ǫ zuordnen. π : {1,..., M} {1,...L} Da es nur endlich viele solcher Abbildung gibt, existiert ein π, dem unendlich viele u k, also eine Teilfolge (u ki ) i Æzugeordnet werden. Für x B ǫ (x m ) gilt dann u ki (x) u kj (x) u ki (x) u ki (x m ) + u ki (x m ) y π(m) l=1 + y π(m) u kj (x m ) + u kj (x m ) u kj (x) 2ǫ + 2 sup u k (x) u k (y) =: δ ǫ. k Æsup x y <ǫ Wegen (2.4) konvergiert δ ǫ 0 für ǫ 0. Für jedes beliebig kleine δ > 0 finden wir also eine Teilfolge mit der Eigenschaft (2.5). (b) Nun konstruieren wir aus den Fast-Cauchy-Folgen richtige Cauchy-Folgen. Nach (a) existiert eine Teilfolge, die (2.5) mit δ 1 = 1 erfüllt. Auf diese können wir wiederum (a) anwenden und finden so eine Teil-Teilfolge, die (2.5) mit δ 2 = 1 2 und darin wiederum eine, die (2.5) mit δ 3 = 1 3 erfüllt, u.s.w. 16 Wir nehmen nun das erste Glied der Teilfolge zu δ 1 = 1, dann das zweite Glied der Teil-Teilfolge zu δ 2 = 1, u.s.w. So erhalten wir eine Teilfolge 2 (u ki ) i Æder ursprünglichen Folge (u k ) k Æmit lim sup uki u C(K) kj δ l = 1 i,j l 0. also eine Cauchy-Folge. Da C(Ω) vollständig ist, konvergiert die Teilfolge (u ki ) i Æ.

21 2.3. KOMPAKTE OPERATOREN Satz 2.17 Ist K K(X, Y ), so ist K K(Y, X). Beweis: Sei (y k ) k Æ Y beschränkt. Wir müssen zeigen, dass (K y k ) eine konvergente Teilfolge besitzt. Dazu definieren wir zuerst k Æ l k : Y Ê, l k (η) := (y k, η). Offenbar ist l k L(Y,Ê) und l k (η) l k (η ) = (y k, η η ) y k Y η η Y η, η Y, also sind die (l k ) k Æals stetige Funktionen auf Y auch gleichgradig stetig. Sei B := {x X : x X 1} X die Einheitskugel in X. Da K kompakt ist, ist Ω := K(B) Y eine kompakte Teilmenge von Y. Die Folge der Einschränkungen (l k Ω ) k Æ C(Ω) ist auf Ω gleichmäßig beschränkt und gleichgradig stetig, besitzt also nach dem Satz von Arzela-Ascoli (Satz 2.16) eine in C(Ω) konvergente Teilfolge (l kj ) j Æ. Für (l kj ) j Ægilt lim sup l ki (η) l kj (η) = 0, i,j η Ω und damit insbesondere lim K (y ki y kj ) X = lim i,j i,j sup x B = lim sup i,j η K(B) (K (y ki y kj ), x) (y ki y kj, η) = 0. (K (y kj )) j Æist also eine Cauchy-Folge, und damit konvergent. Satz 2.18 Sei Ω Ên ein beschränktes Gebiet. Zu einer Kernfunktion k L 2 (Ω Ω) definieren wir den Fredholm-Integraloperator der 1. Art K : L 2 (Ω) L 2 (Ω), (Kf)(x) := k(x, y)f(y) dy. K ist kompakt, K L(L 2 (Ω)) k L 2 (Ω Ω) und K ist gegeben durch K : L 2 (Ω) L 2 (Ω), (K g)(x) := Ω Ω k(y, x)g(y) dy. 17

22 KAPITEL 2. LINEARE INVERSE PROBLEME Beweis: Für alle f L 2 (Ω) ist Kf 2 L 2 (Ω) = (Kf)(x) 2 dx = Ω ( )( k(x, y) 2 dy Ω Ω = k 2 L 2 (Ω Ω) f 2 L 2 (Ω), Ω Ω k(x, y)f(y) dy ) f(y) 2 dy dx 2 dx also K L(L 2 (Ω)) und K L(L 2 (Ω)) k L 2 (Ω Ω). Da K offenbar linear von k abhängt, folgt damit auch dass K L(L 2 (Ω)) stetig von k L 2 (Ω Ω) abhängt. Da C(Ω Ω) dicht in L 2 (Ω Ω) liegt (siehe z.b. [Forster3, 10, Satz 3]), genügt es nach Satz 2.15 die Kompaktheit von K für k C(Ω Ω) zu zeigen. Sei also k C(Ω Ω) und (f l ) l Æ L 2 (Ω) beschränkt. Wir zeigen, dass (Kf l ) l Ædie Voraussetzungen des Satzes von Arzela-Ascoli erfüllt. Glm. Beschränktheit: Kf l (x) 2 k(x, y) 2 dy f l 2 L 2 (Ω) also Ω sup l (x) <. x Ω,l Æ Kf Ω sup k(x, y) 2 f l 2 L 2 (Ω), (2.6) y Ω Glgd. Stetigkeit: 2 (Kf l )(x) (Kf l )(ξ) 2 = (k(x, y) k(ξ, y))f l (y) dy Ω f l 2 L 2 (Ω) k(x, y) k(ξ, y) 2 dy f l 2 L 2 (Ω) Ω Ω sup y Ω Da k glm. stetig ist und f l beschränkt ist, folgt k(x, y) k(ξ, y) 2 sup l Æ (Kf l )(x) (Kf l )(ξ) 0 für x ξ 0, insbesondere also auch Kf l C(Ω). Nach dem Satz von Arzela-Ascoli besitzt Kf l eine in C(Ω) konvergente Teilfolge und genauso wie in (2.6) folgt, dass diese auch in L 2 (Ω) konvergiert. K ist also kompakt. 18

23 2.3. KOMPAKTE OPERATOREN Schließlich ist für alle f, g L 2 (Ω) ( ) (f, K g) = (Kf, g) = k(x, y)f(y) dy g(x) dx Ω Ω ( ) = f(x) k(y, x)g(y) dy dx, also (K g(x)) = k(y, x)g(y) dy. Ω Korollar 2.19 Den Operator aus Abschnitt 1.2 können wir als Integraloperator schreiben. Af = Ω A : L 2 (0, 1) L 2 (0, 1), Af := 1 0 Ω k(x, y)f(y) dy, mit k(x, y) := x 0 f(y) dy { 1 für y<x 0 sonst Offenbar ist k L 2 ((0, 1) 2 ), also ist A nach Satz 2.18 kompakt Spektraltheorie kompakter Operatoren Satz 2.20 Sei A L(X), A = A. Dann ist Beweis: Offenbar ist A L(X) = sup Ax = sup (Ax, x). x =1 x =1 S := sup (Ax, x) sup Ax = A L(X). x =1 x =1 Außerdem gilt für jedes c > 0 ( 4 Ax 2 = A (cx + 1c ) Ax ( A (cx 1c Ax ),, (cx + 1c )) Ax (cx 1c Ax )) ( S cx c Ax + cx 1 ) 2 c Ax = 2S (c 2 x 2 + 1c ) 2 Ax 2. 19

24 KAPITEL 2. LINEARE INVERSE PROBLEME Für Ax 0 wähle c 2 = Ax x dann folgt (offenbar auch für Ax = 0) Ax S x, also S sup x =1 Ax = A L(X). Definition 2.21 Sei A L(X), A = A. A heißt (a) positiv, falls (Ax, x) > 0 für alle x 0. (b) positiv semidefinit, falls (Ax, x) 0 für alle x X. (c) positiv definit oder koerziv, falls α > 0 : (Ax, x) > α x 2 für alle x X. Analog heißt A negativ (neg. semidefinit, neg. definit), falls A positiv (pos. semidefinit, pos. definit) ist. Definition und Satz 2.22 Ein abzählbar unendliches Orthonormalsystem (e n ) n Æ X heißt Orthonormalbasis (ONB), falls eine der folgenden äquivalenten Bedingungen erfüllt ist: (a) Das Erzeugnis e 1, e 2,... (d.h. der Raum aller endlichen Linearkombinationen) liegt dicht in X. (b) x = (x, e n)e n für alle x X. (c) (x, ξ) = (x, e n)(ξ, e n ) für alle x, ξ X. (d) x 2 = (x, e n) 2 für alle x X. Dies zeigt, dass wir x X mit dem unendlichen langen Vektor seiner Entwicklungskoeffzienten (x, e 1 ) x = (x, e 2 ) l 2. identifizieren können und damit wie im endlich-dimensionalen rechnen können. Hilberträume in denen eine (endliche oder abzählbare unendliche) ONB existiert heißen separabel. 20

25 2.3. KOMPAKTE OPERATOREN Beweis: Für jedes x X und V N := e 1,...,e N gilt offenbar ξ := N (x, e n )e n V N, x ξ VN, also ist nach Satz 2.3 P VN x = ξ und damit insbesondere N x (x, e n )e n = min x v = dist(x, e 1,...,e N ). (2.7) v V N (a)= (b): Sei x X und x m e 1, e 2,... mit x m x. Dann ist x m V Nm für ein N m N und mit (2.7) folgt für jedes N N m N x (x, e n )e n x x m 0, also lim N N (x, e n)e n = x. (b)= (c): folgt aus der Stetigkeit des Skalarproduktes. (c)= (d): setze ξ := x. (d)= (a): Wir wenden (d) auf ξ := x N (x, e n)e n an und erhalten N x (x, e n )e n = (ξ, e n ) 2 = (x, e n ) 2 0. n=n+1 Dies zeigt (b) und damit insbesondere auch (a). Satz 2.23 Sei K K(X), K = K und K positiv semidefinit. Dann hat K nur abzählbar viele von Null verschiedene Eigenwerte K = λ 1 λ 2 λ 3... > 0, die sich höchstens im Nullpunkt häufen (d.h. falls unendlich viele Eigenwerte existieren, so ist λ n 0). Die zugehörigen Eigenvektoren v n können so gewählt werden, dass sie eine ONB von N(K) bilden. 21

26 KAPITEL 2. LINEARE INVERSE PROBLEME Beweis: Für K = 0 ist die Aussage trivial. Für K 0, existiert wegen Satz 2.20 eine Folge (x k ) k Æ X mit Aus x k = 1, (Kx k, x k ) K =: λ 1 > 0. 0 Kx k λ 1 x k 2 = Kx k 2 2λ 1 (Kx k, x k ) + λ 2 1 x k 2 2λ 2 1 2λ 1(Kx k, x k ) 0. folgt Kx k λ 1 x k 0. (2.8) Da K kompakt besitzt konvergiert Kx k eine konvergente Teilfolge, o.b.d.a. sei dies bereits Kx k. Aus (2.8) folgt, dass auch x k konvergiert. Mit v 1 := lim k x k ist dann v 1 = 1, Kv 1 λ 1 v 1 = 0. v 1 ist also Eigenvektor zum Eigenwert λ 1. Nun setzen wir X 1 = v 1. Für jedes x X 1 ist (Kx, v 1 ) = (x, Kv 1 ) = λ 1 (x, v 1 ) = 0, also K(X 1 ) X 1. Offenbar ist damit K 1 := K X1 K(X 1 ) positiv semidefinit, K 1 = K1 und K 1 K. Ist K 1 = 0, so ist die Aussage bewiesen, anderenfalls existieren v 2 X 1 und λ 1 λ 2 > 0, so dass Kv 2 = K 1 v 2 Æ = λ 2 v 2. Wir fahren so fort und erhalten eine (möglicherweise abbrechende) Folge von Eigenwerten λ 1 λ 2 λ 3... mit zugehörigem ONS von Eigenvektoren (v 1, v 2, v 3,...). Die Folge ist genau dann endlich, wenn K m = 0 für ein m und in diesem Fall ist die Aussage bewiesen. Wir zeigen jetzt, dass λ n 0, falls die Folge unendlich ist. Angenommen ( ǫ ) > 0 mit λ n ǫ. Dann ist 1 λ n v n 1. Da K kompakt ist, hat also K 1 ǫ λ n v n = v n eine konvergente Teilfolge. Dies widerspricht aber der Orthogonalität der v n. Es ist noch zu zeigen, dass v 1, v 2,... = N(K). Sei dazu v v 1, v 2,.... Dann liegt nach Konstruktion v X n, also Kv = K n v λ n v für alle n Æund damit Kv = 0. Damit ist 22 v 1, v 2,... = N(K),

27 2.3. KOMPAKTE OPERATOREN also nach Satz 2.3 v 1, v 2,... = N(K). Wie im endlich-dimensionalen gilt, dass Eigenvektoren zu verschiedenen Eigenwerten senkrecht aufeinander stehen, so dass damit auch gezeigt ist, dass keine weiteren (von Null verschiedenen) Eigenwerte existieren können. Satz 2.24 Für A L(X, Y ) gilt N(A A) = N(A) und A A L(X) = A 2 L(X,Y ). Beweis: Die erste Behauptung folgt aus A Ax = 0 0 = (A Ax, ξ) = (Ax, Aξ) ξ X Ax = 0. Die zweite Behauptung folgt aus A 2 L(X,Y ) = sup Ax 2 = sup (A Ax, x) = A A L(X), x =1 x =1 wobei wir im letzten Schritt Satz 2.20 verwendet haben. Definition und Satz 2.25 Für jedes K K(X, Y ) existiert eine (möglicherweise endliche) Folge σ 1 σ 2... > 0 von sich höchstens im Nullpunkt häufenden Zahlen, sowie Orthonormalfolgen (u n ) n Y, (v n ) n X mit Kv n = σ n u n, K u n = σ n v n. Außerdem ist K = σ 1 und (v n ) n bildet eine ONB von N(K). (u n, v n, σ n ) heißt Singulärwertzerlegung. Beweis: Offenbar ist K K K(X) selbstadjungiert und positiv semidefinit. Nach Satz 2.23 existiert also eine ONB (v n ) n von N(K K) = N(K) (siehe Satz 2.24), sowie eine Folge λ 1 λ 2... > 0, mit K Kv n = λ n v n und λ 1 = K K = K 2 (siehe wieder Satz 2.24). Mit σ n := λ n und u n := 1 σ n Kv n folgt Kv n = σ n u n, K u n = 1 σ n K Kv n = σ n v n, K = σ 1 und (u n, u m ) = 1 σ n σ m (Kv n, Kv m ) = λ n σ n σ m (v n, v m ) = δ nm. 23

28 KAPITEL 2. LINEARE INVERSE PROBLEME Bemerkung 2.26 Sei K K(X, Y ) und (u n, v n, σ n ) seine Singulärwertzerlegung. (a) Da (v n ) eine ONB von N(K) bildet, können wir jedes x X gemäß Satz 2.22 schreiben als x = x 0 + (v n, x)v n mit x 0 N(K). Es gilt also Kx = σ n (v n, x)u n. (b) Wir definieren A N : X Y durch N A N x = σ n (v n, x)u n. Dann ist dim R(A N ) N <. Aus Satz 2.22 und Satz 2.25 folgt, dass für alle x X Kx A N x = 2 σ n (v n, x)u n σn+1 2 (v n, x) 2 n=n+1 σ 2 N+1 x 2 n=n+1 und damit K A N L(X,Y ) 0, d.h. A N K Zusammen mit Satz 2.15 erhalten wir, dass die kompakten Operatoren genau der Abschluss der Operatoren mit endlich-dimensionalen Bild (sog. degenerierte Operatoren) sind. (c) Wir können 24 Kx = σ n (v n, x)u n, auch formal mit unendlich dimensionalen Matrizen schreiben als K = UΣV,

29 2.3. KOMPAKTE OPERATOREN mit U = ( u 1 u 2... ) V = ( v 1 v 2... ) v1 (v 1, x) V = v2, V x = (v 2, x),.. Σ = σ 1 σ Satz 2.27 (vgl. [Rieder, Satz ]) Sei K K(X, Y ) und (u n, v n, σ n ) seine Singulärwertzerlegung. (a) Für jedes y Y gilt y D(K + ) = R(K) R(K) (y, u n ) 2 σ 2 n < (Picard-Kriterium) (b) Für alle y D(K + ) gilt K + y = σ 1 n (y, u n)v n. Beweis: (a) = & (b): Sei y D(K + ) und x = K + y, dann ist y Kx N(K ), also (y, u n ) = 1 σ n (y, Kv n ) = 1 σ n (Kx, Kv n ) = σ n (x, v n ). Außerdem ist x R(K + ) = N(K), d.h. x = (x, v n )v n = σ 1 n (y, u n)v n, x 2 = (y, u n ) 2. σ 2 n (a) = : Nun sei y Y und die Reihe (y,u n) 2 konvergiere. Dann bildet σn 2 ( N ) σn 1 (y, u n)v n N Æ 25

30 KAPITEL 2. LINEARE INVERSE PROBLEME eine Cauchy-Folge, so dass der Grenzwert x := σ 1 n (y, u n)v n existiert. Da K y N(K) liegt, ist außerdem K y = (K y, v n )v n = σ n (y, u n )v n = K Kx, also nach Satz 2.10(a) y D(K + ). Satz 2.28 Sei K K(X, Y ). K + ist genau dann stetig, wenn K degeneriert ist. Beweis: Ist K degeneriert, d.h. existiert eine endliche Singulärwertzerlegung (u n, v n, σ n ) N, so ist für alle y D(K+ ) K + y 2 = also K + stetig. N σ 1 n (y, u n)v n 2 = N (y, u n ) 2 σ 2 n 1 σ 2 N y 2, Im Falle einer unendlichen Singulärwertzerlegung (u n, v n, σ n ) n Æist K + u n = 1 σ n v n unbeschränktes Bild der beschränkten Folge (u n ), also K + nicht stetig. Beispiel 2.29 Wir betrachten wieder den Operator aus Abschnitt 1.2 und Folgerung 2.19 mit A : L 2 (0, 1) L 2 (0, 1), Af := k(x, y) := x 0 f(y) dy = { 1 für y<x 0 sonst. 1 0 k(x, y)f(y) dy, Die Singulärwertzerlegung von A ist gegeben durch σ j = 1 (j 1/2)π, v j (x) = 2 cos ((j 1/2)πx), u j (x) = 2 sin ((j 1/2)πx), siehe Aufg. VII und [Rieder, Bsp ]. Einige weitere wichtige Eigenschaften kompakter Operatoren werden wir in Abschnitt 3.2 behandeln. 26

31 Kapitel 3 Regularisierung linearer Probleme In diesem Kapitel seien weiterhin X, Y Hilberträume. Außerdem sei stets K K(X, Y ) und (u n, v n, σ n ) seine Singulärwertzerlegung. Wir betrachten wieder das Problem Kx = y zu lösen, wobei wir annehmen, dass wir y nur bis auf einen kleinen Messfehler δ kennen, d.h. wir kennen y δ mit y δ y < δ. Die Moore-Penrose-Inverse K + ist nicht überall definiert und nicht stetig, d.h. im Allgemeinen ist y δ D(K + ) und selbst wenn y δ, y D(K + ), so kann (für beliebig kleine δ > 0) die Abweichung K + y δ K + y beliebig groß sein. Die naive Anwendung der Moore-Penrose-Inverse scheitert also selbst für beliebig kleine Messfehler! Idee dieses Kapitels: Ersetze K + durch stetige Approximation R α. Der Parameter α steuert dabei wie stetig R α ist bzw. wie gut R α die gewünschte Inverse K + approximiert. Ziel: R α(δ,y δ )y δ x = K + y für δ Regularisierung Definition 3.1 Eine Familie (R α ) α>0 von linearen Operatoren R α : Y X heißt Regularisierung von K + für α 0, falls (a) R α L(Y, X) für alle α > 0 (Stabilität) (b) R α y K + y für alle y D(K + ) (pktw. Konvergenz). 27

32 KAPITEL 3. REGULARISIERUNG LINEARER PROBLEME Analog verwenden wir auch Regularisierungen (R k ) k Æund erstzen da α 0 durch k. Definition 3.2 (vgl. [Rieder, Sect. 3.3]) Sei (F α ) α>0 eine Familie beschränkter Funktionen F α : (F α ) α>0 heißt Filter, falls lim F α(λ) = 1/λ λ (0, K 2 ]. α 0 Ist zusätzlich λf α (λ) glm. beschränkt in α, d.h. C > 0 : λ F α (λ) < C α > 0, λ (0, K 2 ], so heißt (F α ) α>0 regularisierender Filter. Definition und Satz 3.3 (vgl. [Rieder, Satz 3.3.1]) Sei (F α ) α>0 ein Filter. Wir definieren damit R α : Y X, R α y := F α (σn 2 )σ n(u n, y)v n und schreiben auch formal R α = F α (K K)K. 1 Dann ist R α L(Y, X) und R α L(Y,X) sup n Æ F α (σ 2 n) K L(Y,X), KR α L(Y ) sup n Æ F α (σ 2 n) σ 2 n Ist (F α ) α>0 ein regularisierender Filter, so gilt lim R αy = K + y für alle y D(K + ), α 0 (R α ) α>0 ist also eine Regularisierung für K +. Beweis: Für jedes α ist F α beschränkt und damit R α y 2 sup α (σn n Æ F 2 2 ) 2 σ n (u n, y)v n (0, K 2 ] Ê. sup n Æ F α (σ 2 n ) 2 K y 2 sup n Æ F α (σ 2 n ) 2 K 2 y 2. 1 Die Frage, für welche Funktionen dies mehr als nur formale Bedeutung hat ist Gegenstand des sog. Funktionalkalküls und wird uns in dieser Vorlesung nicht beschäftigen. 28

33 3.1. REGULARISIERUNG Es ist also R α L(Y, X) und R α sup n Æ F α (σn 2) K. Außerdem ist KR α y 2 sup α (σn)σ n Æ F 2 n (u n, y)u n also KR α sup n Æ F α (σ 2 n ) σ2 n. sup n Æ F α (σ 2 n)σ 2 n 2 y 2, Nun sei y D(K + ). Mit Satz 2.27 ist 1 σ n (u n, y) = (v n, K + y) und (K + R α )y 2 ( = σ 1 n F α(σn 2 )σ ) 2 n (un, y)v n ( = σ 1 n F α(σn 2 )σ ) 2 n (u n, y) 2 N ( ) 1 Fα (σn)σ 2 n 2 2 (vn, K + y) 2 + n=n+1 ( ) 1 Fα (σn)σ 2 n 2 2 (vn, K + y) 2 Der zweite Summand wird unabhängig von α beliebig klein für N und der erste Summand wird für festes N und α 0 beliebig klein. Es folgt R α y K + y. Beispiel 3.4 (vgl. [Rieder, Bsp ]) (a) { λ F α (λ) := 1 : λ α 0 : λ < α ist offenbar ein regularisierender Filter. Er führt zur abgeschnittenen Singulärwertzerlegung R α y = σn 1 (u n, y)v n. (b) Der Filter σ n α F α (λ) := 1 λ + α ist ebenfalls offenbar regularisierend. Er führt zur Tikhonov-Regularisierung R α y = σ n σ 2 n + α(u n, y)v n. 29

34 KAPITEL 3. REGULARISIERUNG LINEARER PROBLEME Bemerkung 3.5 (Motivation der Tikhonov-Regularisierung) Ist K nicht degeneriert, dann ist K + nicht stetig. Es existiert also keine Konstante C > 0 mit x X C Kx Y x X. Möglicherweise divergiert also K + y δ X für δ 0, d.h. für immer kleinere Messfehler konvergieren unsere naiven Lösungen i.a. nicht nur nicht, sondern können sogar beliebig groß werden! Ein naheliegender praktischer Ansatz ist daher das Problem nur so gut es geht zu lösen, und gleichzeitig zu verhindern, dass die Norm der Lösung zu groß wird, d.h. zu y suchen wir den Minimierer x α = R α y von y Kx 2 Y + α x 2 X min! (3.1) Der Regularisierungsparameter α > 0 steuert dabei, ob die Lösung auf Kosten Ihrer Regularität (hier: ihrer X -Norm) besser zu den Daten passen soll (α 0) oder umgekehrt (α ). Die Minimierungsaufgabe lässt sich auch schreiben als ( ) ( ) K αi y 2 ( ) x = Kx y 2 0 αx Y X Y X min! Gemäß Satz 2.9 löst der Minimierer x α die Normalengleichungen ( ) ( ) K K αi αi x α = ( ) ( ) K y αi, 0 also (K K + αi)x α = K y. (3.2) Wir verwenden die Singulärwertzerlegung von K und erhalten und x α = (x α, v n )v n + x 0, x 0 N(K) N(K) K y = (K y, v n )v n = σ n (u n, y)v n. x α löst also (σn 2 + α)(x α, v n )v n + αx 0 = (K K + αi)x α = K y = 30 σ n (u n, y)v n

35 3.2. SCHWACHE KONVERGENZ und durch Koeffizientenvergleich folgt x α = (x α, v n )v n = σ n σ 2 n + α(u n, y)v n. Bemerkung 3.6 Für die abgeschnittene Singulärwertzerlegung wissen wir schon aus Satz 2.27, dass R α y falls y D(K + ). Tatsächlich kann es keine Regularisierung geben für die R α beschränkt bleibt. Um dies zu zeigen benötigen wir jedoch noch einige Hilfsmittel aus der Funktionalanalysis. 3.2 Schwache Konvergenz Satz 3.7 (a) Ist X = k ÆV k mit abgeschlossenen Mengen V k, so besitzt mindestens ein V k nicht-leeres Inneres, d.h. (Baire scher Kategoriensatz) k Æ, x X, ǫ > 0 : B ǫ (x) V k. (b) Ist (A n ) n Æ L(X, Y ) punktweise beschränkt, d.h. sup n x < x X, n Æ A so ist A n beschränkt, also sup A n n Æ<. (Satz von der gleichmäßigen Beschränktheit) Beweis: (a) Angenommen kein V k enthält eine Kugel B ǫ (x). Zu ǫ 0 := 1 und x 0 := 0 ist dann B ǫ0 (x 0 ) \ V 1 nichtleer und offen. Es existiert also ǫ 1 < 1, x 1 B ǫ0 (x 0 ) mit B ǫ1 (x 1 ) B ǫ0 (x 0 ) \ V 1. B ǫ1 (x 1 ) \ V 2 ist wiederum nichtleer und offen, enthält also eine abgeschlossene Kugel B ǫ2 (x 2 ) mit 0 < ǫ 2 < 1/2, x 2 B ǫ1 (x 1 ). Wir fahren so fort und wählen dabei immer ǫ n < 1/n. Dies ergibt eine Cauchy-Folge (x n ) n Æ, deren Grenzwert x = lim n x n in jedem B ǫk (x k ) und damit in keinem V k liegt. Dies widerspricht X = k ÆV k. (b) Setze V k := {x X : A n x k n Æ}. 31

36 KAPITEL 3. REGULARISIERUNG LINEARER PROBLEME Die V k sind abgeschlossen und aus der punktweise Beschränktheit folgt X = k ÆV k. Nach (a) existiert ein K und eine Kugel B ǫ (x 0 ) mit B ǫ (x 0 ) V K, also A n (x + x 0 ) K x < ǫ, n Æ. Aus der Linearität von A n folgt und damit A n (x) 2K A n 2K ǫ x < ǫ, n Æ, n Æ. Satz 3.8 (Banach-Steinhaus) Sei (A n ) n Æ L(X, Y ). (A n ) konvergiert genau dann punktweise gegen ein A : X Y, wenn (a) C > 0 : A n C n Æ. (b) (A n x) n Ækonvergiert für alle x in einer dichten Teilmenge V X. Außerdem ist dann A L(X, Y ). Beweis: = : Sei x X. Wir zeigen, dass (A n x) eine Cauchy-Folge ist.für alle v V gilt A n x A m x A n x A n v + A n v A m v + A m v A m x 2C x v + A n v A m v. Der erste Summand wird unabhängig von n, m beliebig klein für geeignetes v, der zweite Summand konvergiert für festes v und n, m gegen 0. (A n x) ist also eine Cauchy-Folge und damit konvergent. Wir können also Ax := lim n A n x für alle x X definieren. Die Linearität von A ist klar. Die Stetigkeit folgt aus Ax = lim n A n x C x. = : Konvergiert A n punktweise auf ganz X, so ist es insbesondere punktweise beschränkt, so dass (a) aus Satz 3.7(b) folgt. (b) ist trivial. 32

37 3.2. SCHWACHE KONVERGENZ Definition 3.9 Eine Folge (x n ) n Æ X konvergiert schwach gegen x X, falls Wir schreiben auch x n x. (x n, ξ) (x, ξ) für alle ξ X. Offenbar ist der schwache Grenzwert eindeutig und die schwache Grenzwertbildung vertauscht mit den Vektorraumoperationen. Bemerkung 3.10 Der Begriff Konvergenz ist in der Mathematik festgelegt. Ihn einfach umzudefinieren birgt die Gefahr vieler Missverständnisse. So ist etwa die Definition (a k ) k Æ Ê konvergiert gegen a Ê, falls a 1 = a. ziemlicher Unsinn und besitzt sicher nicht die bekannten und intuitiv erwarteten Eigenschaften eines Grenzwertbegriffs. Von Konvergenz sollte man deshalb nur sprechen, wenn es eine Norm, Metrik oder zumindest Topologie gibt, die diese Konvergenz induziert. Wir werden die zu Definition 3.9 gehörige Topologie hier weder explizit angeben noch verwenden. Es ist aber wichtig festzustellen, dass es sie gibt. Satz 3.11 (a) Es gibt eine Topologie auf X, die die Konvergenz aus Definition 3.9 induziert und die X zu einem topologischen Vektorraum macht, d.h. in dieser Topologie sind die Vektorraumoperationen stetig und einelementige Mengen sind abgeschlossen. (b) Für (x n ) n Æ X folgt aus x n x auch x n x. (c) Schwach konvergente Folgen (x n ) n Æ X sind beschränkt. (d) Ist A L(X, Y ) und (x n ) n Æ X, x n x X, so gilt Ax n Ax Y. (e) Ist K K(X, Y ) und (x n ) n Æ X, x n x X, so gilt Kx n Kx. Beweis: (a) [Rudin, Chp. 3] (b) klar. (c) Für die Abbildungen A n L(X,Ê), A n x := (x n, x) gilt offenbar A n L(X,Ê) = x n X. (A n x n ist gerade der Riesz- Isomorphismus, vgl. Übungsaufgabe II(b)). Schwache Konvergenz der x n bedeutet punktweise Konvergenz der A n, so dass die Beschränktheit aus Satz 3.8 folgt. 33

38 KAPITEL 3. REGULARISIERUNG LINEARER PROBLEME (d) Für alle y Y gilt also Ax n Ax. (Ax n, y) = (x n, A y) (x, A y) = (Ax, y), (e) Nach (d) konvergiert Kx n Kx. Da nach (c) (x n ) beschränkt ist, konvergiert eine Teilfolge von jeder Teilfolge von (Kx n ) n Æ. Aus (b) und der Eindeutigkeit des schwachen Limes folgt, dass eine Teilfolge jeder Teilfolge gegen Kx konvergiert. Außerhalb jeder Umgebung von Kx können also nur endlich viele Kx n liegen, so dass y = lim n Kx n folgt. Satz 3.12 In einem Hilbertraum X besitzt jede beschränkte Folge eine schwach konvergente Teilfolge. Beweis: Sei (x k ) k Æ X beschränkt. Nach Satz 2.2 ist V := x 1, x 2,... ein Hilbertraum. Für jedes k Æist (x 1, x k ), (x 2, x k ),... eine beschränkte Folge inê. Nach Bolzano-Weierstrass existiert also eine Teilfolge (x 1n ) n Ævon (x k ) k, so dass (x 1n, x 1 ) konvergiert und davon wiederum eine Teil-Teilfolge (x 2n ) n Æ, so dass (x 2n, x 2 ) konvergiert, u.s.w. Für die Diagonalfolge (v n ) n Æ:= (x nn ) n Ægilt also, dass (v n, x k ) für jedes k konvergiert. Wir definieren A n L(V,Ê), A n : x (v n, x), dann folgt A n v n sup k Æ x k < und aufgrund der Linearität konvergiert A n x für alle x x 1, x 2,.... Aus Satz 3.8 folgt, dass ein A L(V,Ê) existiert mit Ax = lim n A n x x V und nach dem Satz von Riesz existiert v V mit (v, x) = Ax für alle x V. Schließlich ist für alle x X, P V x V und x P v x V, also (v n, x) = (v n, P V x) + (v n, x P v x) = (v n, P V x) = A n P V x AP V x = (v, P V x) = (v, P V x) + (v, x P v x) = (v, x). Die Teilfolge (v n ) von (x k ) konvergiert also schwach gegen v V X. Korollar 3.13 Ist (x n ) n Æ X beschränkt, so besitzt (Kx n ) n Æeine konvergente Teilfolge, deren Grenzwert in R(K) liegt. Beweis: Nach Satz 3.12 existiert eine Teilfolge (x nk ) k Æmit x nk x und aus Satz 3.11(d) folgt lim k Kx nk = Kx 34

39 3.3 Parameterwahlstrategien In diesem Abschnitt sei K stets nicht-degeneriert. Satz 3.14 Ist (R α ) α>0 eine Regularisierung von K +, dann gilt (a) R α L(Y,X) für α PARAMETERWAHLSTRATEGIEN (b) Ist zudem KR α L(Y ) glm. beschränkt in α, dann gilt für alle y D(K + ) R α y X für α 0. Nach Satz 3.3 gilt (b) für regularisierende Filter. Beweis: (a) Angenommen es existiert eine (glm. in α) beschränkte Teilfolge von R α. Dann wäre K + stetig nach dem Satz 3.8 (Banach-Steinhaus). Dann wäre aber nach Satz 2.28 K degeneriert. (b) Angenommen es existiert eine beschränkte Teilfolge R α y X. Nach Korollar 3.13 existiert dann eine Teilfolge von KR α y, die gegen ein η R(K) konvergiert. Außerdem konvergiert KR α punktweise auf D(K + ) gegen KK + = P R(K). Aus der Beschränkheit von KR α folgt mit Satz 3.8 (Banach-Steinhaus), auch KR α y P R(K) y. Es gilt also P R(K) y = η R(K) und damit y R(K) + R(K) = D(K + ). Bemerkung 3.15 Für die Abweichung von x δ α := R α y δ vom gesuchten K + y gilt x δ α K + y x δ α R α y + Rα y K + y = Rα (y δ y) + Rα y K + y Der erste Summand R α (y δ y) beschreibt den fortgepflanzten Datenfehler. Nach Satz 3.14 konvergiert er (für y δ D(K + )) für α 0 gegen unendlich. Der zweite Summand beschreibt den durch die Regularisierung eingeführten Verfahrensfehler. Er konvergiert für α 0 gegen Null. Das Parameterwahlproblem besteht darin, α (in Abhängigkeit von δ und y δ ) so zu wählen, dass der Gesamtfehler x δ α K + y möglichst klein wird und für δ 0 gegen Null konvergiert. 35

40 KAPITEL 3. REGULARISIERUNG LINEARER PROBLEME Definition 3.16 Eine Funktion heißt Parameterwahl-Strategie. α :Ê+ Y Ê+, (δ, y δ ) α(δ, y δ ) Analog heißt für Regularisierungen (R k ) k Æeine Funktion k(δ, y δ ) Parameterwahlstrategie oder auch Stoppregel. Eine Kombination von Regularisierung und Parameterwahlstrategie heißt Regularisierungsverfahren, falls für jedes y D(K + ) R α(δ,y δ )y δ K + y für δ 0, y δ y δ. Hängt α nur von δ ab, so sprechen wir von einer a priori Parameterwahl sonst von einer a posteriori Parameterwahl. Satz 3.17 Sei (R α ) α>0 eine Regularisierung. Dann erzeugt jede Parameterwahlstrategie α = α(δ) mit α(δ) 0, R α δ 0 (für δ 0) ein Regularisierungsverfahren. Beweis: Wie in Bemerkung 3.15 gilt für y D(K + ) x δ α K + y Rα y δ y + Rα y K + y. } {{ } } {{ } R α δ 0 0 für α 0 Für allgemeine Filter haben wir R α schon in Satz 3.3 abgeschätzt, für regularisierende Filter lässt sich dies noch verschärfen: Satz 3.18 Für regularisierende Filter (F α ) α>0 ist R α C sup n Æ Fα (σ 2 n ) C mit C = sup α>0,λ (0, K 2 ] λ Fα (λ). Beweis: Dies folgt aus R α y 2 2 = F α (σn 2 )σ n(u n, y)v n = C 2 sup λ (0, K 2 ] F α (λ) y 2. sup Fα (λ) λ (0, K 2 ] Fα (σn 2 ) σ 2 Fα n (σn 2 ) (un, y) 2 36

41 3.3. PARAMETERWAHLSTRATEGIEN Beispiel 3.19 (vgl. [Rieder, Bsp ]) (a) Für die abgeschnittene Singulärwertzerlegung F α (λ) := ist R α C 1 σ n mit σ n α > σ n+1. { λ 1 : λ α 0 : λ < α Da σ n 0 für n erzeugt jede Parameterwahlstrategie α(δ) := σn(δ) 2 mit δ n(δ), 0 σ n(δ) ein Regularisierungsverfahren. Mit der Wahl σ n(δ) δ > σ n(δ)+1 folgt also R α(δ) y δ = σ k δ (b) Für die Tikhonov-Regularisierung σ 1 k (u k, y δ )v k K + y für δ 0. F α (λ) := 1 λ + α gilt R α C 1 α, so dass jede Parameterwahl mit α(δ) 0 und δ 2 α(δ) 0, zu einem Regularisierungsverfahren führt. Mit der Wahl α(δ) := δ folgt also R α(δ) y δ = (K K + δi) 1 K y δ K + y für δ 0. Satz 3.20 (Bakushinskii) Sei (R α ) α>0 eine Regularisierung. Es existiert keine Parameterwahl α = α(y δ ), so dass für alle y D(K + ) R α(y δ )y δ K + y für δ 0. (3.3) Beweis: Angenommen, es gibt eine solche Parameterwahl. Definiere R : Y X, Rη := R α(η) η. 37

42 KAPITEL 3. REGULARISIERUNG LINEARER PROBLEME Für jedes y D(K + ) folgt mit y δ := y aus (3.3), dass Ry = K + y, d.h. R D(K + ) = K + Außerdem folgt aus (3.3) für jede Folge y δ y, dass Ry δ = R α(y δ )y δ K + y = Ry, d.h. R (und damit K + ) ist stetig auf D(K + ). Dies widerspricht Satz Bemerkung 3.21 Satz 3.20 zeigt dass die Kenntnis des Datenfehlers notwendig ist für eine konvergente Parameterwahlstrategie. In der Praxis ist dieser jedoch nicht immer bestimmbar und so haben sich neben den mathematisch rigoros gerechtfertigten auch heuristische Parameterwahlstrategie etabliert. Ein Beispiel hierfür ist das L-Kurven-Kriterium, in dem x δ α als Funktion von y δ Kx δ α (doppeltlogarithmisch) geplottet wird und der zum linken Eckpunkt gehörige Parameter α verwendet wird (vgl. das in der Vorlesung gemalte Bild). 3.4 Ordnungsoptimalität Grundlagen und Definition Mit der abgeschnittenen SVD und dem Tikhonov-Verfahren haben wir bereits zwei Verfahren gefunden, für die bei richtiger Parameterwahl R α y δ gegen K + y konvergiert. Nun wenden wir uns der Frage der Konvergenzgeschwindigkeit zu. Dafür betrachten wir den Fehler E(y, δ) := sup { K + y R α(δ,y δ )y δ X : y δ Y, y y δ Y δ }. Für jedes Regularisierungsverfahren gilt per Definition lim E(y, δ) = 0 y δ 0 D(K+ ). Leider ist diese Konvergenz nicht gleichmäßig in y und damit beliebig langsam: Satz 3.22 Sei K nicht degeneriert und R α(δ,y δ ) ein Regularisierungsverfahren für K +. Für δ 0 konvergiert sup E(y, δ) nicht gegen Null. y D(K + ), y 1 38

43 3.4. ORDNUNGSOPTIMALITÄT Beweis: Angenommen, sup E(y, δ) 0 für δ 0. y D(K + ), y 1 Sei (η k ) k Æ D(K + ) eine Folge mit η k η D(K + ). Dann folgt mit y := η k η, δ := η k η, y δ := 0 für k K + (η k η) X = K + y R α(δ,y )y δ δ sup y D(K + ), y 1 E(y, δ) 0, d.h. K + η k K + η. K + ist also stetig auf D(K + ). Dies widerspricht Satz Schranken für die Konvergenzgeschwindigkeit E(y, δ) 0 können also nur auf Teilräumen von D(K + ) gelten. Definition 3.23 Für ν Ê, ν > 0 definieren wir (K K) ν L(X) durch (K K) ν x = σ 2ν n (v n, x)v n, x X. Außerdem definieren wir K ν := (K K) ν/2, insbesondere also K = (K K) 1/2. Satz 3.24 (a) (K K) ν ist selbstadjungiert und kompakt. (b) Für ν Æist (K K) ν = (K K)... (K K). } {{ } ν mal (c) Für ν, µ 0 ist (K K) ν (K K) µ = (K K) ν+µ = (K K) µ (K K) ν.. (d) Für ν 0 ist (K K) ν+1 = K K(K K) ν = K (KK ) ν K. (e) Für ν 0, x X ist K(K K) ν x = (K K) ν+1/2 x. Beweis: (a) Für x, ξ X ist ((K K) ν x, ξ) = σ 2ν n (v n, x)(v n, ξ) = (x, (K K) ν ξ). 39

44 KAPITEL 3. REGULARISIERUNG LINEARER PROBLEME Da σ 2 n die Eigenwerte von K K sind, stimmt dies für ν Æoffenbar mit der üblichen Potenz überein. Wie in Bemerkung 2.26 ist (K K) ν x N σ 2ν n (v n, x)v n σ 2ν N x, also ist (K K) ν Grenzwert degenerierter Operatoren und damit nach Satz 2.15 kompakt. (b) folgt, da σ 2 n die Eigenwerte von K K sind. (c) folgt aus (v n, (K K) µ x) = σ 2µ n (v n, x). (d) folgt aus (c) und K (KK ) ν Kv n = K (KK ) ν σ n u n = K σn 2ν+1 u n = σn 2(ν+1) v n = (K K) ν+1 v n. (e) folgt aus (a),(c) und K(K K) ν x 2 = ((K K) ν K K(K K) ν x, x) = ( (K K) ν+1/2 x, (K K) ν+1/2 x ) = (K K) ν+1/2 x 2. Satz 3.25 (Interpolationsungleichung) Für alle ν, µ > 0 und x X gilt Beweis: Wir schreiben K ν x X K ν+µ x ν µ ν+µ x X K ν x 2 X = σ 2ν n (v n, x) 2 = ν+µ X. a n b n mit a n := σ 2ν n (v n, x) 2/p, b n := (v n, x) 2/q, 1 p := ν ν + µ 1 q := µ ν + µ 40