Verständnisfragen-Teil (5 Punkte) Jeder der 5 Verständnisfragenblöcke besteht aus 5 Verständnisfragen. Werden alle 5 Fragen in einem Verständnisfragenblock richtig beantwortet, so gibt es für diesen Block 5 Punkte. Werden 4 von 5 Fragen in einem Verständnisfragenblock richtig beantwortet, so gibt es für diesen Block 3 Punkte. Werden weniger als 4 Fragen in einem Verständnisfragenblock richtig beantwortet, so gibt es für diesen Block Punkte. Verständnisfragenblock : Es seien A, B, P, L, R, D R n n mit P Permutationsmatrix, R obere Dreiecksmatrix, L normierte untere Dreiecksmatrix und D Diagonalmatrix.. Es seien A, B symmetrisch positiv definit. Ist dann A + B immer symmetrisch positiv definit? ja. Sei A regulär. Existiert dann stets eine LDL T -Zerlegung, so dass A = LDL T? nein 3. Sei A = LDL T. Ist dann stets κ (A) = κ (D)? nein 4. Ist P stets orthogonal? ja 5. Existiert für A symmetrisch positiv definit stets eine LR-Zerlegung A = LR? ja Verständnisfragenblock : Es seien A R m n, mit Rang(A) = n m, und b R m. Weiter seien Q R m m eine orthogonale Matrix und R R m n eine obere Dreiecksmatrix so, dass A = Q R gilt. Weiter sei x R n die eindeutige Minimalstelle des Minimierungsproblems min x R n A x b.. Steht der Vektor b A x stets senkrecht auf b? nein. Sei κ (A) = 6. Beim Lösen des linearen Ausgleichsproblems über Normalengleichungen muss ein Gleichungssystem der Form Mx = f gelöst werden. Was ist κ (M)? 36 3. Ist die Matrix A A T immer symmetrisch positiv definit? nein 4. Ergibt sich die Matrix R durch Gauß-Elimination mit Spaltenpivotisierung, angewandt auf A? nein 5. Ist A x b = R x Q T b für alle x R n? ja Verständnisfragenblock 3: Es seien x MIN bzw. x MAX die kleinste bzw. größte (strikt) positive Zahl sowie eps die relative Maschinengenauigkeit in der Menge M(b, m, r, R) der Maschinenzahlen gemäß Vorlesung/Buch und D := [ x MAX, x MIN ] [x MIN, x MAX ]. Ferner beschreibe fl : D M(b, m, r, R) die Standardrundung. Alle Zahlen sind im Dezimalsystem angegeben.. Was ist x MIN in M(3,,, )? 9. Was ist x MAX in M(3,,, )? 8 3. Was ist die relative Konditionszahl κ rel (x) für die Auswertung der Funktion f(x) = x + x an der Stelle x =? 5 3 =.666... 4. Ist die Zahl 4 in M(, 3, 99, 99) exakt darstellbar? ja 5. Gilt für alle x D, dass fl(x) x eps x? ja
Verständnisfragenblock 4: Es sei P (f x,..., x n ) das Lagrange Interpolationspolynom zu den Daten (x, f(x )),..., (x n, f(x n )) mit x <... < x n.. Der Aufwand für die Berechnung über dividierte Differenzen (d.h. die Newton-Darstellung) ist O(n) Operationen.. Was ist P (Q x =, x = 3, x = 4, x 3 = 5)(x) ausgewertet an der Stelle x = für Q = x 3? 6 3. Gilt P (g x,..., x n ) = g für alle Polynome g? nein 4. Wird der Fehler max x [x,x n] P (f x,..., x n )(x) f(x) für wachsendes n immer kleiner? nein 5. Ist P (f x,..., x n )(x i ) = f(x i ) für i =,,..., n? ja nein Verständnisfragenblock 5: Wir betrachten Nullstellenprobleme.. Ist die Newton-Methode immer global quadratisch konvergent? nein. Wie viele LR-Zerlegungen müssen für die Durchführungen von 4 Schritten des vereinfachten Newton-Verfahrens (für Systeme) berechnet werden, wenn alle auftretenden Gleichungssysteme mittels LR-Zerlegung gelöst werden? 3. Beim Sekantenverfahren wird die Steigung der Funktion durch einen Differenzenquotienten approximiert. 4. Für eine quadratische Funktion liefert das Newton-Verfahren für beliebige Startwerte die Lösung nach einer Iteration 5. Gibt es zu jedem Nullstellenproblem nur ein Fixpunktverfahren, mit welchem dieses gelöst werden kann? ja nein nein
Aufgabe Gegeben sei die Matrix ( ) A := R und eine rechte Seite Wir betrachten für < ε < eine Störung von A, A ε := ( b = R ). ( ) R + ε. Berechnen Sie die Lösung x ε des gestörten Gleichungsystems A ε x ε = b und die Lösung x des exakten Gleichungsystems A x = b sowie die Konditionszahl κ (A ε ).. Schätzen Sie den relativen Fehler der Lösung des gestörten Gleichungssystems A ε x ε = b in der -Norm unter der Annahme, dass die rechte Seite b exakt gegeben ist, ab. Geben Sie eine Bedingung an ε an, die erfüllt sein muss, damit diese Fehlerabschätzung gilt. 3. Bestimmen Sie eine Diagonalmatrix D R so, dass die Konditionszahl der Matrix AD in der -Norm minimal wird. Musterlösung. ( / A ) ε = e+ e+. Wenn b exakt gegeben ist, gilt nach dem Satz 3.9 falls κ (A) A A <. x ε = ( ) ( ε, x = + ε ) { } κ (A ε ) = A ε A ε = (3 + ε) max, = ε + 3 ε + ε + x x κ (A) κ (A) A A Es ist κ (A) = 6 und der relative Fehler von A ist A A gegeben durch 6 ε 3 <. ( ) A. A = Aε A A Damit die Abschätzung anwendbar ist, muss also ε < gelten. Setzt man die Kondition ein, wobei b exakt angenommen wurde, gilt Weiteres Umformen ergibt x x 6 6 A A ( ) A. A x x 6 ( ε 6 ε. 3 3) x x 6ε 3 6ε 3. Die gesuchte Diagonalmatrix D ist die Spaltenäquilibrierung D = ( i= i, ) a ( i= a i, ) 3+5+= Punkte = ε 3. Obige Voraussetzung ist also hier = ( ) 3 3
Aufgabe. Gegeben sei das lineare Gleichungssystem Ax = b mit.5.5.5 A = 3 R 3 3 und b = 5 R 3. 6 a) Berechnen Sie die LR-Zerlegung von A mit Spaltenpivotisierung und ohne Äquilibrierung. Geben Sie L, R und die Permutationsmatrix P explizit an. b) Lösen Sie das System mit Hilfe der LR-Zerlegung. c) Berechnen Sie die Determinante von A mit Hilfe der LR-Zerlegung.. Sei à eine Störung einer gegebenen, nichtsingulären Matrix A R n n. Das ungestörte Problem lautet: Finde x sodass Ax = b gilt. Dieses Problem sei hier aber nicht exakt auflösbar (zum Beispiel aufgrund von Rundungsfehlern). Anstelle dessen lasse sich aber das gestörte Problem à x = b leicht und exakt nach x auflösen, wobei dementsprechend r := b A x das Residuum bzgl. der Approximation x zu x ist. Wir wollen diese Approximation nun durch einen Nachiterationsschritt verbessern. Wie lautet das Gleichungssystem, das man dazu lösen muss, und wie wird die verbesserte Approximation berechnet? In welcher Form ist à typischerweise (es reicht ein Beispiel) gegeben? Musterlösung 4+3++3= Punkte. a) Spaltenpivotisierung schreibt in diesem Fall zunächst vor, dass Zeilen und vertauscht werden müssen, d.h. 3 P A =.5.5.5, P =. Mithilfe der ersten Zeile werden nun Nullen in Spalte erzeugt: 3 L (P A) =, L =.5. (Anstelle der fett gedruckten Nullen, lassen sich hier zur Vereinfachung auch die relevanten Einträge von L vermerken (siehe unten)) Von dieser Matrix müssen nun Zeile und 3 vertauscht werden: A = P (L (P A)) = 3, P =. Da sich A bereits in oberer Dreiecksgestalt befindet, ist nichts mehr zu tun (L = I). Es ist also R = A. Somit ergibt sich: 3 R =, L = (P L P T ) =, P = P P =..5 Die Matrix L = (P L P T ) wird dabei durch die üblichen Rechenregeln, bzw. durch Vermerken der relevanten Einträge von L in den Null Einträgen von L (P A), ausgewertet. b) Vorwärtseinsetzen: b b = P b = 6 5 (Pivotisierung) ergibt Ly = b y = 6. 4
Rückwärtseinsetzen: Rx = y ergibt x = 3. c) Wir haben dann det(p ) =, det(l) =, det(r) = = det(a) = det(l) det(r) det(p ) = =. Man berechnet zuerst r := b A x = Ax A x = A(x x) = Aδ. Das zu lösende Gleichungssystem ist dann Ãδ = r. Die Korrektur ergibt dann die bessere Nährung x = x+δ. Ã ist dabei typischerweise als eine leicht invertierbare Faktorisierung gegeben, z.b. Ã = P LR. Gelöst wird dann über Vorwärts- und Rückwärtseinsetzen: P LRδ = r oder LRδ = P r 5
Aufgabe 3. Formulieren Sie für das Newton-Verfahren für Systeme einen Algorithmus in Pseudocode. Sie können dabei folgende Funktionen als gegeben annehmen: Funktion f(x) f (x) LR(A) VS(M, b) Ausgabe Die Funktion f ausgewertet an der Stelle x Die Jacobi-Matrix f der Funktion f berechnet und ausgewertet an der Stelle x Die Zerlegung (P, L, R), wobei P eine Permutationsmatrix ist und P A = LR gilt Der Vektor x = M b berechnet durch Vorwärtseinsetzen mit der Matrix M und dem Vektor b RS(M, b) Der Vektor x = M b berechnet durch Rückwärtseinsetzen mit der Matrix M und dem Vektor b +,, Das entsprechende Ergebnis der arithmetischen Operation für Vektoren und Matrizen. Lösen Sie das nichtlineare Gleichungssystem x x y = 7y x + x = 36 indem Sie je zwei Iterationen des Newton-Verfahrens ( und des vereinfachten Newton-Verfahrens durchführen. Benutzen Sie den Startwert x =. ) Musterlösung. Input: x. For k =,,,... : (P, L, R) LR(f (x k )) b P ( f(x k )) z VS(L, b) //Lz = P (f(x k )) =: b s k+ RS(R, z) //Rx = z x k+ x k + s k Das volle Verfahren: I x = (, ) f(x ) = (., 8.) ( ).. f (x ) =. 8. s = (.858585,.3737374) x = (3.858585,.373737) ( ) x f(x) = x y 7y x + x 36 II f(x ) = (.4466393,.4444444444) ( ) 4.373737. f (x ) = 4.373737 33.85859 s = (.38363,.983475) x = (.8569556,.3453663) Das vereinfachte Verfahren: I s. oben: f(x ) = (., 8.) ( ).. f (x ) =. 8. s = (.858585,.3737374) ( ) f x (x) = x + 4y 4+7= Punkte () 6
x = (3.858585,.373737) II f(x ) = (.4466393,.4444444444) s = (.73838,.355636844) x = (.465738,.33486686) 7
Aufgabe 4. Gegeben seien folgende Stützstellen t i und Messwerte f i t i 3 5 f i 4 Aus theoretischen Überlegungen geht hervor, dass diese Messdaten einer Funktion f(t) = αβ t. genügen. Die Parameter α und β sollen optimal im Sinne der kleinsten Fehlerquadrate bestimmt werden. Formulieren Sie dazu das entsprechende nichtlineare Ausgleichsproblem.. Das nichtlineare Ausgleichsproblem soll jetzt über das Gauß-Newton-Verfahren gelöst werden. Seien (α k, β k ) die Werte der k-ten Iterierten. Bestimmen Sie das lineare Ausgleichsproblem, das im k-te Schritt des Verfahrens gelöst werden muss. 3. Gegeben sei nun das lineare Ausgleichsproblem 6 5 9 Ax b min, mit A := 8 R 3 und b := R 3. x R 4 34 Bestimmen Sie die Lösung des Ausgleichsproblems über die QR-Zerlegung mit Givensrotationen. Musterlösung. Die i-te Zeile des Residuums lautet F i := f(t i ) f i = αβ ti f i. Also ist das entsprechende nichtlineare Ausgleichsproblem gegeben durch: F F = f(t ) f f(t ) f = αβ 4 αβ 3 F 3 f(t 3 ) f 3 αβ 5. Die i-te Zeile der Jakobischen J ist gegeben durch (das ist ein Gradient) : ( β t i αt i β ti ). min (α,β) R R +3+8=3 Punkte Die Jakobische im k-ten Schritt lautet dann F (α k, β k ) = β k βk 3 βk 5 α k β k 3α k βk 5α k βk 4 Das lineare Ausgleichsproblem lautet dann: ( ) F αk (α k, β k ) β k + α kβ k 4 α k β 3 k α k β 5 k min. ( α k, β k ) R R 3. Um den Eintrag A, auf Null zu bringen, betrachtet man die Einträge A, und A,. Es ergibt sich: r = sgn(a, ) 6 + 8 =, c = A, = 3 r 5, s = A, = 4 r 5 G, = 3 4 5 3 4 3 G, A =, G, b = 4 5 5 4 34 Um den Eintrag (G, A) 3, auf Null zu bringen, betrachtet man die Einträge (G, A), und (G, A) 3,. Es ergibt sich: r = sgn((g, A), ) + 4 = 6, c = (G,A), r = 5 3, s = (G,A) 3, = r 3 8
G,3 = 3 5 3 5 G,3 G, A = 6, G,3 G, b = 6 3 5 6 Als Lösung des Systems ergibt sich damit: x = 6 = x 3 ( 5) = = 8 =.8 9
Aufgabe 5 Es sei m n und A R m n. Weiter sei A = UΣV T eine SVD von A.. Welche Bedingung an die Singulärwerte garantiert, dass A vollen Rang hat?. Zeigen Sie, dass für alle b R m A T A A + b = A T b gilt. 3. Zeigen Sie, dass der Vektor x = A + b (eine) Lösung des linearen Ausgleichsproblems ist. Ax b min Erinnerung: Es sind also U R m m und V R n n orthogonal sowie Σ = diag(σ,..., σ n ) R m n (d.h. Σ i,i = σ i, i =,..., n und Σ i,j = wann immer i j). Dabei sind σ... σ r > = σ r+ =... = σ n die Singulärwerte, r n. Die Pseudoinverse A + R n m ist definiert als A + := V Σ + U T, Σ + := diag(σ,..., σ r,,..., ). Musterlösung. Ist σ n > (bzw. r = n), so hat A vollen Rang.. Zunächst stellen wir fest, dass A T AA + = A T zu zeigen ist. Einsetzen liefert +7+ = Punkte A T AA + = V Σ T U T UΣV T V Σ + U T A T AA + = V Σ T (U T U) Σ (V T V ) Σ + U T }{{}}{{} I I = V Σ Σ + U T, Σ = diag(σ,..., σr,,..., ) R n n = V Σ T U T = A T 3. y R n ist Lösung des linearen Ausgleichsproblems genau dann wenn y die Normalengleichung erfüllt, d.h. A T Ay = A T y. Da nach Aufgabe a) gerade A T Ax = A T b gilt, ist x demnach Lösung des linearen Ausgleichsproblems.