Wiederholung von Linearer Algebra und Differentialrechnung im R n 1 Lineare Algebra 11 Matrizen Notation: Vektor x R n : x = x 1 x n = (x i ) n i=1, mit den Komponenten x i, i {1,, n} zugehörige Indexmenge: I = {i 1,, i k } {1,, n} x i1 x 1 = x I = (x i ) i I = x ik x n Matlab-Beispiel: Matrix A R n m : A = (a ij ) n, zugehörige Indexmengen: >> x = [9 8 7 6], N = [2 3] x = 9 8 7 6 N = 2 3 >> x(n) ans = 8 7 m i=1, j=1 = a 11 a 1m a n1 a nm I = {i 1,, i k } {1,, n} J = {j 1,, j l } {1,, m} = A I,J = (a ij ) i I, j J = j 1 j 2 j l i 1 i 2 i k j-te Spalte: A,j = (a ij ) n i=1 (Matlabnotation: A(:, j)) 1
i-te Zeile: A i, = (a ij ) m j=1 (Matlabnotation: A(i, :)) speziell A R n n, I {1,, n} A I := A I,I Matlab-Beispiel: >> A = [1 2 3 4; 5 6 7 8; 1 2 3 4], I = [2 3], J = [2 1] A = 1 2 3 4 5 6 7 8 1 2 3 4 I = 2 3 J = 2 1 >> A(I, J) ans = 6 5 2 1 Definition 1 Sei A R n n symmetrisch A heißt positiv semidefinit (schreibweise: A 0) : x Ax 0 x R n A heißt positiv definit (A 0) : x Ax > 0 x R n \ {0} A heißt negativ semidefinit (A 0) : x Ax 0 x R n bzw falls A positiv semidefinit ist A heißt negativ definit (A 0) : x Ax < 0 x R n \ {0} bzw falls A positiv definit ist R n + := {x R n x i 0 i = 1,, n} S n Menge der symmetrischen Matrizen S n + Menge der positiv semidefiniten Matrizen S n ++ Menge der positiv definiten Matrizen Satz 2 Sei A R n n symmetrisch Dann sind äquivalent: (i) A 0; (ii) λ i > 0 i = 1,, n, mit λ i ist i-ter Eigenwert von A (λ i R, da A symmetrisch); (iii) A = C C, mit C R n n regulär; (iv) I 1 I 2 I n 1 I n = {1,, n} sei eine beliebige Folge geschachtelter Indexmengen, mit I i = i deta Ii > 0 i = 1,, n (Die Determinanten einer beliebigen Folge geschachtelter Hauptuntermatrizen sind alle positiv) 2
Bemerkung 3 In (iii) kann C als obere Dreiecksmatrix gewählt werden (Cholesky- Zerlegung), dh C = 0 (vgl Numerik) Satz 4 Sei A R n n symmetrisch Dann sind äquivalent: (i) A 0; (ii) λ i 0 i = 1,, n; (iii) A = C C, mit C R n n und rankc = ranka 12 Normen Definition 5 Eine Funktion : R n R heißt (Vektor-) Norm, wenn x, y R n gilt: 1 x 0 1a x = 0 x = 0 2 cx = c x c R 3 x + y x + y Beispiel 6 Euklidische Norm oder l 2 -Norm x 2 := (x 2 1 + x 2 2 + + x 2 n) 1/2 (Wir verwenden fast ausschließlich diese Norm Diese Norm ist bei uns meist gemeint, falls kein Index angegeben ist) Summennorm oder l 1 -Norm Maximumnorm oder l -Norm x 1 := x 1 + x 2 + + x n x := max{ x 1, x 2,, x n } 3
l p -Norm ( n ) 1/p x p := x i p i=1 Satz 7 Seien α und β zwei Normen im R n Dann gibt es Konstanten c c > 0, so dass c x α x β c x α x R n (Dh im R n sind alle Normen äquivalent) Definition 8 Eine Folge {x (k) } R n von Vektoren konvergiert gegen x R n bzgl der Norm x : x (k) x 0 für k (k) Schreibweise: x x oder lim x (k) = x bzgl k Korollar 9 Im R n sind äquivalent: α (k) (i) x x, k ; (ii) x (k) β x, k ; (iii) (punktweise Konvergenz) x (k) 1 x 1, k x n (k) x n, k Definition 10 Sei M R n Der Abschluss von M (clm) ist die Menge der Grenzwerte aller konvergenten Folgen aus M x, y R n, Skalarprodukt x, y := x 1 y 1 + x 2 y 2 + + x n y n Ein wichtiges Hilfsmittel bei Abschätzungen ist Satz 11 (Cauchy-Schwarzsche Ungleichung) x, y x 2 y 2 x, y R n Normen lassen sich auf Matrizen im R n m verallgemeinern: Definition 12 Eine Funktion : R n m R heißt (Matrix-) Norm, wenn A, B R n m gilt: 1 A 0 1a A = 0 A = 0 2 ca = c A c R 4
3 A + B A + B Beispiel 13 Frobeniusnorm ( n 1/2 m A 2 = aij) 2 i=1 j=1 induzierte Matrixnorm Sei V eine Vektornorm auf R n Wir definieren eine Funktion M auf R n n durch A M := max V x V =1 Satz 14 Die so definierte Funktion M : R n n R ist eine Norm, und es gilt Ax V A M x V A R n n, x R n Die durch die Vektornorm 2 induzierte Matrixnorm ist die Spektralnorm A := max{ λ λ ist Eigenwert von A A} Im Weiteren meint x immer die l 2 -Norm x 2 13 Differentialrechnung im R n f : R n R partielle Ableitung nach x 1 im Punkt (ξ 1,, ξ n ) f(ξ x 1 (ξ 1,, ξ n ) := lim 1 +t,ξ 2,,ξ n) f(ξ 1,ξ 2,,ξ n) t 0 t = d f(t, ξ dt 2,, ξ n ) t=ξ1 Analog die partielle Ableitung nach x i : Gradient f = x 1 x n Richtungableitung nach p R n (Differenzenquotient in Richtung p) x i (ξ 1,, ξ n ) f(x + tp) f(x) (x) := lim p t 0 t 5
f : R n R m, f(x) = f 1 (x) f m (x) Jacobimatrix J f (ξ) = 1 x 1 (ξ) m x 1 (ξ) 1 x n (ξ) m x n (ξ) = f 1 (ξ) f m (ξ) Definition 15 Sei G R m offen Eine Funktion f : G R m heißt differenzierbar in x G, wenn es eine (m n)-matrix A gibt, so dass für hinreichend kleines h ( x + h U ɛ (x)) f(x + h) f(x) = Ah + r(h), mit r(h) lim h 0 h = 0 (dh r(h) = o( h )) gilt Die Matrix A heißt Ableitung von f an der Stelle x f heißt differenzierbar (auf G), wenn f in jedem x G differenzierbar ist f heißt stetig differenzierbar, wenn f differenzierbar und stetig ist f : G R m n, x A(x) Satz 16 f : G R m sei differenzierbar in ξ G Dann gilt jedes f i ist in ξ partiell nach allen Variablen x 1,, x n differenzierbar; A ist eindeutig bestimmt, A = J f (ξ) Satz 17 f : G R m ist stetig differenzierbar auf G i, j : f j ist auf G partiell nach x i differenzierbar und j x i ist stetig auf G f : R n R, J f (x) = f(x) Obige Sätze: f ist differenzierbar in x f(x) und f(x + h) f(x) = f (x)h + r(h) (dh Gradient ist die Ableitung); f ist stetig differenziebar auf R n f(x) auf R n und ist stetig Zusammenhang von f(x) und Richtungsableitung? Satz 18 Ist f : R n R differenzierbar in x, so existiert für jedes p R n die Richtungsableitung und ist p (x) = f(x) p 6
Sei p = 1 Cauchy-Schwarz f(x) p f(x) p = f(x) Damit können spezielle Richtungen identifiziert werden: Sei p 0 := f(x) f(x) f(x) p 0 = f(x), dh der Gradient zeigt in Richtung des steilsten Anstiegs Sei p 1 := f(x) f(x) f(x) p 1 = f(x), dh der Antigradient zeigt in Richtung des steilsten Abstiegs Höhere Ableitungen: f : R n R f(x) = 0 p (x) = 0 p Rn x i x j := x i x j Hesse-Matrix 2 f = x 2 1 x 1 x n x n x 1 x 2 n = J f Definition 19 Sei G R n offen C m (G) ist die Menge der Funktionen f : G R, deren partielle Ableitung der Ordnung m alle auf G existieren und stetig sind Satz 20 (Satz von Schwarz) Für jedes f C m (G) sind die partiellen Ableitungen der Ordnung m unabhängig von der Reihenfolge der Differentiation Speziell gilt also Folgende Sätze sind wichtige Hilfsmittel f C 2 (G) 2 f ist symmetrisch Satz 21 (Satz von Taylor) Seien x, p R n und f : R n R Ist f C 1 (R n ), dann gilt für ein t (0, 1) Ist f C 2 (R n ), dann gilt f(x + p) = f(x) + f(x + tp) p f(x + p) = f(x) + f(x) p + 1 2 p 2 f(x + tp)p 7
für ein t (0, 1) und f(x + p) = f(x) + 2 f(x + tp)pdt 1 0 Sei x = (y 1,, y k, z k+1,, z n ) = (y, z) [J f (ξ)] y := 1 y 1 (ξ) m y 1 (ξ) 1 y k (ξ) m y k (ξ), dh die Spalten der Jacobimatrix bzgl y Satz 22 (Satz über implizite Funktionen) Seien G R n und H R m nichtleer und offen und die Funktion F : G H R m, (x, y) F (x, y) sei stetig differenzierbar Ferner seien ξ G und ν H Punkte, für die F (ξ, ν) = 0 und [J F (ξ, ν)] y invertierbar ist Dann gibt es eine δ-umgebung U G von ξ, und eine ɛ-umgebung V H von ν und genau eine stetige Funktion f : U V mit f(ξ) = ν und F (x, f(x)) = 0 x U Für jedes feste x U ist f(x) sogar die einzige in V liegende Lösung der Gleichung F (x, y) = 0 8