Wir rekapitulieren grundlegende Begriffe der linearen Algebra, die für die Analyse numerischer Methoden der linearen Algebra wichtig sind.

Transkript

1 1 Lineare Algebra Wir rekapitulieren grundlegende Begriffe der linearen Algebra, die für die Analyse numerischer Methoden der linearen Algebra wichtig sind. 1.1 Vektorräume (VRe) Definition Ein Vektorraum (VR) über einem Zahlkörper K(= R, C) ist eine Menge V mit Addition + (kommutativ + assoziativ) und Skalarmultiplikation, mit i) ex. 0 V : v V : v + 0 = v, ii) v V : 0 v = 0, 1 v = v für 0, 1 K, iii) (inverses Element): v V ex. v V : v + ( v) = 0, iv) α K : v, w V : α(v + w) = αv + αw, α, β K : v V : (α + β) v = αv + βv, v) α, β K, v V : (αβ)v = α(βv). Beispiel 1.1. Beispiele für Vektorräume, die wir später wiederholt verwenden werden, sind: V = R n, V = C n, V = P n := { p n (x) = n k=0 V = C p ([a, b]). a k x k }, Sei [a, b] R beschränktes Intervall, und x 0, x 1,..., x n Stützstellen mit a = x 0 < x 1 < < x n = b. Dann ist V n = { f C 0 ([a, b]) f [xi 1,x i ] ist linear } ein Vektorraum, der Raum der stückweise linearen, stetigen Funktionen in [a, b]. Definition W V heisst Teilraum (TR) W ist VR über K. 1

2 Beispiel a) Sei [a, b] R beschränktes Intervall, und x 0, x 1,..., x n Stützstellen mit a = x 0 < x 1 < < x n = b. Dann gilt: V n = { f C 0 ([a, b]) f [xi 1,x i ] ist linear } ist ein Teilraum von C 0 ([a, b]). b) Polynome vom Grad n sind ein Teilraum der stetigen Funktionen, d.h. P n C 0 (R). c) Sei v 1,..., v n V beliebig. Dann gilt W := span{v 1,..., v n } := {v = α 1 v α n v n : α i K} ist TR von V. Wir nennen v 1,..., v n erzeugendes System des TR W von V. Direkte Summe von TR: Seien W 1,..., W m W Teilräume. Dann folgt S := {w : w = v v m mit v i W i : i = 1,..., m} ist Teilraum. S heisst direkte Summe der W i, symbolisch S = W 1 W m, genau dann, wenn gilt s S ex.! v 1,..., v m mit v i W i ; s = v v m. Definition i) {v 1,..., v m } V heissen linear unabhängig α 1 v α m v m = 0 α 1,..., α m = 0. ii) Sei V = span{u 1,..., u m } und die u i linear unabhängig. Dann heisst {u 1,..., u m } Basis von V m = dim V. Beispiel i) Für den Vektorraum P n der Polynome von Grad n auf dem Intervall [a, b] gilt P n = span{x 0, x 1,..., x n }. ii) Für V n = {f C 0 ([a, b]) t [xi 1,x i ] ist linear}, a = x 0 < x 1 < < x n = b gilt V n = span{b i (x) : i = 0, 1,..., n}, wobei die Basis b i (x) die Hutfunktionen sind: in der folgenden Figur für n = 5 dargestellt: fig1.eps 15 4 mm x 0 x 1 x x 3 x 4 x 5

3 1. Matrizen Sei m, n N. mn Zahlen a ij K, i = 1,..., m, j = 1,..., n bilden eine Matrix mit m Zeilen und n Spalten, eine m n Matrix, a a 1m A =... (1..1) a m1... a mm Falls a ij R schreiben wir A R m n und analog, falls a ij C schreiben wir A C m n. Wir benutzen die Bezeichnungen: A = A(m n): Spaltenvektor a a 1n Zeilenvektor. matrix1.1.eps mm a m1.... a mn Diagonale Definition 1..1 Sei A eine m n Matrix, und i p, j q Indizes mit 1 i 1 < < i k m, 1 j 1 < < j l n. S = (S pq ) = (a ip,j q ), p = 1,..., k, q = 1,..., l, heisst Untermatrix von A. Definition 1.. A(m n) Blockmatrix, falls A A 1l A =.., A k1... A kl mit A ij Untermatrizen von A der Grössen m i n j mit m 1 + +m k = m, n 1 + +n l = n. Beispiel 1..3 m = n = 3, k = l =, m 1 = n 1 =, m = n = 1; 1 3 ( ) A11 A = 1. A 1 A

4 Notation 1..4 (MATLAB-Notation) Bei einem Vektor a R n bezeichnet in Matlab- Notation a(i) die Komponente a i. Die Notation a(k : l) ist für l k Kurzform für den Vektor der Länge l k + 1 mit den Komponenten k bis l des Vektors a. Analoge Notationen gelten für Matrizen: Die Einträge a nm einer Matrix A sind in MATLAB Notation A(n, m), und der Ausdruck A(k : l, r : s) bezeichnet die Untermatrix von A, aus den Zeilen k bis l und den Spalten r bis s besteht. Für einen Vektor a R n mit n Komponenten gilt length (a) = n. Untermatrix von A: Symbolisch schreiben wir für A(i 1 : i, j 1 : j ) i 1 i j 1 j Analog ist für Vektoren v K n : v(i 1 : i ) Teilvektor von v; symbolisch: A(m n) = (a 1,..., a n ), wobei a i K m Spaltenvektoren der Matrix A sind. i 1 i. 1.3 Matrixoperationen Wir rekapitulieren die wichtigsten Matrixoperationen. Definition Eine quadratische Matrix A = A(n n) heisst invertierbar B = B(n n), dass AB = BA = I. Wir schreiben B Inverse von A, B = A 1 (n n). Es gilt A singulär A nicht invertierbar. Proposition 1.3. Die Inverse A 1 (n n) von A = (a 1,..., a n ) existiert die Spalten a 1,..., a n sind linear unabhängig. Definition Sei A = A(m n) = (a ij ) R m n. Dann ist A = A (n m) = (a ji ) R n m Transponierte von A. Wir geben einige Rechenregeln für die Transponierte einer Matrix A. 4

5 Proposition (A ) = A, (A + B) = A + B, (AB) = B A, (αa) = αa α K. A 1 ex. = (A ) 1 ex. und (A ) 1 = (A 1 ) = A. Für Matrizen mit komplexen Einträgen ist oft die komplex konjugierte transponierte Matrix von Interesse, die sog. hermitesch Transponierte. Definition Sei A = (a ij ) C m n. Dann ist B = A H := A = (a ji ) die hermitesch Transponierte zu A. Beispiel A C n m, B C m n. Dann gilt: Definition (AB) H = B H A H, (αa) H = α A H, α C. A R n n symmetrisch A = A, schiefsymmetrisch A = A, orthogonal A 1 = A A A = AA = I. Definition A C n n hermitesch A = A A H = A, unitär A H A = AA H = I. Definition A C n n normal AA H = A H A. 1.4 Spur und Determinante Sei A = A(n n) eine quadratische Matrix. Dann heisst tr(a) := n a ii die Spur von A. Aus der linearen Algebra erinnern wir an die Determinante von A: det(a) = π P sgn(π) a 1π1... a nπn. Sie erfüllt folgende Rechenregeln. det(a) = det(a ), det(ab) = det(a) det(b), det(a 1 ) = 1/det(A) det(a) = det(a H ), det(αa) = α n det(a) α K. 5

6 1.5 Rang und Kern Definition A = A(m n) hat rang q, wenn die grösste Blockuntermatrix A mit det Ã(q, q) 0 die Grösse q hat. Wir schreiben: q = rank(a). A = A(m n) hat maximalen Rang rank A = min(m, n). Ã(q q) von Eigenschaft 1.5. Für A(m n) gilt rank A = dim ( range(a) ) wo range(a) := {y K m : y = Ax, x K n }. Eigenschaft ker A = {x K n : Ax = 0 K m } heisst Kern von A, Nullraum von A. Es gilt: rank(a) = rank(a ), rank(a) = rank(a H ), rank(a) + dim ( ker(a) ) = n. Eigenschaft A nichtsingulär det(a) 0 ker A = {0} rank(a) = n A = {a 1,..., a n } linear unabhängig. 1.6 Spezielle Matrizen A = A(m n) obere Trapezmatrix a ij = 0 for i > j untere Trapezmatrix a ij = 0 for i < j m = n = obere oder Links-Dreiecksmatrix a ij = 0 for i > j untere oder Rechts-Dreiecksmatrix a ij = 0 for i < j. Beispiel (Dreiecksmatrizen) Dreiecksmatrizen schreiben wir symbolisch als l L =.... 0, U = l n1... l nn u u 1n u nn = 0 beispiel1.eps mm = 0 6

7 Proposition 1.6. Sei L eine untere Dreiecksmatrix, U obere Dreiecksmatrix. Dann gilt det L = L L nn = n L ii, det U = U U nn = n U ii. Definition Die Menge der n n-linksdreiecksmatrizen wird mit L n bezeichnet. Ferner definieren wir L 1 n := {L L n L ii = 1, i = 1,..., n}. Die Linksdreiecksmatrizen und Rechtsdreiecksmatrizen bilden je einen Ring: Theorem Es gilt für beliebige L, L L n : 1. L + L L n ;. L L L n ; symbolisch: 0 0 beispiel.eps = 0, mm0 0 = 0 3. det L = n L ii; 4. Ist L L n regulär, dann ist L 1 L n ; 5. falls L L 1 n, L L 1 n, dann ist L L L 1 n. Analoge Aussagen gelten für Rechtsdreiecksmatrizen. Beweis: Übung (vgl. Aufgabe 1). Die Aussagen für Rechtsdreiecksmatrizen folgen aus denen für Linksdreiecksmatrizen durch Transposition. Definition ) A C m n (p, q)-bandmatrix, wenn U ij = 0 für i > j + p, j > i + q. p + 1 q beispiel3.eps 48 6 mm 0 p + 1 ) p = q = 1: A-Tridiagonalmatrix. 3) p = m 1, q = 1: A untere Hessenbergmatrix. 7

8 1.7 Eigenwerte und Eigenvektoren Sei A C n n quadratische Matrix. Dann ist: λ C Eigenwert von A 0 x C n : Ax = λx. Die Menge σ(a) = {λ C : λ Eigenwert von A} heisst Spektrum von A. x y Rechtseigenvektor von A Linkseigenvektor von A Ax = λx, y H A = λy H. λ σ(a) erfüllt die charakteristische Gleichung p A (λ) := det(a λi) = 0. Proposition ) A C n n = p A (λ) P n = σ(a) = {λ 1,..., λ n }, und ) det(a) = p A (0) = λ 1 λ... λ n, tr(a) = n λ i. 3) σ(a) = σ(a ), σ(a H ) = σ(a), d.h. λ σ(a) λ σ(a H ) Der Spektralradius von A C n n ist Für den Spektralradius gilt (nachrechnen!) ρ(a) = max λ i = max λ. 1 i n λ σ(a) ρ(a) = ρ(a H ), ρ(a k ) = ( ρ(a) )k, k N. 1.8 Ähnlichkeitstransformationen Ähnlichkeitstransformationen lassen das Spektrum einer Matrix invariant. In der Numerik werden Ähnlichkeitstransformationen benutzt, um Eigen- und Singulärwerte und, allgemeiner, die Schur Normalform sowie die Singulärwertzerlegung der Matrix A stabil zu berechnen. Definition Seien A(n n), C(n n) Matrizen mit det C 0. Dann heisst die transformierte Matrix C 1 AC ähnlich zu A. Proposition 1.8. σ(a) = σ(c 1 AC), p A (λ) = p C 1 AC(λ). 8

9 Beweis: P C 1 AC = det(c 1 AC λ C} 1 {{ C} ) I = det(c 1 (A λi) C) = det(c 1 ) det(a λi) det(c) = det(c 1 ) 1 det(a λi) det(c) = P A (λ). 1.9 Schur und Jordan Normalform Wir rekapitulieren den folgenden Satz aus der linearen Algebra: Jede Matrix A(n n) kann ähnlich auf die sog. Jordan sche Normalform transformiert werden. A C n n hat n Eigenwerte λ 1,..., λ n. Diese sind Nullstellen des charakteristischen Polynoms p(λ) = det(a λ 1). Algebraische Vielfachheit von λ i = Vielfachheit der Nullstelle λ i von p(λ): p(λ) = (λ λ i ) malg i q(λ), Ordnung q(λ) = n m alg i. Geometrische Vielfachheit von λ i = m geom i := # linear unabhängige Eigenvektoren zum Eigenwert λ i. Es gilt: m alg i. m geom i Defekt: d i := m alg i m geom i 0. 9

10 Jordan Normalform: T C n n nicht singulär, λ λ λ λ λ 1 0 λ T A T = λ λ λ λ λ = J wobei: λ λ λ pro Eigenvektor je 1 Jordanblock.... auftritt. Seine Grösse hängt 0 0 λ λ 1 ab von der Länge der Hauptvektorketten. λ i sind in den verschiedenen Jordanblöcken sind nicht notwendig verschieden, die Jordan sche Normalform ist praktisch schlecht zu berechnen, da die Transformationsmatrix T in der Jordan schen Normalform nicht -isometrisch ist: es gibt x C n : T x x. In der Numerik verlangt man deshalb weniger als die Jordan sche Normalform und fordert: T! = unitär. Dies wird bezahlt damit, dass die transformierte Normalform der Matrix weniger Nulleinträge hat. Genauer gilt: Theorem (Schur) A C n n beliebig, λ 1,..., λ n C Eigenwerte von A. Dann existiert eine unitäre Matrix Q C n n so, dass λ 1 Q H A Q =... = Λ 0 λ n 10

11 wobei Λ eine obere Dreiecksmatrix ist mit den Eigenwerten von A auf der Diagonalen. Beweis: Sei u 1 Eigenvektor zu λ 1, u 1 = 1. Wähle u,..., u n C n so, dass V 1 = (u 1,..., u n ) unitär. Dann gilt, mit A 0 = A, λ 1... V H 1 A 0 0 V 1 =.. A 1 Wiederhole Schlussweise mit A 1 C (n 1) (n 1) : V = Ṽ 0, Ṽ = (ũ,..., ũ n ) C (n 1) (n 1). Rekursion mit Ṽ3,..., Ṽn ergibt die Behauptung Normen in C n Sei V VR über dem Koeffizientenkörper K = R, C. Dann ist die Abbildung : V R + eine Norm x V : x 0 und x = 0 x = 0. x V, α K : αx = α x. x, y V : x + y x + y. (N1) (N) (N3) Bemerkung x y x y. Beweis: (N3) x y = x y + y y x y + y y = x y ; x y = Behauptung. 11

12 Beispiele: V C n, p 1, x = (x 1,..., x n ). Dann sind die sog. l p -Vektornormen p für 1 p wie folgt definiert. ( n x p := x i p ) 1 p, 1 p <, x = max{ x i : i = 1,..., n}. Der wichtige Spezialfall p = ist die Euklidische Vektornorm. Theorem p ist Norm auf C n. Beweis: (N1), (N) sind offensichtlich, wir zeigen (N3). Hierzu brauchen wir Lemma Seien Indices p, q 1 konjugiert, d.h. es gelte Dann gilt Beweis: x log x konkav, d.h. 1 p + 1 q = 1. a, b > 0 : ab ap p + bq q. Dann: α, β 0, α + β = 1 : u, v > 0 : α log u + β log v log(αu + βv) : α = 1 p, β = 1 q, u = ap, v = b q. ( 1 log(ab) = log a + log b = α log(a p ) + β log(b q ) log p ap + 1 ) q bq. Theorem (Hölder Ungleichung) Seien p, q 1 konjugiert, x, y C n. Dann gilt n x i y i x p y q. Beweis: x = 0 y = 0 trivial. Seien x 0, y 0. Setze x = x / x p, ŷ = y / y p. Lemma = n 1 x i y i x i p x i ŷ i 1 p + ŷ i q q, i = 1,..., n, p x p + 1 p p ŷ q q = 1. Wir können nun (N3) für die p -Vektornorm zeigen. 1

13 Theorem (Minkowski Ungleichung) Sei p 1, x, y C n. Dann x + y p x p + y p. Beweis: x + y p p = n Hölder x i + y i p n x i + y i p 1( x i + y i ) ( n ( xi + y i p 1) ) q 1 q ( ) x p + y p = x + y p/q p ( ) x p + y p = x + y p 1 ( ) x p + y p, p da (p 1) q = p, 1 q = (p 1)/p = 1 1 p Normäquivalenz Es ist aus der Analysis bekannt, dass alle Normen auf endlichdimensionalen Räumen äquivalent sind, insbesondere sind also alle p -Vektornormen auf C n äquivalent. In der Numerik sind wir insbesondere an der Dimensionsabhängigkeit der Äquivalenzkonstanten zwischen verschiedenen Vektornormen interessiert. Definition p, q auf V äquivalent ex. 0 < c pq C pq < mit c pq x q x p C pq x q x V. In der Numerik brauchen wir für den Vektorraum V = C n die Werte der Äquivalenzkonstanten in Abhängigkeit von der Dimension n. Beispiel V = C n. c pq q = 1 q = q = p = p = n p = n 1 n 1 1 C pq q = 1 q = q = p = 1 1 n 1 n p = 1 1 n 1 p = Tab. 1: Äquivalenzkonstanten für die wichtigsten Normen von R n. 13

14 1.1 Matrixnormen Analog zur Länge eines Vektors messen wir auch die Grösse von Matrizen durch Normen, die sog. Matrixnormen. Matrixnormen sind wichtig, um z.b. mathematische Aussagen über Fehler, die in Matrizen durch numerische Operationen eingeführt werden, abzuschätzen. Definition (Matrixnorm) Es bezeichne M eine Norm auf einem Vektorraum von Matrizen, eine sog. Matrixnorm. M : C m n R ist eine Matrixnorm, falls sie die Normeigenschaften erfüllt: A M 0 A M = 0 A = 0, (N1) αa M = α A M α C, A C m n, (N) A + B M A M + B M A, B C m n. (N3) Definition 1.1. Eine Matrixnorm M auf C m n heisst konsistent oder verträglich mit Vektornorm V Ax M A M x V x C n. Beispiel Die Frobeniusnorm in C n n ist definiert durch ( n A F = i,j=1 a ij ) 1 = tr (AA H ) 1. F ist konsistent mit der Euklidischen Vektornorm : Ax = ( x H A H, Ax ) = n n a ij x j j=1 n ( n n ) a ij x j = A F x. j=1 Allgemeiner gilt: Zu jedem Paar, von Vektornormen auf C n resp. C m lassen sich zu diesen Normen konsistente Matrixnormen wie folgt definieren. Sei dazu Vektornorm auf C m, Vektornorm auf C n. Für A C m n ist j=1 A := sup x 0 A x x = max x 0 A x x eine Operatornorm auf C m n, die durch, induzierte Norm. Die Operatornorm ist mit diesen Vektornormen konsistent, d.h. es gilt x C n : A x A x, 14

15 Beispiel p - Matrixnormen Sei 1 p. Dann ist die zur p Vektornorm konsistente Matrixnorm definiert durch A p := max x 0 A x p x p. Übung: zeige dass hierdurch die p - Matrixnorm wohldefiniert ist (warum wird das Maximum max in der Definition angenommen?). Eine wichtige Eigenschaft von Matrixnormen ist die Submultiplikativität. Definition M submultiplikativ A C n m, B C m q : A B M A M B M. Die meisten, aber nicht alle (cf. QSS1, p. 3 für ein Gegenbeispiel) Matrixnormen sind submultiplikativ. Beispiel Submultiplikativität der p - Matrixnormen Sei wieder 1 p. Dann ist die zur p Vektornorm konsistente Matrixnorm submultiplikativ: A B p = max x 0 Bx 0 ABx p Bx p Bx p x p max x 0 Bx 0 ABx p Bx p max x 0 Bx p x p A p B p. Proposition Die Frobeniusnorm F ist submultiplikativ. Beweis: Sei A = (a 1,..., a n ) C m n, B = b 1. C n k. Dann hat das Matrixprodukt AB folgende Darstellung als Summe von Rang-1 Matrizen, die durch Multiplikation von Spaltenvektoren von A mit Zeilenvektoren von B gewonnen werden. b n A B = a 1 b a n b n. 15

16 Dreiecksungleichung: A B F a 1 b 1 F + + a n b n F = a 1 b a n b n ( n ) 1 ( n ai ) 1 bi = A F B F. Wichtige Spezialfälle der p-matrixnormen sind: A 1 = A = max j=1,...,n max,...,n m n j=1 a ij Spaltensummenorm a ij Zeilensummennorm A 1 = A H, A = A H = A 1 = A. Die Norm einer Matrix A C m n steht in engem Zusammenhang mit dem Spektralradius ρ(a). Theorem Es gilt A = ρ(a H A) = ρ(aa H ) = λ max (A H A). Bemerkung Folgende Spezialfälle treten häufig auf: A = A H = A = ρ(a), A H A = I = A = Skalarprodukt und Orthogonalität Definition Sei V ein Vektorraum über K. Eine Bilinearform (, ) : V V K heisst Skalarprodukt, falls gilt: x, y, z V, γ, λ K : (γx + λy, z) = γ(x, z) + λ(y, z), (S1) (y, x) = (x, y) (S) (x, x) > 0 für alle x 0. (S3) 16

17 Beispiel V = C n : (x, y) = y H x = Es gilt Q, A C n n n x i y i. x, y C n : (Ax, y) = (x, A H y) (Qx, Qy) = (x, Q H Qy). Die für die Numerik wichtigste Eigenschaft unitärer Matrizen ist, dass sie die Euklidische Norm eines Vektors x invariant lassen. Beispiel Es gilt für Q C n n unitär und alle A C n n QA F = A F, denn QA F = tr ( (QA)(QA) H) 1 = tr(qaa H Q H ) 1 = A F. Proposition Q C n n unitär, d.h. Q H Q = I. Dann gilt: Qx = x x C n. Beweis: Qx = (x, QH Qx) = (x, x) = x. Definition Sei V C n Unterraum. Dann bezeichnet V = {y C n : y x für alle x V } das orthogonale Komplement von V. schreiben symbolisch: Es gilt: x, y C n orthogonal x H y = 0 und wir x y Gram-Schmidt Algorithmus Orthogonalbasen von Vektoren Seien r 1 Vektoren x 1,..., x r C m gegeben. Der Gram-Schmidt Algorithmus erzeugt aus diesen Vektoren eine neue Familie von r Vektoren q 1,..., q r C m derart, dass gilt und die q i sind paarweise orthogonal: Der Gram-Schmidt Algorithmus ist definiert wie folgt: span{x 1,..., x r } = span{q 1,..., q r } (1.14.1) q i q j für 1 i, j r, i j. (1.14.) 17

18 Algorithmus (Gram-Schmidt) input x 1,..., x r C n. q 1 := x 1, for k = 1,..., r 1 do: q k+1 := x k+1 k (q i, x k+1 ) (q i, q i ) q i. Eigenschaften der q k verifiziert man direkt. Etwa (1.14.) durch Induktion: sei (1.14.) schon für 1 i, j k bewiesen. Dann folgt für l k aus Algorithmus , dass gilt woraus (1.14.) für k + 1 folgt. (q l, q k+1 ) = (q l, x k+1 ) k (q i, x k+1 ) (q i, q i ) = (q l, x k+1 ) (q l, x k+1 ) (q l, q l ) (q l, q i ) }{{} δ li (q l, q l ) = 0, In Algorithmus waren r, m beliebig. Für r > m ergeben (1.14.1) und (1.14.), dass einige der q i verschwinden müssen. Genauer gilt: Proposition Falls die x i vollen Rang r haben, gilt (1.14.1) mit q 1,..., q r 0. Falls jedoch s = dim(span{x 1,..., x r }) < r ist, so sind r s > 0 Vektoren der q 1,..., q r gleich 0. Als eine Anwendung des Gram-Schmidt Algorithmus erhalten wir das Basisergänzungslemma: Lemma Sei r < n. Falls V 1 = [v 1,..., v r ] C n r orthonormale Spalten hat, d.h. v H i v j = δ ij, dann existiert V C n (n r) derart, dass die Matrix V = [ ] V 1 V unitär ist, d.h. V H V = 1, und (rangev 1 ) = rangev. Beweis des Basisergänzungslemmas Es besagt: falls die Matrix V 1 = [v 1,..., v t ] C n t, t < n, orthonormale Spalten hat mit v H i v j = δ ij, dann existieren v t+1,..., v n derart, dass die Matrix V = [V 1 V ], wo V := [v t+1,..., v n ] unitär ist, d.h. V H V = 1, und (range V 1 ) = range V. Für den Beweis wenden wir den Gram-Schmidt Algorithmus an auf die r Vektoren {x 1,..., x r } = {v 1,..., v t, e 1,..., e n }, 18

19 wobei r = n + t ist. Gram-Schmidt reproduziert dann die v 1,..., v t (beweisen!) und ergibt weitere n Vektoren q 1,..., q n mit (q i, q j ) = δ ij, (v i, q j ) = 0, 1 i t, 1 j n. Da dim(span{x 1,..., x r }) = n > t ist, sind n t Vektoren der q i 0 und t der q i verschwinden. Eine Anwendung der Normen und der Orthogonalität ist der Beweis der sogenannten Singulärwertzerlegung Singulärwertzerlegung (SVD) Die SVD einer (nicht notwendig quadratischen!) Matrix A ergibt totale Information über Matrix A, und ist, anders als die Jordan Normalform, stabil berechenbar (MATLAB Befehl svd ). Theorem Sei A C m n, r = rang(a) min{m, n}. Dann existieren reelle Singulärwerte σ 1 σ σ r > 0, U C n n, V C m m, unitär mit A = V Σ U H (1.15.1) wo σ σ Σ = r. R m n Beweis von Theorem Der Beweis ist eine Anwendung der Eigenschaften von Normen sowie von Orthogonalität. Seien x C n, y C m Vektoren mit x = y = 1, und σ R mit A x = σ y, wobei σ = A. Nach Lemma existiert U C n (n 1), V C m (m 1) derart, dass die Matrizen U = [ x U ] C n n, V = [ y V ] C m m unitär sind. Weiterhin gilt V H A U = [ y V ] H A [ x U ] = y H A x y H A U V H A x V H A U =: σ 0 B w H =: A 1. 19

20 Da (nachrechnen!) gilt auch ( ) σ A 1 w A1 = sup 0 x C n σ + w H w = B w A1 x x = (σ + w H w) + B w (σ + w H w), ( ) σ A 1 w σ w (σ + w H w) σ + w H w = σ + w H w. (1.15.) Da auch σ = A = V H A U = A 1, folgt aus (1.15.), dass gilt Also ist A1 A1 + wh w woraus folgt 0 w H w 0, d.h. w = 0. A 1 = σ 0 B 0 = V H 0 A 0 U 0. Rekursion dieser Schlussweise auf B = Behauptung. Korollar Die Singulärwerte σ 1,..., σ r sind eindeutig. Korollar Falls σ 1 > σ > > σ r, sind die Singulärvektoren u 1,..., u r, v 1,..., v r eindeutig bis auf einen Faktor λ mit λ = 1. Bild und Kern einer Matrix A C m n können durch die singulären Vektoren charakterisiert werden: Korollar Sei A C m n, r min{m, n} der Rang von A. Dann gilt: { σi v i 1 i r, A u i = 0 r + 1 i n. A H v i = { σi u i 1 i r, 0 r + 1 i m. Korollar A = r σ i v i u H i. 0

21 Korollar Sei A C m n, A = V Σ U H. Dann ker A = span{u r+1,..., u n }, range A = span{v 1,..., v r }, ker A H = span{v r+1,..., v m }, range A H = span{u 1,..., u r }. Korollar σ i (A) = λ i (A H A), i = 1,..., p Beweis: A = V Σ U H = A H = U Σ H V H = A H A = U Σ H V}{{ H V} Σ U H = I λ i (A H A) = Σ H Σ = ( σ i (A) ). Also gilt für A hermitesch: A H = A = A H A = A σ i = λ i = λ i, i = 1,..., n. σ 1 σ σ r > σ r+1 = = σ p = 0 = r = rank(a), ker(a) = span{v r+1,..., v n }, range(a) = span{u 1,..., u r }. Definition Sei A = V Σ U H C m n. Dann ist Σ = V H AU = diag(σ 1,..., σ r, 0,..., 0). Die Matrix A + := U Σ + V H C n m mit 1 Σ + = diag(,..., 1 ), 0,..., 0 σ 1 σ r heisst Moore Penrose Pseudoinverse von A Hauptachsentransformation Eine wichtige Folgerung aus der Singulärwertzerlegung ist der folgende Satz, der gewissermassen eine symmetrische Variante der SVD ist, nämlich die in der Physik oft benutzte Hauptachsentransformation (bzw. Diagonalisierung) symmetrischer Operatoren. Theorem A C n n normal Q C n n unitär, so dass Λ = Q H AQ diagonal ist. 1

22 Beweis: = Q H AQ = Σ diagonal = A = QΣ Q H = A H A = QΣ H Q H Q }{{} ΣQ H = QΣ H ΣQ H (1.16.3) I n und AA H = QΣ Q H Q }{{} Σ H Q H = QΣΣ H Q H. (1.16.4) I n Aber Σ = diag(λ 1,..., λ n ) = Σ H = diag(λ 1,..., λ n ) { Σ H Σ = diag( λ 1,..., λ n ) = ΣΣ H = diag( λ 1,..., λ n ) } = Σ H Σ = ΣΣ H (1.16.5) (1.16.3), (1.16.4), (1.16.5) = A H A = AA H = A normal. = Es sei A = V ΣU H die SVD von A. A H = UΣ H V H und damit gilt A H A = UΣ H } V {{ H V} ΣU H = UΣ H ΣU H I n AA H = V Σ U H U }{{} I n Σ H V H = V Σ H ΣV H. (1.16.6) Aber Σ H Σ = ΣΣ H = diag( λ 1,..., λ n ) =: Θ (wie oben). A normal and (1.16.6) = V ΘV H = UΘU H, und wegen der Eindeutigkeit der SVD folgt U = V. Damit ist A = UΣU H = Σ = U H AU und die Aussage gilt mit Q = U. Die Matrix Λ enthält genau die n rellen Eigenwerte der unitären Matrix A und die Spalten q i der Matrix Q bilden eine orthonormale Basis des C n aus Eigenvektoren von A.