Inhaltsverzeichnis. 1. Matrizen ZUSAMMENFASSUNG - LINEARE ALGEBRA 1 MATRIZEN

Transkript

1 ZUSAMMENFASSUNG - LINEARE ALGEBRA 1 MATRIZEN Inhaltsverzeichnis 1 Matrizen 1 Matrizen 1 11 Spezielle Matrizen 1 1 Rechnen mit Matrizen 1 13 Symmetrische und Hermitesche Matrizen 14 Inverse einer Matrix 15 Orthogonale und unitäre Matrizen Determinante einer Matrix 1 Eigenschaften der Determinante Berechnung der Determinante 3 3 Vektorräume 3 31 Unterräume 3 3 Skalarprodukte 3 33 Normen 4 34 Lineare Abhängigkeit 4 35 Erzeugendensysteme und Basen 4 36 Orthonormalbasen 4 37 Komplementäre Unterräume 5 4 Fundamentale Unterräume 5 41 Berechnung der fundamentalen Unterräume 5 5 Lineare Abbildungen 6 51 Matrizen als lineare Abbildungen 6 5 Basiswechsel 6 53 Bild, Kern und Rang 6 6 Abbildungs- und Matrixnormen 7 61 Konditionszahl 7 6 Spektralnorm und -Norm-Konditionszahl 7 7 Kleinste Quadrate 8 71 Orthogonalprojektionen 8 7 Methode der kleinsten Quadrate 8 8 Eigenwerte und Eigenvektoren 8 81 Berechnung 9 8 Eigenschaften 9 9 Matrizenzerlegungen 9 91 LR-Zerlegung 9 9 LRP-Zerlegung Cholesky Zerlegung QR-Faktorisierung Eigenwertzerlegung Singulärwertzerlegung 11 A Gram-Schmidt-Verfahren 11 B Permutationen 1 Matrix: Eine m n Matrix ist ein rechteckiges Schema von m n Elementen (reelle oder komplexe Zahlen, angeordnet in m Zeilen und n Spalten: A = (a ij = 11 Spezielle Matrizen a 11 a 1 a 1n a 1 a a n a m1 a m a mn Eine Nullmatrix O ist eine Matrix, deren Elemente alle null sind Eine Diagonalmatrix D = diag (d 11, d,, d nn ist eine Matrix mit den Diagonalelementen d 11, d,, d nn, wobei alle anderen Elemente null sind Die n n Matrix I n = diag (1, 1,, 1 heisst Identität Eine Matrix L mit l ij = 0 für i < j heisst Linksdreiecksmatrix Ähnlich heisst eine Matrix R mit r ij = 0 für i > j Rechtsdreiecksmatrix Beispiel: L = Rechnen mit Matrizen, R = Eine Matrix A wird mit einem Skalar α multipliziert, indem alle Elemente mit dem Skalar multipliziert werden: αa : (α a ij Zwei m n Matrizen A und B werden addiert, indem jeweils die entsprechenden Elemente addiert werden: A + B : (a ij + b ij Multipliziert man eine m n Matrix A mit einer n p Matrix B, so erhält man das Produkt C: C = (c ij mit c ij : a ik b kj Es gelten folgende Rechenregeln: k=1 (α + β A = αa + βa α (A + B = αa + αb A + B = B + A (A + B + C = A + (B + C (AB C = A (BC (A + B C = AC + BC A (B + C = AB + AC SEITE 1

2 ZUSAMMENFASSUNG - LINEARE ALGEBRA DETERMINANTE EINER MATRIX Hinweis: Im Allgemeinen gilt AB BA 13 Symmetrische und Hermitesche Matrizen Transponierte: Ist A = (a ij eine m n Matrix, so heisst die n m Matrix A T : (a ji die Transponierte von A Es gelten folgende Rechenregeln: (A T T = A (αa T = αa T (A + B T = A T + B T (AB T = B T A T Hermitesch-transponierte: Ist A = (a ij eine komplexe Matrix, so ist A mit a ij : a ij die zu A konjugiertkomplexe Matrix und A H : ( A T = AT die Hermiteschtransponierte Matrix Hinweis: (αa H = αa H symmetrisch: Eine Matrix A heisst symmetrisch, falls A T = A gilt Hermitesch: Für eine Hermitesche Matrix A gilt A H = A 14 Inverse einer Matrix Inverse: Eine n n Matrix A heisst invertierbar, falls eine n n Matrix X existiert, so dass AX = I = XA gilt Die Matrix X heisst dann Inverse von A und wird mit A 1 bezeichnet: AA 1 = I = A 1 A Folgende Aussagen über eine n n Matrix sind äquivalent: i A ist invertierbar ii Es gibt (genau eine n n Matrix X mit AX = I iii A ist regulär, dh rank (A = n Es gelten folgende Rechenregeln: ( A 1 1 = A (AB 1 = B 1 A 1 ( A T 1 = ( A 1 T 15 Orthogonale und unitäre Matrizen orthogonal: Eine n n Matrix A heisst orthogonal, falls A T A = I gilt unitär: Eine n n Matrix A heisst unitär, falls A H A = I gilt Für orthogonale (bzw unitäre Matrizen A und B gilt: i A ist regulär und A 1 = A T (bzw A H ii AA T = I (bzw AA H = I iii A 1 ist orthogonal (bzw unitär iv AB ist orthogonal (bzw unitär Hinweis: Eine durch eine orthogonale oder unitäre Matrix A definierte Abbildung ist längentreu und winkeltreu, dh Ax = x und Ax, Ay = x, y Determinante einer Matrix Determinante: Die Determinante einer n n Matrix A ist definiert als die Summe det A := sign p a 1,p(1 a,p( a n,p(n p S n über alle n! Permutationen p S n (siehe Anhang B Hinweis: Diese Formel ist in der Praxis unbrauchbar 1 Eigenschaften der Determinante Die Determinante ist eine Funktion det : E n n E, A det A mit den folgenden Eigenschaften: i sie ist eine lineare Funktion jeder einzelnen Zeile der Matrix A, dh es gilt: a 1 det γa l + γ a l = γdet a l + γ det a l a n a n a n wobei a 1,, γa l + γ a l,, a n die Zeilen der Matrix A sind ii Werden in der Matrix A zwei benachbarte Zeilen vertauscht, so wechselt das Vorzeichen der Determinante det A iii Addiert man zu einer Zeile ein Vielfaches einer anderen Zeile, so ändert sich der Wert von det A nicht iv Die Determinante der Einheitsmatrix ist det I = 1 v Falls A eine Zeile aus lauter Nullen oder zwei gleiche Zeilen hat, so ist det A = 0 vi Ist A eine Diagonalmatrix oder eine Dreiecksmatrix, so ist det A gleich dem Produkt der Diagonalelemente a 1 a 1 SEITE

3 ZUSAMMENFASSUNG - LINEARE ALGEBRA 3 VEKTORRÄUME Hinweis: Ist det A 0 hat die Matrix A vollen Rang und ist somit Regulär Ist det A = 0 hat die Matrix A keinen vollen Rang und ist somit Singulär Berechnung der Determinante Für eine Matrix gilt: det a b c d = ad cb Für eine 3 3 Matrix gilt (Regel von Sarrus: a b c det d e f = aei + dhc + gbf gec dbi ahf g h i Für grössere Matrizen kann die Determinante durch Entwickeln nach Zeilen oder Kolonnen rekursiv Berechnet werden: det A = a ki ( 1 k+i det A [k,i] oder det A = a il ( 1 i+l det A [i,l] wobei man die (n 1 (n 1 Untermatrix A [k,l] durch Streichen der Zeile k und Kolonne l der Matrix A erhält Hinweis: Es macht Sinn nach einer Zeile oder Kolonne zu entwickeln, die möglichst viele Nullen enthält; denn so fallen alle Summanden, die ein a kl = 0 enthalten, weg Dadurch verringert sich der Rechenaufwand Es gelten folgende Rechenregeln: det (AB = det A det B det A 1 = (det A 1 det A T = det A det A H = det A det (γa = γ n det A Für Blockdreiecksmatrizen gilt: det A B O D = det A C O D = det A det D und eine skalare Multiplikation α E, x V αx V definiert ist Zudem müssen für alle x, y, z V und α, β E folgende Bedingungen erfüllt sein: V1: x + y = y + x V: (x + y + z = x + (y + z V3: Es gibt ein Nullelement o V mit x + o = x V4: Jedes x V hat ein Inverses x V mit x + ( x = o V5: α (x + y = αx + αy V6: (α + β x = αx + βx V7: (αβ x = α (βx V8: 1x = x Beispiel: Die Menge P n aller Polynome p (x : n i=0 p ix i vom Grad n bezüglich nachfolgend definierter Addition und skalaren Multiplikation ist ein Vektorraum 31 Unterräume (a + b (x : (αp (x : (a i + b i x i i=0 (αp i x i Unterraum: Ein Unterraum eines Vektorraums V ist eine nichtleere Teilmenge U V die bezüglich der Addition und Multiplikation von V selbst ein Vektorraum bildet Insbesondere gilt dann für alle x, y U und α E: 3 Skalarprodukte x + y U, i=0 αx U Skalarprodukt: Ein Skalarprodukt in einem Vektorraum V ist eine Funktion, : V V E, x, y x, y mit folgenden Eigenschaften: S1: Es ist linear im zweiten Faktor: x, y + z = x, y + x, z x, αy = α x, y S: Es ist symmetrisch falls E = R: x, y, z V x, y V, α E x, y = y, x x, y V 3 Vektorräume Vektorraum: Ein Vektorraum V über E ist eine nichtleere Menge auf der eine Addition x, y V x + y V Es ist Hermitesch falls E = C: x, y = y, x x, y V S3: Es ist positiv definit: x, x 0 x V x, x = 0 x = 0 SEITE 3

4 ZUSAMMENFASSUNG - LINEARE ALGEBRA 3 VEKTORRÄUME Beispiel: Die Funktion x, y : x T y ist das Euklidische Skalarprodukt, das wir alle schon kennen Beispiel: Es gibt aber auch andere Skalarprodukte, wie zum Beispiel das Skalarprodukt f, g : b f (t g (t dt auf a dem Raum der stetigen Funktionen 33 Normen Hinweis: Die Vektoren a 1,, a n sind linear abhängig, falls sich einer von ihnen als Linearkombination der restlichen Vektoren schreiben lässt linear unabhängig: Falls Vektoren nicht linear abhängig sind heissen sie linear unabhängig Beispiel: Die Vektoren a = ( 1 und b = ( 3 0 sind linear unabhängig, denn γ 1 a + γ b = 0 γ 1 = γ = 0 Norm: Eine Norm in einem Vektorraum V ist eine Funktion : V E, x x mit den folgenden Eigenschaften: N1: Sie ist positiv definit: x 0 x V x = 0 x = 0 N: Sie ist dem Betrag nach homogen: αx = α x N3: Die Dreiecksungleichung gilt: x + y x + y x V, α E x, y V Beispiel (Euklidische Norm: Die Euklidische Norm ist im R und R 3 die Länge eines Vektors x : x H x = n x i Beispiel (Maximumsnorm: Beispiel (Betragsnorm: x : max x i i x 1 : 34 Lineare Abhängigkeit x i Linearkombination: Seien a 1,, a n V Vektoren des Vektorraums V Ein Vektor der Form x : γ 1 a γ n a n heisst dann Linearkombination von a 1,, a n linear abhängig: Vektoren a 1,, a n V heissen linear abhängig, falls es Skalare γ 1,, γ n gibt, die nicht alle gleich null sind und für die gilt: γ 1 a γ n a n = 0 Beispiel: Die Vektoren a = ( 1 und b = ( 4 sind linear abhängig, denn a b = 0 35 Erzeugendensysteme und Basen aufgespannter Unterraum: Die Menge aller Linearkombinationen von a 1,, a n V heisst der von a 1,, a n aufgespannte Unterraum span {a 1,, a n } V Die Vektoren a 1,, a n heissen Erzeugendensystem von span {a 1,, a n } Basis: Ein linear unabhängiges Erzeugendensystem eines Vektorraums V heisst Basis von V Beispiel: {( 1 0, ( 0 1} ist eine Basis von R Dimension: Die Zahl der Basisvektoren ist in jeder Basis eines Vektorraums V gleich und heisst Dimension von V Hinweis: In einem Vektorraum V ist jede Menge von n = dim (V linear unabhängigen Vektoren eine Basis von V Eine Menge von l < dim (V linear unabhängigen Vektoren lässt sich immer zu einer Basis erweitern 36 Orthonormalbasen orthogonale Basis: Eine Basis heisst orthogonal, wenn die einzelnen Basisvektoren paarweise orthogonal sind: b i, b j = 0 i j orthonormale Basis: Eine Basis heisst orhtonormal, falls sie orthogonal ist und zudem alle Basisvektoren die Länge 1 haben: b i, b i = 1 i Hinweis: Mit dem Gram-Schmidt-Verfahren (siehe Anhang A können beliebige Basen orthonormalisiert werden Hinweis: Für eine m n Matrix Q mit orthonormalen Kolonnen gilt Q T Q = I Man beachte, dass die Matrix nur dann orthogonal ist, wenn m = n ist, womit dann zusätzlich QQ T = I gilt Beispiel: Folgende Basis von R ist orthonormal: {( 1 ( } 1, 1 1 SEITE 4

5 ZUSAMMENFASSUNG - LINEARE ALGEBRA 4 FUNDAMENTALE UNTERRÄUME Hinweis: Ist {b 1,, b n } eine Orhtonormalbasis eines Vektorraums V mit einem Skalarprodukt, so gilt für alle x V: x = b i, x b i = ξ i b i }{{} ξ i Das heisst für die Koordinaten bezüglich einer Orthonormalbasis gilt einfach ξ i = b i, x Hinweis (Parsevalsche Formel: Ist {b 1,, b n } eine Orthonormalbasis eines Vektorraums V mit einem Skalarprodukt, so gilt für zwei Vektoren x, y V mit den dazugehörigen Koordinatenvektoren ξ, η E n : x, y = ξ, η Das heisst das Skalarprodukt der Vektoren x und y ist dem Euklidischen Skalarprodukt ihrer Koordinatenvektoren ξ und η Daraus folgt direkt, dass: x = ξ (x, y = (ξ, η x y ξ η 37 Komplementäre Unterräume komplementärer Unterraum: Zwei Unterräume U 1, U eines Vektorraums V heissen komplementär falls jedes x V eine eindeutige Darstellung x = u 1 + u mit u 1 U 1, u U hat Der Vektorraum V lässt sich dann als direkte Summe von U 1 und U schreiben: V = U 1 U Allgemein kann ein Vektorraum als direkte Summe mehrer Unterräume dargestellt werden Beispiel: Die reellen Zahlen R = span {1} und die imaginären Zahlen I = span {i} sind komplementäre Unterräume der komplexen Zahlen: C = R I orthogonales Komplement: In einem endlich dimensionalen Vektorraum V mit einem Skalarprodukt heisst der zu einem echten Unterraum U V orthogonale Unterraum U : {x V x U} das orthogonale Komplement von U 4 Fundamentale Unterräume Kolonnenraum: Der von den Kolonnen der Matrix A aufgespannte Unterraum R (A heisst Kolonnenraum und es gilt: im A = R (A Hinweis: Jedes y im A ist eine Linearkombination der Kolonnen der Matrix A: y = Ax = a 1 x 1 + a x + + a n x Daraus wird ersichtlich, dass im A = span {a 1,, a n } gilt Nullraum: Der Lösungsraum N (A des Gleichungssystems Ax = o heisst Nullraum und es gilt: ker A = N (A fundamentale Unterräume: Die zwei Paare komplementärer Unterräume N (A, R ( A H und N ( A H, R (A mit N (A R ( A H = E n N ( A H R (A = E m nenn man die vier fundamentalen Unterräume der Matrix A E m n Hinweis: Falls x N (A, dann gilt: a 11 a 1n ã 1, x 0 a 1 Ax = x a n x ã, x n = = 0 a m1 a mn ã n, x 0 Wie man sieht ist dies genau dann der fall, wenn ã i, x = 0 ist (wobei ã i die Kolonnen der Matrix A H bzw A T sind Da x N (A beliebig war, bedeutet das, dass N (A und R ( A H orthogonal aufeinander stehen: Analog gilt auch: N (A ( R ( A H N ( A H (R (A 41 Berechnung der fundamentalen Unterräume Kolonnenraum: Die Kolonnen a 1,, a n der Matirx A sind ein Erzeugendensystem von R (A Um herauszufinden, welche Kolonnen linear unabhängig sind, kann der Gauss- Algorithmus angewandt werden: Alle Kolonnen mit einem Pivotelement sind linear unabhängig Beispiel: A = Die erste und zweite Spalte der Matrix A sind also eine Basis von {( 1 ( 11 } R (A = span, 3 Nullraum: Die Lösungsmenge für die Gleichung Ax = o liefert N (A SEITE 5

6 ZUSAMMENFASSUNG - LINEARE ALGEBRA 5 LINEARE ABBILDUNGEN 5 Lineare Abbildungen lineare Abbildung: Eine Abbildung F : X Y, x F x zwischen zwei Vektorräumen X und Y heisst linear, falls für alle a, b X und γ E gilt: F (a + b = F a + F b, F (γa = γ (F a Isomorphismus, Automorphismus: Eine bijektive lineare Abbildung von X auf Y heisst Isomorphismus Ist zudem X = Y, heisst sie Automorphismus 51 Matrizen als lineare Abbildungen Eine m n Matrix A hat die Eigenschaft, dass für alle ξ 1, ξ E n und γ E gilt: A (ξ 1 + ξ = Aξ 1 + Aξ, A (γξ 1 = γaξ 1 Dies sind genau die Eigenschaften einer linearen Abbildung Das heisst, dass eine lineare Abbildung F : X Y mit der dazugehörigen Abbildungsmatrix A : E n E m, ξ Aξ dargestellt werden kann Zudem kann jedem x X ein eindeutiger Koordinatenvektor ξ E n zugeordnet werden Es gibt also eine bijektive Koordinatenabbildung: κ X : X E n, x ξ Damit erhalten wir folgendes kommutatives Diagramm: κ X x X X F κ Y y Y Y ξ E n A η E m Daraus kann man direkt ablesen, dass gilt: F = Y Aκ X und A = κ Y F X Komposition: Die Hintereinanderausführung G F zweier linearer Abbildungen F und G ist auch eine lineare Abbildung und heisst Komposition κ X x X X F κ Y G F y Y G κ Z z Z ξ E n A η E m B µ E p 5 Basiswechsel BA Y Z Sind {b 1,, b n } und {b 1,, b n} Basen eines Vektorraums V, dann lässt sich ein beliebiger Vektor x V als Koordinatenvektor ξ = (ξ 1 ξ n T bezüglich der alten Basis und natürlich auch als Koordinatenvektor ξ = (ξ 1 ξ n T bezüglich der neuen Basis darstellen: ξ i b i = x = ξ kb k k=1 Des Weiteren lässt sich jeder Vektor b k der alten Basis als Linearkombination der Vektoren der neuen Basis darstellen: b k = τ ik b i Hinweis: Damit die Transformationsmatrix von der alten zur neuen Basis entsteht, müssen die alten Basisvektoren durch die neuen dargestellt werden, nicht umgekehrt! Transformationsmatrix: Die Matrix T : (τ ik heisst Transformationsmatrix und für sie gilt: ξ = Tξ, ξ = T 1 ξ Die Matrix T bewirkt also einen Basiswechsel zwischen den beiden Basen Für eine beliebige lineare Abbildung F veranschaulicht folgendes kommutatives Diagramm die Beziehungen zwischen den einzelnen Abbildungsmatrizen: κ X x X X F κ Y y Y ξ E n A η E m T T 1 S Y S 1 ξ E n B η E m Die Matrizen A und B stellen die Abbildung bezüglich der alten bzw der neuen Basis dar Aus dem Diagramm, kann man ablesen, dass A = S 1 BT, 53 Bild, Kern und Rang B = SAT 1 Bild: Das Bild im F einer linearen Abbildung F ist die Menge aller Bildpunkte: im F : {F x Y x X } Y Beispiel: Das Gleichungssystem Ax = b hat genau dann eine Lösung, wenn b im A Kern: Der Kern ker F einer linearen Abbildung F ist das Urbild von o Y: ker F : {x X F x = o} X Beispiel: Für das Gleichungssystem Ax = o ist ker A die Lösungsmenge SEITE 6

7 ZUSAMMENFASSUNG - LINEARE ALGEBRA 6 ABBILDUNGS- UND MATRIXNORMEN Rang: Der Rang rank F einer linearen Abbildung F ist die Dimension des Bildes von F : rank F : dim im F Für den Rang zweier Matrizen A E m n und B E n p gilt: i rank A T = rank A H = rank A ii rank AB min {rank A, rank B} iii rank A = n m rank AB = rank B iv rank B = n p rank AB = rank A Es gilt folgende Dimensionsformel: dim X dim ker F = dim im F 6 Abbildungs- und Matrixnormen beschränkte Abbildung: Eine lineare Abbildung F zwischen zwei normierten Vektorräumen X und Y mit den Normen X und Y heisst beschränkt, falls es ein γ 0 gibt, so dass für alle x X gilt: F x Y γ x X Die Menge aller beschränkten linearen Abbildungen F zwischen X und Y wird mit L (X, Y bezeichnet induzierte Operatornorm: Die auf L (X, Y durch die Normen X und Y indizierte Operatornorm F ist definiert durch: F x Y F : sup = sup F x Y x 0 x X x X =1 induzierte Matrixnorm: Ist X = Y = E n, so ist die Abbildung F durch eine quadratische Matirx A gegeben Die induzierte Matrixnorm A ist dann definiert durch: Ax A : sup x 0 x = sup Ax x =1 Spektralnorm: Die durch die Euklidische -Norm induzierte Matrixnorm heisst Spektralnorm Eine induzierte Operatornorm hat folgende Eigenschaften: i Sie ist positiv definit: F 0 F L (X, Y F = 0 F = 0 ii Sie ist dem Betrag nach homogen: αf = α F iii Die Dreiecksungleichung gilt: F L (X, Y, α E F + G F + G F, G L (X, Y iv Für zusammengesetzte Abbildungen gilt: G F G F F L (X, Y, G L (Y, Z v Sie ist kompatibel mit den Vektornormen in X und Y: F x Y F x X F L (X, Y, x X Matrixnorm: Eine Matrixnorm ist eine Funktion : E n n R, A A mit den Eigenschaften i bis iv Falls zusätzlich Eigenschaft v gilt heisst die Matrixnorm kompatibel mit der Vektornorm Beispiel: Die Frobenius-Norm A F : n a kl k=1 l=1 ist kompatibel mit der -Norm als Vektornorm 61 Konditionszahl Konditionszahl: Die Konditionszahl einer regulären Matrix A bezüglich einer Norm ist die Zahl: κ (A = A A 1 Beispiel: Die -Norm-Konditionszahl von A = ( ist: ( ( κ (A = = 4 1 = Spektralnorm und -Norm-Konditionszahl Für die Spektralnorm und -Norm-Konditionszahl einer quadratischen Matrix A gilt: A = max { ω } { } 1 A 1 1 = max ω = min { ω} κ (A = max { ω} min { ω} Wobei ω ein Eigenwert der Matrix A H A ist Ist die Matrix symmetrisch (oder Hermitesch dann gilt: A = max { λ } { } 1 A 1 1 = max = λ min { λ } max { λ } κ (A = min { λ } Wobei λ ein Eigenwert der Matrix A ist SEITE 7

8 ZUSAMMENFASSUNG - LINEARE ALGEBRA 8 EIGENWERTE UND EIGENVEKTOREN 7 Kleinste Quadrate 71 Orthogonalprojektionen Projektion: Eine lineare Abbildung P : E m E m heisst Projektion falls gilt: P = P = P n Hinweis: Eine Projektion verändert einen Vektor nur bei der ersten Anwendung Danach ist er schon projeziert und jede weitere Anwendung der Projektion ändert nichts orthogonale Projektion: Eine orthogonale Projektion ist eine Projektion, bei der zusätzlich gilt: ker P im P dh N (P R (P Hinweis: Ist P eine Projektion, so ist auch I P eine Projektion und es gilt: im (I P = ker P und ker (I P = im P Dies wird klar, wenn man beachtet, dass: P (I P y = P (y Py = Py P y = 0 Die Orthogonalprojektion P A : E m im A E m auf den Kolonnenraum R (A im A einer m n Matrix mit rank A = n m ist gegeben durch: P A : A ( A H A 1 A H Beispiel: Wir möchten eine Abbildungsmatrix P A für die orthogonale Projektion im R auf die Gerade g = ( 1 x Wir setzen A = ( 1 und erhalten: P A = 1 ( Hinweis: Wir haben A = ( 1 gewhält weil somit offensichtlich g span {( 1 } R (A gilt Wir können die Kolonnen der Matrix A durch eine orthonormale Matrix Q ersetzen, so dass der Kolonnenraum beider Matrizen gleich ist R (A R (Q Das bedeutet, dass: P A = P Q = Q ( Q H Q 1 Q H = QQ H minimal wird Das Residuum wird minimal, wenn gilt: Ax = P A b = A ( A H A 1 A H b Die beste Lösung erhalten wir also, wenn wir folgendes Gleichungssystem lösen: A H Ax = A H b x = ( A H A 1 A H b Hinweis: Da Ax die orthogonale Projektion von b auf den Kolonnenraum R (A ist steht das Residuum r = b Ax senkrecht auf den Kolonnen der Matrix A: r R (A oder A H r = o Setzt man die QR-Faktorisierung A = QR in die Gleichung ein erhält man die einfach lösbare Gleichung: Beispiel: Rx = Q H b x y Wir wollen die Punkte aus obiger Tabelle mit einer Geraden y = ax+b möglichst genau beschreiben Für eine genaue Lösung müssten wir folgendes überbestimmtes Gleichungssystem lösen: ( ( 3 ( a b = Dies ist nicht möglich Wir können aber die beste Lösung im Sinne des kleinsten Quadrates berechnen und erhalten: ( ( 0 1 T ( ( 0 1 T ( 3 ( a b = = ( Abb 1: y = 08475x Methode der kleinsten Quadrate Ein überbestimmtes lineares Gleichungssystem Ax = b hat genau dann eine Lösung, falls b R (A; andernfalls gibt es keine exakte Lösung Wir können aber versuchen x so zu wählen, dass das Residuum r : b Ax 8 Eigenwerte und Eigenvektoren Eigenwert, Eigenvektor: λ heisst Eigenwert, falls ein Eigenvektor v 0 existiert, so dass gilt: Av = λv SEITE 8

9 ZUSAMMENFASSUNG - LINEARE ALGEBRA 9 MATRIZENZERLEGUNGEN Hinweis: Die Richtung des Eigenvektors wird bei der Anwendung der Abbildungsmatrix A nicht verändert Der Eigenwert gibt dabei den Streckungsfaktor an Eigenraum: Der zum Eigenwert λ zugehörige Eigenraum E λ := ker (A λi ist gleich der (um den Nullvektor erweiterten Menge der Eigenvektoren zu λ charakteristisches Polynom: Das Polynom der Form χ A := det (A λi heisst charakteristisches Polynom algebraische Vielfachheit: Die algebraische Vielfachheit eines Eigenwertes λ gibt an, wie oft dieser als Nullstelle des charakteristischen Polynoms vorkommt geometrische Vielfachheit: Die geometrische Vielfachheit eines Eigenwertes λ ist die Dimension des Eigenraumes E λ Hinweis: Für jeden Eigenwert gilt, dass die geometrische Vielfachheit kleiner oder gleich der algebraischen Vielfachheit ist Eigenbasis: Eine Basis aus Eigenvektoren der Matrix A heisst Eigenbasis von A Hinweis: Es gibt eine Eigenbasis, wenn für jeden Eigenwert die geometrische gleich der algebraischen Vielfachheit ist 81 Berechnung Die Eigenwerte λ i sind Nullstellen des charakteristischen Polynoms χ A, also Lösungen der Gleichung det (A λi = 0 Der zum Eigenwert λ i zugehörige Eigenvektor v i ist Lösung des Gleichungsystems (A λ i I v i = 0 Beispiel: Die Matrix A = hat das charakteristische Polynom χ A = (3 λ (1 λ und somit die Eigenwerte λ 1 = 3 und λ,3 = 1 mit den dazugehörigen Eigenvektoren v 1 = (1 0 0 T, v = (0 1 0 T und v 3 = (0 0 1 T Hinweis: Die Abbildungsmatrix A bedeutet eine Streckung um Faktor 3 in Richtung der x 1 Achse Dies kann man auch direkt aus den Eigenvektoren und Eigenwerten ablesen: Alle x span {v 1 } = x 1 Achse werden um Faktor λ 1 = 3 gestreckt Alle x span {v, v 3 } = x x 3 Ebene werden um Faktor λ,3 = 1 gestreckt; bleiben also unverändert 8 Eigenschaften Für eine beliebige Matrix A gilt: i trace (A = λ i ii det (A = λ i iii Eigenvektoren zu verschiedenen Eigenwerten sind linear unabhängig Für eine symmetrische (bzw Hermitesche Matrix A gilt: i Alle Eigenwerte λ 1,, λ n sind reell ii Die Eigenvektoren zu verschiedenen Eigenwerten sind paarweise orthogonal in R n (bzw in C n iii Es gibt eine orthonormale Basis aus den Eigenvektoren v 1,, v n von A 9 Matrizenzerlegungen 91 LR-Zerlegung Die LR-Zerlegung einer n n Matrix A ist die Zerlegung der Matrix in das Produkt einer Linksdreiecksmatrix L mit l ii = 1 und einer Rechtsdreiecksmatrix R: Beispiel: = } 9 8 {{ 6 } A A = LR } {{ } L } {{ } R Vereinfacht kann man sagen, dass R die Matrix ist, die man durch den Gauss-Algorithmus erhält Die Matrix L enthält Informationen, die anzeigen, welche Zeile von welcher abgezogen oder addiert wurde Wird die Matrix R mit der Matrix L linksmultipliziert wird der Gauss-Algorithmus sozusagen rückgängig gemacht und man erhält wieder die Matrix A Berechnung der Matrix R: Genau wie beim Gauss- Algorithmus werden hier Zeilen mit einem Skalar multipliziert und voneinander abgezogen, so dass eine Rechtsdreiecksmatrix entsteht Berechnung der Matrix L: Beim i ten Schritt und Verrechnung der j ten Zeile (i < j n des Gauss-Algorithmus wird das ãj,i ã i,i fache der i ten Zeile von der j ten Zeile abgezogen Deshalb wird genau dieser Faktor an die entsprechende Stelle in der Matrix L geschrieben (l i,j = ãj,i ã i,i ã L k : k,i ã i,i ã k+1,i ã i,i ã n,i ã i,i 1 SEITE 9

10 ZUSAMMENFASSUNG - LINEARE ALGEBRA 9 MATRIZENZERLEGUNGEN Hinweis: Die Koeffizienten ã i,j beziehen sich nicht auf die Matrix A, sondern auf die Matrix à beim entsprechenden schritt im Gauss-Algorithmus Berechnung der Matrix R: Man führt zuerst die LR- Zerlegung der Matrix A aus und erhält die Matrizen L und R Danach berechnet man: D 1 : diag ( r11,, r nn R : D 1 L H 9 LRP-Zerlegung Im Allgemeinen lässt sich der Gauss-Algorithmus nicht ohne Zeilenvertauschungen durchführen Deshalb führen wir in der LR-Zerlegung eine zusätzliche Permutationsmatrix P ein, die das Vertauschen der Zeilen festhält: PA = LR Beispiel: Die Matrix A = Matrizen zerlegen: A = } {{ } P T A = P T LR lässt sich in folgende ( } {{ } L } {{ } R Hinweis: Wenn zwei Zeilen vertauscht werden, vertauscht man die entsprechenden Zeilen in R und die Koeffizienten von L unterhalb der Diagonalen Berechnung der Matrix P: Setze P = I und immer wenn beim Gauss-Algorithmus zwei Zeilen vertauscht werden, vertauscht man die entsprechenden Zeilen der Matrix P Anwendung: Das Gleichungssystem Ax = b lässt sich mit der LRP-Zerlegung folgendermassen umformen: Ax = b LRx = Pb Lc = Pb mit c = Rx Die Gleichung Lc = Pb lässt sich leicht durch Vorwärtseinsetzen lösen (wobei Pb der permutierte Vektor b ist Anschliessend lässt sich durch Rückwärtseinsetzen der Gleichung Rx = c die Lösung x berechnen Hinweis (LDR-Zerlegung: Die Diagonalelemente der Rechtsdreiecksmatrix R lassen sich durch einführen der Diagonalmatrix D : diag (r 11,, r nn normieren Man erhält die LDR-Zerlegung: PA = LDR 1 93 Cholesky Zerlegung mit R 1 : D 1 R Jede symmetrische positiv definite Matrix A hat eine eindeutige Cholesky-Zerlegung: A = R H R 94 QR-Faktorisierung Die QR-Faktorisierung einer Matrix A ist die Zerlegung der Matrix in eine Matrix Q mit orthonormalen Kolonnen und eine Rechtsdreiecksmatrix R Berechnung der Matrix Q: Die Kolonnen der Matrix Q sind die mit dem Gram-Schmidt-Verfahren (siehe Anhang A orhonormalisierten Kolonnen q 1,, q n der ursprünglichen Matrix A Q : (q 1 q n Berechnung der Matrix R: Mit den folgendermassen definierten Koeffizienten r 11 : a 1 r kk : q k r jk : q j, a k j < k r jk : 0 j > k erhalten wir die Matrix r 11 r 1 r 1n 0 r r n R : 0 0 r nn Hinweis: Mann kann die Spaltenvektoren q 1,, q n zu einer Orthonormalbasis ergänzen und erhält eine orthogonale quadratische Matrix Q Um die Matrix R kompatibel zu machen, ergänzt man sie mit Nullzeilen Mit desen Änderungen erhält man die QR-Zerlegung der Matrix A: A = QR = ( Q Q ( R O 95 Eigenwertzerlegung = Q R Für alle Eigenwerte λ i und Eigenvektoren v i einer Matrix a gilt Av i = λ i v i Falls für jeden Eigenwert die geometrische gleich der algebraischen Vielfachheit ist, dann ist die Matrix A diagonalisierbar und es existiert eine Eigenwertzerlegung oder Spektralzerlegung der Matrix A: AV = VΛ dh A = VΛV 1 mit Λ : diag (λ 1,, λ n und V : (v 1 v n Die Kolonnen von V, also die Eigenvektoren, bilden eine Eigenbasis von A SEITE 10

11 ZUSAMMENFASSUNG - LINEARE ALGEBRA A GRAM-SCHMIDT-VERFAHREN Hinweis: Die Abbildungsmatrix erhält durch die Eigenwertzerlegung eine anschauliche Struktur: Die Matrizen V und V 1 bewirken einen Basiswechsel Bezüglch dieser neuen Basis streckt die Matrix Λ einen Vektor in Richtung der Koordinatenachsen um den jeweiligen Eigenwert λ i Es gilt A = VΛ V 1 und A n = VΛ n V 1 Jedoch besitzt nicht jede Matrix eine Eigenwertzerlegung Berechnung der Matrix U: Die m m Matrix U setzt sich zusammen aus U = ( U r U Da Σ nur r Diagonalelementen hat, folgt aus AV = UΣ: i r : Av i = u i σ i u i = 1 σ i Av i = 1 λi Av i Berechnung der Matritzen: (siehe Abschnitt 81 Die restlichen Spaltenvektoren u r+1,, u m hier die komplementäre Ergänzung zu U r bilden auch 96 Singulärwertzerlegung Zu jeder m n Matrix A mit rank A = r existiert die Singulärwertzerlegung: A = UΣV H oder AV = UΣ Hinweis: U und V sind unitär und können als Drehungen interpretiert werden Σ ist reell und diagonal, also eine Streckung entlang der Koordinatenachsen Hinweis: Für symmetrische Matrizen A sind die Singulärwerte die Beträge der Eigenwerte Sind alle Eigenwerte nichtnegativ, so ist die Eigenwertzerlegung A = VΛV H auch eine Singulärwertzerlegung Berechnung der Matrix Σ: Man berechnet die Eigenwerte λ i der symmetrischen und positiv semidefiniten Matrix A H A, die alle nicht negativ sind Daraus erhält man die Singulärwerte σ i = λ i welche man der Grösse nach ordnet: σ 1 σ σ r > 0 σ r+1 = = σ n = 0 wobei r = rank A = rank A H A Die Matrix Σ erhält man nun durch: ( Σr O Σ : O O mit Σ r : diag (σ 1,, σ r Hinweis: Die Matrizen A und Σ haben gleiche Grössen Berechnung der Matrix V: Die n n Matrix V setzt sich zusammen aus V = ( V r V wobei V r die normierten Eigenvektoren der Matrix A H A enthält und V die komplementäre Ergänzung zu V r ist Hinweis: Es gibt mehrere wege die komplementäre Ergänzung zu berechnen Eine Möglichkeit ist es, linear unabhängige Vektoren zu suchen und sie mit dem Gram-Schmidt- Verfahren zu orthonormalisieren Bemerkungen: Die Koeffizienten der Matritzen U und V können gleich null gesetzt werden, ohne dass sich das Produkt A = UΣV H verändert Es gilt zudem: i {u 1,, u r } ist eine Orthonormalbasis von R (A ii {v 1,, v r } ist eine Orthonormalbasis von R ( A H iii {u r+1,, u m } ist eine Orthonormalbasis von N ( A H iv {v r+1,, v n } ist eine Orthonormalbasis von N (A A Gram-Schmidt-Verfahren Mit das Gram-Schmidt-Verfahren lässt sich eine beliebige Basis {a 1,, a n } eines Vektorraums in eine Orthonormalbasis {b 1,, b n } umwandeln Der erste Basisvektor b 1 ist gegeben durch: b 1 : a 1 a 1 Alle weiteren Basisvektoren b,, b n lassen sich durch folgende rekursive Vorschrift berechnen: b k : b k b k mit b k 1 k : a k b i, a k b i Beispiel: Gegeben sind die Basisvektoren a 1 = ( 5 0 und a = ( 3 und wir möchten daraus eine Orthonormalbasis von R erhalten: b 1 = ( 5 0 ( 5 0 = 1 5 ( 5 0 = ( 1 0 b = ( 3 ( 1 0, ( 3 ( 1 0 b = = ( 3 3 ( 1 0 = ( 0 ( 0 ( 0 = ( 0 1 Hinweis: Man sieht schön wie bei der Berechnung von b die Projektion von a auf b 1 von a abgezogen wird Dies ist die Idee des Gram-Schmidt-Verfahrens: Man entfernt den Teil eines Vektors, der in Richtung bereits berechneter Basisvektoren zeigt, und erhält einen zu diesen Vektoren orthogonaler Vektor, der dann normiert SEITE 11

12 ZUSAMMENFASSUNG - LINEARE ALGEBRA B PERMUTATIONEN B Permutationen Permutation: Eine Permutation p auf der Menge {1,, n} ist eine bijektive Abbildung der Menge auf sich selbst: p : (1,,, n (p (1, p (,, p (n symmetrische Gruppe: Die Menge S n aller Permutationen auf {1,, n} bildet bezüglich der Komposition der Permutationen eine nicht kommutative Gruppe Diese wird symmetrische Gruppe genannt und enthält n! Elemente Transposition: Eine Transposition ist eine Permutation, die nur zwei Elemente miteinander vertauscht Jede Permutation p kann als Produkt von Transpositionen t i benachbarter Elemente dargestellt werden p = t ν t ν 1 t t 1 Signum: Das Signum einer Permutation p ist definiert als: { 1 falls ν gerade sign p = 1 falls ν ungerade SEITE 1