Lineare Algebra. Zusammenfassung. Von Gábor Zogg. (Zur Vorlesung HS 2009: Prof. D. Kressner / M. Pollefeys) Stand:

Transkript

1 Lineare Algebra Zusammenfassung (Zur Vorlesung HS 2009: Prof. D. Kressner / M. Pollefeys) Von Stand:

2 Zusammenfassung Lineare Algebra Disclaimer In der Zusammenfassung wird ggf. auf die Quellen verwiesen. Das meiste wurde jedoch selber erarbeitet. Eine Liste der allgemeinen Quellen ist ebenfalls vorhanden. Natürlich funktionieren die Algorithmen und Methoden so wie beschrieben, also kann eine Ähnlichkeit mit anderen Zusammenfassungen nicht ausgeschlossen werden. Sollte jemand einen Teil seiner Zusammenfassung hier drin finden, so bitte ich ihn, mich zu kontaktieren, damit die Quellenangabe allf. ergänzt werden kann. Ich schliesse hiermit die Korrektheit des Inhaltes aus. Ich gebe mir Mühe, dass der Inhalt korrekt ist, aber übernehme keine Verantwortung, wenn dem Benutzer der Zusammenfassungen ein Nachteil entsteht, wenn er sich auf die Richtigkeit oder Vollständigkeit meiner Zusammenfassungen verlässt. In diesem Text beziehen sich die Ausdrücke 'meine(r)' auf den Autor ''. Wichtiger Hinweis Wer die Zusammenfassung erfolgreich verwendet hat und zufrieden ist, spendiere mir doch ein Bier zur Prüfungsfreien Zeit. Danke. Kontakt Für Rückmeldungen, Anmerkungen, Korrekturen, etc. wende man sich an Bergstrasse Buchs ZH gzogg@student.ethz.ch Weitere Zusammenfassungen unter: ETH Prüfungsvorbereitung 2

3 Inhaltsverzeichnis Disclaimer... 2 Inhaltsverzeichnis... 3 Matrizen und Vektoren... 5 en... 5 Spezielle Matrizen... 5 Adjazenzmatrizen... 5 Transponierte, Hermitesche Matrix... 5 Konventionen... 5 Einfache Operationen... 6 Addition... 6 Multiplikation... 6 Inverse... 6 Orthogonal & unitär... 7 Definitheit... 7 Lineare Gleichungssysteme... 8 Gauss-Algorithmus... 8 Determinanten... 9 Skalarprodukt & Normen... Skalarprodukt... Normen... Zusammenhang Skalarprodukt & Norm... 2 Parseval'sche Formel... 2 Vektorräume, Basen, Körper... 3 Körper... 3 Vektorräume... 3 Unterräume... 4 Affine Unterräume... 4 Lin. Abhängigkeit, Dimension, etc Lineare Abhängigkeit / Linearkombination... 5 Lineare Hülle (span)... 5 Dimension... 5 Rang... 5 Fundamentale Unterräume... 6 Erzeugendensysteme... 6 Basen... 6 Basiswechsel, Koordinatentransformation... 7 Koordinaten... 7 Basiswechsel... 8 Orthogonal und orthonormal

4 Zusammenfassung Lineare Algebra Orthogonale und orthonormale Basis... 8 Gram-Schmidt Orthonormalisierung... 9 Orthogonales Komplement Lineare Abbildungen... 2 Schema... 2 Injektiv, surjektiv, bijektiv Isomorphismus & Automorphismus Kern, Bild Bildraum (Spaltenraum), Nullraum Spezialitäten bei quadratischen Matrizen Orthogonale und unitäre Abbildungen Norm von Linearen Abbildungen Konditionszahl Spezielle Lineare Abbildungen Ähnlichkeitstransformation Zerlegungen Permutation LR-Zerlegung LRP-Zerlegung Cholesky-Zerlegung Methode der kleinsten Quadrate Projektion / Orthogonale Projektion Methode der kleinsten Quadrate QR-Zerlegung... 3 Spaltentauschen:... 3 Eigenwertzerlegung (EWZ) Singulärwertzerlegung (SVD) Eigenwerte Eigenwert Vielfachheit Diagonalisierbarkeit Eigenvektor Eigenraum Eigenbasis Diverses Rekursive Systeme Differentialgleichungen / DGL-Systeme Matlab Funktionen Quellenverzeichnis

5 Matrizen und Vektoren en Eine Matrix ist ein rechteckiges Schema von Elementen eines Körpers(,, ): , wobei das Element in der Zeile und Spalte bezeichnet., Somit gilt, für,. Eine Matrix wird als Spaltenvektor bezeichnet, als Zeilenvektor. Spezielle Matrizen Obere Dreiecksmatrix:, Untere Dreiecksmatrix: Diagonalmatrix:, Einheitsmatrix: 0 0 Adjazenzmatrizen 4 Die zu diesem ungerichteten Graphen gehörende Adjazenzmatrix ist mit bedeutend 'von nach ' Bei einem ungerichteten Graphen ist die Adjazenzmatrix stets symmetrisch. Transponierte, Hermitesche Matrix ist die Transponierte von. ist die komplex Konjugierte von. ist die hermitesch Transponierte von. Eine Matrix ist symmetrisch, falls gilt: Eine Matrix ist hermitesch, falls gilt: Es gelten folgende Rechenregeln:, resp.,, resp., Konventionen Matrizen: Grossbuchstaben, z.b.,, Vektoren: Kleinbuchstaben, z.b.,, Skalare: griechische Buchstaben, z.b.,, Menge aller Matrizen:, Menge aller (Spalten-)Vektoren:, 5

6 Zusammenfassung Lineare Algebra Einfache Operationen Addition Regeln Damit zwei Matrizen addiert werden können, müssen sie dieselbe Dimension haben. Es gilt:,,, für,. Beispiel Multiplikation Regeln Skalarmultiplikation: Jeder Eintrag, einer Matrix wird mit einem Skalar multipliziert. Matrixmultiplikation: Damit zwei Matrizen multipliziert werden können, müssen sie folgende Dimensionen erfüllen:,,. Es gilt: für,. Die Matrixmultiplikation ist: Assoziativ ( ), distributiv ( ), aber nicht kommutativ! Beispiele , jedoch: Inverse Eine Matrix ist invertierbar, wenn :. Ansonsten ist diese Matrix singulär. Berechnung Verwende Gauss-Algorithmus: Rechenregeln Es gelten folgende Regeln:, sowie, resp. Für das lösen von Gleichungssystemen gilt: 6

7 Orthogonal & unitär Eine Matrix ist orthogonal, falls Eine Matrix ist unitär, falls Rechenregeln für orthogonale resp. Unitäre Matrizen Es gelten folgende Regeln:, resp., sowie,, Definitheit Eine symmetrische Matrix ist positiv definit, falls 0 positiv semidefinit, falls 0 negativ definit, falls 0 negativ semidefinit, falls 0 indefinit sonst. Für alle Spaltenvektoren 0. Eine hermitesche Matrix ist positiv definit, falls 0 positiv semidefinit, falls 0 negativ definit, falls 0 negativ semidefinit, falls 0 indefinit sonst. Für alle Spaltenvektoren 0. Bei Diagonalmatrizen reicht es die Diagonalelemente zu prüfen: Eine Matrix ist dann positiv definit, falls alle Diagonalelemente 0 positiv semidefinit, falls alle Diagonalelemente 0 negativ definit, falls alle Diagonalelemente 0 negativ semidefinit, falls alle Diagonalelemente 0 indefinit sonst. 7

8 Zusammenfassung Lineare Algebra Lineare Gleichungssysteme Gauss-Algorithmus Schritte Zeilentauschen: Es müssen die Zeilen immer so getauscht werden, dass eine dreiecksähnliche Matrix entsteht. Der nächste Pivot muss auf der aktuellen Zeile entstehen. Multiplizieren: Es ist jederzeit möglich ganze Zeilen mit einem Skalar zu multiplizieren. Subtrahieren / Eliminieren: Der eigentliche Schritt bei Gauss besteht darin, die aktuelle Zeile so oft zu den unteren dazu zu zählen, dass in jeder Zeile in der Pivotspalte eine 0 entsteht. Rückwärtseinsetzen: Nach dem man mit Gauss bei der untersten Zeile angelangt ist, kann man entweder retour nach oben Gauss anwenden oder einfach rückwärts einsetzen um die Lösung zu erhalten. Beispiel Gleichungssystem: führt zu folgender Matrix-Darstellung: Multiplizieren Zeile () mit : Subtrahiere Zeile () 2 von Zeile (2) und 8 von Zeile (3): Multipliziere Zeile (2) mit : Subtrahiere Zeile (2) 2 von Zeile (3): Rückwärts einsetzen ergibt: Fertig. 8

9 Determinanten Die Determinante einer Matrix gibt an, wie stark bei der Abbildung skaliert wird. Regeln Es gelten folgende Regeln: (i) ist linear in jeder Zeile (ii) Werden zwei Zeilen vertauscht, so wechselt das Vorzeichen (iii) deti. (iv) Hat eine Zeile mit lauter 0, so ist 0 (v) detλa λ deta. (vi) Hat zwei gleiche Zeilen, so ist 0 * (vii) Addiert man zu einer Zeile das Vielfache einer anderen, so ändert nicht (viii) Ist eine Diagonalmatrix, so ist das Produkt der Diagonalelemente (ix) Ist eine Dreiecksmatrix, so ist das Produkt der Diagonalelemente (x). (xi) det /. (xii). * Sind die Zeilen oder Spalten linear abhängig, so ist 0 Für jede Matrix gilt: 0 ist regulär Beispiel: Berechnung nach Sarrus 22 Matrix: Es gilt: Matrix: Es gilt: Beispiel: Berechnen mittels Entwickeln Diese Variante ist recht schnell, wenn viele 0 in der Matrix stehen. Das Verfahren kann sowohl nach Spalten, als auch nach Zeilen angewandt werden Dazu die Vorzeichenmatrix Entwickelt man hier nach der 2. Spalte, erhält man: So weiter, bis nur noch 22 Matrizen da sind. Diese gem. Sarrus lösen. 9

10 Zusammenfassung Lineare Algebra Beispiel: Berechnen nach Gauss Bei der Berechnung nach Gauss gelten folgende 3 Regeln: (R) Wird eine Zeile mit multipliziert, so gilt: / (R2) Werden zwei Zeilen getauscht, so gilt: (R3) Wird das Vielfache einer anderen Zeile zu einer Zeile addiert, ändert nichts. Man beginnt mit und wandelt die Matrix zu einer Einheitsmatrix um. Dabei führt man gemäss den Regeln (R) bis (R3) nach. Im Prinzip genügt es, eine Dreiecksmatrix mit Gauss zu erzeugen. Da der Rest dann mit alleinigem Anwenden von Regel (R3) bereinigt werden kann, bis nur noch die Diagonale bleibt, gilt dann:. Beispiel: 2 Sei 2 4 Nach Gauss: (eliminiere Spalte (), tausche Zeilen) Dann folgt: 3 3 Spezielle Determinanten Rotationsmatrix: Spiegelung: Diagonal- / Dreiecksmatrix: (z.b. anisotrope Skalierung) 0

11 Skalarprodukt & Normen Skalarprodukt Regeln Es gilt:, ;,,, wobei ein Vektorraum in. (S) linear im 2. Argument:,,, (S2) symmetrisch:,, in, resp.,, in (S3) positiv definit:, 0,, 00 Jede Funktion, welche dies erfüllt ist ein Skalarprodukt. Beispiele, (Standard), (generell mit Matrix ), (Hilbert, hier:, Funktionen) Normen Regeln Es gilt: ;, wobei ein Vektorraum in. (N) positiv definit: 0, 00 (N2) (N3) Jede Funktion, welche dies erfüllt ist eine Norm. Beispiele (Standard- / Euklidische Norm) ( -Norm) ( -Norm) max, ( -Norm)

12 Zusammenfassung Lineare Algebra Zusammenhang Skalarprodukt & Norm Zusammenhang Es gilt:, Geometrie Es gilt: cosθ, in sowie, 0. Nach dem Cosinussatz gilt: cosθ Cauchy-Schwarz'sche Ungleichung Es gilt:, Parseval'sche Formel Θ x y Gegeben eine Orthonormalbasis von,, mit Koeffizienten, in Basis. Es gilt,,, Somit,,. Es folgt:,,,, im speziellen:. 2

13 Vektorräume, Basen, Körper Körper Ein Körper,, bestehend aus einer Menge, sowie den Relationen, erfüllt folgende Bedingungen:, ist eine abelsche Gruppe mit Neutralelement 0. \0, ist eine abelsche Gruppe mit Neutralelement. Es gilt die Distributivität:, Regeln (K) (K2) (K3) Neutralelement bzgl. Addition: 0 mit 0 * (K4) Additiv Inverses: mit 0 (K5) (K6) (K7) Neutralelement bzgl. Multiplikation: mit * (K8) Multiplikativ Inverses: mit (K9) (K0) * Die Neutralelemente 0, müssen nicht den Zahlen '0' und '' entsprechen. Vektorräume Ein Vektorraum über einen Köper, ist eine nichtleere Menge, auf der eine Addition und eine skalare Multiplikation definiert sind:,, Zudem müssen folgende Regeln erfüllt sein: Regeln (V) (V2) (V3) Es gibt ein ausgezeichnetes Element 0 mit 0 (Neutralelement bzgl. ) (V4) Zu jedem gibt es eindeutig ein bestimmtes mit 0 (Inverses) (V5) (V6) (V7) (V8) (Neutralelement bzgl. ) 3

14 Zusammenfassung Lineare Algebra Beispiele Beispiel eines gültigen Vektorraumes: Raum der Polynome vom Grad : Nullelement: 0 Addition: Multiplikation: Beispiel, welches kein Vektorraum ist: Raum der Polynome von Grad : ; 0 Nullelement: Nicht vorhanden. Unterräume Der Unterraum ist selbst auch ein Vektorraum. Einzig ist er durch den Überraum begrenzt. Sei ein Vektorraum und ein Unterraum und. Es müssen Addition und Skalarmultiplikation innerhalb des Unterraumes abgeschlossen sein und das Neutralelement enthalten sein:,,:,,0. Regeln Siehe Vektorräume. Es gelten dieselben Regeln (V) bis (V8). Beispiele Sei, dann ist ;, ein Unterraum, jedoch ;, nicht, 0 da das Nullelement nicht enthalten ist. Der Raum der Polynome von Grad 2 ist ein Unterraum des Raumes der Polynome von Grad 3. Affine Unterräume Ein affiner Unterraum ist ein Unterraum, der um einen konstanten Stützvektor verschoben ist vom eigentlichen Unterraum. Lösungsraum ist der Lösungsraum von. Sei eine partikuläre Lösung und und, so ist ein affiner Unterraum. 4

15 Lin. Abhängigkeit, Dimension, etc. Lineare Abhängigkeit / Linearkombination Eine Menge von Vektoren,,, sind linear abhängig, sofern es eine Kombination von,,, gibt, sodass 0, mit mind. einem 0 für 0. Umgekehrt ist eine Menge von Vektoren linear unabhängig, genau dann, wenn 0 0 für 0. Lineare Hülle (span) Seien,,,, dann ist,, : ;,,. Die Lineare Hülle ist ein Unterraum von. Dimension Die Anzahl der Basisvektoren für den Vektorraum ist die Dimension von. Beispiele,, hat 2 Freiheitsgrade. Z.B. mit 6 Nebenbedingungen ergibt 6. Rang Sei eine Matrix bestehend aus Spaltenvektoren. Der Rang der Matrix ist dann die Anzahl linear unabhängiger Spaltenvektoren. Berechnen lässt sich der Rang mittels Gauss. Er entspricht der Anzahl nicht-nullzeilen. Regeln Anzahl Vektoren:, Dimension des Vektorraumes:,. Es gilt: Die Vektoren sind linear abhängig linear unabhängig erzeugend eine Basis 5

16 Zusammenfassung Lineare Algebra Fundamentale Unterräume Bei einer linearen Abbildung : ;, eine Matrix, gibt es 4 fundamentale Unterräume: - Bildraum (Bild) : - Nullraum (Kern) :0 - Bildraum und Nullraum für Regeln Es gilt:. Vorgehen Berechnen der Basen der 4 Unterräume. Dazu noch je die Dimension angeben. Erzeugendensysteme Sei ein Unterraum und,,, dann ist,, ein Erzeugendensystem für. Ein Erzeugendensystem kann auch linear abhängig sein. Basen Ein linear unabhängiges Erzeugendensystem für heisst Basis von. Aus einem Erzeugendensystem lässt sich immer eine Basis auswählen. Die Anzahl der Basisvektoren ist die Dimension von. Beispiele :,, ist eine Basis von. :,,, ist eine Basis von. 6

17 Basiswechsel, Koordinatentransformation Koordinaten Sei,, eine Basis von, dann lässt sich jedes schreiben als Linearkombination. Dabei heissen die,, die Koordinaten von. ist der Koordinatenvektor von. Direkte Summe Gegeben zwei komplementäre Unterräume, so kann der Überraum geschrieben werden als direkte Summe (Beispiel):,, ( ist Direkte Summe) 7

18 Zusammenfassung Lineare Algebra Basiswechsel Der Basiswechsel überführt eine Vektordarstellung von der einen Basis zur andern: :, wobei die Transformationsmatrix genannt wird. Beispiel Berechnung der Transformationsmatrix Gegeben sind zwei Basen,,,,,. Als erster Schritt müssen alle Basisvektoren oder Funktionen von ausgedrückt werden durch diejenigen von : Daraus kann die Transformationsmatrix abgelesen werden:. ist hier die Transformationsmatrix von nach, es gilt: und somit Wichtig: Für Koordinaten wird gerade umgekehrt gerechnet als bei Basen ( ). Verkettungsschema Gegeben ein Schema von Basen und Transformationen: die Transformation von nach die Transformation von nach Dann ist die Transformation von nach. Man geht immer von der Zielbasis aus und geht den Weg entlang bis zur bestehenden Basis. Bei einmündenden Pfeilen lässt man es sein, bei ausgehenden muss man das Inverse bilden. Hier gilt zum Beispiel: von nach : (für das Inverse gebildet). Somit kann gerechnet werden:. Orthogonal und orthonormal Orthogonale und orthonormale Basis Eine Basis ist orthogonal, falls gilt: Alle Basisvektoren sind paarweise orthogonal:, 0 normal, falls gilt: Alle Basisvektoren haben Länge :, orthonormal, falls orthogonal und normal Regeln Es gilt: Die Koordinaten entsprechen dem Skalarprodukt der Basisvektoren, falls die Basis des Vektorraumes orthonormal ist:,, wobei, 8

19 Gram-Schmidt Orthonormalisierung Das Gram-Schmidt Verfahren liefert eine orthonormale Basis ausgehend von einer beliebigen Menge an linear unabhängigen Vektoren. Algorithmus Normiere zunächst einen beliebigen Vektor. Für die weiteren Vektoren gehe wie folgt vor:. orthogonalisiere, 2. normalisiere Falls während dem Algorithmus irgendwann durch 0 geteilt werden muss, so handelt es sich bei den Vektoren nicht um linear unabhängige Vektoren. Beispiel 0 2 Gegeben: Basisvektoren 0, 2, 2, 2 0 Gesucht: Orthonormalbasis (ONB) von. Gram-Schmidt: 0 2 Matrizendarstellung: : : 3 : 0 0 2, ,, Somit ergibt sich eine orthonormale Basis 0, 2,. 9

20 Zusammenfassung Lineare Algebra Orthogonales Komplement Seien, Unterräume von,wobei und, :, 0. Berechnung Führe zunächst Gram-Schmitt auf dem Unterraum aus. Wähle danach für jeden der Basisvektoren einen Ansatz, der linear unabhängig* ist von den bereits ermittelten orthonormalen Basisvektoren und führe ebenfalls Gram-Schmidt aus. * Falls der Ansatz nicht linear unabhängig ist, wird sich nach Gram-Schmidt ein Nullvektor ergeben. Die weiteren Basisvektoren bilden die Basis des orthogonalen Komplements. Anmerkung: Es ist zwingend notwendig Gram-Schmidt auf durchzuführen, auch wenn nur die Basis des Komplements gefragt ist. 20

21 Lineare Abbildungen Eine lineare Abbildung ist im Wesentlichen nichts anderes als eine Funktion in mehreren Koordinaten. Dabei wird die Funktion mittels einer Matrix dargestellt. Eine Abbildung ist linear, wenn sie die Addition und skalare Streckung erfüllt. Beispiel : (hier:,, ),,,,,, 2 2, Koordinaten von bzgl ,,,,,, 56 Beispiel :, Standardbasis,, Wähle, dann gilt: Aus und 4 folgt Schema sind die Koordinatisierungen,,, die Transformationsmatrizen im Vektorraum,,, die Transformationsmatrizen im Vektorraum.,, die Abbildungsmatrizen der linearen Abbildung. Beispiel, 2

22 Zusammenfassung Lineare Algebra Injektiv, surjektiv, bijektiv Eine lineare Abbildung : heisst injektiv, falls (das Bild ist eindeutig) surjektiv, falls : (es wird der volle Bildbereich abgedeckt) bijektiv, falls injektiv und surjektiv (die Abbildung ist umkehrbar eindeutig) Alternative Eine lineare Abbildung : mit Abbildungsmatrix heisst injektiv, falls surjektiv, falls bijektiv, falls mit Kern und Bild Eine lineare Abbildung : heisst injektiv, falls 0 surjektiv, falls Isomorphismus & Automorphismus Eine lineare Abbildung ist dann ein Isomorphismus, wenn sie bijektiv ist. Eine lineare Abbildung ist ein Automorphismus, wenn der Zielraum dem Grundraum entspricht (:, ). Kern, Bild Der Kern einer lin. Abb. ist der Grad der Injektivität: : 0. Das Bild einer lin. Abb. ist der Grad der Surjektivität: ::. Es gilt des weiteren. Basis von Bild bilden Führt man zunächst Gauss auf der Abbildungsmatrix aus, so erhält man die Treppenstufenform. Alle jenen Spaltenvektoren in, in deren Spalte in ein Pivot steht, bilden eine Basis des Bildes von. Beispiel: hier stehen in Spalte () und (3) Pivots Also bilden die Spalten () und (3) der ursprünglichen Matrix eine Basis des Bildes. 22

23 Basis von Kern bilden Auch hier geht man von der Treppenstufenform nach Gauss aus. Man erhält somit ein Set von linear unabhängigen Gleichungen. Für all diejenigen Variablen, in deren Spalte kein Pivot steht, setzt man jeweils eine auf und alle andern auf 0. Danach löst man das Set von Gleichungen plus Gleichungen für die gewählten Variablen und erhält so jeweils einen Vektor für die Basis des Kerns. Beispiel: liefert frei wählbare Variablen , Wähle, 0 : Wähle 0, : Somit ist die Basis des Kerns:, Bildraum (Spaltenraum), Nullraum Der Nullraum entspricht dem Kern einer lin. Abb. Der Bildraum (oder Spaltenraum genannt) entspricht dem Bild einer lin. Abb. Die Begriffe verwendet man im Zusammenhang mit Matrizen, während man bei Vektorräumen von Bild und Kern spricht. Spezialitäten bei quadratischen Matrizen Bei quadratischen Matrizen sind äquivalent: (i) ist invertierbar. (ii) ist regulär. (iii) (iv) Die Spaltenvektoren von sind linear unabhängig. (v) Die Zeilenvektoren von sind linear unabhängig. (vi) (vii) 0 (Viii) Die lineare Abbildung : ist ein Automorphismus. (ix) ist die Transformationsmatrix einer Koordinatentransformation in. 23

24 Zusammenfassung Lineare Algebra Orthogonale und unitäre Abbildungen Seien die Vektorräume, orthogonal bzw. unitär, mit den euklidischen Skalarprodukten,,,. Die lineare Abbildung :, heisst orthogonal (unitär), falls gilt:,,,. Regeln Für orthogonale oder unitäre Abbildungen gelten folgende Regeln: (i) (ii) (iii) (längentreu / isometrisch) (winkeltreu) 0 (injektiv) Ist gilt zusätzlich: (iv) ist ein Isomorphismus (v) Für,, ONB von folgt:,, ist ONB von. (vi) ist unitär (vii) Abbildungsmatrix bzgl. orthonormaler Basen und ist unitär. Norm von Linearen Abbildungen Gegeben Vektorräume, mit Normen, sowie die lin. Abb. :. Die Norm der linearen Abbildung ist: sup Konditionszahl Die Konditionszahl ist gegeben durch:. Beispiel /4 0 0 /2 4, sup. 24

25 Spezielle Lineare Abbildungen Rotationen 2D cos sin sin Uhrzeigersinn:, Gegen-Uzs: cos sin cos sin cos Rotationen 3D 0 0 cos 0 sin 0 cos sin, 0 0, 0 sin cos sin 0 cos cos sin 0 sin cos Ähnlichkeitstransformation Die Ähnlichkeitstransformation entspricht einem Basiswechsel. Es gilt, wobei und zueinander ähnlich sind. Zueinander ähnliche Matrizen haben dieselben charakteristischen Polynome. dieselben Eigenwerte. dieselben algebraischen und geometrischen Vielfachheiten. 25

26 Zusammenfassung Lineare Algebra Zerlegungen Permutation Permutationsmatrix Die Permutationsmatrix beinhaltet die Information, welche Zeilenvertauschungen (z.b. bei einer Zerlegung) vorgenommen worden sind. Ihre Inverse liefert die Information, wie anschliessend wieder zurückvertauscht werden muss. Es gilt ferner: 0, Beispiel Basierend auf der Permutationsgleichung : Gegeben folgt zunächst: Werden nun die Zeilen (2) und (3) der Matrix getauscht: Hier gilt nun (hier wegen nur einer einzigen Vertauschung: )

27 LR-Zerlegung und Einsatz Die LR-Zerlegung teilt eine Matrix in eine linke untere Matrix und eine rechte obere Matrix auf, wobei gilt: Hierbei lassen sich die einzelnen Berechnungen mit Vorwärtseinsetzen und dann mit Rückwärtseinsetzen deutlich schneller berechnen. Algorithmus Sei zu Beginn,. Führe nun auf der Matrix Gauss ohne Multiplizieren aus und trage die verwendeten Fakturen für die Subtraktion in den leeren Raum links unten in der Matrix ein. Dies solange, bis eine rechte obere Dreiecksmatrix geworden ist. Beispiel Subtrahiere hier Zeile () 2 von Zeile (2) und von Zeile (3): Subtrahiere hier Zeile (2) 2 von Zeile (3): Matrizen berechnet: 2,

28 Zusammenfassung Lineare Algebra LRP-Zerlegung Die LRP-Zerlegung folgt demselben Muster wie die LR-Zerlegung. Lediglich werden hier Zeilen getauscht. Das ermöglicht auch für ungünstige Gleichungsreihenfolgen das Lösen mittels LR-Dekomposition (Nullteiler oder grosse Ungenauigkeiten). Der Aufbau der Permutationsmatrix gemäss Abschnitt 'Permutation'. Es gilt anschliessend: Berechne also zunächst, dann aus und letztendlich aus. Wichtig: Nie vergessen, dass die Matrix die Transponierte ist von! Algorithmus Vorgehen identisch zu LR-Zerlegung. Einzig wird die Transponierte einer Permutationsmatrix vorne hingeschrieben, worin die Zeilen mitgetauscht werden. Bei der Matrix werden nur die Einträge unterhalb der Diagonalen mitvertauscht! Es wird in jedem Schritt so getauscht, dass das betragsmässig grösste Element in nach oben kommt. Beispiel '2' ist das grösste, daher 0 0 Tausche Zeilen () und (2): Subtrahiere: Tausche Zeilen (4) und (2): Etc. bis die Zerlegung steht

29 Cholesky-Zerlegung Voraussetzung: Matrix ist symmetrisch und positiv definit (, 0 0). Beschreibung: Die Matrix kann in der Form geschrieben werden, wobei eine obere rechte Dreiecksmatrix ist. Durch Einsetzen kann das Gleichungssystem relativ schnell gelöst werden. Herleitung: Berechnung der Lösung: Berechne zunächst aus, danach aus. Algorithmus Von oben links nach unten rechts die Matrix bilden: FOR (i= n) { } FOR (k=i+ n) { } Beispiel Berechne Schritt für Schritt die Elemente der Matrix : :,2 :,3 : 2 : 2,3 : 3 : , prüfe: 0 symmetrisch, positiv definit. 2 29

30 Zusammenfassung Lineare Algebra Methode der kleinsten Quadrate Projektion / Orthogonale Projektion Regeln Projektion Ist eine Projektion, so gilt:. (Es kann nicht zwei Mal auf dieselbe Weise projiziert werden. Ist eine Projektion, so ist auch eine Projektion und es gilt:, sowie. Regeln Orthogonale Projektion Es gilt die Voraussetzung: hat linear unabhängige Spalten ist regulär. Somit gilt für eine orthogonale Projektion : : Methode der kleinsten Quadrate en Die Methode der kleinsten Quadrate (Linear Least Squares) liefert eine Lösung für ein überdefiniertes Gleichungssystem, welche im Quadrat am wenigsten Abweichung aufweist. Dabei nennt man den Residuenvektor, das zugehörige die Lösung. Beispiel Das Beispiel stammt aus der Vorlesung. Erweitert um eine 3. Messung. Eine Messung ergibt: 2,3,27 2 Somit ein überbestimmtes Gleichungssystem: Da 0 folgt aus Im Beispiel bedeutet das: 2 2 Dies Entspricht der Berechnung: Minimiere die Gleichung Somit hier:

31 QR-Zerlegung en Die QR-Zerlegung liefert eine approximative Lösung für ein überbestimmtes Gleichungssystem, eine genaue Lösung für ein eindeutig bestimmtes Gleichungssystem und eine affine Lösung für ein unterbestimmtes Gleichungssystem. Ist die Abbildungsmatrix bereits orthonormal, so ist sie sehr schnell berechnet. Zudem ist die QR-Zerlegung die Basis zur Eigenwertzerlegung. Lösen des regulären oder überbestimmten Gleichungssystems: Die Gleichung lautet. Löse zunächst durch Vorwärtseinsetzen und danach durch Rückwärtseinsetzen. Lösen des unterbestimmten Gleichungssystems: Gehe von aus. Falls vollen Rang hat gilt: Löse zunächst und danach. Die Lösung mit minimierter Norm liegt im orthogonalen Komplement des Kerns von. Berechne dazu die Moore-Penrose-Pseudoinverse:, dann gilt:. Algorithmus Bestimme zunächst die Matrix mittels Gram-Schmidt: FOR (i= n) { Lösen im Sinne der kleinsten Quadrate: }, * Beispiel:, wobei, ein spezielles Skalarprodukt: berechnen. * Merke dabei die für die Berechnung von. Bestimme danach die Matrix :, Resultat: Es entstehen die rechteckige Matrix, welche die orthonormalisierte Matrix darstellt, sowie die rechte obere Dreiecksmatrix. Spaltentauschen: Es gilt hier: Schreibe dazu bei der Berechnung die Matrizen, und zu Beginn hin. Berechne die Matrix mittels Gram-Schmidt spaltenweise und führe zeilenweise mit. Ergibt sich in eine Nullspalte, so tausche in allen 3 Matrizen die Spalten. In der Matrix aber nur diejenigen Elemente über der Diagonalen (Diagonale bleibt). 3

32 Zusammenfassung Lineare Algebra Eigenwertzerlegung (EWZ) en Die Eigenwertzerlegung ist geeignet für dynamische Systeme, bei denen mehrfach dieselbe Abbildung angewendet werden muss, da hier nur eine Diagonalmatrix exponentiert werden muss. Es gilt: Λ, wobei Λ die Diagonalmatrix der Eigenwerte ist und die zugehörigen Eigenvektoren beinhaltet (Eigenbasis). Weiter gilt: Λ V mit Λ Für eine normale lineare Abbildung nimmt man in der Regel den Aufwand nicht auf sich, die EWZ zu berechnen, sondern benützt besser die LR(P)-Zerlegung! Algorithmus. Bestimme die Eigenwerte der Matrix. 2. Zu jedem Eigenwert bestimme die zugehörenden Eigenvektoren.* * Entspricht die geom. Vielfachheit nicht der algebraischen Vielfachheit, so existiert keine Eigenwertzerlegung! 3. Die Diagonalmatrix Λ enthält in jeder Spalte den Eigenwert zum Eigenvektor in der entsprechenden Spalte in. 4. Berechne. Besitzt eine Abbildungsmatrix keine Eigenwertzerlegung, so würde man zurückgreifen auf die Jordansche Normalform, welche für jeden fehlenden Eigenvektor statt einen Eigenwert in der Diagonalen einen Jordanblock mit Bilinearform enthält. So gilt mit und Singulärwertzerlegung (SVD) en Sei eine Matrix. Dann ist eine symmetrisch pos. definite Matrix. Gegeben die Eigenwert-Diagonalmatrix Λ zu Λ (da symmetrisch!). Dann ist ein Singulärwert. Σ ist die Singulärwert-Diagonalmatrix zu ΣΣ T. Hierbei sind die Singulärwerte so geordnet, dass 0. Die eigentliche Form der SVD lautet Σ, wobei Σ. Es gilt Σ, was recht schnell berechnet ist. Hat nicht vollen Rang, so spricht man von einer reduzierten Singulärwertzerlegung. 32

33 Algorithmus. Eigenwertzerlegung von bestimmen, liefert und Λ 2. Σ aus Λ berechnen 3. berechnen: Für jede Spalte : falls 0 : falls 0 : orthonormalisieren (Gram-Schmidt) und orthonormal ergänzen (reduzierte SVD) Dimensionen Sei. Es gilt folgendes Matrizen-Schema für eine Abbildung : : 0 0 In diesem Fall entspricht einer Basis des Spaltenraums (Bild der Spaltenvektoren) von. einer Basis des Kokerns des Spaltenraumes von (Kern des Spaltenraumes ). einer Basis des Zeilenraums (Bild der Zeilenvektoren) von. einer Basis des Kerns des Spaltenraumes von. Oder anders ausgedrückt: ist eine Basis von (Bild). ist eine Basis von. ist eine Basis von. ist eine Basis von (Kern). Dabei spannen und zusammen den Bildraum auf. Dabei spannen und zusammen den sraum auf. Zusammenhang mit Normen Die Norm Die Frobenius-Norm Weitere Eigenschaften - Die Singulärwerte skalieren linear: : - Die Konditionszahl. 33

34 Zusammenfassung Lineare Algebra Eigenwerte Eigenwert Gibt es ein, so dass, so nennt man einen Eigenwert. Somit ist der Eigenwert der Wert um den ein Eigenvektor bei der Abbildung gestreckt wird. Die Menge der Eigenwerte,, ist das Spektrum von. Regeln - Aus 0 0 folgt 0. - Ist ein Eigenwert von, so ist er auch Eigenwert von. über das Charakteristische Polynom Das charakteristische Polynom hat die Form. Beispiel Zur gegebenen Matrix 5 2 sollen die Eigenwerte bestimmt werden Notiere zunächst Bringe die Matrix in die Diagonalform oder löse die Determinante anderweitig: Errate nun am besten eine Nullstelle und teile das Polynom (im Beispiel hier schwierig). So gehe von einer Gleichung aus, z.b.: 2 48, errate hier und somit, 2. Somit Vielfachheit Die geometrische Vielfachheit eines Eigenwertes entspricht: Die algebraische Vielfachheit eines Eigenwertes ist die Vielfachheit von als Nullstelle des charakteristischen Polynoms. Beispiel Im Beispiel vorher hat 2 die algebraische Vielfachheit und, 2 hat a. V. 2. Die geom. Vielfachheit von ist gegeben durch 2 34

35 Diagonalisierbarkeit Eine Matrix ist diagonalisierbar, wenn für alle Eigenwerte gilt: algebraische Vielfachheit geometrische Vielfachheit. Eigenvektor Gibt es ein, so dass, so nennt man einen Eigenvektor. Somit ist der Eigenvektor ein Vektor, der bei der Abbildung lediglich gestreckt wird. Berechnung der Eigenvektoren zu den Eigenwerten Nehme einen Eigenwert, und berechne eine beliebige Basis zum Kern. Die Basisvektoren sind dann auf jeden Fall Eigenvektoren. Vorsicht: Die geometrische Vielfachheit der Eigenwerte ist nicht zwingend identisch mit der algebraischen Vielfachheit. Das heisst, es muss nicht immer zwei EV zu einem EW mit algebraischer Vielfachheit 2 geben (siehe Eigenwertzerlegung). Eigenschaften Eigenvektoren zu paarweise verschiedenen EW sind immer linear unabhängig. Eigenraum Ein Eigenraum ist der Raum der Eigenvektoren zu einem Eigenwert. Regeln ist ein Unterraum von. Eigenbasis Eine Basis bestehend aus Eigenvektoren nennt man eine Eigenbasis. Anwendung Für einen Automorphismus hat das Rechnen in den Koordinaten der Eigenbasis den Vorteil, dass die Abbildungsmatrix diagonal ist und somit geringer Rechenaufwand notwendig ist. Eigenschaften Da Eigenvektoren zu paarweise verschiedenen Eigenwerten immer lin. unabhängig sind, haben lineare Abbildungen mit lauter paarweise verschiedenen Eigenwerten immer eine Eigenbasis und sind somit diagonalisierbar. 35

36 Zusammenfassung Lineare Algebra Diverses Rekursive Systeme Gegeben eine Rekursionsgleichung, möchte man eine explizite Darstellung erhalten. Vorgehen. Umwandeln der Rekursionsgleichung in ein Gleichungssystem. 2. Eigenwertzerlegung führt zu einer expliziten Darstellung, welche die Eigenwerte mit im Exponenten enthält. Beispiel Berechnung der expliziten Formel der Fibonacci-Zahlen. Für die Fibonacci-Zahlen gilt: mit Anfangswerten 0,. Daraus folgt die Abbildung: 0 Berechne die Eigenwerte der Abbildung : , Dazu die Eigenvektoren: Aus : Analog zu : 0 0 und somit / /. Aus Λ folgt demnach: Für die explizite Form: 0 / / / / / / 5 Und somit. 36

37 Differentialgleichungen / DGL-Systeme Es geht hier darum Gleichungen und Gleichungssysteme der Form zu lösen, sogenannte gewöhnliche Differentialgleichungen erster Ordnung. DGL höherer Ordnung können auf ein System von DGL erster Ordnung zurückgeführt werden. Vorgehen. Matrix aufstellen (bzw. das Gleichungssystem) 2. Eigenwertzerlegung von durchführen (zur nachfolgenden Entkopplung) 3. Entkoppeln der einzelnen Gleichungen 4. Allgemeine Lösung der einzelnen Gleichungen herleiten 5. Zusammensetzen 6. Ggf. Anfangswerte einsetzen und spezielle Lösung herleiten Beispiel Gegeben eine DGL 2. Ordnung: 2 0, AW: 0 3, 0 0. Gleichungssystem von DGL. Ordnung erstellen, wähle hier: und, somit gilt: 2 0 und somit Eigenwertzerlegung von : , 2 Aus : Aus 2 : /2 Somit ergibt sich 3. Entkoppeln: Aus Λ folgt: 2 liefert 4. Ansatz: 5. Zusammensetzen zum Gleichungssystem der allg. Lösung: Aus folgt: /2 Für die spezielle Lösung berechne vor Schritt (4) noch: /2 0 3 / / Setze ein für die spezielle Lösung: Aus Schritt (5) und folgt: /2 2 2 Und somit durch ergibt sich die Lösung: 2. 37

38 Zusammenfassung Lineare Algebra Matlab Funktionen Grundgerüst Wichtig: Die.m-files müssen gleich heissen wie die enthaltene Funktion! Header ohne Rückgabe: > function drawellipse(c,a,b) > > return Header mit einem Rückgabeelement: > function fib=fibonacci(n) > > fib() = 0; > return Header mit mehreren Rückgabeelementen: > function [Q, R]=QRFaktorisierung(A) > > Q = ; > R = ; > return Funktion mit Funktion als Argument: > function [Q, R]=QRFaktorisierung(A, scalar_prod) > > sp=scalar_prod(b, c); > return Kommentare: Wird in Matlab folgendermassen aufgerufen: > x.'*y) > function [Q, R]=QRFaktorisierung(A, scalar_prod) > %% Berechnet die QR-Faktorisierung > % EINGABE: Matrix A der grösse n x m > % Funktion scalar_prod ein Skalarprodukt > % AUSGABE: Matrizen Q und R, die QR-Faktorisierten Matrizen > > Q = zeros(n, m); % die orthonormale Matrix Q 38

39 Schleifen For-Schleife: > for i=:m > > end Alternativ kann ein step angegeben werden: > for i=:0.0:25 > > end Loop abbrechen: break; Bedingungen If-Bedingung: > if i > > > elseif i == > > else > > end Matrizen- und Vektorfunktionen Determinante: det(a); Diagonalmatrix: diag(v); Dimensionen: [m, n]=size(a); m=size(a,); n=size(a,2); Eigenwertzerlegung: [V, Λ]=eig(A) Einheitsmatrix: eye(n) Inverse: inv(a) Nullmatrix: zeros(m,n) Minimum: Spaltenminimum: min(a), Totalminimum: min(min(a)) Summe: Spaltensumme: sum(a), Totalsumme: sum(sum(a)) Transponierte: =A', =A'=A.' Zugreifen auf Elemente: Alle Elemente vergleichen: all(abs(q(:,p)) <= E-2) Ganze Spalte: A(:,5) Ganze Zeile: A(3,:) Bestimmte Teile: A([2:6],[,3,5]) Anmerkung: Mathematische Funktionen, welche nicht auf die ganze Matrix definiert sind, werden auf jedes einzelne Element angewendet, z.b. abs(a). 39

40 Zusammenfassung Lineare Algebra Mathematische Funktionen Betrag: abs(-5) Quadratwurzel: sqrt(5) Trigonometrische Funktionen: sin(pi), cos(pi/2) Vergleichsoperatoren: ==, >, >=, <, <=, ~= Zeichenfunktionen Diagrammtitel: title('drawellipse'); Grid: grid; Labels: xlabel('x-achse'); ylabel('y-achse'); Logarithmische Skalen: semilogx(x,y,'.b'), loglog(x,y,'-k') Plot: plot(v_x, v_y, '-b') Hierbei sind v_x und v_y zwei Vektoren gleicher Dimension. Die Darstellung kann gewählt werden, z.b.: '-b' solid blue '.g' single Points green ':y' dotted line yellow ' k' small circles black Subplots: subplot(2,3,5); (der 5. Von 2x3 Subplots wird nun angesprochen) Anmerkungen: Mehrere Plots auf demselben Graphen ausgeben: hold on; hold off; Klassen Aufbau: > classdef EndlKoerper > properties > n; % Anzahl Elemente im Koerper F_n, n ist Primzahl > k; % > end > > methods > % Konstruktor von Elementen aus F_n > function obj = EndlKoerper(c) > obj.n = 7; > if isa(c,'endlkoerper') > obj.k = mod(c.k, n); > else > obj.k = mod(c, n); > end > end % EndlKoerper > > function r = plus(obj,obj2) > r = EndlKoerper(obj.k + obj2.k); > end % plus > > end % methods > end % classdef 40

41 Quellenverzeichnis Allgemeine Quellen ) Vorlesungsmitschrift der Veranstaltung 'Lineare Algebra' des D-INFK an der ETH Zürich HS 2009, gehalten von Prof. Daniel Kressner und Prof. Marc Pollefeys 2) wikipedia (de.wikipedia.org) Stand 200 3) Skript 'Lineare Algebra' von Martin H. Gutknecht, Stand HS 2009, Ausgabe für den Studiengang Informatik an der ETH Zürich Spezielle Quellnachweise ) Mündliche Erklärung sowie Tafelbild der Übungsstunde zur Veranstaltung 'Lineare Algebra' des D_INFK an der ETH Zürich HS 2009, gehalten von Holger Brandsmeier (Einige Übungsbeispiele, welche Fehler enthalten haben wurden ohne weiteren Hinweis korrigiert) 4