Beispiel zur Lösung eines Gleichungssystems : 6 y + z = x + 3 y 3 z = x 3 y =

Transkript

1 Beispiel zur Lösung eines Gleichungssystems : 6 y + z = x + 3 y 3 z = x 3 y = z2 /3 z : 3 2 x 3 y = x + y z = y + z = z2 + 2 z 2 x 3 y = y z = y + z = z3 + z2 2 x 3 y = y z = y = z2 : 3 2 x 3 y = y = y z = z + 3 z2 z3 + 5 z2 2 x = y = z = z /2 z3 x = 0 0 y = z = Lineare Gleichungssysteme LA3

2 Elementare Zeilentransformationen : (i) Multiplikation einer Zeile mit einer Zahl ungleich Null (ii) Addition eines Vielfachen einer Zeile zu einer anderen Zeile (iii) Vertauschen zweier Zeilen Analog : Elementare Spaltentransformationen Bei elementaren Zeilentransformationen ändern sich die Lösungen eines Gleichungssystems nicht! Achtung beim Durchführen mehrerer Schritte auf einmal : Nie eine eigentlich schon geänderte Zeile zu weiteren Operationen benutzen! Lineare Gleichungssysteme LA3 2

3 Weitere Beispiele Gleichungssystem : z 3 u = 0 x + 2 y + z + 2 u = 2 x 4 y + 2 u = 2 Gleichungssystem 2 : z 3 u = x + 2 y + z + 2 u = 3 2 x 4 y + 2 u = 3 Vereinfacht : Lineare Gleichungssysteme LA3 3

4 z : z3 + 2 z z z3 2 z z z Lineare Gleichungssysteme LA3 4

5 Staffelform! Gleichungssystem 2 impliziert : 0 x + 0 y + 0 z + 0 u = keine Lösungen Gleichungssystem : x = 2 y + u z = 3 u zweidimensionale Lösungsmenge Lineare Gleichungssysteme LA3 5

6 Herstellbarkeit der Staffelform Relevant ist nur Koeffizientenmatrix rechte Seite wird mitgeschleppt Schreibweise : # : Zahl 0 : Irgendwas Beispiel : Zahl 0 in erster Spalte : * # * * > # * * > * * > 0 * Allgemein : * 0 * > # * 0 0 * = 0 0 * 0 * Weiter mit Prinzip der Puppe in der Puppe! Endergebnis etwa :!!! * * 0 r * Staffelform Lineare Gleichungssysteme LA3 6

7 Staffelform :!!! * * 0 r * Letzte Verschönerung : Zahlen oberhalb der Einsen zu Nullen machen!!!! * * * r * Schöne Staffelform Anzahl der Einserspalten (!) : r Anzahl der von Null verschiedenen Zeilen : auch r? Frage : Kommt immer das gleiche r heraus? Lineare Gleichungssysteme LA3 7

8 Lösbarkeit von Gleichungssystemen Kriterium : Keine Zahlen ungleich Null unterhalb der r-ten Zeile in der mittransformierten rechten Seite Bei Lösbarkeit : Für jede Vorgabe von Werten für die Unbekannten der Nicht-Einser-Spalten genau eine Gesamtlösung Ist m die Anzahl der Unbekannten, so gilt bei Lösbarkeit : m > r Lösungsmenge ist (m r)-dimensional m = r Genau eine Lösung Spezialfall : Rechte Seite Null : Homogene Gleichungssysteme ( Gegensatz : Inhomogene Systeme ) Die Nulllösung eines homogenen Gleichungssystems heißt auch die triviale Lösung Ein homogenes lineares Gleichungssystem mit mehr Unbekannten als Gleichungen besitzt stets nichttriviale Lösungen Lineare Gleichungssysteme LA3 8

9 Vektoren Beispiele : (, 2, ) 3-Vektor mit den Komponenten, 2 und (Zeilenvektor) ( 2-Vektor mit den Komponenten 2, 4 (Spaltenvektor) 2 4 ) Schreibweise auch : ( 2, 4 ) Transponieren Normalfall : Spaltenvektoren Gesamtheit der n-vektoren : R n 2 Elementare Vektorrechnung LA3 9

10 Operationen Addition ( Vektoren gleicher Größe ) : komponentenweise Beispiel : = 2 3 Skalarmultiplikation ( Skalare : Zahlen ) Beispiel : ( 2) 2 3 = Subtraktion : Komponentenweise bzw Addition des ( )-fachen Beispiel : Nullvektoren : Schreibweise : a = ( a,, a n ) = Für a = ( 3, 2, 4 ) ist a = 3, a 2 = 2 und a 3 = Elementare Vektorrechnung LA3 0

11 Geometrische Veranschaulichung Addition : ( 2 ) + ( 2 ) = ( 3 3 ) 2 3 Skalarmultiplikation : ( 2) ( 5 ) = ( 2 3 ) 2 Elementare Vektorrechnung LA3

12 Addition und Subtraktion Addition : a + b b a Subtraktion : b a b a 2 Elementare Vektorrechnung LA3 2

13 Axiome Schreibweise : Vektoren fett ( a ) Skalare (Zahlen) normal ( a ) (i) (a + b) + c = a + (b + c) für alle a, b, c (Assoziativität) (ii) a + b = b + a für alle a, b (Kommutativität) (iii) a + 0 = a für alle a (iv) Zu jedem a gibt es ein Inverses b mit a + b = 0 (v) a (a + b) = a a + a b (vi) (a + b) a = a a + b a für alle a, a, b für alle a, b, a (vii) (ab) a = a (b a) für alle a, b, a (viii) a = a für alle a Das Inverse von a ist ( ) a, kurz a 2 Elementare Vektorrechnung LA3 3

14 Linearkombinationen Summen c i a i bezeichnet man auch als Linearkombinationen ( der Vektoren a i mit Koeffizienten c i ) Beispiel : Gegeben sind a = a 2 = 2 0 a 3 = und c = c 2 = c 3 = 2 Linearkombination : ci a i = ( ) = Elementare Vektorrechnung LA3 4

15 Längen und Abstände in Vektorräumen Generelle Voraussetzung ( bei Norm und Skalarprodukt ) Koordinatenachsen stehen senkrecht aufeinander und besitzen gleich lange Einheiten Berechnung der Länge eines Vektors mit iteriertem Pythagoras : X 3 X 2 l x x 2 x X x 3 Mit Pythagoras : l 2 = x 2 + x 2 2 Nochmal Pythagoras liefert als quadrierte Länge von x l 2 + x 2 3 = x 2 + x x 2 3 Beispiel : x = ( 3,, 2 ) Länge von x ist = 4 2 Elementare Vektorrechnung LA3 5

16 Die Länge x eines n-vektors x = (x,, x n ) ist x = n x 2 i i= Statt Länge auch : (euklidische) Norm x = 0 genau dann, wenn x = 0 ax = a x Der Abstand von zwei Punkten x und y ist die Länge des Verbindungsvektors, also y x Beispiel : Die Punkte (6, ) und (2, 4) haben den Abstand = Bezeichnung : euklidischer Abstand 2 Elementare Vektorrechnung LA3 6

17 Skalarprodukt Das Skalarprodukt zweier n-vektoren x und y ist <x, y > : = n x i y i i= Beispiel : Das Skalarprodukt von (, 2, 0 ) und ( 2, 3, 5 ) ist ( 3) = 4 Eigenschaften: <x, y > = <y, x> <x + x 2, y > = <x, y > + <x 2, y > <a x, y > = a <x, y > <x, y + y 2 > = <x, y > + <x, y 2 > <x, b y > = b <x, y > < J a j x j, K b k y k > = J K a j b k <x j, y k > j= k= j= k= <x, x> = x 2 Vergleiche die Rechenregeln für Varianzen/Kovarianzen! 2 Elementare Vektorrechnung LA3 7

18 Sinus und Kosinus y sin(α) α cos(α) x Wegen Pythagoras : cos 2 (α) + sin 2 (α) = sin(α) α cos(α) α ( Lokale ) Umkehrfunktionen : arcsin und arccos 2 Elementare Vektorrechnung LA3 8

19 Nützlich: cos(0 ) = cos(60 ) = 5 cos(90 ) = 0 cos(80 ) = cos( α) = cos(α) cos(80 α) = cos(α) Kosinus ist positiv für spitze Winkel, negativ für stumpfe Geometrische Interpretation des Skalarprodukts In der Situation α y y x x gilt <x, y > = x y cos(α) 2 Elementare Vektorrechnung LA3 9

20 Es gilt : <x, y > = x y cos(α) Folgerung : ( wegen cos(α) ) <x, y > x y Bei x, y 0 : Gleichheit genau dann, wenn cos(α) = ± also : für α = 0 bzw α = 80 oder : wenn ein Vektor ein Vielfaches des anderen ist Den Winkel zwischen zwei Vektoren x, y 0 erhält man mit als cos(α) = <x, y > x y α = arccos ( ) <x, y > x y 2 Elementare Vektorrechnung LA3 20

21 Orthogonalität Zwei Vektoren x und y mit < x, y > = 0 heißen auch orthogonal oder senkrecht Abkürzung : x y Für x, y 0 heißt das : cos α = 0, also α = 90 Für x y gilt der Satz des Pythagoras : x + y 2 = x 2 + y 2 x x + y y Ein x ist genau dann senkrecht zu allen y,, y m, wenn senkrecht zu allen Linearkombinationen von y,, y m ist x <x, a j y j > = a j <x, y j > = a j 0 = 0 2 Elementare Vektorrechnung LA3 2

22 Matrizen Beispiele : Eine (2 3)-Matrix und eine (3 2)-Matrix : ( ) Element in der i-ten Zeile und j-ten Spalte : (i, j)-element Regel : Zeile - Spalte Bezeichnung : A = (a ij ) A(2 3) ausführlich : ( a a 2 a 3 a 2 a 22 a 23 ) Nullmatrix : 0 Matrizen mit gleich vielen Zeilen und Spalten : quadratisch 3 Elementare Matrizenrechnung LA3 22

23 Operationen Addition von Matrizen gleicher Größe ( elementweise ) = Skalarmultiplikation 3 ( ) = ( ) Die Matrizen fester Größe bilden einen Vektorraum Ein n-zeilenvektor ist auch ( n)-matrix Zahlen sind ( )-Matrizen 3 Elementare Matrizenrechnung LA3 23

24 Transposition Für eine (n m)-matrix A ist die Transponierte A diejenige (m n)-matrix, deren (i, j)-element gleich dem (j, i)-element von A ist Beispiel : ( ) = Rechenregeln : (A + B) = A + B (ca) = c(a ) A = A Eine quadratische Matrix A mit A = A heißt symmetrisch Beispiel : Elementare Matrizenrechnung LA3 24

25 Matrix mal Vektor Gegeben : A = (a ij ) : (p q)-matrix x = ( x,, x q ) : q-spaltenvektor Ax : p-spaltenvektor mit i-ter Komponente q j= a ij x j Spaltenzahl der Matrix = Komponentenzahl des Vektors Ergebnisvektor hat soviele Komponenten wie die Matrix Zeilen Beispiel : ( ) = = = i-te Komponente von Ax : i-te Zeile von A mal x 3 Elementare Matrizenrechnung LA3 25

26 Zeile mal Vektor : Vektor nach links kippen übereinanderliegende Zahlen multiplizieren aufsummieren Zweite Ergebniskomponente des Beispiels : (3 4) ( 7 8 ) > > + > > = 53 Gesamtrechnung : ( 7 8 ) > > + > > = Zusammenhang mit Skalarprodukt : x y = <x, y > 3 Elementare Matrizenrechnung LA3 26

27 Matrix mal Vektor als Linearkombination Weitere Beschreibung für die Operation Ax : Spalten von A mal entsprechende Komponenten von x Aufaddieren Im Beispiel : ( 7 8 ) = = = Anders ausgedrückt : Linearkombination der Spalten der Matrix mit Komponenten des Vektors als Koeffizienten 3 Elementare Matrizenrechnung LA3 27

28 Matrizenmultiplikation Gegeben : A = ( a ik ) : ( p q )-Matrix B = ( b kj ) : ( q r )-Matrix Produkt von A und B : C = AB : ( p r )-Matrix mit (i, j)-element c ij = q k= a ik b kj Größen müssen passen : ( p q ) ( q r ) ( p r ) Beispiel : ( (4 2) (2 3) (4 3) ) Größen passen Ergebnis ist (4 3)-Matrix 3 Elementare Matrizenrechnung LA3 28

29 (i, j)-element von C = AB : q c ij = a ik b kj k= i-te Zeile von A mal j-te Spalte von B Beispiel : ( ) = = c ij auch interpretierbar als Skalarprodukt AB : Skalarprodukte der Zeilen von A und der Spalten von B Matrix mal Vektor ist Spezialfall der Matrizenmultiplikation : Spaltenvektor als einspaltige Matrix auffassen! 3 Elementare Matrizenrechnung LA3 29

30 Merkhilfen Ax : x nach links über A kippen, multiplizieren, aufaddieren Ax : Skalarprodukte der Zeilen von A mit x Ax : Linearkombination der Spalten von A, Koeffizienten in x AB : (i, j)-element : i-te Zeile von A mal j-te Spalte von B AB : Skalarprodukte der Zeilen von A mit den Spalten von B AB : Spalten sind Produkte von A mit den Spalten von B Beispiel : Die Spalten von ( ) = ( ) Spalte 2 Spalte ( ( ) 3 5 ) = = ( ( ) ) 3 Elementare Matrizenrechnung LA3 30

31 Diagonalmatrizen Eine Diagonalmatrix ist eine quadratische Matrix, bei der höchstens die Diagonalelemente ungleich Null sind Beispiel : Produkt AD einer Matrix A mit einer Diagonalmatrix D : Spalten von A mal entsprechende Diagonalelemente von D ( ) = ( ) Analog : Produkt DA einer Diagonalmatrix D mit Matrix A Zeilen von A mal entsprechende Diagonalelemente von D Beispiel : ( Hingegen : ( ) ( ) ( ) ) = = ( ( ) )! Die Matrizenmultiplikation ist also nicht kommutativ! 3 Elementare Matrizenrechnung LA3 3

32 Einheitsmatrizen Einheitsmatrizen : Diagonalmatrizen mit Einsen in Diagonale Bezeichnung : I, genauer I q ( ( q q )-Einheitsmatrix ) Beispiele : I 2 = ( ) 0 0 I 3 = Für A ( p q ) gilt I p A = A = AI q Einheitsmatrizen : Matrizeneinsen Multiplikation und Transposition Für A ( p q ) und B ( q r ) gilt : (AB) = B A 3 Elementare Matrizenrechnung LA3 32

33 Matrizen und Gleichungssysteme Beispiel : A = ( ) x = x x 2 x 3 b = ( ) Ausschreiben der Gleichung Ax = b Ergebnis: x + 2 x x 3 = 4 x + 5 x x 3 = Kurzschreibweise für lineare Gleichungssysteme 3 Elementare Matrizenrechnung LA3 33

34 Aufgabe :? Ist b Linearkombination von a,, a m?? Falls ja : Welches sind die Koeffizienten? Gesuchte Koeffizienten x i Vektor x = ( x,, x m ) Vektoren a i Spalten der Matrix A = ( a,, a m ) Übersetzung des Problems : Ax = b Also : Gleichungssystem lösen Interpretation homogener Gleichungssysteme Gegeben : homogenes Gleichungssystem Ax = 0 Interpretation: Lösungen sind die x, die senkrecht sind zu den Zeilen von A? Finde die Vektoren x, die senkrecht sind zu a,, a n Bilde A aus den a i als Zeilen Löse Ax = 0 3 Elementare Matrizenrechnung LA3 34

35 Gesetze der Matrizenmultiplikation! Voraussetzung : Alle Matrizen haben passende Größen Assoziativität : (AB) C = A (BC) (i, j)-element von ABC : i-te Zeile von A B j-te Spalte von C Distributivgesetze : A (B + C) = AB + AC (A + B) C = AC + BC Ausmultiplizieren ist möglich Beispiel : (A+B)(C+D) = A(C+D)+B(C+D) = AC+AD+BC+BD Zusammenhang von Matrizen- und Skalarmultiplikation : c (AB) = (ca) B = A (cb) Unter den quadratischen (n n)-matrizen ist die Matrizenmultiplikation ohne Einschränkung ausführbar Vektorraum zusätzlicher Multiplikation Algebra Besonderheit : Einselement ( I ), Transponieren Abkürzung bei quadratischen Matrizen : A 2 für AA etc 3 Elementare Matrizenrechnung LA3 35

36 Die Spur Für A ( n n ) ist die Spur von A ( Abkürzung : Spur(A) ) die Summe der Diagonalelemente Spur(A) = a ii Beispiel : A = ( ) Spur(A) = = 7 Die Spur einer ( )-Matrix (a) ist a Für A ( n m ) und B ( m n ) gilt Spur(AB) = Spur(BA) Begründung : Beide Spuren sind gleich a ij b ji i j 3 Elementare Matrizenrechnung LA3 36

37 Eigenschaften der Spur : Spur(A + B) = Spur(A) + Spur(B) Spur(a A) = a Spur(A) Die Spur ist linear Die Summe der quadrierten Elemente von A ist Spur(AA ) = Spur(A A) Spur(AA ) = Spur(A A) : mögliche Matrizennorm A A : Matrix der Skalarprodukte der Spalten von A AA : Matrix der Skalarprodukte der Zeilen von A Diagonalen : quadrierte Normen 3 Elementare Matrizenrechnung LA3 37

38 Partitionierte Matrizen Manchmal ist es sinnvoll, Matrizen in Teile zu zerlegen Man spricht dann von partitionierten Matrizen Beispiel : A = Mögliche Zerlegung: ( ) 2 3 B = ( ) und C = ( ) Notation : A = (B, C) oder A = (B C) oder A = ( ) B C Beispiel : Mögliche Zerlegung : B = A = ( ) und C = Notation : A = ( ) B C 3 Elementare Matrizenrechnung LA3 38

39 Komplizierteres Beispiel : A = Mögliche Zerlegung : ( ) 2 3 A = ( ) 4 5 A 2 = A 2 = A 22 = Notation : A = ( ) A A 2 A 2 A 22 Regeln Bei gleicher Zerlegung von zwei Matrizen kann blockweise addiert werden Entsprechend wird blockweise mit einer Zahl multipliziert Für das Transponieren gilt beispielsweise ( ) (B, C) B = C 3 Elementare Matrizenrechnung LA3 39

40 Regeln für die Multiplikation Passende Größen vorausgesetzt gilt A(B, C) = (AB, AC) und ( ) A B C = ( ) AC BC? Was ist ( ) ( ) C A B D Voraussetzung : Spaltenzahl von A ist Zeilenzahl von C, entsprechend für B und D ( passende Partitionierungen ) Elementarfall Zeile mal Spalte : 6 7 ( ) = ( ) + ( ) 9 0 Ergebnis: ( ) ( ) ( ) Entsprechende Teile multiplizieren und Ergebnisse aufaddieren 3 Elementare Matrizenrechnung LA3 40

41 Regel ( bei passenden Größen ) : ( ) ( ) C A B = AC + BD D Formales Rechnen, als wären die Matrizen Zahlen Kombination der Regeln ( Größen passend ) : ( ) ( ) ( ) A A 2 B B 2 A B + A 2 B 2 A B 2 + A 2 B 22 = A 2 A 22 B 2 B 22 A 2 B + A 22 B 2 A 2 B 2 + A 22 B 22 Rechnen mit Matrizenmatrizen wie mit Zahlenmatrizen Zerlegung von Vektoren Notation : x = (x, x 2) oder x = ( ) x x 2 Nachlässig auch x = (x, x 2 ) Bei passenden Größen : ( ) ( ) x A B y = Ax + By <(x, x 2 ), (y, y 2 )> = <x, y > + <x 2, y 2 > (x, x 2 ) 2 = x 2 + x Elementare Matrizenrechnung LA3 4

42 Lineare Unabhängigkeit, lineare Abhängigkeit Ein System von Vektoren a,, a m heißt linear abhängig, falls sich 0 als nichttriviale Linearkombination dieser Vektoren darstellen lässt Ist dies nicht möglich, so heißt das System linear unabhängig Nichttrivial : Mindestens ein Koeffizient 0 Abkürzungen : la und lu Nachlässige Sprechweise auch : Die Vektoren sind lu bzw la Beispiele : Die Vektoren sind la : = Der Rang LA3 42

43 Weitere Beispiele Die Vektoren sind la : ( ) = ist la, da 0 = 0 Ein leeres Vektorsystem ( gar kein Vektor ) gilt als lu Im R n sind die Einheitsvektoren e = 0 0 e 2 = 0 0 e n = 0 0 lu wegen c i e i = (c,, c n ) 4 Der Rang LA3 43

44 Lineare Unabhängigkeit und Orthogonalität Sind x,, x k alle 0 und paarweise orthogonal, so sind sie auch linear unabhängig Umkehrung gilt nicht : Aus linearer Unabhängigkeit folgt keineswegs paarweise Orthogonalität : y x! Orthogonalität lineare Unabhängigkeit! 4 Der Rang LA3 44

45 Umformulierung Vektoren a,, a m ( m > ) sind genau dann la, wenn einer der Vektoren Linearkombination der übrigen ist Ist zb mit c 0, so c a + c 2 a c m a m = 0 a = (c 2 /c )a 2 (c m /c )a m Umkehrung : Ist zb a = b 2 a b m a m, so ist 0 = ( )a + b 2 a b m a m nichttrivial 4 Der Rang LA3 45

46 Untersuchung auf lineare Unabhängigkeit? Problem : Sind a,, a m lu oder la? Lösung : Schreibe c i a i = 0 in Matrixform als Ac = 0 mit A = (a,, a m ) und c = (c,, c m ) Untersuche, ob Ac = 0 nichttriviale Lösungen c hat Beispiel : Sind die folgenden Vektoren lu oder la? Matrix : Staffelform : Nichttriviale Lösung : beispielsweise ( 2, 3, 0,, 0) Die Vektoren sind la 4 Der Rang LA3 46

47 ? Lineare Unabhängigkeit oder Abhängigkeit von Teilsystemen? Ist eine bestimmte Teilmenge von a,, a m la oder lu? Elementare Zeilentransformationen ändern nichts an der linearen Abhängigkeit oder Unabhängigkeit der Spalten einer Matrix oder einer Teilmenge der Spalten Beispiel : Staffelform im letzten Beispiel : Die ersten drei Spalten sind lu Also auch die ersten drei Originalvektoren Die letzten drei Spalten sind la Also auch die letzten drei Originalvektoren 4 Der Rang LA3 47

48 Welche Teilsysteme der Beispielvektoren sind lu, welche la? Staffelform : Mehr als n Vektoren im R n sind stets linear abhängig Das entsprechende homogene Gleichunssystem hat nichttriviale Lösungen 4 Der Rang LA3 48

49 Der Rang eines Vektorsystems Die Maximalzahl linear unabhängiger Vektoren eines Vektorsystems heißt auch der Rang des Systems Der Rang der Vektoren des letzten Beispiels ist 3 Der Rang eines Systems von Vektoren des R n ist höchstens n Bestimmung des Rangs Der Rang der Spalten einer Matrix ändert sich nicht bei elementaren Zeilentransformationen Der Rang der Spalten einer Matrix ist gleich der Anzahl r der Zeilen, die in der Staffelform nicht Null sind Die Zahl r ist also eindeutig bestimmt? Problem : Welchen Rang hat ein gegebenes Vektorsystem? Lösung : Staffelform Im Beispiel ist der Rang 3 : Der Rang LA3 49

50 Rang einer Matrix Der Rang der Spaltenvektoren einer Matrix heißt Spaltenrang Der Rang der Zeilenvektoren einer Matrix heißt Zeilenrang Zeilenrang = Spaltenrang Der Zeilenrang = Spaltenrang von A heißt Rang von A Abkürzung : Rang(A) Rang(A) = Rang(A ) Elementare Spaltentransformationen : Analog zu elementaren Zeilentransformationen Der Rang einer Matrix ändert sich weder bei elementaren Zeilen- noch bei elementaren Spaltentransformationen Gegeben : A(n m) Das homogene lineare Gleichungssystem Ax = 0 hat nichttriviale Lösungen genau im Fall Rang(A) < m ( Rang ist kleiner als Zahl der Unbekannten ) ( ) Rang(AB) minimum Rang(A), Rang(B) 4 Der Rang LA3 50

51 Positiv semidefinite und positiv definite Matrizen Eine symmetrische Matrix K heißt positiv semidefinit, falls x Kx 0 für alle x Eine symmetrische Matrix K heißt positiv definit, falls x Kx > 0 für alle x 0 Beispiel : Mit x = (x, x 2 ) : ( ) K = x Kx = x 2 x x 2 x 2 x + x 2 2 = (x x 2 ) 2 0 K ist positiv semidefinit K ist nicht positiv definit: x = (, ) Gegeben : Diagonalmatrix D Alle Diagonalelemente 0 D ist positiv semidefinit Alle Diagonalelemente > 0 D ist positiv definit x Dx = ) (x x p d x = d i x 2 i d p x p 5 Positiv semidefinite Matrizen LA3 5

52 Eigenschaften Einheitsmatrizen sind positiv definit Gegeben : K(p p) positiv semidefinit und A(q p) Dann ist AKA positiv semidefinit x (AKA )x = (x A)K(A x) = (A x) K(A x) 0 Beispiel : AA ist positiv semidefinit Ist K positiv definit, so gilt Rang(AKA ) = Rang(A) Für jedes A gilt Rang(AA ) = Rang(A A) = Rang(A) Ist K symmetrisch, so gilt für alle x, y die Beziehung x Ky = y Kx x Ky = (x Ky) = y K x = y Kx 5 Positiv semidefinite Matrizen LA3 52

53 Zerlegung positiv semidefiniter Matrizen Beispiel : Für K = gilt K = BB mit B = 0 0 Jede positiv semidefinite (p p)-matrix K 0 vom Rang q lässt sich schreiben als K = BB mit einer geeigneten (p q)-matrix B Eine positiv semidefinite (p p)-matrix K ist genau dann positiv definit, wenn sie den Rang p besitzt 5 Positiv semidefinite Matrizen LA3 53

54 Matrixinversion Voraussetzung : Alle Matrizen sind quadratisch, (n n) Erinnerung : Der Kehrwert einer Zahl a ist /a = a Eigenschaft des Kehrwerts x von a : a x = Ziel : Verallgemeinerung auf quadratische Matrizen Beispiel : Gegeben : A = ( )? Gesucht : X mit AX = I? Gibt es überhaupt ein derartiges X? 6 Matrixinversion LA3 54

55 Beispiel : Gegeben : A = ( )? Gesucht : X mit AX = I AX = I ausgeschrieben : ( ) ( x x 2 x 2 x 22 ) = ( 0 0 ) Spaltenweise lesen! 2 Gleichungssysteme mit je 2 Gleichungen und 2 Unbekannten Simultan lösen! Staffelform : Lösung : X = ( ) Entscheidend für Lösbarkeit : Der Rang von A war 2 6 Matrixinversion LA3 55

56 Invertierbarkeit von Matrizen Gesucht : Kehrwert von A(n n) Fallunterscheidung : Erster Fall : Rang(A) = n Es gibt eine (n n)-matrix X mit AX = I und XA = I X ist durch jede der Gleichungen eindeutig bestimmt Die Lösung X heißt Inverse von A Abkürzung : A Zweiter Fall : Rang(A) < n Weder AX = I noch YA = I ist lösbar (n n)-matrizen vom Rang n heißen invertierbar oder regulär Nicht invertierbare Matrizen heißen auch singulär Gilt die Gleichung AB = I, so sind A und B invertierbar und invers zueinander 6 Matrixinversion LA3 56

57 Regeln I ist invertierbar; I = I II = I A invertierbar A invertierbar ; (A ) = A A invertierbar A invertierbar ; (A ) = (A ) Die Inverse einer symmetrischen Matrix ist symmetrisch A und B invertierbar AB invertierbar ; (AB) = B A A invertierbar, a 0 aa invertierbar ; (aa) = (/a)a Eine Diagonalmatrix D ist genau dann invertierbar, wenn alle Diagonalelemente 0 sind Inverse : Diagonalmatrix der Kehrwerte Beispiel : = Matrixinversion LA3 57

58 Invertieren von (2 2)-Matrizen : A = ( ) a b c d A ist invertierbar ad bc 0 A = ad bc ( d c ) b a Diagonalelemente vertauschen Die anderen Elemente mit ( ) multiplizieren Durch (ad bc) teilen (ad bc) heißt auch Determinante Ist A(n n) invertierbar und B(n m), so gilt Rang(AB) = Rang(B) Entsprechend : C invertierbar Rang(BC) = Rang(B) 6 Matrixinversion LA3 58

59 Anwendung auf lineare Gleichungssysteme Ist A(n n) invertierbar, b beliebig, so hat Ax = b genau eine Lösung : x = A b Aus Ax = b folgt A b = A (Ax) = (A A)x = Ix = x Also : Höchstens eine Lösung x = A b A b ist tatsächlich Lösung : A(A b) = (AA )b = Ib = b 6 Matrixinversion LA3 59

60 Lineare Unterräume Eine nichtleere Teilmenge U eines Vektorraums heißt (linearer) Unterraum, falls die folgenden Bedingungen gelten : (i) x U, a R ax U (ii) x, x 2 U x + x 2 U Mit x,, x m liegt auch jede Linearkombination a i x i in U U ist abgeschlossen beim Bilden von Linearkombinationen Jeder Unterraum enthält 0 Beispiele von Unterräumen Trivial: Nullraum {0} R n selber Geraden im R 2 oder R 3, die den Nullpunkt enthalten Ebenen im R 3, die den Nullpunkt enthalten Erzeugnis Sind Vektoren y,, y m im R n gegeben, so bildet die Menge aller Linearkombinationen dieser Vektoren einen Unterraum, das Erzeugnis der Vektoren y,, y m Begründung : x = b i y i ax = a b i y i = (ab i )y i x = b i y i, x 2 = c i y i x + x 2 = (b i + c i )y i 7 Unterräume LA3 60

61 Ein Vektor y 0 erzeugt die Gerade durch den Nullpunkt, die aus allen seinen Vielfachen besteht : X 2 y X Zwei Vektoren y und y 2, die nicht auf einer Geraden liegen, erzeugen eine Ebene : X 3 X 2 y 2 y X 7 Unterräume LA3 6

62 Lösungsraum eines homogenen Gleichungssystems Ist A eine (n m)-matrix, so bilden alle m-vektoren x mit einen Unterraum des R m Ax = 0 Beispiel : x 2x 2 = 0 ( ) A = 2 Eine Gleichung, zwei Unbekannte x 2 = 5x X 2 x 2 = 5x X Der Lösungsraum besteht aus den Vektoren, die senkrecht zu allen Zeilenvektoren von A sind 7 Unterräume LA3 62

63 Dimension? Wieviele linear unabhängige Vektoren passen in einen gegebenen Unterraum? Die Maximalzahl linear unabhängiger Vektoren eines Unterraums U heißt Dimension von U, abgekürzt dim(u) Mehr als n Vektoren sind im R n linear abhängig, daher ist die Dimension eines Unterraums des R n höchstens n Beispiele Der R n hat Dimension n ( Einheitsvektoren ) Die Dimension des Nullraums {0} ist 0 Geraden haben Dimension Ebenen haben Dimension 2 Es seien U und V Unterräume des R n mit U V Dann : dim(u) dim(v ) Falls dim(u) = dim(v ) so U = V 7 Unterräume LA3 63

64 Maximale linear unabhängige Teilsysteme Ein System von Vektoren x,, x m eines Unterraums U heißt maximales linear unabhängiges Teilsystem von U, wenn die Vektoren x,, x m linear unabhängig sind und die lineare Unabhängigkeit verloren geht, wenn ein weiterer Vektor aus U hinzugefügt wird Sind x,, x k ein maximales linear unabhängiges Teilsystem von U, so ist jedes x U Linearkombination der x i Die Darstellung x = a i x i ist eindeutig Darstellbarkeit : x,, x k, x ist linear abhängig Also ist x Linearkombination von x,, x k Eindeutigkeit : Es gelte x = a i x i und x = b i x i 0 = x x = (a i b i )x i (a i b i ) = 0 wegen der linearen Unabhängigkeit der x i Ein linear unabhängiges Teilsystem eines Unterraums der Dimension m ist genau dann maximal, wenn es m Elemente besitzt Ermittlung der Dimension eines Unterraums : Finde maximales linear unabhängiges Teilsystem Zähle die Elemente 7 Unterräume LA3 64

65 Basen Ein System x,, x k von Vektoren eines Unterraums U heißt Basis von U, wenn sich jeder Vektor aus U eindeutig als Linearkombination der x i darstellen lässt Jedes maximale linear unabhängige Teilsystem eines Unterraums U ist eine Basis und umgekehrt Ein Unterraum mit Dimension hat viele Basen Hat U die Dimension m, so ist jedes System von m linear unabhängigen Vektoren eine Basis Ist U das Erzeugnis von m linear unabhängigen Vektoren, so bilden diese eine Basis und es gilt dim(u) = m Jede Teilmenge von linear unabhängigen Vektoren eines Unterraums lässt sich zu einer Basis ergänzen Typische Anwendung : Für U V mit dim(u) = m findet man eine Basis von V, deren erste m Elemente Basis von U sind 7 Unterräume LA3 65

66 Beispiele von Basen Basis von {0} ist die leere Menge Die n Einheitsvektoren e,, e n (Standardbasis) Darstellung : x = (x,, x n ) bilden eine Basis des R n = x i e i Hier: Komponenten = Koeffizienten der Darstellung Die Standardbasis ist nur eine von unendlich vielen Basen Basis einer Geraden : Jeder Vektor 0 Basis einer Ebene : Zwei beliebige Vektoren, die nicht auf einer Geraden liegen 7 Unterräume LA3 66

67 Basis eines Erzeugnisses Die Dimension des Erzeugnisses U eines endlichen Systems von Vektoren ist gleich dem Rang r des Systems? Wie findet man eine Basis? Möglichkeit : Maximales linear unabhängiges Teilsystem über Staffelform Möglichkeit 2 Elementare Spaltentransformationen solange, bis man maximales linear unabhängiges Teilsystem erkennt Rechtfertigung : Bei elementaren Spaltentransformationen ändert sich das Erzeugnis der Spaltenvektoren einer Matrix nicht Beispiel für Möglichkeit : Gesucht : Basis des Erzeugnisses der Spalten Staffelform : Dimension : 2, Basen sind beispielsweise 3 6 2, oder 4, Unterräume LA3 67

68 Beispiel Möglichkeit 2 : Gleiche Ausgangssituation : Mit elementaren Spaltentransformationen : Die ersten beiden Vektoren bilden eine Basis Vorteil dieser Basis : Man stellt leicht fest, ob ein Vektor zum Unterraum gehört welches die Koeffizienten bezüglich der Basis sind Beispiel: Gegeben sind 2 4 und 2 7 Der erste Vektor gehört nicht zum Unterraum Der zweite Vektor hat Koeffizienten, 2 7 Unterräume LA3 68

69 Basis des Lösungsraums eines Gleichungssystems Die Matrix A(n m) besitze den Rang r Ist U der Unterraum der Lösungen des homogenen linearen Gleichungssystems Ax = 0, so ist die Dimension von U gleich m r m r : Zahl der Unbekannten Rang Schöne Staffelform mit r Einserspalten (!), die sonst nur Nullen enthalten :!!! * * * r * Für die m r =: k weiteren Spalten kann man die Unbekannten beliebig vorgeben und in eindeutiger Weise zu einer Lösung ergänzen Bilde für jedes i =,, k die Lösung b i mit b i ist in der i-ten weiteren Spalte b i ist 0 in den anderen weiteren Spalten b,, b k ist dann Basis des Lösungsraums 7 Unterräume LA3 69

70 Beispiel : Koeffizientenmatrix : Schöne Staffelform : Basis : b = ( 2,, 0, 0), b 2 = ( 4, 0,, ) Die eindeutig bestimmte Lösung, die an zweiter Stelle den Wert a und an vierter Stelle den Wert a 2 besitzt, ist a b + a 2 b 2 Die Lösung mit an zweiter Stelle und 2 an vierter Stelle ist ( 2) 0 = Orthogonalbasen Orthogonalbasen sind Basen aus paarweise orthogonalen Vektoren Orthonormalbasen sind Orthogonalbasen aus Vektoren der Länge 7 Unterräume LA3 70

71 Orthogonalmachen Elementarschritt bei der Herstellung von Orthogonalbasen : Mache y zu x orthogonal durch Addition eines geeigneten c x Es soll also gelten z := (y + c x) x y z x? c =? Forderung : < y + c x, x > = 0 <y, x> + c <x, x> = 0 Lösung: <y, x> c = <x, x> z = y + c x = y <y, x> <x, x> x Beispiel für Orthogonalmachen aus der Statistik : Orthogonalmachen eines Datenvektors y zu x = liefert ẏ 7 Unterräume LA3 7

72 Verfahren zur Herstellung von Orthonormalbasen Gegeben ist Basis y,, y m eines Unterraums V Aufgabe: Stelle daraus eine Orthogonalbasis x,, x m her! Lösung: Schrittweises Orthogonalmachen x = y Mache y 2 zu x orthogonal x 2 Mache y k orthogonal zu x,, x k (schon orthogonal) x k Mache y m orthogonal zu x,, x m (schon orthogonal) x m Letzter Schritt : Alle x i durch x i dividieren Ergebnis : Orthonormalbasis Das Verfahren heißt Gram-Schmidt-Orthonormalisierung Erzeugnisse von y, y j und x x j sind gleich für alle j x j y, y j 7 Unterräume LA3 72

73 Jedes Teilsystem eines Unterraums, das aus paarweise orthogonalen Vektoren 0 besteht, lässt sich zu einer Orthogonalbasis ergänzen Haben die Ausgangsvektoren alle Länge, so gelingt die Ergänzung zu einer Orthonormalbasis Jeder Unterraum besitzt eine Orthonormalbasis Kennzeichnung von orthonormalen Vektoren : Die Spalten von C sind orthonormal genau dann, wenn C C = I Die Spalten von C sind genau dann Orthonormalbasis von U, wenn sie U erzeugen und wenn C C = I gilt Sonderfall R n : Eine (n n)-matrix C mit C C = I heißt Orthogonalmatrix Glücklicher wäre vielleicht Orthonormalmatrix Äquivalent ist die Formulierung C = C : Transponierte = Inverse Die Spalten von C(n n) sind Orthonormalbasis des R n genau dann, wenn C Orthogonalmatrix ist 7 Unterräume LA3 73

74 Drei verwandte Probleme Mache y zu x senkrecht durch Addition eines c x! z c x y Lösung : c = <x, y >/ x 2 x Zerlege y additiv in ein Vielfaches b x von x und ein z x! z y b x x Lösung : b = <x, y >/ x 2 ( = c ) Finde ein Vielfaches von x möglichst nahe an y! y x Lösung : Lotfußpunkt b x mit b = <x, y >/ x 2 ( = c ) 7 Unterräume LA3 74

75 Koordinatensysteme Eine Basis legt ein Koordinatensystem fest : Achsen in Richtung der Basisvektoren Einheiten in den Spitzen der Basisvektoren Beispiel: Eine Basis des R 2 ist x = (, 2), x 2 = (, ) X 2 x x 2 x X Ist x,, x m Basis von U und x U, so gilt x = a i x i mit eindeutigen Koeffizienten a i Die a i heißen Koordinaten bezüglich der Basis x,, x m Der Vektor (a,, a m ) heißt Koordinatenvektor Im Beispiel hat x = (25, ) bezüglich der Basis x, x 2 den Koordinatenvektor (5, 2) ( x = 5 x + 2 x 2 ) Ablesen der Koordinaten entsprechend der Vektoraddition! Im Allgemeinen keine Lote! 7 Unterräume LA3 75

76 Beispiel : Standardbasis Die Komponenten von x sind Koordinaten bezüglich der Standardbasis 2 e e x x = 2 e + e 2 Beispiel: x = (,, ) und x 2 = (2,, 0) sind lu, also Basis der von ihnen erzeugten Ebene im R 3 X 3 X 2 x 2 x x X Die Koordinaten des Vektors x = (5, 5, 2) sind 2 und 5, der Koordinatenvektor ist also ( 2, 5 ) 7 Unterräume LA3 76

77 Ermittlung von Koordinaten? Problem : Ein Unterraum U sei durch eine Basis gegeben Liegt der Vektor x in U? Welches sind seine Koordinaten? Lösung : Übersetzung in ein lineares Gleichungssystem Mehrere Vektoren : Simultane Lösung Beispiel : Basis von U ist b = (,, ), b 2 = (2,, 0)? Liegen x = (4,, 2) und x 2 = (0,, 4) in U?? Koordinaten? x U mit Koordinaten (2, ) x 2 / U 7 Unterräume LA3 77

78 Basiswechsel Situation : U ist ein m-dimensionaler Unterraum des R n die Spalten von B(n m) sind Basis von U Die Matrizen, deren Spalten ebenfalls Basen von U sind, sind genau die Matrizen C = BA mit invertierbarem A(m m) Spalten von A : Koordinatenvektoren der c -Basis bezüglich der b -Basis? Aufgabe:? Sind zwei linear unabhängige Systeme von je m Vektoren Basen desselben Unterraums?? Wie sieht in diesem Fall die Matrix A aus? Lösung : Lineare Gleichungssysteme 7 Unterräume LA3 78

79 Beispiel : B = C = ? Sind B und C spaltenweise Basen desselben Unterraums?? Falls ja, welches ist die Transformationsmatrix? Lösung : Existiert A mit BA = C? Drei Gleichungssysteme : Staffelform : Ergebnis : Beide Systeme sind Basen des gleichen Unterraums Das zugehörige A ist A = Unterräume LA3 79

80 Koordinatentransformationen Situation : B und C = BA sind spaltenweise Basen von U? Wie werden Koordinatenvektoren ineinander umgerechnet? Lösung : Koordinatenvektoren von x U : b und c Also : x = Bb und x = Cc Einsetzen : x = Cc = (BA)c = B(Ac) Also : b = Ac (Eindeutigkeit der Darstellung bezüglich B) Multiplikation mit A : A b = A Ac = c Umrechnungsformeln : b = Ac c = A b Umrechnung von c -Koordinaten in b -Koordinaten mit A : Spalten von A : b -Koordinatenvektoren der c -Basis Umrechnung von b -Koordinaten in c -Koordinaten mit A 7 Unterräume LA3 80

81 Beispiel : B und C sind spaltenweise Basen von U : B = Transformationsmatrix : C = A = 0 0 Inverse Transformationsmatrix : A = /3 2/3 /3 /3 /3 2/3 /3 /3 /3 = Beispiel : x hat bezüglich B die Koordinaten (, 0, )? Welches sind die Koordinaten von x bezüglich C? Antwort : A 0 = = Unterräume LA3 8

82 Spezialfall: Basen des R n Ausgangsbasis : Standardbasis Zweite Basis : Spalten von C ( invertierbar ) Ist x Vektor des R n (in Standardkoordinaten) und ist c Koordinatenvektor von x bezüglich C, so gilt x = Cc und c = C x Standardkoordinaten c -Koordinaten : Mit C Beispiel : Basis des R 2 gegeben durch die Spalten von C : ( ) C = 2 C = 3 ( 2 ) X 2 c c 2 x X? Welches sind die c -Koordinaten von x = ( 25, )? Antwort : C x = ( 5, 2 ) 7 Unterräume LA3 82

83 Rechnen mit Koordinaten Statt: auch: Rechnen mit Originalvektoren aus Unterraum U Rechnen mit Koordinatenvektoren Beispiel : U hat als Basis die Spalten von Gegeben: x = 3 x 2 = Koordinatenvektoren : y = (, ) y 2 = (, ) x x 2 = 3 = Koordinatenvektor : (2, 0) y y 2 = ( ) ( ) = ( ) 2 0 Übereinstimmung! Der Koordinatenvektor einer Linearkombination ist die entsprechende Linearkombination der Koordinatenvektoren 7 Unterräume LA3 83

84 Skalarprodukt mit Koordinaten Voraussetzung : U ist mit Orthonormalbasis versehen Statt : auch : Skalarprodukt von Originalvektoren aus Unterraum U Skalarprodukt der Koordinatenvektoren Beispiel : U hat als Orthonormalbasis die Spalten von Gegeben sind x = x 2 = Koordinatenvektoren : y = (5, ) y 2 = (0, 2) <x, x 2 > = 2 <y, y 2 > = 2 Übereinstimmung! Ein m -dimensionaler Unterraum ist dem R m strukturell gleich (via Koordinaten) 7 Unterräume LA3 84

85 Affine Unterräume Affine Unterräume sind lineare Unterräume, die man parallel verschoben hat : X 2 x U + x U X Ist U ein linearer Unterraum des R n Vektor, so heißt die Menge und x ein beliebiger U + x := {u + x u U} affiner Unterraum U: zugehöriger linearer Unterraum x: Verschiebungsvektor Der zu einem affinen Unterraum gehörende lineare Unterraum U ist eindeutig 7 Unterräume LA3 85

86 Der Verschiebungsvektor ist nicht eindeutig : Je zwei mögliche Verschiebungsvektoren unterscheiden sich um ein Element von U : X 2 U X Ein y liegt genau dann in U + x, wenn y x in U liegt Die Dimension eines affinen Unterraums ist die Dimension des zugehörigen linearen Unterraums Beispiele : Jeder lineare Unterraum auch ein affiner (Nullvektor als Verschiebungsvektor) Punkte sind nulldimensionale affine Unterräume Geraden sind eindimensionale affine Unterräume Ebenen sind zweidimensionale affine Unterräume Nullpunkt muss nicht enthalten sein Der R n selbst ist n-dimensionaler affiner Unterraum 7 Unterräume LA3 86

87 Affine Hülle Der kleinste affine Unterraum, der gegebene Punkte x,, x m enthält, heißt affine Hülle von x,, x m Beispiel : Gerade durch zwei gegebene Punkte X 2 X Die affine Hülle von x,, x m besteht genau aus den ai x i mit ai = Beispiel : Zentroid liegt in der affinen Hülle von Datenpunkten? Zugehöriger linearer Unterraum? Liegt x in der affinen Hülle A von x,, x m, so ist der zu A gehörende lineare Unterraum U das Erzeugnis von (x x),, (x m x) Die Dimension von A ist der Rang dieser Vektoren Nullvektoren bei den (x i x) können weggelassen werden 7 Unterräume LA3 87

88 Beispiel : Gesucht ist die affine Hülle von x = 2 2 x 2 = 3 3 x 3 = x 4 = Wähle x = x 4 Berechne die x i x 0 0 Der Rang ist Die affine Hülle der x i hat Dimension 2 Der zugehörige Unterraum wird erzeugt von e und e 2 Beispiel aus der Statistik? Gesucht : Affine Hülle A von Datenpunkten Der zugehörige lineare Unterraum U ist das Erzeugnis der Spalten von S A = U + x Der Rang von S ist die Dimension von A 7 Unterräume LA3 88

89 Affine Koordinatensysteme Parallel verschobene (lineare) Koordinatensysteme heißen affine Koordinatensysteme X 2 Y 2 x 0 Y X Nullpunkt verliert seine Sonderrolle Lineare Struktur bleibt nur zum Teil erhalten Koordinatenumrechnung Ausgangspunkt: Standardkoordinatensystem (x) Neues Koordinatensystem (y) : Achsen und Einheiten gegeben durch die Spalten b,, b n einer (invertierbaren) Matrix B Zusätzlich: Verschiebung des Nullpunktes nach x 0 Im Beispiel: ( ) n = 2, B = 2 ( ), x 0 = Unterräume LA3 89

90 Ziel: Umrechnung von Koordinaten X 2 Y 2 x 0 Y P X x: Koordinatenvektor von P im Standard-Koordinatensystem y: Koordinatenvektor von P im neuen Koordinatensystem Umrechnungsformeln: x = By + x 0 Nach y aufgelöst y = B (x x 0 ) = B x B x 0 Beispiel: x = ( 55, 3 ) (Standardkoordinaten) Neue Koordinaten: ( ) ( ) ( ) y = B /3 (x x 0 ) = /3 = 3 2 7/6 7 Unterräume LA3 90

91 Lineare Abbildungen Eine Abbildung f : R m R n heißt lineare Abbildung, falls für alle x, x, x 2 R m und a R folgende Bedingungen gelten : (i) f(x + x 2 ) = f(x ) + f(x 2 ) (ii) f(ax) = a f(x) Addition und Skalarmultiplikation werden respektiert f(0) = f(00) = 0f(0) = 0 Beispiel einer linearen Abbildung von R 2 in R 2 f Ist f : A B Abbildung und C A, so heißt f(c) = {f(c) c C} das Bild von C unter f Das Bild des Kreises ist hier eine Ellipse Zum Gebrauch des Wortes Bild Beispiel : Gegebene Funktion : f(x) = x 2 Bild eines Wertes (Punktes) : Das Bild von 2 unter f ist 2 2 = 4 Bild einer Menge : Das Bild von [, 2] unter f ist [0, 4] 8 Lineare und affine Abbildungen LA3 9

92 Matrixdarstellung Ist f lineare Abbildung, so gilt auch ( ) f aj x j = a j f (x j ) Linearkombinationen werden von f respektiert Zur Matrixdarstellung einer linearen Abbildung f : R m R n e,, e m : Einheitsvektoren des R m a = f(e ),, a m = f(e m ) : Bilder der e j unter f A : (n m)-matrix mit Spalten a j f(x) = f ( x j e j ) = x j f(e j ) = x j a j = Ax Man kann f als Multiplikation mit einer Matrix schreiben Umgekehrt: Für jede (n m)-matrix A ist die Abbildung x Ax linear von R m in R n Daher : Matrizen sind lineare Abbildungen Spaltenzahl : Dimension des Definitionsbereichs Zeilenzahl : Dimension des Wertebereichs Spalten : Bilder der Einheitsvektoren 8 Lineare und affine Abbildungen LA3 92

93 Hintereinanderausführung Situation : Lineare Abbildungen f : R m R n, gegeben durch A und B g : R n R r Hintereinanderausführung : R m f R n g R r Ergebnis : g f (g f)(x) = g(f(x)) In Matrizenschreibweise : (g f)(x) = g(f(x)) = g(ax) = B(Ax) = (BA)x g f ist die lineare Abbildung BA Hintereinanderschaltung linearer Abbildungen Matrizenmultiplikation Hauptgrund für die Definition der Matrixmultiplikation Zur Terminologie : Lineare Abbildungen sind nicht Verallgemeinerungen der linearen Transformationen der Elementarstatistik (additive Konstante) Dies sind vielmehr die affinen Abbildungen 8 Lineare und affine Abbildungen LA3 93

94 Beispiele von linearen Abbildungen A(n n) sei spaltenweise Basis des R n Standardkoordinaten x neue Koordinaten y : y = A x Umkehrung : x = Ay Koordinatentransformationen sind lineare Abbildungen Beispiel Faktorenanalyse : Faktorenvektor f Vektor ˆx der reduzierten Variablen ˆx = Λf Beispiel : Zentrieren eines Datenvektors : ẏ = Zy Beispiel : Die Spur von (n n)-matrizen 8 Lineare und affine Abbildungen LA3 94

95 Kern und Bild Der Kern einer linearen Abbildung A von R m in R n ist die Menge der x aus R m mit x 0, also mit Ax = 0 Das Bild von A ist die Menge der Funktionswerte y in R n, also der y, für die es ein x gibt mit Ax = y Abkürzungen: Kern(A), Bild(A) Kern(A) : Lösungsmenge von Ax = 0 Kern(A) : Menge der Vektoren zu den Zeilen von A Kern(A) ist Unterraum von R m Bild(A) : Erzeugnis der Spalten von A Bild(A) ist Unterraum von R n Hat A(n m) den Rang r, so gilt dim(kern(a)) = m r dim(bild(a)) = r dim(kern(a)) + dim(bild(a)) = m 8 Lineare und affine Abbildungen LA3 95

96 Beispiel : A = 3 Spalten und 2 Zeilen ( ) Lineare Abbildung von R 3 nach R 2 Rang : dim(kern) = 2 dim(bild) = X 3 X 2 Y 2 X A Y Kern(A) Bild(A) 8 Lineare und affine Abbildungen LA3 96

97 Wichtiger Spezialfall : Kern = {0} Gleichbedeutend : Rang = Spaltenzahl Ist Kern(A) = {0}, so ist A injektiv Also : x x 2 Ax Ax 2 Ax = Ax 2 A(x x 2 ) = 0 x x 2 Kern x x 2 = 0 x = x 2 Ist Kern(A) = {0}, so werden linear unabhängige Vektoren auf linear unabhängige Vektoren abgebildet Ist A lineare Abbildung und U Unterraum, so auch dim(a(u)) dim(u) A(U) Kern(A) = {0} dim(a(u)) = dim(u) und b,, b r Basis von U Ab,, Ab r Basis von A(U) Ist A regulär, so ist A als lineare Abbildung umkehrbar Umkehrabbildung : A 8 Lineare und affine Abbildungen LA3 97

98 Affine Abbildungen Eine Abbildung f : R m R n der Form f(x) = Ax + b heißt affin A : linearer Anteil b : Verschiebungsvektor f : die durch A und b gegebene affine Abbildung Unterschied zu linearen Abbildungen : Zusätzliche Verschiebung Verschiebungsvektor : f(0) Beispiel : affine Koordinatentransformation Entscheidend : Linearer Anteil A Ist Kern(A) = {0}, so ist f injektiv Ist A regulär, so ist f umkehrbar Umkehrabbildung: x = A y A b Aus y = Ax + b folgt x = A y A b 8 Lineare und affine Abbildungen LA3 98

99 Die Hintereinanderausführung zweier affiner Abbildungen ist wieder affin Ist f : R m R n gegeben durch A und b und g : R n R r durch C und d, so ist g f gegeben durch CA und Cb + d (g f)(x) = g(ax+b) = C(Ax+b)+d = (CA)x+(Cb+d) Ist f(x) = Ax + b und U + x 0 affiner Unterraum, so ist f(u + x 0 ) der affine Unterraum A(U) + Ax 0 + b dim(f(u + x 0 )) dim(u + x 0 ) Ist Kern(A) = {0}, so sind die Dimensionen gleich Spezialfall : Unterraum ist R m selbst : Das Bild von R m unter f ist Bild(A) + b Dimension : Rang(A) 8 Lineare und affine Abbildungen LA3 99

100 Projektionsproblem Ausgangssituation : V ist m-dimensionaler Unterraum des R n Die Spalten von A(n m) sind Basis von V A hat also Rang m Problem: Finde zu x R n das nächstgelegene v V!? Existenz? Eindeutigkeit? Lösungsweg? x 2 x V x Naheliegend : Lot fällen! x 2 x v V x 9 Orthogonale Projektionen LA3 00

101 x 2 x v V x v ist Fußpunkt des Lotes x v ist senkrecht zu den Vektoren aus V (x v) V Vermutung : Ein v V mit (x v) V hat von x kürzeste Entfernung Gilt für v V die Beziehung (x v) V, so hat v von x als einziger Punkt von V kürzeste Entfernung Ist v V, so v v V, also (x v) (v v ) Daher: x v 2 = (x v) + (v v ) 2 = (x v) 2 + (v v ) 2 x v ist senkrecht zu V x v ist senkrecht zu allen Elementen einer Basis Forderung also A (x v) = 0 Mit v = Ay (y: Koordinatenvektor von v bzgl Basis A) A (x Ay) = 0 9 Orthogonale Projektionen LA3 0

102 Problem : Äquivalent A (x Ay) = 0 A Ay = A x Diese Gleichungen heißen Normalengleichungen ( normal entspricht senkrecht ) Wegen Rang(A A) = m eindeutige Lösbarkeit : y = (A A) A x Damit : v = Ay = A(A A) A x Die Abbildungen x y (Koordinaten) und x v (nächster Punkt) sind lineare Abbildungen Sie sind gegeben durch die Matrizen (A A) A und P : = A(A A) A Ist V Unterraum des R n mit Basis A, so heißt die lineare Abbildung P : = A(A A) A orthogonale Projektion auf V 9 Orthogonale Projektionen LA3 02

103 Illustration der Projektion mehrerer Punkte: x 2 x Beispiel : Projektion auf eine von a erzeugte Gerade (A = a) (A A) A ist hier (a a) a = ( a 2 ) a = (/ a 2 )a Koordinate der Projektion von x : (/ a 2 ) <a, x> Projektionsmatrix : (/ a 2 ) aa Projektion von x : (/ a 2 )(aa )x = (<a, x>/ a 2 ) a Besonders angenehm ist a = Formeln dann : < a, x > (Koordinate) bzw < a, x > a (Projektion) Beispiel aus der Statistik : Projektion von Datenvektor y auf den von erzeugten Unterraum : Wegen <, > = n und <, y > = y i gilt Koordinate : Projektion : yi /n = ȳ, ȳ (alle Daten durch Mittelwert ersetzt) 9 Orthogonale Projektionen LA3 03

104 Rang orthogonaler Projektionen Die Matrix P der orthogonalen Projektion auf V ist unabhängig von der speziellen Basis A Praktisch : Wähle Orthonormalbasis C Dann : (C C) = I Koordinaten mit C Projektion : P = CC P sei Projektion auf V (dim(v ) = m) Bild(P) = V Für v V gilt : Pv = v dim(v ) = Rang(P) = Spur(P) Spur(P) = Spur(CC ) = Spur(C C) = Spur(I m ) = m 9 Orthogonale Projektionen LA3 04

105 Charakterisierung orthogonaler Projektionen P ist genau dann eine orthogonale Projektion, wenn P 2 = P und P = P Alternatives Kriterium : P P = P Ist P orthogonale Projektionen, so gilt für alle x, y <x, Py > = <Px, y > = <Px, Py > = x Py <x, Py > = x Py = x P Py = (Px) (Py) = <Px, Py > Insbesondere : Px 2 = x Px Beispiel : Die Zentriermatrix Z ist orthogonale Projektion Beispiel : <ẋ, ẏ > = <Zx, Zy > = <Zx, y > = <ẋ, y > Vereinfachte Formel für die Kovarianz : n (xi x) y i 9 Orthogonale Projektionen LA3 05

106 Orthogonale Komplemente Das orthogonale Komplement eines Unterraums V Menge aller x mit x V ist die Bezeichnung : V Beispiel : V V Das orthogonale Komplement von Bild(A) ist Kern(A ) V ist also ein Unterraum Das Komplement einer Gerade im R 3 ist die senkrechte Ebene Das Komplement einer Ebene im R 3 ist die senkrechte Gerade Beispiel aus Statistik : V : Erzeugnis von y: Datenvektor y V ȳ = 0 V : Unterraum der zentrierten Datenvektoren 9 Orthogonale Projektionen LA3 06

107 Komplemente und Projektionen P sei orthogonale Projektion auf V R n dim(v ) = m V = Kern(P) dim(v ) = n m V V = {0} und V = (V ) Ist P orthogonale Projektion auf V, so gilt x V Px = x x V Px = 0 Die orthogonale Projektion auf V ist I P ; ihr Kern ist V Die Projektion I P auf V heißt komplementär zu P Bezeichnung : Meist Q Komplementär zu Q ist wieder P Beispiel aus der Statistik : V : Erzeugnis von V : Unterraum der zentrierten Datenvektoren Projektion von y auf V : y ȳ Die Projektion auf V ist die Zentriermatrix 9 Orthogonale Projektionen LA3 07

108 Zerlegung in orthogonale Summanden P : Projektion auf V Q : Projektion auf V = U Jedes x lässt sich eindeutig zerlegen als mit u U und v V x = u + v x 2 u U x v V x u = Qx und v = Px x 2 = u 2 + v 2 Quadrierter Abstand von x zu V : Qx 2 = x Qx oder x 2 Px 2 = x 2 x Px Statistisches Beispiel : Datenvektor y wird zerlegt in ȳ + ẏ y 2 = ẏ 2 + ȳ 2 M Y 2 = SY 2 + ȳ2 SY 2 = M Y 2 (M Y ) 2 9 Orthogonale Projektionen LA3 08

109 Drei verwandte Aufgaben Gegeben : Vektoren x,, x m und y Erste Aufgabe : Mache y durch Addition einer geeigneten Linearkombination v der x i zu allen x i senkrecht! Zweite Aufgabe : Zerlege y additiv in eine Linearkombination v der x i und ein z x i! Dritte Aufgabe : Suche eine Linearkombination v der x i, die von y kleinsten Abstand hat! V : Erzeugnis der x i P, Q : orthogonale Projektionen auf V, V (Q = I P) Mehrdeutigkeiten falls die x i linear abhängig sind Beispiel dritte Aufgabe : Lösung ist als Vektor eindeutig Viele Darstellungen von Py als Linearkombination der x i Lösungen : Erste Aufgabe : Gesucht ist v = a i x i, so dass z = y + v senkrecht zu allen x i ist, also: z V Zerlegung y = z + ( v) in Elemente aus V und V Daher : v = Py und z = Qy Zweite Aufgabe : z = Qy und v = Py Dritte Aufgabe : v = Py 9 Orthogonale Projektionen LA3 09

110 Durchschnitte und Summen von Unterräumen U, V : Unterräume U V heißt Durchschnitt von U und V V U V U U V ist Unterraum U + V = {u + v u U, v V } heißt Summe von U und V V U U + V U + V ist Unterraum Analog für mehr als zwei Unterräume dim(u) + dim(v ) = dim(u + V ) + dim(u V ) 9 Orthogonale Projektionen LA3 0

111 Vertauschbare Projektionen P und P 2 heißen vertauschbar, falls P P 2 = P 2 P Sind P und P 2 Projektionen auf V und V 2 mit P P 2 = P 2 P, so ist P P 2 Projektion auf V V 2 P P 2 : Erst auf V 2 projizieren, dann Ergebnis auf V Illustration : Projektionen auf zwei zweidimensionale Unterräume Links : Projektionen sind vertauschbar Rechts : Projektionen sind nicht vertauschbar P und P 2 sind vertauschbar P P 2 ist symmetrisch Sind P und P 2 vertauschbar mit Komplementen Q = I P und Q 2 = I P 2, so gilt auch P Q 2 = Q 2 P Q P 2 = P 2 Q Q Q 2 = Q 2 Q 9 Orthogonale Projektionen LA3