Lineare Algebra. 10. Übungsstunde. Steven Battilana.

Transkript

1 Lineare Algebra. Übungsstunde Steven Battilana November 3, 26

2 Erinnerung Gram-Schmidt Verfahren Sei V ein euklidischer/unitärer Vektorraum mit dim(v ) n < Gegeben: W span{v,..., v m } V, {v i } m i Basis von W ist linear unabhängig Gesucht : w,..., w m so dass W span{w,..., w m } und {w i } m i ONB von W ist orthonormal Gesucht 2: w,..., w m, w m+,..., w n so dass V span{w,..., w n } und {w i } n i ONB von V ist orthonormal.. w v v mit v v, v W () {w } 2. für k {2,..., m} Wähle v V \ span{w (k ) } w k v k v, w i w i v v, w w... v, w k w k w k i w k w k mit w k w k, w k W (k) W (k ) {w k } {w,..., w k } 3. W (m) ist eine ONB für W.. Falls man W (m) zu eine ONB von V erweitern will: Für k {m +,..., n} Wähle v V \ span{w (k ) } w k v k v, w i w i w k i w k w k mit w k w k, w k W (k) W (k ) {w k }. W (n) ist eine ONB für V. 2

3 Definition.(aus S3A3) Sei M E n n und gegeben mit a b M c d Dann kann M mit der folgenden Formel direkt berechnet werden: M d b. ad cb c a 2 Methode der kleinsten Quadrate Idee. Wir betrachten für A E m n, m > n das überbestimmte LGS Ax y. Oftmals haben solche LGS keine (exakten) Lösungen, daher löst man sie mit Hilfe von Nährungsverfahren, wobei ein Fehler entsteht. Die Methode der kleinsten Quadrate (manchmal auch als lineare Ausgleichsrechnung bezeichnet) versucht den Fehler zu minimieren. Der Residuenvektor (das Residuum, der Fehler) r : y Ax soll minimale euklidische Norm haben, d.h. wir suchen x R n, so dass m r 2 2 m n r k 2 y k a kl x l 2 minimal ist. k k Die Methode der kleinsten Quadrate lässt sich auf allgemeine Normen erweitern. (Beispiel: SA2) Betrachte für A E m n, m > n das überbestimmte LGS Ax! y Methode der kleinsten Quadrate: Finde x E n, so dass Residuum r y Ax minimale Norm hat. Formal ausgedrückt: Lösungsansatz:. Normalengleichung 2. QR-Zerlegung arg min x E n y Ax 2 l 2. Normalengleichung Lemma 7.3 Sind die Kolonnen einer A E m n Matrix linear unabhängig, d.h. ist rang(a) n( m), so ist A H A regulär. 3

4 Satz 7. Die Orthogonalprojektion P A : E m Im(A) E m auf den Kolonnenraum Im(A) Im(A) einer A E m n Matrix mit Rang n( m) ist gegeben durch: P A : A(A H A) A H. Satz 7.6 Für eine Orthogonalprojektion P E n n gilt: y P y 2 min y z 2, z Im(P ) y En Angenommen die Kolonnen von A E m n sind linear unabhängig, also ker(a) {} gilt und A H A gemäss Lemma 7.3 regulär ist. Auf Grund von Satz 7.6 wissen wir, dass r minimal ist wenn gilt: Ax P A y Definition. Pseudoinverse Satz 7. Ax A(A H A) A H y ker(a){} x (A H A) A H y A H Ax A H y A : (A H A) A H A A (A H A) A H A Normalengleichung ABER AA A(A H A) im Allgemeinem H A Satz 7.7 Es sei A E m n, rang(a) n m, y E m. Dann hat das überbestimmte Gleichungssystem Ax y eine eindeutig bestimmte Lösung x im Sinne der kleinsten Quadrate, d.h. x mit y Ax 2 2 arg min y A x 2 2 x E n () x E n x kann berechnet werden durch Lösen des regulären Systems der Normalgleichungen (Bemerkung nach Satz 7.6). Der Residuenvektor r Im(A). Beispiel : Gegeben: 2 A 3, m 3 > 2 n, y Gesucht: Bestimme mit Hilfe der Normalengleichung x (x, x 2 ) T, so dass r 2 2

5 y Ax 2 2 minimal ist bezüglich dem Standard-Skalarprodukt x, y xh y. Ax y A T Ax A T y x (A T A) A T y ( ) 2 AT A (A T A) ( ) ( ) 69 2 A T y ( ) x Beispiel 2: Gegeben: Lege Bestmögliche Gerade (d.h. der Abstand zwischen Punkt und Gerade ist minimal) duch P, P 2, P 3, P wobei P (, 6), P 2 (, ), P 3 (2, ), P (3, ) Gesucht: Geradengleichung y ax+b, wobei a, b R 2 unbekannte Parameter sind. 6 a + b a + b P i (x, y) a 2 + b a 3 + b 6 a 2 b 3 }{{} x }{{}}{{} A y Ax y A T Ax A T y x (A T A) A T y ( ) 2 3 A T A (A T A) A T y ( 2 ) 3 3 7

6 ( ) x (A T A) A T y Gerade: y 3x QR-Zerlegung Sei A E m n. Angenommen rang(a) n m (voller Rang). Dann existiert eine orthogonale/unitäre (Matrix Q (Q Q 2 ) mit Q E m m, Q E m n, Q 2 E m (m n) und es existiert eine rechte Dreiecksmatrix R E n n und mit E (m n) n, so dass R A Q : QR Bemerkung R Da, ist A QR Q R. (Zusammenhang QR-Zerlegung und kleinste Quadrate) Für das Residuum r gilt, dann r y n q i, y q i, wobei {q i } n i sie Spalten von Q bezeichnet. Falls das betrachtete Skalarprodukt das Standard-Skalarprodukt ist, gilt: Q H Q i Ax y AQ R Q R x y R x Q H y x R Q H y Für ein anderes Skalarprodukt erggibt sich eine andere Fromel für x! 6

7 QR-Zerlegung Gegeben: A E m n, m > n,, ein Skalarprodukt Gesucht: Q, R, so dass A Q R. Q: Seien a,..., a n Spalten von A. Wende Gram-Schmidt Verfahren bezüglich, auch {a i } n i an. Das liefert dann {q,..., q n }. (q... q n ) Q E m n R:. Beispiel 3: Gegeben:, i > j r ij q i, a j, i < j q i q i, q i, i j wobei q i den i-ten orthogonalisierten, aber noch nicht normierten Vektor bezeichnet. 2. R (r ij ) i,j n 2 A 3, m 3 > 2 n, y Gesucht: Bestimme mit Hilfe der QR-Zerlegung x (x, x 2 ) T, so dass r 2 2 y Ax 2 2 minimal ist bezüglich dem Standard-Skalarprodukt x, y x H y. 7

8 (Q) q a a 2 q 2 a 2 q, a 2 q 3, q 2 q 2 q Q (R) r 2 r a r 22 q 2 2 6, r 2 q, a2, R ( A Q R 3 ) 2 3 ( ) 2 8

9 Ax y Q R x y R x Q T y x R Q T y ( 3 ) R 3 2 Q T ( ) ( x ( ) ) 2 2 Korollar. (Eigenwerte werden später definiert) Die 2-Norm-Konditonszahl (kurz: Kondition) einer Matrix A E n n ist gegeben durch κ 2 max{ ω } min{ ω }, wobei ω der Eigenwert von A ist. Insbesondere ist die Konditionszahl immer grösser oder gleich. Wir möchten immer eine möglichst kleine Kondition haben, da dann die Implementierung numerisch am stabilsten ist, d.h. grosse Kondition ist schlecht und unerwünscht. Normalengleichung vs. QR-Zerlegung Normalengleichung Pro: Con: schön um von Hand zu rechnen A H A ist hermitesch positiv definit kann für Cholesky-Zerlegung ausgenutzt werden (wurde das Cholesky-Zerlegung behandelt???) Wenn A schlecht Konditioniert ist, ist A H A quadratisch schlecht konditioniert. Cholesky liefert unbrauchbare Resultate (Rundungsfehler massiv verstärkt, Implementiereung instabil) 9

10 QR-Zerlegung Pro: Con: kann numerisch stabil implementiert werden (Verfahren hängt weniger von der Kondition ab) Q ist Projektion der Spalten von A hässlich zum von Hand rechnen (Wurzeln)