Gliederung. Links-Rechts-Zerlegung Elimination faktorisiert A = L R. Determinante Inverse. Kleinste Quadrate. Lösung durch. Links-Rechts- Zerlegung

Transkript

1 Matrixzerlegungen. 7. Vorlesung Numerische Methoden I Clemens Brand 29. April 2010

2 Gliederung Elimination faktorisiert A = L R

3 Die A = L R Faktorisieren: Zerlege A in ein Produkt (einfacherer) Angenommen, A lässt sich zerlegen: A = L R In MATLAB: [L R] = lu(a) Lösen eines Gleichungssystems A x = (L R) x = L (R x) = b Setze (als Zwischenresultat) (R x) = y. Dann ergeben sich zwei mit Dreiecksmatrizen L y = b R x = y Löse erstes System nach y und anschließend zweites nach x.

4 Gauß-Elimination liefert auch LR- Das Gaußsche Eliminationsverfahren ohne Pivotisierung faktorisiert (wenn es erfolgreich abläuft) eine Matrix A in ein Produkt A = L R aus einer linken unteren Dreiecksmatrix L und einer rechten oberen Dreiecksmatrix R. R ist die Dreiecksmatrix des Eliminationsverfahrens, L setzt sich aus Einsen und den entsprechenden Pivot-Faktoren zusammen. Das Gaußsche Eliminationsverfahren mit Spalten-Pivotisierung vertauscht Gleichungen, um Division durch Null oder sehr kleine Werte zu verhindern. Es liefert eine LR- mit einer durcheinandergeratenen unteren Dreiecksmatrix L (geht aus einer echten unteren Dreiecksmatrix durch Zeilenvertauschungen hervor).

5 Beispiel: LR- Das Gaußsche Eliminationsverfahren ohne Pivotisierung faktorisiert (wenn es nicht abbricht) eine Matrix A in ein Produkt A = LR aus einer linken unteren Dreiecksmatrix L und einer rechten oberen Dreiecksmatrix R = Gleichungslösen mit LR-: A = LR Lösung Ly = b (Vorwärts-Substitution) Lösung Rx = y (Rückwärts-Substitution)

6 Implementierungen Gauß-Elimination und LR- führen dieselben Rechenschritte durch, nur teilweise in unterschiedlicher Reihenfolge Computerprogramme implementieren Gleichungslöser in der Regel als Kombination von LR- mit Spalten-Pivotisierung und Rücksubstitution. Spezialfall: für symmetrisch positiv definite Cholesky- A = L L T. Weitere Spezialfälle: für schwach besetzte, Bandmatrizen, rechteckige... Bei iterativen Verfahren: unvollständige en. Referenz: LAPACK, Frei verfügbar, hohe Qualität. MATLABs A\b verwendet je nach Matrixtyp unterschiedliche Algorithmen (zumeist aus LAPACK)

7 Anwendungen zur LR- Abgesehen von Gleichungssystemen lässt sich mit der LR- noch berechnen

8 det A Wenn eine A = LR gegeben ist, ist deta das Produkt der Hauptdiagonalelemente von R. det A = det(lr) = (det L)(det R) = det R. Die Berechnung der auf diese Art ist wesentlich rechengünstiger (n 3 /3+2n/3 1 Multiplikationen) als die klassische Entwicklung nach Unterdeterminanten (Ausnahmen: kleine, viele Null-Einträge).

9 Exkurs Rechenaufwand bei Entwicklung nach Unterdeterminanten Definiere w(n): Aufwand (an Multiplikationen) bei n n-matrix w(1) = ist trivial w(n) = nw(n 1)...für n Unterdeterminanten +n...die jeweils noch multipliziert werden MATLAB-Implementierung dieser rekursiv definierten Funktion function w = workdet(n) if n<=1 w = 0; else w = n*(workdet(n-1)+1); end

10 Exponentieller versus polynomialer Rechenaufwand bei der Berechnung von deta n w(n) n 3 /3+2n/

11 Berechnen der n durch Lösen von Gleichungssystemen Die i-te Spalte von A 1 ist Lösung des Gleichungssystems Ax i = e i. Vorgangsweise: A = LR; (Aufwand (n 3 n)/3). Für i = 1,...,n Lösung LRx i = e i ; (Aufwand jeweils n 2 ). Rechenaufwand gesamt (4n 3 n)/3. Die Formel mit den n der Kofaktoren ist bei größeren viel zu rechenaufwändig!

12 Transponierte ist zugleich Definition Eine quadratische Matrix Q heißt orthogonal, wenn gilt Q T Q = I Die Spalten von Q sind Einheitsvektoren und paarweise orthogonal. Es gilt dann auch Q Q T = I Die Zeilen von Q sind ebenfalls Einheitsvektoren und paarweise orthogonal.

13 : Beispiele P = 1 [ ] 1 1, Q = } Zweidimensionale orthogonale mit Drei- { } ebenen 1 entsprechen Drehungen räumlichen

14 Fundamentale Eigenschaft Multiplikation eines Vektors mit einer orthogonalen Matrix lässt die 2-Norm des Vektors unverändert Multiplikation eines Vektors mit einer orthogonalen Matrix dreht (oder spiegelt) den Vektor, lässt aber seine Länge (2-Norm) unverändert. x 2 = Q x 2

15 Satz Jede reelle n m Matrix lässt sich in ein Produkt der Form A = Q R mit einer orthogonalen n n Matrix Q und einer n m oberen Dreiecksmatrix R zerlegen. MATLAB: [Q R]=qr(A) Anwendungen: Eigenwert-Berechnung, überbestimmte

16 Ein lineares Gleichungssystem mit mehr Gleichungen als Unbekannten heißt überbestimmt Ax = b mit einer m n-matrix A, m > n In der Regel hat ein solches System keine (exakte) Lösung. (Kompromiss-)Lösung nach der Methode der kleinsten Quadrate sucht jenes x, für das die Quadratsumme der Elemente des Residuenvektors r = b Ax minimal wird. Führt auf die Normalengleichungen A T Ax = A T b

17 Beispiel: Wägung zweier Massen Zwei Massen m 1, m 2 werden zuerst einzeln, dann gemeinsam abgewogen. Die Messwerte sind: m 1 = 1 m 2 = 2 m 1 + m 2 = Den drei Gleichungen entsprechen drei Gerade im R 2. Sie haben keinen gemeinsamen Schnittpunkt. Im Punkt (4/3; 7/3) ist die Summe der Fehlerquadrate minimal. 2 1 (m 1 1) 2 +(m 2 2) 2 +(m 1 + m 2 4) 2 min!

18 Methode der kleinsten Fehlerquadrate Suche m 1, m 2 so dass (m 1 1) 2 +(m 2 2) 2 +(m 1 + m 2 4) 2 min! Differenziere nach m 1 und m 2, setze Ableitungen gleich Null 2m 1 + m 2 = 5 m 1 + 2m 2 = 6 Führt man diese Rechnung allgemein für ein überbestimmtes System Ax = b durch, erhält man die Normalengleichungen A T Ax = A T b. hier: 1 0 ] [ m1 = 2 A T A = m [ ] A T b = [ ] 5 6

19 löst (überbestimmte) Gleichungssysteme Zur Lösung von Ax = b führt man durch und löst das Dreieckssystem Rx = Q T b durch Substitution. Begründung Ax = b Q Rx = b Q T Q T Q Rx = Q T b Rx = Q T b Bei n n-n setzt man diese Methode normalerweise nicht ein, weil sie rechenaufwändiger als die LR- ist. Bei n m-n (n > m) liefern die ersten m Zeilen von R die kleinste-quadrate-lösung. Lösung überbestimmte mittels Normalengleichungen ist anfälliger für Rundungsfehler als.

20 A x = b: Aufgabe Suche x so dass Residuums-2-Norm r 2 minimal wird r = b A x min! Vorgangsweise Zerlege A = Q R Multiplikation mit Q T lässt 2-Norm unverändert. Wandle um: r = Q T r = Q T (b A x) = Q T b R x) Für das transformierte System ist die Minimallösung offensichtlich...

21 Beispiel von vorhin A = QR : Transformiertes System Rx = Q T b : = / / /2 ] 5/ 0 3/2 [ 2 m1 = 7/ 6 m / 3 Salopp: transformiert überbestimmtes System in lösbaren Anteil und unlösbaren Rest. Bestmögliche Lösung: unlösbare Gleichungen weglassen, die anderen exakt lösen.

22 Angenommen, das überbestimmte System besteht aus m Unbekannten und n = m + k Gleichungen (k > 0). Dann ist R eine n m-matrix, deren letzte k Zeilen lauter Nullen enthalten. Die letzten k Zeilen des Residuumsvektors hängen nicht von x ab. Löse die ersten m Gleichungen des Systems R x = Q T b exakt (wenn möglich): Diese Gleichungen liefern keinen Beitrag zu Residuum. Die restlichen k Gleichungen hängen von x nicht ab. Keine Wahl von x kann den Beitrag dieser Gleichungen zum Residuum ändern. Daher ist die gewählte Lösung optimal für R x = Q T b Weil Transformation die Norm nicht beeinflusst, ist diese Lösung auch optimale Lösung von A x = b

23 Übersicht der Verfahren für überbestimmte A x = b Normalengleichungen A T A = A T b Klassischer Lösungsweg. Anfällig für Daten- und Rundungsfehler (schlechte Konditionszahl). Standardverfahren zur numerischen Lösung. Algebraisch äquivalent zu Norm.gleichungen, aber numerisch weniger fehlerempfindlich. MATLAB x = A\b verwendet bei überbestimmten n automatisch Sonderfälle (rang A n), die trotzdem exakt lösbar sind oder eine Schar von (ex. oder kl. Quadr.) Lösungen haben. Normalengleichungen können versagen. Singulärwert-.