Matrixzerlegungen. Überbestimmte Systeme

Transkript

1 Matrixzerlegungen. Überbestimmte Systeme 6. Vorlesung Numerische Methoden I Clemens Brand und Erika Hausenblas Montanuniversität Leoben 27. März 2014

2 Gliederung 1 Matrixzerlegungen Links-Rechts-Zerlegung Orthogonale Matrizen QR-Zerlegung Singulärwertzerlegung 2 Überbestimmte Systeme Kleinste Quadrate Lösung durch QR-Zerlegung 3 Beispiele für überbestimmte Systeme Lineare Modelle Nichtlineare Systeme

3 Gliederung 1 Matrixzerlegungen Links-Rechts-Zerlegung Orthogonale Matrizen QR-Zerlegung Singulärwertzerlegung 2 Überbestimmte Systeme Kleinste Quadrate Lösung durch QR-Zerlegung 3 Beispiele für überbestimmte Systeme Lineare Modelle Nichtlineare Systeme C.B & E.H. (MUL) Matrixzerlegungen, Überbest. Systeme 20.III / 36

4 Die Matrix-Vektor-Multiplikation y = A x Grundlegende Bedeutung einer n m-matrix A Eine Matrix definiert durch y = A x eine lineare Abbildung R m R n. Der Hauptberuf einer Matrix ist, aus einem Vektor einen anderen zu machen Im Allgemeinen ändert die Matrix dadurch Richtung, Betrag (und sogar Dimension) eines Vektors. Matrixzerlegungen spalten die Aktion der Matrix in leichter zu durchblickende Einzelschritte auf. Links-Rechts-Zerlegung A = L R QR-Zerlegung A = Q R Singulärwertzerlegung A = U S V T

7 Wiederholung: LR-Zerlegung A = L R Das Gaußsche Eliminationsverfahren ohne Pivotisierung faktorisiert (wenn es nicht abbricht) eine Matrix A in ein Produkt A = LR aus einer linken unteren Dreiecksmatrix L und einer rechten oberen Dreiecksmatrix R =

8 LR-Zerlegung allgemein Jede quadratische oder auch rechteckige Matrix lässt sich in ein Produkt der Form A = L R zerlegen. Dabei ist L eine links-unten-dreiecksmatrix mit 1-Diagonale (zumindest, wenn man die Zeilen von L passend umordnet) R eine obere Dreiecksmatrix MATLAB: [L U]=lu(A) zerlegt beispielsweise [ ] [ ] [ ] =

9 Anwendungen zur LR-Zerlegung lineare Gleichungssysteme Determinante Inverse MATLAB-Hilfe: Most of the algorithms for computing LU factorization are variants of Gaussian elimination. The factorization is a key step in obtaining the inverse with inv and the determinant with det. It is also the basis for the linear equation solution obtained with \

10 Orthogonale Matrizen Transponierte ist zugleich Inverse Definition Eine quadratische Matrix Q heißt orthogonal, wenn gilt Q T Q = I Die Spalten von Q sind Einheitsvektoren und paarweise orthogonal. Es gilt dann auch Q Q T = I Die Zeilen von Q sind ebenfalls Einheitsvektoren und paarweise orthogonal.

11 Orthogonale Matrizen: Beispiele P = 1 [ ] 1 1, Q = } Zweidimensionale orthogonale Matrizen mit Determinante 1 Drei- { } ebenen entsprechen Drehungen räumlichen

12 Fundamentale Eigenschaft Multiplikation eines Vektors mit einer orthogonalen Matrix lässt die 2-Norm des Vektors unverändert Multiplikation eines Vektors mit einer orthogonalen Matrix dreht (oder spiegelt) den Vektor, lässt aber seine Länge (2-Norm) unverändert. x 2 = Q x 2

13 QR-Zerlegung Satz Jede reelle n m Matrix lässt sich in ein Produkt der Form A = Q R mit einer orthogonalen n n Matrix Q und einer n m oberen Dreiecksmatrix R zerlegen. MATLAB: [Q R]=qr(A) Anwendungen: Eigenwert-Berechnung, überbestimmte Systeme

14 Singulärwert-Zerlegung Singular Value Decomposition, SVD Eine beliebige reelle n m Matrix lässt sich in ein Produkt der Form A = U S V T mit einer orthogonalen n n Matrix U, einer n m-diagonalmatrix S und einer orthogonalen m m Matrix V zerlegen. Die Diagonalwerte von S heißen die Singulärwerte von A. MATLAB: [U S V]=svd(A) Anwendungen Rang einer numerischen Matrix, Pseudoinverse, Über- und unterbestimmte Systeme etc. etc.

15 Singulärwert-Zerlegung Anschauliche Interpretation Die Singulärwertzerlegung A = U S V T zerlegt die Multiplikation A x in drei Einzelschritte: a = V T x dreht den Vektor x b = S a skaliert die Komponenten von a y = U b dreht den Vektor b Abgesehen von den beiden Drehungen beschreibt die Diagonalmatrix S, was die die Matrix A eigentlich tut. In geeignet gedrehten Koordinaten wird aus A eine Diagonalmatrix S. Der richtige Dreh vereinfacht viele Aufgaben.

16 Singulärwert-Zerlegung Anschauliche Interpretation Die Singulärwertzerlegung A = U S V T zerlegt die Multiplikation A x in drei Einzelschritte: a = V T x dreht den Vektor x b = S a skaliert die Komponenten von a y = U b dreht den Vektor b Abgesehen von den beiden Drehungen beschreibt die Diagonalmatrix S, was die die Matrix A eigentlich tut. In geeignet gedrehten Koordinaten wird aus A eine Diagonalmatrix S. Der richtige Dreh vereinfacht viele Aufgaben.

17 Diagonalisierung symmetrischer Matrizen Ein Spezialfall von SVD Jede symmetrische Matrix A lässt sich in der Form A = Q D Q T zerlegen; dabei ist Q eine Orthogonal- und D eine Diagonalmatrix Die Bedeutung dieser Zerlegung diskutieren wir genauer im Kapitel Eigenwerte und Eigenvektoren.

19 Überbestimmte Systeme Ein lineares Gleichungssystem mit mehr Gleichungen als Unbekannten heißt überbestimmt x = 1 y = 2 x + y = [ ] x = y Allgemein: ein überbestimmtes lineares System Ax = b mit einer m n-matrix A, wobei m > n In der Regel hat ein solches System keine (exakte) Lösung. (Kompromiss-)Lösung sucht möglichst kleinen Residuenvektor r = b Ax Klassische kleinste-quadrate-lösung mit Normalengleichungen A T Ax = A T b C.B & E.H. (MUL) Matrixzerlegungen, Überbest. Systeme 20.III / 36

24 Beispiel: Wägung zweier Massen Zwei Massen m 1,m 2 werden zuerst einzeln, dann gemeinsam abgewogen. Die Messwerte sind: m 1 = 1 m 2 = 2 m 1 +m 2 = 4 Lösungsvorschläge? 0 Letzte Gleichung weglassen: Fehler r = 0 1 0,5 Fehler aufteilen, etwa m 1 = 1,5;m 2 = 2,5 r = 0,5 0 oder noch fairer auf die drei Komponenten aufteilen...

28 Geometrische Interpretation Zeilen des Gleichungssystems sind Geradengleichungen m 1 = 1 m 2 = 2 m 1 +m 2 = 4 Den drei Gleichungen entsprechen drei Gerade im R 2. Kein gemeinsamer Schnittpunkt! In der Mitte des Fehlerdreiecks, im Punkt (4/3; 7/3) ist die Summe der Fehlerquadrate minimal. m m 1 (m 1 1) 2 +(m 2 2) 2 +(m 1 +m 2 4) 2 min!

31 Methode der kleinsten Fehlerquadrate Suche m 1,m 2 so dass (m 1 1) 2 +(m 2 2) 2 +(m 1 +m 2 4) 2 min! Differenziere nach m 1 und m 2, setze Ableitungen gleich Null 2m 1 + m 2 = 5 m 1 + 2m 2 = 6 Führt man diese Rechnung allgemein für ein überbestimmtes System Ax = b durch, erhält man die Normalengleichungen A T Ax = A T b. [ ] 1 0 ] [ ] hier: 0 1 [ m = m C.B & E.H. (MUL) Matrixzerlegungen, Überbest. Systeme 20.III / 36

32 Zwei mögliche geometrische Interpretationen Im Raum R n der Lösungsvektoren Gleichungen entsprechen Geraden (Ebenen, Hyperebenen) Optimal-Lösung im Schnittbereich (Fehlerdreieck, -Polyeder,...) Nachteil: Mitte des Fehlerdreiecks nicht exakt definiert. Im Raum R m der rechten-seite-vektoren Matrix mal Vektor ergibt Linearkombination der Spaltenvektoren Bei zu wenig Spaltenvektoren lässt sich nicht jede rechte Seite als Linearkombination erreichen. Der geringste Abstand zwischen Linearkombination und rechter Seite ist Normalabstand. Eine Folie noch, dann kommt eh gleich ein Beispiel...

36 Interpretation von Ax = b Zwei Möglichkeiten Im Raum der x-vektoren Jede Zeile der Matrix ist ein Normalvektor in einer Geradengleichung für x R 2, Ebenengleichung für x R 3,... Lösung x ist Schnittpunkt aller Geraden (Ebenen, Hyperebenen...) Im Raum der b-vektoren Jede Spalte der Matrix A ist ein Vektor. Das Produkt Ax ist eine Linearkombination der Spaltenvektoren. Lösung x gibt genau die Koeffizienten an, mit denen sich b als Linearkombination der Spaltenvektoren von A erreichen lässt.

39 Beispiel: Farbmischung mit RGB-Vektoren Welches Grau gibt Rot und Blau? Gegeben: zwei Farbtöne 200 RGB RGB Gesucht: neutrale Grauschattierung RGB x y = Optimale Lösung erreicht , ,674 =

43 Orthogonalitätsbedingung im Bildraum Der Ausdruck 1 0 ] 0 1 [ m1 m entspricht der Parameterdarstellung eine Ebene im R 3. Der Punkt (1; 2; 4) liegt nicht auf dieser Ebene. Der Residuenvektor r = ] 0 1 [ m1 m hat minimale Länge, wenn er auf die Ebene normal steht. 2 0

44 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 zeigen, ist der Punkt mit minimalem Abstand von b nicht so leicht zu finden... Drehen wir vorsichtig das Koordinatensystem... bis die zwei Vektoren in der xy-ebene liegen. Die Lösung liegt nun genau senkrecht unter b

45 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 zeigen, ist der Punkt mit minimalem Abstand von b nicht so leicht zu finden... Drehen wir vorsichtig das Koordinatensystem... bis die zwei Vektoren in der xy-ebene liegen. Die Lösung liegt nun genau senkrecht unter b

46 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R zeigen, ist der Punkt mit minimalem Abstand von b nicht so leicht zu 4 finden... 3 Drehen wir vorsichtig das Koordinatensystem... 2 bis die zwei Vektoren in 1 der xy-ebene liegen. Die Lösung liegt nun genau 0 senkrecht unter b

47 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 zeigen, ist der Punkt mit 0 minimalem Abstand von 3 b nicht so leicht zu finden... 2 Drehen wir vorsichtig das 1 Koordinatensystem... bis die zwei Vektoren in 0 der xy-ebene liegen. Die 0 Lösung liegt nun genau senkrecht unter b

48 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 zeigen, ist der Punkt mit 3 minimalem Abstand von 2 b nicht so leicht zu finden... 1 Drehen wir vorsichtig das 0 Koordinatensystem... 0 bis die zwei Vektoren in der xy-ebene liegen. Die Lösung liegt nun genau senkrecht unter b

49 Drehe den Bildraum, dann geht s leichter! Wenn die zwei die Ebene aufspannenden Vektoren irgendwo hin in den R 3 zeigen, ist der Punkt mit minimalem Abstand von b nicht so leicht zu finden... Drehen wir vorsichtig das Koordinatensystem... bis die zwei Vektoren in der xy-ebene liegen. Die Lösung liegt nun genau senkrecht unter b Suche eine orthogonale Matrix Q, welche das Gleichungssystem in einen einfacheren Bildraum dreht!

50 Beispiel von vorhin Die QR-Zerlegung von A liefert die gewünschte Drehmatrix! Zerlegung A = QR : Transformiertes System Rx = Q T b : Drehung mit Q anschaulich interpretiert = / / /2 ] 5/ 0 3/2 [ 2 m1 = 7/ 6 m / 3 QR-Zerlegung transformiert überbestimmtes System in lösbaren Anteil und unlösbaren Rest Bestmögliche Lösung: unlösbare Gleichungen weglassen, die anderen exakt lösen.

51 QR-Zerlegung löst (überbestimmte) Gleichungssysteme Zur Lösung von Ax = b führt man QR-Zerlegung durch und löst das Dreieckssystem Rx = Q T b durch Substitution. Begründung Ax = b Q Rx = b Q T Q T Q Rx = Q T b Rx = Q T b Bei n n-systemen setzt man diese Methode normalerweise nicht ein, weil sie rechenaufwändiger als die LR-Zerlegung ist. Bei n m-systemen (n > m) liefern die ersten m Zeilen von R die kleinste-quadrate-lösung. Lösung überbestimmte Systeme mittels Normalengleichungen ist anfälliger für Rundungsfehler als Lösung durch QR-Zerlegung. C.B & E.H. (MUL) Matrixzerlegungen, Überbest. Systeme 20.III / 36

52 Überbestimmte Systeme A x = b: QR-Zerlegung Aufgabe Suche x so, dass Residuums-2-Norm r 2 minimal wird Vorgangsweise r = b A x min! Zerlege A = Q R Multiplikation von r mit Q T lässt 2-Norm unverändert. Wandle um: r = Q T r = Q T (b A x) = Q T b R x Für das transformierte System ist die Minimallösung offensichtlich... C.B & E.H. (MUL) Matrixzerlegungen, Überbest. Systeme 20.III / 36

53 Angenommen, das überbestimmte System besteht aus m Unbekannten und n = m+k Gleichungen (k > 0). Dann ist R eine n m-matrix, deren letzte k Zeilen lauter Nullen enthalten. Die letzten k Zeilen des Residuumsvektors hängen nicht von x ab. Löse die ersten m Gleichungen des Systems R x = Q T b exakt (wenn möglich): Diese Gleichungen liefern keinen Beitrag zu Residuum. Die restlichen k Gleichungen hängen von x nicht ab. Keine Wahl von x kann den Beitrag dieser Gleichungen zum Residuum ändern. Daher ist die gewählte Lösung optimal für R x = Q T b Weil Transformation die Norm nicht beeinflusst, ist diese Lösung auch optimale Lösung von A x = b C.B & E.H. (MUL) Matrixzerlegungen, Überbest. Systeme 20.III / 36

54 Überbestimmte Systeme A x = b: SVD-Zerlegung Aufgabe Suche x so, dass Residuums-2-Norm r 2 minimal wird Vorgangsweise r = b A x min! Zerlege A = U S V T, substituiere y = V T x. Multiplikation von r mit U T lässt 2-Norm unverändert. Wandle um: r = U T r = U T b S V T x = Q T b S y Für das gedrehte System ist die Minimallösung völlig offensichtlich... (Zahlenbeispiel im Skriptum) C.B & E.H. (MUL) Matrixzerlegungen, Überbest. Systeme 20.III / 36

55 Übersicht der Verfahren für überbestimmte Systeme A x = b Normalengleichungen A T A = A T b Klassischer Lösungsweg. Anfällig für Daten- und Rundungsfehler (schlechte Konditionszahl). QR-Zerlegung Standardverfahren zur numerischen Lösung. Algebraisch äquivalent zu Norm.gleichungen, aber numerisch weniger fehlerempfindlich. MATLAB x = A\b verwendet bei überbestimmten Systemen automatisch QR-Zerlegung Sonderfälle (rang A n) Überbestimmte Systeme, die trotzdem exakt lösbar sind oder eine Schar von (ex. oder kl. Quadr.) Lösungen haben. Normalengleichungen können versagen. Singulärwert-Zerlegung. C.B & E.H. (MUL) Matrixzerlegungen, Überbest. Systeme 20.III / 36

57 Lineares Modell in zwei Variablen Anpassen einer Ausgleichs-Ebene: Beispiel aus der Matlab-Hilfe Angenommen, eine Größe y hängt von zwei Parametern x 1 und x 2 ab. Folgende Messwerte liegen vor: x 1 : x 2 : y : Wir nehmen ein lineares Modell y = a 0 +a 1 x 1 +a 2 x 2 an und setzen die gegebenen Datentripel ein führt auf ein System von 6 linearen Gleichungen in den 3 unbekannten Koeffizienten a 0,a 1,a 2. Kleinste-Quadrate-Lösung liefert Ebene mit bestmöglicher Anpassung an Daten

58 Lineares Modell in zwei Variablen Beispiel: Magnetische Deklinationswerte in Österreich Wien 3 00 Eisenstadt 3 02 St.Pölten 2 54 Graz 2 47 Linz 2 33 Klagenfurt 2 30 Salzburg 2 15 Innsbruck 1 53 Bregenz 1 24 Daten: ZAMG Kleinste-Quadrate-Anpassung liefert Modell: δ = λ φ

59 Überbestimmte nichtlineare Systeme Beispiel: Standortbestimmung durch Trilateration Die Abstände von drei festen Punkten A,B,C zu einem unbekannten Punkt X sind (etwas ungenau) bekannt. Gesucht ist eine möglichst gute Positionsbestimmung. (x1 1) 2 +(x 2 1) 2 = 6 (x1 8) 2 +(x 2 4) 2 = C d c =4.2 d b =3.6 (x1 5) 2 +(x 2 8) 2 = d a =6 4 X B 2 Den drei Gleichungen entsprechen drei Kreise im R 2. Sie haben keinen gemeinsamen Schnittpunkt. 1 A

60 Überbestimmte nichtlineare Systeme Lösung durch Linearisierung und Iteration f(x) = b, x R n, f(x),b R m, m > n Ausgehend von einem Startvektor x (0) bestimmt man eine Korrektur x aus der Lösung des überbestimmten linearen Systems mit der Jacobimatrix D f D f x = b f(x) und gewinnt eine verbesserte Lösung x (1) = x (0) + x. Für die Konvergenz der Iteration kann Unterrelaxation (Dämpfung) notwendig sein: x (n+1) = x (n) +ω x mit Unterrelaxationsfaktor 0 < ω 1. C.B & E.H. (MUL) Matrixzerlegungen, Überbest. Systeme 20.III / 36

61 Überbestimmte nichtlineare Systeme Lösung durch Linearisierung und Iteration f(x) = b, x R n, f(x),b R m, m > n Ausgehend von einem Startvektor x (0) bestimmt man eine Korrektur x aus der Lösung des überbestimmten linearen Systems mit der Jacobimatrix D f D f x = b f(x) und gewinnt eine verbesserte Lösung x (1) = x (0) + x. Für die Konvergenz der Iteration kann Unterrelaxation (Dämpfung) notwendig sein: x (n+1) = x (n) +ω x mit Unterrelaxationsfaktor 0 < ω 1. C.B & E.H. (MUL) Matrixzerlegungen, Überbest. Systeme 20.III / 36