Überbestimmte Gleichungssysteme

Transkript

1 Siebente Vorlesung, 8. Mai 2008, Inhalt Überbestimmte Gleichungssysteme Kleinste Quadrate: einfaches Beispiel, elementare Herleitung Normalengleichungen Transformation mit QR-Zerlegung und SVD Nichtlineare Systeme Achtung, QR- und SVD-Zerlegung werden in älteren Ausgaben des Skriptums nur kurz erwähnt (Abschnitt 5.2). Wegen zunehmender Wichtigkeit in der praktischen Anwendung werden sie im aktuellen Skript in Kaptiel 5.2 und 5.3 ausführlicher behandelt. 1

2 Überbestimmte Systeme Ein lineares Gleichungssystem mit mehr Gleichungen als Unbekannten heißt überbestimmt. Ax = b mit einer m n-matrix A, m > n In der Regel hat ein solches System keine (exakte) Lösung. (Kompromiss-)Lösung nach der Methode der kleinsten Quadrate sucht jenes x, für das die Quadratsumme der Elemente des Residuenvektors r = b Ax minimal wird. Führt auf die Normalengleichungen A T Ax = A T b 2

3 Beispiel: Wägung zweier Massen Zwei Massen m 1, m 2 werden zuerst einzeln, dann gemeinsam abgewogen. Die Messwerte sind: m 1 = 1 m 2 = 2 m 1 + m 2 = 4 Den drei Gleichungen entsprechen drei Gerade im R 2. Sie haben keinen gemeinsamen Schnittpunkt. Im Punkt (4/3;7/3) ist die Summe der Fehlerquadrate minimal (m 1 1) 2 +(m 2 2) 2 +(m 1 + m 2 4) 2 min!

4 Methode der kleinsten Fehlerquadrate Suche m 1, m 2 so dass (m 1 1) 2 + (m 2 2) 2 + (m 1 + m 2 4) 2 min! Differenziere nach m 1 und m 2, setze Ableitungen gleich Null 2m 1 + m 2 = 5 m 1 + 2m 2 = 6 Führt man diese Rechnung allgemein für ein überbestimmtes System Ax = b durch, erhält man die Normalengleichungen A T Ax = A T b. hier: [ ] m1 m 2 = 1 2 A T A = 4 [ ] A T b = [ ] 5 6 4

5 Orthogonale Matrizen: Transponierte ist zugleich Inverse Eine quadratische Matrix Q heißt orthogonal, wenn gilt Q T Q = I Die Spalten von Q sind Einheitsvektoren und paarweise orthogonal. Es gilt dann auch Q Q T = I Die Zeilen von Q sind ebenfalls Einheitsvektoren und paarweise orthogonal. 5

6 Orthogonale Matrizen: Beispiele P = 1 [ ] , Q = Zwei- Drei- } dimensionale orthogonale Matrizen mit Determinante 1 ent- { } ebenen Drehungen räumlichen sprechen 6

7 Multiplikation eines Vektors mit einer orthogonalen Matrix lässt die 2-Norm des Vektors unverändert! Multiplikation eines Vektors mit einer orthogonalen Matrix dreht (oder spiegelt) den Vektor, lässt aber seine Länge (2-Norm) unverändert. x 2 = Q x 2 7

8 QR-Zerlegung Jede reelle n m Matrix lässt sich in ein Produkt der Form A = Q R mit einer orthogonalen n n Matrix Q und einer n m oberen Dreiecksmatrix R zerlegen. MATLAB: [Q R]=qr(A) Anwendungen: Eigenwert-Berechnung, überbestimmte Systeme 8

9 QR-Zerlegung löst (überbestimmte) Gleichungssysteme Zur Lösung von Ax = b führt man QR-Zerlegung durch und löst das Dreieckssystem Rx = Q T b durch Substitution. Begründung: Ax = b Q Rx = b Q T Q Rx = Q T b Rx = Q T b Q T Bei n n-systemen setzt man diese Methode normalerweise nicht ein, weil sie rechenaufwändiger als die LR-Zerlegung ist. Bei n m-systemen (n > m) liefern die ersten m Zeilen von R die kleinste-quadrate-lösung. Lösung überbestimmte Systeme mittels Normalengleichungen ist anfälliger für Rundungsfehler als Lösung durch QR-Zerlegung. 9

10 Überbestimmte Systeme A x = b: QR-Zerlegung Aufgabe: Suche x so dass Residuums-2-Norm r 2 minimal wird r = b A x min! Vorgangsweise: Zerlege A = Q R Multiplikation mit Q T lässt 2-Norm unverändert. Wandle um: r = Q T r = Q T (b A x) = Q T b R x) Für das transformierte System ist die Minimallösung offensichtlich... 10

11 Beispiel von vorhin Zerlegung A = QR : = Transformiertes System Rx = Q T b : /2 0 3/2 0 0 [ ] m1 m 2 2 2/2 0 3/2 0 0 = 5/ 2 7/ 6 1/ 3 Salopp: QR-Zerlegung transformiert überbestimmtes System in lösbaren Anteil und unlösbaren Rest. Bestmögliche Lösung: unlösbare Gleichungen weglassen, die anderen exakt lösen. 11

12 Angenommen, das überbestimmte System besteht aus m Unbekannten und n = m + k Gleichungen (k > 0). Dann ist R eine n m-matrix, deren letzte k Zeilen lauter Nullen enthalten. Die letzten k Zeilen des Residuumsvektors hängen nicht von x ab. Löse die ersten m Gleichungen des Systems R x = Q T b exakt (wenn möglich): Diese Gleichungen liefern keinen Beitrag zu Residuum. Die restlichen k Gleichungen hängen von x nicht ab. Keine Wahl von x kann den Beitrag dieser Gleichungen zum Residuum ändern. Daher ist die gewählte Lösung optimal für R x = Q T b Weil Transformation die Norm nicht beeinflusst, ist diese Lösung auch optimale Lösung von A x = b 12

13 Überbestimmte Systeme A x = b: Übersicht der Verfahren Normalengleichungen A T A = A T b Klassischer Lösungsweg. Anfällig für Daten- und Rundungsfehler (schlechte Konditionszahl). QR-Zerlegung Standardverfahren zur numerischen Lösung. Algebraisch äquivalent zu den Normalengleichungen, aber numerisch weniger fehlerempfindlich. MATLAB x = A\b verwendet bei überbestimmten Systemen automatisch QR-Zerlegung Sonderfälle (rang A n) Überbestimmte Systeme, die trotzdem exakt lösbar sind oder eine Schar von (ex. oder kl. Quadr.) Lösungen haben. Normalengleichungen können versagen. Singulärwert-Zerlegung. 13

14 Lineares Modell in mehreren Variablen Angenommen, eine Größe y hängt von zwei Parametern x 1 und x 2 ab. Folgende Messwerte liegen vor (Beispieldaten aus der Matlab-Hilfe): x 1 : x 2 : y : Wir nehmen ein lineares Modell y = a 0 + a 1 x 1 + a 2 x 2 an und setzen die gegebenen Datentripel ein führt auf ein System von 6 linearen Gleichungen in den 3 unbekannten Koeffizienten a 0, a 1, a 2. Kleinste-Quadrate-Lösung liefert Ebene mit bestmöglicher Anpassung an Daten 14

15 Singulärwert-Zerlegung (Singular Value Decomposition, SVD) Eine beliebige reelle n m Matrix lässt sich in ein Produkt der Form A = U Σ V T mit einer orthogonalen n n Matrix U, einer n m-diagonalmatrix Σ und einer orthogonalen m m Matrix V zerlegen. Die Diagonalwerte von Σ heißen die Singulärwerte von A. MATLAB: [U S V]=svd(A) Anwendungen: Rang einer numerischen Matrix, Pseudoinverse, Überund unterbestimmte Systeme, schlecht konditionierte Probleme, principal component analysis. 15

16 SVD löst auch über- und unterbestimmte Gleichungssysteme Ax = b U Σ V T x = b U T Σ (V T x) = U T b subst. y = V T x Σ y = U T b Am transformierten System Σ y = U T b ist wegen der Diagonalgestalt die Lösung für y direkt ablesbar. Auch der Typ der Lösung (ein-, mehrdeutig, kleinste Quadrate) ist ersichtlich. Die Lösung für x erhält man aus der Substitutionsgleichung V T x = y V x = V y Grundlegend für das Verfahren ist, dass die Multiplikationen mit U T bzw. V die 2-Norm des Fehlervektors bzw. des Lösungsvektors unverändert lassen! 16

17 beachten Sie bitte noch... Im Skriptum, Kapitel 5.3, sind einige Beispiele zu überbestimmten Systemen durchgerechnet. Dort wird auch der Begriff kleinster Fehler für verschiedene Vektornormen erläutert. Über die Homepage lässt sich ein weiteres durchgerechnetes und erläutertes Beispiel (Datenmodell Hochwasser) herunterladen. 17

18 Überbestimmte nichtlineare Systeme: Beispiel Die Abstände von drei festen Punkten A, B, C zu einem unbekannten Punkt X sind (etwas ungenau) bekannt. Gesucht ist eine möglichst gute Positionsbestimmung (vereinfachtes GPS-Modell). (x 1 1) 2 + (x 2 1) 2 = 6 (x 1 8) 2 + (x 2 4) 2 = 3.6 (x 1 5) 2 + (x 2 8) 2 = d a =6 C d c =4.2 X d b =3.6 B 2 Den drei Gleichungen entsprechen drei 1 A Kreise im R 2. Sie haben keinen gemeinsamen Schnittpunkt

19 Überbestimmte nichtlineare Systeme Linearisierung f(x) = b, x R n, f(x),b R m, m > n Ausgehend von einem Startvektor x (0) bestimmt man eine Korrektur x aus der Lösung des überbestimmten linearen Systems mit der Jacobimatrix D f D f x = b f(x) und gewinnt eine verbesserte Lösung x (1) = x (0) + x. Iteration! 19

20 Rechenbeispiel von vorhin f(x) = f 1 f 2 = f 3 (x 1 1) 2 + (x 2 1) 2 (x 1 8) 2 + (x 2 4) 2, D f = (x 1 5) 2 + (x 2 8) 2 x 1 1 f 1 x 1 8 f 2 x 1 5 f 3 x 2 1 f 1 x 2 4 f 2 x 2 8 f 3 Mit Startvektor x = f ([ ]) 5 4 = [ ] , D f = 4 erhält man , lin. System [ x1 x 2 Ergibt x 1 = 1/25, x 2 = 7/25 verbesserte Position [5.04;4.28]. ] = 1 3/5 1/5 20