4.5 Überbestimmte Gleichungssysteme, Gauß sche Ausgleichrechnung In vielen Anwendungen treten lineare Gleichungssysteme auf, die eine unterschiedliche Anzahl von Gleichungen und Unbekannten besitzen: Ax = b, A R n m, x R m, b R n, n m. Im Fall n > m sprechen wir von überbestimmten Gleichungssystemen, im Fall n < m von unterbestimmten Gleichungssystemen. Die Untersuchung der eindeutigen Lösbarkeit von allgemeinen Gleichungssystemen mit rechteckiger Matrix A kann nicht mehr an deren Regularität ausgemacht werden. Stattdessen wissen wir, dass ein Gleichungssystem genau dann lösbar ist, falls der Rang der Matrix A gleich dem Rang der erweiterten Matrix (A b) ist. Gilt zusätzlich rang(a) = m, so ist die Lösung eindeutig. Ein unterbestimmtes lineares Gleichungssystem kann daher nie eindeutig lösbar sein. Wir betrachten in diesem Abschnitt ausschließlich überbestimmte Gleichungssysteme, d.h. den Fall n > m. Ein solches Gleichungssystem ist im allgemeinen Fall nicht lösbar: Beispiel 4.64 (Überbestimmtes Gleichungssystem). Wir suchen das quadratische Interpolationspolynom p(x) = a + a x + a 2 x 2, gegeben durch die Vorschrift: Dies ergibt die vier Gleichungen: p( /4) =, p(/2) =, p(2) =, p(5/2) =. a 4 a + 6 a 2 = a + 2 a + 4 a 2 = a + 2a + 4a 2 = a + 5 2 a + 25 4 a 2 = Wir versuchen, das lineare Gleichungssystem mit Gauß-Elimination zu lösen: 4 6 2 4 2 4 5 25 2 4 4 6 3 3 4 63 9 6 99 4 4 4 6 3 3 4 8 6 2. 39 6 4 D.h., es müsste gelten a 2 = 64/27 2.37 sowie a 2 = 64/39.2. In Anbetracht von Satz 3.6 ist dieses Ergebnis für die Lagrange-Interpolation zu erwarten. Bei allgemeinen überbestimmten Gleichungssystemen muss daher die Zielstellung geändert werden: gesucht wird nicht die Lösung des Gleichungssystems, sondern ein Vektor x R m, welcher in gewissem Sinne die beste Approximation ist. Entsprechend der Bestapproximation von Funktionen aus Abschnitt 3.6. definieren wir: 62
4.5 Überbestimmte Gleichungssysteme, Gauß sche Ausgleichrechnung Definition 4.65 (Methode der kleinsten Fehlerquadrate, Least-Squares). Es sei Ax = b mit A R n m und b R n. Dann ist die Least-Squares Lösung x R m als die Näherung bestimmt, deren Defekt die kleinste euklidische Norm annimmt: b Ax 2 = min y R m b Ay 2 (4.9) Der wesentliche Unterschied zwischen dieser Aufgabenstellung und Satz 3.79 zur Gauß- Approximation ist die Wahl der Norm: hier betrachten wir die euklidische Vektor-Norm, bei der Gauß-Approximation von Funktionen die L 2 -Norm. Beiden Normen ist gemein, dass sie durch ein Skalarprodukt gegeben sind. Es gilt: Satz 4.66 (Kleinste Fehlerquadrate). Angenommen, für die Matrix A R n m mit n > m gilt m = rang(a). Dann ist die Matrix A T A R m m positiv definit und die Least-Squares- Lösung x R m ist eindeutig bestimmt als Lösung des Normalgleichungssystems: A T Ax = A T b. Beweis: (i) Es gilt rang(a) = m. D.h. Ax = gilt nur dann, wenn x =. Hieraus folgt die positive Definitheit der Matrix A T A: (A T Ax, x) 2 = (Ax, Ax) 2 = Ax 2 2 > x, und das Gleichungssystem A T Ax = A T b ist für jede rechte Seite b R n eindeutig lösbar. (ii) Es sei x R m die Lösung des Normalgleichungssystems. Dann gilt für beliebiges y R m : b A(x + y) 2 2 = b Ax 2 2 + Ay 2 2 2(b Ax, Ay) 2 = b Ax 2 2 + Ay 2 2 2(A T b A T Ax, y) } {{ } 2 = b Ax 2 2. (iii) Nun sei x das Minimum von (4.9). D.h., es gilt für beliebigen Vektor y: b Ax 2 2 b A(x + y) 2 2 = b Ax 2 2 + Ay 2 2 2(b Ax, Ay) 2 y R m. Hieraus folgt: A 2 2 y 2 2 Ay 2 2 2(A T Ax A T b, y) 2 Ay 2 2 A 2 2 y 2 2. Für y = se i, wobei s R und e i der i-te Einheitsvektor ist gilt: s A 2 2 2[A T Ax A T b] i s A 2 2 s R, i =,..., n. Bei s folgt [A T Ax] i = [A T b] i. 63
Die beste Approximation eines überbestimmten Gleichungssystems kann durch Lösen des Normalgleichungssystems gefunden werden. Der naive Ansatz, die Matrix A T A zu bestimmen und dann das Normalgleichungsystem etwa mit dem Cholesky-Verfahren zu lösen ist numerisch nicht ratsam. Zunächst ist der Aufwand zur Berechnung von A T A sehr groß und die Berechnung der Matrix-Matrix Multiplikation ist schlecht konditioniert. Weiter gilt die Abschätzung: cond(a T A) cond(a) 2. Wir lösen mit dieser Methode das überbestimmte Gleichungssystem aus Beispiel 4.64: Beispiel 4.67 (Lösen der Normalgleichung). Die exakte Lösung des Normalgleichungssystems A T Ax = A T b ist gegeben durch:.3425 x.384, p(x) =.3425 +.374x.3x 2..3 Es gilt: b Ax 2.947. Wir stellen das Normalgleichungssystem mit dreistelliger Rechnung auf: 4 4.75.6 2 A T A = 4.75.6 23.7, A T b = 3..6 23.7 55. 6.5 Die exakte Lösung ist bestimmt durch die Polynomkoeffizienten x = (a, a, a 2 ) T sowie das Polynom p(x) = a + a x + a 2 x 2 : Wir bestimmen die Cholesky-Zerlegung mit dem direkten Verfahren: Wir lösen: mit dem Polynom l = 4 = 2 l 2 = 4.75/2 2.38 l 3 =.6/2 = 5.3 2 l 22 =, L :=.6 2.38 2 2.38 2.22. 2.22 5.3 5.42 l 32 = (23.7 2.38 5.3)/2.22 5 l 33 = 55. 5.3 2 5 2.42..424 L }{{} L T x = A T b y.279 x.343, =y.37.965 p(x) =.424 +.343x.965x 2, und dem Defekt b A x.96 sowie dem relativen Fehler zur exakten Lösung: x x x.8. 64
4.5 Überbestimmte Gleichungssysteme, Gauß sche Ausgleichrechnung Wir entwickeln ein alternatives Verfahren, welches das Aufstellen des Normalgleichungssystems A T Ax = A T b umgeht und nutzen hierfür eine Erweiterung der bereits vorgestellten QR-Zerlegung auf allgemeine rechteckige Matrizen: Satz 4.68 (QR-Zerlegung rechteckiger Matrizen). Es sei A R n m mit n > m und rang(a) = m. Dann existiert eine orthogonale Matrix Q R n n, sowie eine rechteckige obere Dreiecksmatrix R R n m so dass gilt A = Q R mit: R = R } m } n m..., R =..... R m m.... Beweis: Der Beweis folgt durch Anwenden von m Schritten der QR-Zerlegung mit Householder- Transformationen auf die Matrix A. Die Spaltenvektoren A = (a (),..., a() m ) sind linear unabhängig. Diese Eigenschaft bleibt durch Anwenden von orthogonalen Householder- Transformationen S (),..., S (m) erhalten, d.h.: dim ( span{a (i),..., a(i) m } ) = m, i =,..., m, a (i) j = S (i) a (i ) j. Die ersten m Schritte der Householder-Transformation sind durchführbar und es gilt rang(a) = rang(q T A) mit Q T = S (m) S (). Die Matrix A wird dabei schrittweise auf Dreiecksgestalt gebracht:.................................................................................. =: R R n m....... Im Gegensatz zur Householder-Transformation bei quadratischen Matrizen müssen m anstelle von m Schritte durchgeführt werden, um den Block unterhalb der m-ten Zeile zu eliminieren. Die resultierende Matrix R hat Rang m für ihre Einträge r ij mit i > m gilt r ij =. Daher ist der obere Matrixblock R R m m mit r ij = r ij für i, j m regulär mit rang(r) = rang( R) = m. 65
.8.6.4.2 Least-Squares Loesung Approximation mit Cholesky Approximation mit QR -.2 - -.5.5.5 2 2.5 3 Abbildung 4.3: Lösen eines überbestimmten Gleichungssystems zum Finden der besten Approximation an Messdaten. Siehe Beispiele 4.64, 4.67 sowie 4.69. Mit dieser verallgemeinerten QR-Zerlegung gilt nun: A T Ax = A T b (Q R) T Q Rx = (Q R) T b R T Rx = RT Q T b. Da alle Einträge von R im unteren Block Null sind gilt R T R = R T R und weiter mit bi := (Q T b) i m, ist das Normalgleichungssystem äquivalent zum einfachen Dreieckssystem mit einer n n-matrix R. A T Ax = A T b RX = b, Beispiel 4.69 ( Lösen eines überbestimmten Gleichungssystems mit erweiterter QR Zerlegung). Für das überbestimmte lineare Gleichungssystem aus Beispiel 4.64 gilt: 4 6 2 4 2 4, b =. 5 25 2 4 Wir wählen im ersten Schritt der Householder-Transformation (dreistellige Rechnung).866 v () = a + a e a + a e.289.289..289 66
4.5 Überbestimmte Gleichungssysteme, Gauß sche Ausgleichrechnung Dann gilt mit a () i = a i 2(a i, v () )v () : 2 2.38 5.29 Ã ().2.54.29 2.2.79 4.46 =: (a(), a() 2, a() 3 ). Mit dem reduzierten Vektor ã () 2 = (.2,.29,.79) T gilt weiter ṽ (2) = ã() 2 ã () 2 ẽ.74 2 ã () 2 + ã () 2 ẽ 2.393..546 Und hiermit: 2 2.38 5.29 Ã (2) 2.22 5.4.28.392 =: (a(2), a(2) 2, a(2) 3 ). Wir müssen einen dritten Schritt durchführen und mit ã (2) 3 = (.28,.392) ergibt sich nach gleichem Prinzip: ( ) ṽ (3).989 =..48 Schließlich erhalten wir: Zum Lösen des Ausgleichsystems: 2 2.38 5.29 R = Ã(3) 2.22 5.4.34. A T Ax = A T b Rx = b, bestimmen wir zunächst die rechte Seite nach der Vorschrift b (i) = b (i ) 2(b (i ), v (i) )v (i) : b =.28..55 Abschließend lösen wir durch Rückwärtseinsetzen Rx = b (3) :.342 x.39.6 und erhalten das Interpolationspolynom: p(x) =.342 +.39x.6x 2, 67
mit Defekt b A x.947, und relativem Fehler zur exakten Least-Squares-Lösung: x x x., d.h., ein Fehler von etwa einem % anstelle von fast 2% beim direkten Lösen des Normalsystems. In Abbildung 4.3 zeigen wir die exakte Lösung sowie die beiden Approximierten Lösungen zu diesem Beispiel. Die in Abschnitt 3.6. betrachtete diskrete Gauss-Approximation ist eine Anwendung der Methode der kleinsten Fehlerquadrate. Die lineare Ausgleichsrechnung ist ein Spezialfall mit Matrizen A R n 2. 68