LINEARE AUSGLEICHSPROBLEME

Transkript

1 5 LINEARE AUSGLEICHSPROBLEME Beispiel 51 Bestiung eines unbekannten Widerstands x aus Messungen für die Strostärke t und die Spannung b Angenoen,esliegen Messungen (b i,t i, i =1,,,it 1, t b x Abb 51: Widerstandsbestiung aus Messungen für Spannung und Strostärke für Spannung und Strostärke vor Das Oh sche Gesetz aus der Physik besagt: b = tx,also b i = t i x,,, (51 Da die Messdaten in der Regel (Mess-Fehler beinhalten, kann an(51nichtexaktfürallei erfüllen Gesucht ist jetzt also ein Widerstand x, der öglichst gut zu den Messdaten passt Motivation: Gesucht ist eine Gerade g(x = αx + b, deren y-werte den kleinsten Quadratsuenabstand zu den vorgegebenen Daten (x i,f(x i, i =1,,n haben, die sogenannte Ausgleichsgerade Die geoetrische Veranschaulichung dazu ist in der nachfolgenden Abbildung dargestellt Abb 52: Die Ausgleichsgerade, die die Quadratsue der Abstände iniiert 51 Die Methode der kleinsten Quadrate Geäß obiger Motivation gilt es zu gegebenen Punktepaaren (x 1,f 1, (x 2,f 2,,(x n,f n die in der Geradengleichung g(x =x + b freien Paraeter und b so zu bestien, dass gilt F (, b := n ( 2 g(xi f i in,

2 98 Kapitel 5: Lineare Ausgleichsproblee oder in alternativer Forulierung ( A b in (b, R 2 d 2, 2 wobei wir nachfolgende Definitionen verwenden 1 x 1 A = 1 x n, d = Hierzu bilden wir alle partiellen Ableitungen bzgl und b,woraussichdanndiekritischenpunkte der Funktion F (, b wie folgt berechnen F (, b = I vorliegenden Fall erhalten wir dait f 1 f n ( b F, F = n b F (, b = 2 (x i + b f i 1 =,! n F (, b = 2! (x i + b f i x i = Diese beiden Bestiungsgleichungen können auch wie folgt geschriebenwerden ( ( b 1 T A d =, ( ( b x T A d =, wobei 1=(1,,1 T R n und x =(x 1,,x n R n seien Es gilt also ( ( b F (, b = 1 T A ( ( b x T A d =, d = Zusaengefasst folgt für potentielle Minialstellen 1 x 1 1 x n T ( ( b A ( d = ( b A T A = A T d Beerkung 511 Falls in eine linearen Gleichungssyste die Anzahl der Gleichungen die der Unbekannten übersteigen sollte (wie es i vorliegenden Fall bei Ax = d ist, so nennen wir das Syste überbestit und können es in der Regel nicht exakt lösen Deshalb betrachten wir sinnvollerweise das Ausgleichsproble der Gaußschen Noralengleichung A T Ax = A T d (52 und erhalten dafür genau dann eine eindeutige Lösung, falls A vollen Rang besitzt Nuerik 1 (Einführung in die Nuerische Lineare Algebra, 21 März 213

3 Abschnitt 52: Die QR-Zerlegung 99 Beerkung 512 Als einführendes Beispiel haben wir uns auf die Betrachtung vonlinearunabhängigen Basisvektoren des P 1 in der Darstellung von g beschränkt, dh 1, x AlsNächstes werden wirzu allgeeineren Funktionen inder Funktionsvorschrift von g übergehen, wie etwa g(x =a exp(x+b exp( x+c log(x Dait erhalten wir folgendes Miniierungsproble bei bekannten Daten (x i,f i (i =1,,n n ( 2 g(xi f i in, welches wir völlig analog zu obige Verfahren als Noralengleichung in der For a e x 1 e x 1 log x 1 f 1 A T A b = A T d, it A = und d = c e xn e xn log x n f n interpretieren können Je koplexer also die Funktionsvorschrift von g, desto aufwendiger wird auch das Lösen der Gaußschen Noralengleichung (52IFolgendenwerdenwireinVerfahren bereitstellen, das eine nuerisch stabile und effiziente Lösung des Ausgleichsprobles garantiert 52 Die QR-Zerlegung Definition 521 Eine quadratische Matrix Q R n n heißt orthogonal, fallsgilt: QQ T = Q T Q = I Weiterhin bezeichne x die vo Euklidschen Skalarprodukt i R n induzierte Nor, vgl Anhang B Darüber hinaus halten wir noch fest, dass orthogonale Abbildungen stets längen- und winkeltreu sind, dass also gilt Qx 2 =(Qx T Qx = x T Q T Qx = x T x = x 2, dh Qx = x Motivation: Zur Lösung des Miniierungsprobles in x R n Ax b 2 setzen wir voraus, dass zu A R n (rg A = n<stetseinezerlegunga = QR existiert, wobei Q R orthogonal ist und R R n folgende Gestalt besitzt R = = R, R stellt dabei eine reguläre obere Dreiecksatrix dar Dait können wir unser bisheriges Miniierungsproble wie folgt odifizieren (beachte die Faktorisierung A = QR: in Ax x R b 2 =in n x R QT (Ax b 2 =in Rx n x R QT b 2 n Hierbei weisen wir vor allen Dingen nochals auf die Gestalt von R hin: Rx = x = b 1 = QT b Dieser Faktorisierungsansatz führt uns nun zu folgenden Fragen: b 2 Nuerik 1 (Einführung in die Nuerische Lineare Algebra, 21 März 213

4 1 Kapitel 5: Lineare Ausgleichsproblee Zu welchen Matrizen A R n existiert eine derartige QR-Zerlegung? Wie bestien wir eine solche Zerlegung öglichst effizient? Satz 522 Zu jeder Matrix A R n it Maxialrang n<existiert eine orthogonale Matrix Q R derart, dass ( R A = QR it R =, R R n n gilt, wobei R eine reguläre obere Dreiecksatrix darstellt Beweis Der KerndesBeweises liegt inder Verwendung von orthogonalen Drehatrizen der For p te Spalte q te Spalte 1 1 cos ϕ sin ϕ U(p, q; ϕ := sin ϕ cos ϕ 1 1 p te Zeile q te Zeile (53 Die Orthogonalität von U(p, q; ϕ ergibt sich unittelbar, denn es gilt U T (p, q; ϕ U(p, q; ϕ =I Das Produkt à := U T (p, q; ϕ A liefert dagegen für j =1,,n p te Spalte q te Spalte 1 cos ϕ sin ϕ A = sin ϕ cos ϕ 1 a 11 a 1n a p 1,1 a p a p1 cos ϕ a q1 sin ϕ a pn cos ϕ a qn sin ϕ a p+1,1 a p+ a q 1,1 a q a p1 sin ϕ + a q1 cos ϕ a pn sin ϕ + a qn cos ϕ a q+1,1 a q+ a 1 a n Dezufolge werden die Zeilenp und q von A durch Linearkobinationen der cos-und sin-tere ersetzt Die sukzessive Multiplikation der Matrix A von links it Rotationsatrizen U T (p, q; ϕ (ϕ dabei so gewählt, dass ã q,p =itdenrotationsindexpaaren (1, 2, (1, 3,,(1,, (2, 3, (2, 4,,(2,, (3, 4,,(n, Nuerik 1 (Einführung in die Nuerische Lineare Algebra, 21 März 213

5 Abschnitt 53: Givens-Rotationen 11 eliiniert dann die Matrixeleente a 2,1,a 3,1,,a,n Sukzessivewerdendabeiunterhalbdes Diagonaleleents Nullen erzeugt Nach k := 1 2n(2 n 1 Transforationsschritten gilt dann A = QR it Uk T UT 2 U1 T A = Q T A = R oder A = QR Da die orthogonale Matrix Q regulär ist, ist der Rang von A und der Rang von R gleich n und folglich ist die Rechtecksdreiecksatrix R regulär, da A nach Voraussetzung Maxialrang hat Der soeben erbrachte Existenzbeweis ist rein konstruktiv und liefert dait eine erste Möglichkeit eine Zerlegung QR zu bestien Wir unterscheiden die folgenden beiden Vorgehensweisen: Givens 1 -Rotation, Householder 2 -Spiegelung 53 Givens-Rotationen Es bezeichne i Folgenden stets c := cos ϕ und s := sin ϕ DieGrundideederGivens-Rotation besteht darin, durch die Multiplikation it einer geeigneten orthogonalen (Dreh-Matrix einen Vektor x R n so zu drehen, dass öglichst viele seiner Koponenten verschwinden I Falle (a, b R 2 werden wir also c, s R so bestien, dass gilt ( c s s c ( a b = ( r Setzen wir zuerst a, b voraus Wir erhalten dait folgende Gleichung und it s 2 + c 2 =1gilt as = bc (54 r 2 =(ac + bs 2 = a 2 c 2 + abcs + abcs + b 2 s 2 (54 = a 2 c 2 + a 2 s 2 + b 2 c 2 + b 2 s 2 = a 2 + b 2 Weiter ergibt sich für a ac + bs = r c = 1 a (r bs as b (r bs = a a 2 s br + b 2 s = Und dait erhalten wir dann auch für b bc = as c = a b s = a r br =(a 2 + b 2 s s = br (r2 =a2 +b2 a 2 + b 2 = b r Offen ist noch die Wahl des Vorzeichens des Vorzeichens r = ± a 2 + b 2 Setzen wir r := sign(a a 2 + b 2,sofolgtc>, fallsa,undfüra =setzen wir c =und s = 1 Soit sind auch s und c für die anderen Spezialfälle b =und a = b =wohldefiniert Dait 1 Givens, W 2 Householder, A Nuerik 1 (Einführung in die Nuerische Lineare Algebra, 21 März 213

6 12 Kapitel 5: Lineare Ausgleichsproblee gilt (obwohl der Winkel bisher gar nicht explizit genannt wurde ϕ ( π 2, π 2 ] und soit lässt sich cos ϕ eindeutig aus sin ϕ it cos ϕ = 1 sin 2 ϕ bestien Seien p und q zwei Zeilenindizes von A ZurEliinierungdesMatrixeleentsa q,j gehen wir daher wie folgt vor: Falls a p,j : cosϕ = a p,j, a 2 p,j + a2 q,j sin ϕ = sign(a p,j a q,j, a 2 p,j + a2 q,j a p,j =: cosϕ =, sin ϕ =1 Da sich cos ϕ aus sinϕ bestien lässt, eröglicht das Verfahren eine effiziente Speicherung, denn es genügt sin ϕ an den entsprechenden freiwerdenden Stellen in A abzulegen: A = a ( 1,1 a ( a (,1 a (,n a (3 1,1 a (3 sin ϕ 2,1 a (1 2,2 a (1 sin ϕ 3,1 a (2 3,2 a (2 sin ϕ 4,1 a (3 4,2 a (3 a (,1 a (,n sin ϕ,1 a (1 1,1 a (1 sin ϕ 2,1 a (1 2,2 a (1 a ( 3,1 a ( 3,2 a ( a ( 4,1 a ( 4,2 a ( a (,1 a (,n a ( 1 1,1 a ( 1 sin ϕ 2,1 a (1 2,2 a (1 sin ϕ 3,1 a (2 3,2 a (2 sin ϕ 4,1 a (3 4,2 a (3 Die QR Zerlegung liefert also QR in kopakter For, gespeichert in A Der Aufwand dieser Vorgehensweise liegt bei ungefähr O(n 3 Operationen a (2 1,1 a (2 sin ϕ 2,1 a (1 2,2 a (1 sin ϕ 3,1 a (2 3,2 a (2 a ( 4,1 a ( 4,2 a (,1 a ( a (,n R Q a ( 1,2 a ( 1,n Beerkung 531 Die Multiplikation eines gegebenen Vektors x R n it der Drehatrix U(p, q; ϕ ist äquivalent zur Drehung von x u einen Winkel ϕ entgegen de Uhrzeigersinn in der Koordinatenebene Vergleiche hierzu die nachfolgende Abbildung, die diesen geoetrischen Sachverhalt verdeutlicht: Nuerik 1 (Einführung in die Nuerische Lineare Algebra, 21 März 213