Die orthogonale Matrizen Definition: Eine Matrix Q R n n heißt orthogonal, falls QQ T = Q T Q = I gilt. Die Eigenschaften orthogonaler Matrizen: a) det(q) = ±1; b) Qx 2 = x 2 für alle x R n, also Q 2 = 1; c) QA 2 = A 2 für jede A R n n ; d) Produkte orthogonaler Matrizen sind wieder orthogonal.
QR-Zerlegung A (1) x = b (1) A, (1) = A, b (1) = b; A (2) x = b (2) A, (2) = Q 1 A (1), b (2) = Q 1 b (1) ;.. A (n) x = b (n) A, (n) = Q n 1 A (n 1), b (n) = Q n 1 b (n 1) ; Q n 1... Q 1 Ax = Q n 1... Q 1 b Rx = c Jetzt betrachten wir nur die Matrixveränderungen: Q n 1... Q 1 A = R A = Q T 1... QT n 1 R Dann erhalten wir A = QR, Q := Q T 1... QT n 1, R := A (n).
QR-Zerlegung Aufgabe 2 Es seien 3 9 7 A = 4 13 1 und b = 0 20 35 Lösen Sie das lineare Gleichungssystem Ax = b mit Givens Rotationen. 1 2 3.
Methode der kleinsten Fehlerquadrate Aufgabe 3 Es sei A R m n, m n, mit vollem Rang und b R m. Betrachten Sie das Funktional F (x) := Ax b 2 2 = (Ax b)t (Ax b). a) Bestimmen Sie x mit F (x ) = 0. b) Beweisen Sie, daß F in x ein globales Minimum annimmt.
Fehleranalyse bei linearen Ausgleichsproblem 5 Vorüberlegung: Die Jacobi Matrix von y ist ( ) Dy = y,..., y x 1 x n Wir berechnen den Gradienten von y T y: (y T y) = m y 2 x i x j i j=1 m = 2 y j y j x i j=1 = 2( x i y) T y. Also ergibt sich für den Gradienten (y T y) = 2(Dy) T y..
Fehleranalyse bei linearen Ausgleichsproblem 6 a) Für y(x) = Ax b erhält man F (x) = (y T y) = 2(Dy) T y = 2A T (Ax b), Der Gradient verschwindet genau dann, wenn A T Ax = A T b, gilt, d.h, falls x die Normalgleichungen erfüllt. Da A eine Matrix mit vollem Rang ist, ist A T A symmetrisch positiv definit, so daß eine eindeutige Lösung existiert. Die Bedingung x = (A T A) 1 A T b. F (x ) = 0 ist notwendig für ein lokales Minimum der Funktion F in x.
Fehleranalyse bei linearen Ausgleichsproblem 7 b) Es sei v R n, v 0 beliebig. Dann gilt G(v) := F (x + v) = = ((Ax b) + Av) T ((Ax b) + Av) = Ax b 2 2 +2(Av)T (Ax b)+ Av 2 2 = Ax b 2 2 +2vT (A T Ax A T b) }{{} = Ax b 2 2 + Av 2 2 = F (x )+ Av 2 2. =0 Da A vollen Rang hat, ist Av 0 für v 0. Damit folgt F (x + v) > F (x ) für jeden Vektor v R n, v 0, d.h., daß F in x ein eindeutiges, globales Minimum annimmt. + Av 2 2
Methode der kleinsten Fehlerquadrate Sei haben wir die folgener Meßwete y i an den Stellen x i, i = 1,..., m. Dann mussen wir dieser Datei beim einem Kurve n b(x; α) = α k ϕ k (x) k=1 approximieren werden, wobei φ k (t) sind die Ansatzfunktionen und α k sind die Koeffizienten. Mit diesem Modell sucht man den Parametervektor α = (α 1,..., α n ) T, der die Quadratsumme m b(x i ; α) y i 2 min i=1 minimiert. Dieser Methode heißt die Method der kleinsten Fehlerquadrate.
Methode der kleinsten Fehlerquadrate Das lineare Ausgleichproblem kann man in Matrix-Vektor-Notation als Aα y 2 min geschrieben werden, wobai A = ( φ 1 (x),..., φ n (x) ) = y = φ 1 (x 1 )... φ n (x 1 )..... φ 1 (x m )... φ n (x m ) y 1. y m, x = x 1. x m,.
Normalgleichung Sei b R m, A R m n mit m n und rang A = n. Die Normallösung x der überbestimmten Gleichung Ax = b, ist die Lösung der Normalgleichung A T Ax = A T b. Die Normallösung x erfüllt die Gleichheit Ax b 2 = inf Ax b 2, x R n d.h. dies ist eine Näherungslösung der Gleichung Ax = b im Sinne der kleinsten Fehlerquadratmethode.
Normalgleichung Aufgabe 4 Gegeben sind die Punkte x i 1 0 1 y i 2 1 1. Diese Punkte (x i, y i ), i = 1, 2, 3, sollen gemäß theoretischen Überlegungen auf der Kurve y(x) = αx + β(1 x x 2 ) liegen. Bestimmen Sie die Parameter α, β R optimal im Sinne der kleinsten Fehlerquadratmethode mit Hilfe der Normalgleichungen.
QR-Zerlegung Mit der QR Zerlegung erält man Ax b 2 2 = QT (Ax b) 2 2 = Rx Q T b 2 2 ( ) ( ) R b = x 0 ˆb = Rx b 2 2 + ˆb 2 2 Es ist das Gleichungssystem Rx = b mit recht obere Dreiecksmatrix zu lösen, also x = R 1 b und damit Ax b 2 2 = ˆb 2 2. 2 2
QR-Zerlegung Aufgabe 5 Gegeben seien die Meßwerte i 0 1 2 t i 3 0 1 f(t i ) 5 7 8 für eine Größe f(t), die nach der Theorie einem Bildungsgesetz der Form f(t) = at + b sin( π 2 π 4 t) + 5 genügt. Bestimmen Sie die Parameter a, b optimal im Sinne der kleinsten Fehlerquadrate.
QR-Zerlegung t i 3 0 1 f(t i ) 5 7 8
Fehleranalyse bei linearen Ausgleichsproblem Satz 4.7. Sei x + x die Lösung von A(x + x) (b + b) 2 min. Dann gilt wobei x 2 x 2 κ 2(A) cos θ b 2 b 2, cos θ = Ax 2 b 2.