Orthogonale Matrix. Definition 4.19

Transkript

1 Orthogonale Matrix Ausgleichsprobleme sind häufig schlecht konditioniert. Matrix des Normalengleichungssystems kann nahezu singulär sein. Spezielle Matrixzerlegung für höhere numerische Stabilität: QR-Zerlegung Definition 4.19 Es sei Q R n n eine quadratische Matrix. Gilt dann heißt Q orthogonal. Q 1 = Q T, Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

2 Beispiele orthogonaler Matrizen Beispiel 4.20 (i) Die Matrix Q = ( ist orthogonal. Sie beschreibt als lineare Abbildung eine Drehung um (ii) Die Verallgemeinerung der Matrix aus (i) ist ( ) cos α sin α R = sin α cos α Sie beschreibt eine Drehung um den Winkel α. (iii) Permutationsmatrizen sind orthogonal. ) Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

3 Eigenschaften orthogonaler Matrizen Satz 4.21 Es sei Q R n n eine orthogonale Matrix. Dann gilt: (i) Die Spaltenvektoren q (1), q (2),..., q (n) bilden eine orthonormale Basis des R n, d. h. die Vektoren q (1),..., q (n) sind linear unabhängig, Span(q (1),..., q (n) ) = R n, q (i) = 1 für i = 1,..., n und q (i), q (j) = 0 für i j. (ii) Q T ist auch orthogonal. (iii) Q entspricht einer längentreuen linearen Abbildung, d. h. Qx = x für alle x R n. (iv) det(q) = ±1 (v) Das Produkt Q R zweier orthogonaler Matrizen Q und R ist wieder orthogonal. Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

4 QR-Zerlegung Definition 4.22 Es sei A R n m. Gilt A = QR (i) für eine Matrix Q R n m mit orthonormierten Spalten und eine obere Dreiecksmatrix R R m m, dann heißt diese Zerlegung reduzierte QR-Zerlegung. (ii) für eine Orthogonalmatrix Q R n n und eine Matrix R R n m mit oberer Dreiecksgestalt, dann heißt diese Zerlegung volle QR-Zerlegung. Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

5 Bemerkungen zu Definition 4.22: (i) Q hat orthonormierte Spalten heißt { q (i), q (j) 1 für i = j = 0 für i j und 1 i, j m und q (i), q (j) R n. (ii) Obere Dreiecksgestalt bedeutet r i,j = 0 für i > j R =.... R n m Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

6 Eindeutigkeit der reduzierten QR-Zerlegung Satz 4.23 Sei A R n m mit r(a) = m n und seien Q 1 R 1 = A = Q 2 R 2 zwei reduzierte QR-Zerlegungen von A. Dann existiert eine Diagonalmatrix D R m m mit d ii ± 1 für alle i = 1,..., m, so dass gilt: Folgerung 4.24 Q 1 = Q 2 D und R 2 = DR 1 Es existiert genau eine QR-Zerlegung mit r ii > 0 für alle i = 1,..., m. Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

7 QR-Zerlegung und Normalgleichungssystem Die Lösung eines linearen Ausgleichsproblems ergibt sich durch Lösung des Normalengleichungssystems A T Aλ = A T y. Sei nun A = QR eine reduzierte QR-Zerlegung. Wegen Q T Q = E folgt R T Rλ = R T Q T QRλ = A T Aλ = A T y = R T Q T y. Da R und damit auch R T regulär ist, ergibt sich Rλ = Q T y. Dieses Gleichungssystem können wir durch Rückwärtssubstitution lösen. Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

8 Lösung von Aλ y mittels QR-Zerlegung Algorithmus Bestimme eine reduzierte QR-Zerlegung A = QR. 2 Setze c := Q T y. 3 Löse Rλ = c durch Rückwärtssubstitution. Bemerkung: Für n = m besteht kein Unterschied zwischen einer reduzierten und einer vollen QR-Zerlegung. In diesem Fall können wir eine QR-Zerlegung auch zur Lösung eines LGS verwenden. Dies wird aus Gründen der numerischen Stabilität auch verwendet. Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

9 Gram-Schmidt-Orthogonalisierung Wir schauen uns A = QR näher an. a (1) a (2) a (m) = q (1) q (2) q (m) r 1,1 r 1,2 r 1,m r 2,2 r 2,m r m,m Dies ist äquivalent zu: a (1) = r 1,1 q (1) a (2) = r 1,2 q (1) + r 2,2 q (2). a (m) = r 1,m q (1) + r 2,m q (2) + + r m,m q (m) Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

10 In Kurzform: a (j) = j r i,j q (i) Hieraus können wir nun die q (j) und die r i,j induktiv herleiten. Für j = 1 ergibt sich: i=1 r 1,1 = ± a (1) und q (1) = 1 r 1,1 a (1) Sei nun j 2, sowie q (1),..., q (j 1) ein orthonormiertes System von Vektoren, so dass die ersten j 1 Gleichungen mit bekannten Zahlen r i,k, 1 i k j 1 erfüllt sind. Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

11 Wir machen den Ansatz: Ausgleichsrechnung q (j) = 1 r j,j ( ) j 1 a (j) r i,j q (i) i=1 Da q (j) normiert sein soll, folgt j 1 r j,j = a(j) r i,j q (i) Die noch unbekannten r i,j für i < j ergeben sich aus der geforderdeten Orthogonalität: 0 = q (i), q (j) = 1 ( q (i), a (j) ) r i,j r j,j i=1 für alle i = 1,..., j 1. Damit folgt r i,j = q (i), a (j) Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

12 Gram-Schmidt-Verfahren Algorithmus 4.26 r 1,1 := a (1) q (1) := 1 r 1,1 a (1) for j := 2 to m do end q (j) := a (j) for i := 1 to j 1 do r i,j := q (i), a (j) end q (j) := q (j) r i,j q (i) r j,j := q (j) q (j) := 1 r j,j q (j) Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

13 Existenz der QR-Zerlegung In Folgerung 4.24 können wir aus Satz 4.23 nur die Eindeutigkeit der QR-Zerlegung herleiten, aber nicht deren Existenz. Das Gram-Schmidt-Verfahren liefert aber eine Konstruktion für eine QR-Zerlegung. Wenn wir zeigen können, dass dieser Algorithmus immer durchführbar ist, haben wir auch den Existenzbeweis. Das Gram-Schmidt-Verfahren kann nur durch r j,j = 0 scheitern. Wäre aber r j,j = 0, dann würde gelten. a (j) Span{q (1),..., q (j 1) } = Span{a (1),..., a (j 1) } Dies ist ein Widerspruch zur linearen Unabhängigkeit der Spaltenvektoren von A R n m, denn n. V. gilt r(a) = m. Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

14 Modifiziertes Gram-Schmidt-Verfahren Wenn die Spalten von A nahezu linear abhängig sind, ist das Gram-Schmidt-Verfahren immer noch numerisch instabil. Die berechneten Vektoren q (j) sind also nicht orthogonal. Besser wird die Stabilität, wenn wir die Berechnung der r i,j ersetzen durch r i,j = q (i), q (j). Diese zum klassischen Gram-Schmidt-Verfahren äquivalente Methode heißt modifiziertes Gram-Schmidt-Verfahren. Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

15 Algorithmus 4.27 r 1,1 := a (1) q (1) := 1 r 1,1 a (1) for j := 2 to m do end q (j) := a (j) for i := 1 to j 1 do r i,j := q (i), q (j) end q (j) := q (j) r i,j q (i) r j,j := q (j) q (j) := 1 r j,j q (j) Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

16 Beispiel 4.28 Ausgleichsrechnung Wir lösen Beispiel 4.1 mittels Algorithmus Schritt 1: Wir berechnen eine QR-Zerlegung mit dem Gram-Schmidt-Verfahren. Es gilt A = und damit a (1) = 55 = r 1,1, sowie q (1) = Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

17 Fortsetzung Beispiel. Daraus ergibt sich Ausgleichsrechnung r 1,2 = q (1), a (2) = und für den Vektor q (2) vor der Normierung q (2) = a (2) r 1,2q (1) = Die Normierung von q (2) liefert r 2,2 = und 11 q (2) = Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384.

18 Fortsetzung Beispiel. Ausgleichsrechnung Schritt 2: Wir berechnen c = Q T y. ( q (1), y c = Q T y = q (2), y ) = ( ) Schritt 3: Wir lösen Rλ = c. ( ) ( λ1 λ 2 ) = ( ) Daraus ergibt sich λ 2 = λ 1 = λ 2 55 = = Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384

19 Zusammenfasung Zusammenfassung Lineares Ausgleichsproblem: Finde eine Linearkombination f = m j=1 λ jf j von Funktionen, so dass das Fehlerfunktional E(f ) = n (y i f (x i )) 2 i=1 minimiert wird. Interpolation liefert i. d. R. keine befriedigende Lösung. Lösung des Ausgleichsproblems auf Basis des Normalgleichungssystems mittels Cholesky-Zerlegung. Numerisch stabiler: QR-Zerlegung Berechnung einer QR-Zerlegung mit dem (modifizierten) Gram-Schmidt-Verfahren Lösung für andere Fehlerfunktionale mittels linearer Programmierung Peter Becker (H-BRS) Big Data Mathematik Sommersemester / 384