KAPITEL 4. Lineare Ausgleichsrechnung Beispiel 4.1. Das Ohmsche Gesetz: U = RI. Eine Meßreihe von Daten:

Transkript

1 KAPITEL 4 Lineare Ausgleichsrechnung Beispiel 41 Das Ohmsche Gesetz: Eine Meßreihe von Daten: U = RI (U i, I i ) (Spannung, Stromstärke), i = 1,, m Aufgabe: man bestimme aus diesen Meßdaten den Widerstand R im Stromkreis Theoretisch: U i = RI i, i = 1,, m Aber Daten sind mit Fehlern behaftet U U i I i I Dahmen-Reusken Kapitel 4 1

2 Man kann hierzu versuchen, die durch eine Wahl von R bedingten Residuen U i RI i zu quadrieren, aufzusummieren und dasjenige R zu suchen, das diesen Ausdruck minimiert: f(r) := m i=1 (RI i U i ) 2 = min Da f eine quadratische Funktion ist, kann nur ein Extremum vorliegen, das durch die Nullstelle der Ableitung gegeben ist: 0 = f (R) = m i=1 ( m 2(RI i U i )I i = 2R Ii 2 i=1 Hier ergibt sich diese Nullstelle R als ) 2 m i=1 U i I i R = ( m i=1 U i I i )/( m Ii 2 i=1 ) Dahmen-Reusken Kapitel 4 2

3 Beispiel 42 In der Fourieranalyse wird eine T-periodische Funktion f durch eine Linearkombination der T-periodischen trigonometrischen Polynome 1, cos(ct), sin(ct), cos(2ct), sin(2ct),, cos(nct), sin(nct) mit c := 2π T in der Form approximiert g N (t) = 1 2 a 0 + N k=1 (a k cos(kct) + b k sin(kct)), Annahme: nicht f, sondern nur eine Reihe von Meßdaten b i f(t i ), 0 t 1 < t 2 < < t m T, ist bekannt, wobei m > 2N + 1 Ansatz zur Bestimmung der Koeffizienten a 0, a 1, b 1, a 2, b 2,, a N, b N : m i=1 (g N (t i ) b i ) 2 = min Dahmen-Reusken Kapitel 4 3

4 Das allgemeine lineare Ausgleichsproblem Das Minimierungsproblem m i=1 (y(t i ; x 1,, x n ) b i ) 2 = m i=1 (a i,1 x a i,n x n b i ) 2 = min wird in Matrixform dargestellt Setzt man A = (a i,j ) m,n i,j=1 Rm n, b R m, nimmt das Minimierungsproblem eine kompakte Form an: Also: Ax b 2 2 = min x R n Zu gegebenem A R m n und b R n, bestimme x R n, für das gilt Ax b 2 = min x R n Ax b 2 Dahmen-Reusken Kapitel 4 4

5 Beispiel 43 Man vermutet, daß die Meßdaten einer Gesetzmäßigkeit der Form t y y = f(t) = α t + β mit noch zu bestimmenden Parametern α, β R gehorchen Das zugehörige lineare Ausgleichsproblem hat die Gestalt (414), mit x = ( ) α, A = β , b = Dahmen-Reusken Kapitel 4 5

6 Normalgleichungen Die Lösung von (414) läßt sich auf die Lösung des linearen Gleichungssystems A T Ax = A T b reduzieren, das häufig als Normalgleichungen bezeichnet wird Beachte: für A R m n ist die Matrix A T A R n n stets quadratisch Kernaussage: Satz 45 x R n ist genau dann Lösung des linearen Ausgleichsproblems (414), wenn x Lösung der Normalgleichungen A T Ax = A T b ist Das System der Normalgleichungen hat stets mindestens eine Lösung Sie ist genau dann eindeutig, wenn Rang(A) = n gilt Dahmen-Reusken Kapitel 4 6

7 Geometrische Interpretation Anschaulich ist klar, daß die Differenz b Ax gerade senkrecht auf dem Bildraum Bild(A) = {Ax x R n } stehen muß, damit der Abstand Ax b 2 minimal ist Also gilt: Ax b 2 = min Ax b Bild(A), R m n b Ax b Ax x R n Bild(A) = {Ax x R n } R n Dahmen-Reusken Kapitel 4 7

8 In Beispiel 332 wurde bereits folgende Tatsache gezeigt: Bemerkung 46 Falls A R m n vollen (Spalten-)Rang n hat, so ist die Matrix A T A R n n symmetrisch positiv definit Annahme: Wir beschränken uns in den Abschnitten 43 und 44 auf den Fall, daß A vollen Spaltenrang hat: Rang(A) = n Der Fall Rang(A) < n wird in Abschnitt 47 diskutiert Dahmen-Reusken Kapitel 4 8

9 Kondition des linearen Ausgleichsproblems κ 2 (A) := max x 0 Ausgleichsproblem mit Störungen: Ax 2 x 2 / min x 0 A x b 2 = min Ax 2 x 2 δb b b Θ Ax A x Satz 47 Für die Kondition des linearen Ausgleichsproblems bezüglich Störungen in b gilt x x 2 x 2 κ 2(A) b b 2 cosθ b 2 Dahmen-Reusken Kapitel 4 9

10 A := Beispiel , b := Man kann einfach nachrechnen, daß κ 2 (A) 262 und ( ) x = (A T A) 1 A T 001 b = 0 gilt Für b = (001,1,001) T erhält man Daraus folgt x = (A T A) 1 A T b = ( ) x x 2 x b b 2 b 2, also eine schlechte Kondition Es gilt cosθ = Ax 2 b 2 = 001 Dahmen-Reusken Kapitel 4 10

11 Kondition des linearen Ausgleichsproblems Satz 49 Für die Kondition des linearen Ausgleichsproblems bezüglich Störungen in A gilt x x 2 x 2 ( κ 2 (A) + κ 2 (A) 2 tanθ ) Ã A 2 A 2 Dahmen-Reusken Kapitel 4 11

12 Numerische Lösung des linearen Ausgleichsproblems Lösung der Normalgleichungen Die Matrix A T A ist symmetrisch positiv definit Folglich ergibt sich die Methode: Berechne A T A, A T b Berechne die Cholesky-Zerlegung von A T A Löse LDL T = A T A Ly = A T b, L T x = D 1 y durch Vorwärts- bzw Rückwärtseinsetzen Dahmen-Reusken Kapitel 4 12

13 Nachteile dieser Vorgehensweise Die Berechnung von A T A ist für große m aufwendig und birgt die Gefahr von Genauigkeitsverlust durch Auslöschungseffekte Die Einträge von A T A sind also mit (möglicherweise erheblichen relativen) Fehlern behaftet Bei der Lösung des Systems A T Ax = A T b über das Cholesky- Verfahren werden die Rundungsfehler in A T A und A T b mit verstärkt Es gilt κ 2 (A T A) κ 2 (A T A) = κ 2 (A) 2 Folglich wird die Rundungsfehlerverstärkung durch κ 2 (A) 2 beschrieben Dahmen-Reusken Kapitel 4 13

14 Beispiel 412 A = 3 3 δ 0 0 δ, b = 2 3 δ, 0 < δ 1 δ Das lineare Ausgleichsproblem Ax b 2 = min hat die Lösung x = (1,1) T (für alle δ > 0) Außerdem gilt Θ = 0 Daher wird die Kondition dieses Problems durch κ 2 (A) beschrieben Man rechnet einfach nach, daß 6 κ 2 (A) δ gilt Ein stabiles Verfahren sollte ein Resultat x liefern, mit x x 2 x 2 κ 2 (A) eps Dahmen-Reusken Kapitel 4 14

15 Die Lösung dieses Problems über die Normalgleichungen und das Cholesky-Verfahren auf einer Maschine mit eps ergibt: δ = 10 4 : x x 2 x κ 2(A) 2 eps δ = 10 6 : x x 2 x κ 2(A) 2 eps Dahmen-Reusken Kapitel 4 15

16 Lösung über QR-Zerlegung Satz 413 Sei A R m n mit Rang(A) = n und b R m Sei Q R m m eine orthogonale Matrix und R R n n eine obere Dreiecksmatrix, so daß QA = R := ) ( R } n } m n Dann ist die Matrix R regulär Schreibt man ( ) b1 } n Qb = b 2 } m n, dann ist x = R 1 b 1 die Lösung des linearen Ausgleichsproblems (414) Die Norm Ax b 2 ist gerade durch b 2 2 gegeben Grundidee: Ax b 2 2 = QAx Qb 2 2 = Rx Qb 2 2 = Rx b b Dahmen-Reusken Kapitel 4 16

17 Aus Satz 413 ergibt sich nun folgende Methode: Bestimme von A die QR-Zerlegung ) ( R QA = ( R R n n ), zb mittels Givens-Rotationen oder Householder-Spiegelungen und berechne Qb = ( b 1 b2 ) Löse mittels Rückwärtseinsetzen Rx = b 1 Die Norm des Residuums min x R n Ax b 2 = Ax b 2 ist gerade durch b 2 2 gegeben Dahmen-Reusken Kapitel 4 17

18 Beispiel 415 Sei A = , b = , dh m = 3, n = 2 Man bestimme die Lösung x R 2 von Ax b 2 = min Annullierung von a 3,1 : A (2) = G 1,3 A = , b (2) = G 1,3 b = 0 5 (In der Praxis werden die Transformationen G 1,3 A und G 1,3 b ausgeführt, ohne daß G 1,3 explizit berechnet wird) Dahmen-Reusken Kapitel 4 18

19 Annullierung von a (2) 3,2 : A (3) = G 2,3 A (2) = Lösung von = ( durch Rückwärtseinsetzen: x = ) ( R, b (3) = G 2,3 b (2) = ) ( x 1 x 2 ) = ( ( , 37 ) T 169 ) Als Norm des Residuums ergibt sich: b 2 2 = Dahmen-Reusken Kapitel 4 19

20 Wegen Satz 341 gilt κ 2 (A) = κ 2 ( R), dh, das Quadrieren der Kondition, das bei den Normalgleichungen auftritt, wird vermieden Außerdem ist die Berechnung der QR-Zerlegung über Givens- oder Householder-Transformationen ein sehr stabiles Verfahren, wobei die Fehlerverstärkung durch κ 2 (A) (und nicht κ 2 (A) 2 ) beschrieben wird Dahmen-Reusken Kapitel 4 20

21 Beispiel 416 Wir nehmen A und b wie in Beispiel 412 Die Methode über die QR- Zerlegung von A, auf einer Maschine mit eps 10 16, ergibt δ = 10 4 : δ = 10 6 : x x 2 x , x x 2 x Wegen der sehr guten Stabilität dieser Methode sind diese Resultate viel besser als die Resultate in Beispiel 412 Dahmen-Reusken Kapitel 4 21

22 45 Zum statistischen Hintergrund - lineare Regression Gegeben seien Daten (t 1, y 1 ),,(t m, y m ) mit t i : feste (deterministische) Meßpunkte, y i : Realisierungen von Zufallsvariablen Y i Lineare Regression basiert auf dem Ansatz Y i = n k=1 a k (t): geeignete Ansatzfunktionen, F i : Meßfehler (Zufallsvariablen) a k (t i )x k + F i, i = 1,, m, Ziel: eine Schätzung ˆx = (ˆx 1,,ˆx n ) T für den unbekannten Parametersatz x = (x 1,, x n ) T R n bestimmen Einen solchen Schätzer liefert die lineare Ausgleichsrechnung Sei nämlich ˆx die Lösung des linearen Ausgleichsproblems Ax y 2 2 min Dann ist ˆx ebenfalls eine Zufallsvariable Dahmen-Reusken Kapitel 4 22

23 ˆx als Best Linear Unbiased Estimator (BLUE) Annahmen: - F i unabhängig, identisch verteilt mit Erwartungswert E(F i ) = 0 - Varianz-Kovarianzmatrix Dann gilt V (F) := E(FF T ) = ( E(F i F j ) ) m i,j=1 = σ2 I E(ˆx) = x, V (ˆx) = E ( (ˆx x)(ˆx x) T ) = σ 2 (A T A) 1 Der Schätzer ist erwartungstreu und hat minimale Varianz Man spricht von einem Best Linear Unbiased Estimator (BLUE) Dahmen-Reusken Kapitel 4 23

24 ˆx als Maximum-Likelihood-Schätzer Annahmen: - F i unabhängig, identisch verteilt mit Erwartungswert 0 - Varianz-Kovarianzmatrix V (F) = σ 2 I - F i normalverteilt : Y i normalverteilt, E(Y ) = Ax, V (Y ) = σ 2 I Dichtefunktion von Y i : ( z (Ax)i σ f i (z) = 1 σ 1 2π e 2 Für die Meßreihe y 1,, y m ist die Likelihood-Funktion definiert durch L(x; y 1,, y m ) := m i=1 f i (y i ) = ) 2 ( )m e 2πσ 2 2σ 2 y Ax 22 Ein Parameterwert x heißt Maximum-Likelihood-Schätzwert, wenn L( x; y 1,, y m ) L(x; y 1,, y m ) für alle x R n Der Maximum-Likelihood-Schätzer ist gerade der Schätzer ˆx aus dem linearen Ausgleichsproblem, weil y A x 2 = min x R n y Ax 2 Dahmen-Reusken Kapitel 4 24

25 46 Orthogonale Projektion auf einem Teilraum Gegeben: ein Vektorraum V über R mit einem Skalarprodukt, Durch v := v, v 1 2 wird eine Norm auf V definiert Aufgabe Sei U V ein n-dimensionaler Teilraum von V Zu v V bestimme u U, für das gilt u v = min u U u v Im Falle des linearen Ausgleichsproblems ist U = Bild(A), A R m n, V = R m, u, v = m j=1 u j v j, Dh = 2 Bemerkung 418 Weil U ein endlich-dimensionaler Teilraum ist, existiert ein Element in U mit minimalem Abstand zu v, dh es existiert u U, für das u v = min u U u v gilt Dahmen-Reusken Kapitel 4 25

26 Satz 420 Unter den Bedingungen von Aufgabe 417 existiert ein eindeutiges u U, das u v = min u v u U erfüllt Ferner gilt das genau dann, wenn u v, u = 0 u U, dh, u v senkrecht (bzgl, ) zu U ist u ist somit die orthogonale Projektion (bzgl, ) von v auf U Die Lösung der Aufgabe 417 ist also die orthogonale Projektion (bzgl, ) von v auf den Unterraum U v U u Dahmen-Reusken Kapitel 4 26

27 Eigenschaften der Projektion Zu v V existiert ein eindeutiges P U (v) U, so daß v P U (v) U, dh, v P U (v), u = 0 u U Mit P U : V U ist also eine wohldefinierte Abbildung gegeben (i) Die Abbildung P U : V U ist linear (ii) P U ist ein Projektor, dh P U (u) = u für alle u U (P 2 U = P U) (iii) Die Abbildung P U ist symmetrisch, dh P U (v), w = v, P U (w), v, w V (iv) P U is beschränkt und zwar gilt P U = sup v =1 P U (v) = 1 Dahmen-Reusken Kapitel 4 27

28 Wie kann man P U (v) berechnen? Sei {φ 1,, φ n } eine Basis für U Dann hat û = P U (v) eine eindeutige Darstellung P U (v) = n j=1 c j φ j mit gewissen Koeffizienten c j = c j (v) Es gilt 0 = v P U (v), φ k = v, φ k n j=1 Definiert man die Gram-Matrix G := ( φ k, φ j ) n c j φ j, φ k, k = 1,, n j,k=1 c = (c 1,, c n ) T, v = ( v, φ 1,, v, φ n ) T so ergibt sich Gc = v und die Vektoren Die Berechnung einer orthogonalen Projektion läuft also im allgemeinen auf die Lösung eines symmetrisch positiv definiten Gleichungssystems hinaus Dahmen-Reusken Kapitel 4 28

29 47 Singulärwertzerlegung (SVD) und Pseudoinverse Wir definieren die Lösungsmenge L(b) := {x R n x ist Lösung des linearen Ausgleichproblems} Lemma 424 Die Lösungsmenge L(b) hat folgende Eigenschaften: (i) Es existiert ein eindeutiges x R n, so daß x = L(b) Kern(A), wobei Kern(A) := {z R n y T z = 0, y Kern(A)} (ii) Für alle x L(b) \ {x } gilt x 2 > x 2, dh, x hat die kleinste Euklidische Norm in L(b) Folgerung 425 Sei b R m, A R m n Die Aufgabe bestimme x mit minimaler Euklidischer Norm, für das Ax b 2 = min x R n Ax b 2 gilt, hat eine eindeutige Lösung Dahmen-Reusken Kapitel 4 29

30 Singulärwertzerlegung Satz 427 Zu jeder Matrix A R m n existieren orthogonale Matrizen U R m m, V R n n und eine Diagonalmatrix mit so daß Σ := diag(σ 1,, σ p ) R m n, p = min{m, n}, σ 1 σ 2 σ p 0, U T AV = Σ Die σ i heißen Singulärwerte von A (singular values) Die Spalten der Matrizen U, V nennt man die Links- bzwrechtssingulärvektoren Dahmen-Reusken Kapitel 4 30

31 Pseudoinverse Satz 428 Sei U T AV = Σ eine Singulärwertzerlegung von A R m n mit Singulärwerten σ 1 σ r > σ r+1 = = σ p = 0, p = min{m, n} Definiere A + R n m durch A + = V Σ + U T mit Σ + = diag(σ 1 1,, σ 1 r,0,,0) R n m Dann ist A + b = x die Lösung des allgemeinen linearen Ausgleichproblems A + heißt Pseudoinverse von A Dahmen-Reusken Kapitel 4 31

32 Lemma 429 Sei U T AV = Σ eine Singulärwertzerlegung von A mit Singulärwerten σ 1 σ r > σ r+1 = = σ p = 0, p = min{m, n} Die Spalten der Matrizen U und V werden mit u i bzw v i notiert Dann gilt: (i) Av i = σ i u i, A T u i = σ i v i, i = 1,, p (ii) Rang(A) = r (iii) Bild(A) = span{u 1,, u r }, Kern(A) = span{v r+1,, v n } (iv) A 2 = σ 1 (v) Sei κ 2 (A) := A 2 A + 2 = σ 1 σ r Falls Rang(A) = n m, so gilt (vi) { σ i i = 1,, r} = { κ 2 (A) = κ 2(A) = max x 2 =1 Ax 2 min x 2 =1 Ax 2 λ i (A T A) i = 1,, n } \ {0} Dahmen-Reusken Kapitel 4 32

33 Abb 46 Orthogonale Basis in R n und R m span{v r+1,, v n } = Kern(A) R n span{v 1,, v r } 0 = Bild(A T ) A R m span{u r+1,, u m } = Kern(A T ) A T 0 span{u 1,, u r } = Bild(A) Dahmen-Reusken Kapitel 4 33

34 Abb 47 Geometrische Interpretation der Singulärwertzerlegung v i R n x v T i x vj Tx v j A σ i v T i x u i R m Ax σ j vj Tx u j Dahmen-Reusken Kapitel 4 34

35 471 Berechnung von Singulärwerten Lemma 430 Sei A R m n, und seien Q 1 R m m, Q 2 R n n orthogonale Matrizen Dann haben A und Q 1 AQ 2 die gleichen Singulärwerte Transformation auf Bidiagonalgestalt; Beispiel: Eine Householder-Transformation Q 1, so daß Q 1 A = ( v T = 1 ) Dahmen-Reusken Kapitel 4 35

36 Sei Q 1 R 3 3 eine Householder-Transformation, so daß Q 1 v 1 = ( 0 0) T Mit ˆQ 1 := ( v T Q 1 AˆQ 1 = 1 ( 1 Q 1 ) ( 1 ) Q 1 ) erhält man = Auf ähnliche Weise können Nulleinträge erzeugt werden in der 2 Spalte, 2 Zeile, 3 Spalte und 4 Spalte: Q 1 AˆQ 1 Q 2 Q 1 AˆQ 1 = Q 2Q 1 AˆQ 1 ˆQ 2 = Q 3 Q 2 Q 1 AˆQ 1 ˆQ 2 = Q 4Q 3 Q 2 Q 1 AˆQ 1 ˆQ 2 = Dahmen-Reusken Kapitel 4 36

37 Bemerkung 431 Der Aufwand zur Berechnung der oberen Bidiagonalmatrix B in 465 beträgt mn 2 + O(mn) Operationen Die Matrix A und die sich ergebende Bidiagonalmatrix B haben die gleichen Singulärwerte Die Singulärwerte der Matrix A sind die Wurzeln der Eigenwerte der Tridiagonalmatrix B T B Für die Berechnung der Eigenwerte dieser Matrix werden im allgemeinen sehr viel weniger arithmetische Operationen benötigt als für die Berechnung der Eigenwerte der (vollbesetzten) Matrix A T A Dahmen-Reusken Kapitel 4 37

38 472 Rangbestimmung Lemma 432 Sei U T AV = Σ eine Singulärwertzerlegung von A mit Singulärwerten σ 1 σ r > σ r+1 = = σ p = 0, p = min{m, n} Für 0 k p 1 gilt: min{ A B 2 B R m n, Rang(B) k } = σ k+1 Folgerung 433 Für A und à = A + A R m n mit Singulärwerten σ 1 σ p bzw σ 1 σ p, p = min{m, n}, gilt σ k σ k σ 1 A 2 A 2, für k = 1,, p In diesem Sinne ist das Problem der Singulärwertbestimmung gut konditioniert Dahmen-Reusken Kapitel 4 38

39 Der Numerische Rang Sei à = (ã i,j ) eine mit Rundungsfehlern behaftete Annäherung von A, wobei ã i,j = a i,j (1 + ǫ i,j ) mit ǫ i,j eps Mit E := (a i,j ǫ i,j ) R m n ergibt sich A à 2 = E 2 m E m A eps mn A 2 eps Deswegen definieren wir: BÃ(eps) := { C R m n à C 2 à 2 mn eps } Der numerische Rang Rang num (Ã) der Matrix à ist: Rang num (Ã) := min{rang(b) B BÃ(eps) } Dieser numerische Rang hängt von der Maschinengenauigkeit eps ab Dahmen-Reusken Kapitel 4 39

40 Bestimmung des numerischen Ranges: Seien σ 1 σ p die Singulärwerte der Matrix à Es gilt min Rang(B) k à B 2 à 2 = σ k+1 σ 1, 1 k < p Die Umgebung BÃ(eps) enthält also eine Matrix B mit Rang(B) = k genau dann, wenn σ k+1 / σ 1 mn eps Der numerische Rang der Matrix à ist deshalb: Rang num (Ã) = min{1 k p σ k+1 σ 1 mn eps } Dahmen-Reusken Kapitel 4 40

41 434 Beispiel Wir betrachten die Matrizen A 1 = , A 2 = A eps ( ), wobei eps Es gilt Rang(A 1 ) = 2, Rang(A 2 ) = 3 Die berechneten Singulärwerte dieser Matrizen sind 7776, 1082, bzw 7776, 1082, In beiden Fällen sind die drei berechneten Singulärwerte strikt positiv, jedoch gilt Rang num (A 1 ) = Rang num (A 2 ) = 2 In der Praxis würde man hieraus schließen, daß beide Matrizen den Rang 2 haben Dahmen-Reusken Kapitel 4 41