Lineare Ausgleichsproblems

Transkript

1 Lineare Ausgleichsproblems Heinrich Voss Hamburg University of Technology Department of Mathematics Lineare Ausgleichsproblems p. /7

2 Lineare Ausgleichsprobleme In (fast) allen Wissenschaftsbereichen begegnet man dem Problem, unbekannte Parameter eines funktionalen Zusammenhanges bestimmen zu müssen, dessen Struktur (abgesehen von den Werten der Parameter) etwa aus Naturgesetzen oder Modellannahmen bekannt ist. Lineare Ausgleichsproblems p. 2/7

3 Beispiel Um den Elastizitätsmodul E und die Querdehnungszahl ν eines elastischen Materials zu bestimmen, belastet man eine quaderförmige Probe in achsenparalleler Lage mit verschiedenen Normalspannungen (σ x, σ y, σ z ) und misst die resultierenden Dehnungen. 2 σ z.5 σ x σ y.5 σ y σ x σ z Lineare Ausgleichsproblems p. 3/7

4 Beispiel (2) Der Zusammenhang zwischen Spannung und Dehnung wird beschrieben durch das Hooksche Gesetz ε x ε y ε z = E ν ν ν ν ν ν σ x σ y σ z Führt man eine Messung durch, so werden diese 3 Gleichungen in 2 Unbekannten x =: /E und x 2 := ν/e σ x x + (σ y + σ z )x 2 = ε x σ y x + (σ x + σ z )x 2 = ε y σ z x + (σ x + σ y )x 2 = ε z i.a. einander widersprechen. Man versucht daher, sie möglichst gut in dem folgenden Sinne zu erfüllen. Lineare Ausgleichsproblems p. 4/7

5 Lineares Ausgleichsproblem Betrachte das lineare Ausgleichsproblem: Gegeben seien A R (m,n), b R m. Bestimme x R n, so dass minimal wird. Ax b 2 Das Ausgleichsproblem heißt linear, da die Parameter x nur linear in den Defekt Ax b eingehen. Lineare Ausgleichsproblems p. 5/7

6 Beispiel Die Höhe h einer Flüssigkeitssäule ist eine lineare Funktion der Temperatur h(t) = α + βt. Will man α und β bestimmen, so führt man m Messungen aus und bestimmt aus den Daten (T i, h i ), i =,...,m diese Parameter aus dem linearen Ausgleichsproblem Ax b 2 = min! mit A := T.. T m, x := ( α β ), b := h. h m Lineare Ausgleichsproblems p. 6/7

7 Beispiel 2 Wird statt der Ausgleichsgerade eine Ausgleichsparabel h(t) = α + βt + γt 2 zu den Daten (T i, h i ), i =,...,m, gewünscht, so ergibt sich das lineare Ausgleichsproblem Ax b 2 = min! mit A := T T 2... T m Tm 2, x := α β γ, b := h. h m. Lineare Ausgleichsproblems p. 7/7

8 Lineares Ausgleichsproblem (2) Bei der Lösung des linearen Ausgleichsproblems nutzen wir aus, dass die Transformation mit orthogonalen Matrizen die Euklidische Länge eines Vektors nicht verändert, d.h. für jede orthogonale Matrix Q R (m,m) (und jedes feste x R n ) gilt Ax b 2 = Q(Ax b) 2 = (QA)x Qb 2. Unser Ziel ist es, mit orthogonalen Transformationen Q (), Q (2),... die Systemmatrix A des linearen Ausgleichsproblems analog zur Vorgehensweise beim Gauß-Algorithmus für lineare Gleichungssysteme in eine obere Dreiecksmatrix zu transformieren. Lineare Ausgleichsproblems p. 8/7

9 Lineares Ausgleichsproblem (3) Ist A = O, so kann man x R n beliebig wählen, und das Ausgleichsproblem ist gelöst. Ist A O, so kann man o.b.d.a annehmen, dass die erste Spalte a von A vom Nullvektor verschieden ist (sonst Spaltentausch und Umnummerierung der Variablen). Lineare Ausgleichsproblems p. 9/7

10 Lineares Ausgleichsproblem (4) Wähle Q () als Householdermatrix, für die gilt Q () a = r e mit r = ± a 2. Dann gilt Q () A = r., Q() a 2,...,Q () a n Lineare Ausgleichsproblems p. /7

11 Lineares Ausgleichsproblem (5) Für alle x R n ist also Ax b 2 = ( Q () A ) x Q () b 2 =: A () x b () 2, wobei A () := Q () A = r. r 2,...,r n à (), b() := Q () b. Lineare Ausgleichsproblems p. /7

12 Beispiel Wir betrachten das lineare Ausgleichsproblem mit A = , b =. Die Householdermatrix Q () = E 4 2 wwt w 2 2 mit Q () = r e... Lineare Ausgleichsproblems p. 2/7

13 Beispiel (2) ist gegeben durch w := + 2 = 3. Hiermit gilt Q () = 2e (so ist Q () ja gerade konstruiert), und Lineare Ausgleichsproblems p. 3/7

14 Beispiel (3) Q () 3 3 = (3,,, ) 3 3 = Q () = (3,,, ) = 4 Q () = (3,,, ) = Lineare Ausgleichsproblems p. 4/7

15 Beispiel (4) Das Ausgleichsproblem ist also äquivalent zu Ax b 2 = min! x = min! 2 Lineare Ausgleichsproblems p. 5/7

16 Lineares Ausgleichsproblem (6) Ist Ã() =, so beenden wir die erste Phase des Verfahrens. Sonst können wir wieder o.b.d.a. annehmen, dass die erste Spalte ã () R m von Ã() nicht der Nullvektor ist. Wir wählen die Householdermatrix P (2) R (m,m ) mit P (2) ã () = r 22 e (hier bezeichnet e den ersten Einheitsvektor in R m ) und hiermit Q (2) =,...,. P (2) Lineare Ausgleichsproblems p. 6/7

17 Lineare Ausgleichsprobleme (7) Q (2) A () = = =.... P (2) r r 2 r 3... r n r r 2 r 3... r n.. ã () ã () 2... ã () n P (2) ã () P (2) ã 2... P (2) ã () n r r 2 r 3... r n r 22 r r 2n.. Ã (2) =: A (2) Lineare Ausgleichsproblems p. 7/7

18 Lineare Ausgleichsprobleme (8) und Ax b 2 = Q (2) A () x Q (2) b () 2 = A (2) x b (2) 2. Auf diese Weise kann man fortfahren, die Elemente unterhalb der Hauptdiagonale zu annullieren. Lineare Ausgleichsproblems p. 8/7

19 Lineare Ausgleichsprobleme (8) Man erhält schließlich (bei rundungsfehlerfreier Rechnung) Ax b 2 = A (k) x b (k) 2, mit A (k) = r r 2... r k r,k+... r n r r 2k r 2,k+... r 2n r kk r k,k+... r kn Lineare Ausgleichsproblems p. 9/7

20 Lineare Ausgleichsprobleme (9) Wie bei der Gaußschen Elimination wird man im Falle rundungsbehafteter Rechnung das Verschwinden der Restmatrix Ã(k) numerisch nicht feststellen können, da dort i.a. keine exakten Nullen stehen werden, sondern von Null verschiedene kleine Rundungsfehler. Man wird deshalb bei der numerischen Rechnung die Eliminationsphase abbrechen müssen, wenn die Größe der Restmatrix Ã(k) unter eine vorgegebene kleine Zahl fällt. Lineare Ausgleichsproblems p. 2/7

21 Fortsetzung des letzten Beispiels Der erste Schritt lieferte das äquivalente Ausgleichsproblem x = min! 2 Im zweiten Schritt bestimmen wir die Householder Matrix P (2) = E 3 2 vvt v 2 2 R (3,3) mit P (2) 2 2 = r 22 e. Lineare Ausgleichsproblems p. 2/7

22 Fortsetzung des letzten Beispiels (2) Es ist v = = 5 2, und hiermit nach Konstruktion P (2) 2 2 = 3 und P (2) 3 P (2) 5 = = (5, 2, ) (5, 2, ) 3 c = 5 5 = Lineare Ausgleichsproblems p. 22/7

23 Fortsetzung des letzten Beispiels (3) Das Ausgleichsproblem ist also äquivalent zu x = min! 2 Um die Dreiecksgestalt herzustellen, verwenden wir P (3) = E 2 2 wwt w 2 2 mit P (3) (.6.8 ) = r 33 e. Lineare Ausgleichsproblems p. 23/7

24 Fortsetzung des letzten Beispiels (4) Es ist w = (.6.8 ) + ( ) = (.6.8 ), und damit P (3) (.6.8 ) = ( ) (nach Konstruktion) P (3) (.2.4 ) = = ( ). Lineare Ausgleichsproblems p. 24/7

25 Fortsetzung des letzten Beispiels (5) Das Ausgleichsproblem ist also schließlich äquivalent zu x = min! 2 Die letzte Komponente kann man durch Wahl von x sicher nicht beeinflussen, die ersten drei Komponenten kann man alle zu Null machen, indem man das lineare Gleichungssystem löst x = x =.5 Lineare Ausgleichsproblems p. 25/7

26 Lineare Ausgleichsprobleme () Im allgemeinen Fall zerlegen wir b (k) = ( y z ), wobei y die ersten k Komponenten von b (k) und z die restlichen Komponenten enthält. Dann gilt A (k) x b (k) 2 2 = ( Rx ) ( y z ) 2 2 = Rx y z 2 2, und dieser Ausdruck wird sicher dann minimal, wenn der erste Summand verschwindet, d.h. wenn Rx = y. Lineare Ausgleichsproblems p. 26/7

27 Satz 7.8 Das lineare Ausgleichsproblem Bestimme x R n mit Ax b 2 = min! ist stets lösbar. Es ist eindeutig lösbar, wenn A unabhängige Spalten besitzt. Lineare Ausgleichsproblems p. 27/7

28 Beweis von Satz 7.8 Führt man das hergeleitete Verfahren für das Ausgleichsproblem durch, so gilt ( ) r ii = P (i) ã (i ) = ± ã(i ) 2, i =,...,k und daher ist das lineare Gleichungssystem Rx = y stets lösbar und damit auch das lineare Ausgleichsproblem. Rx = y ist genau dann eindeutig lösbar, wenn k = n gilt. Da die Multiplikation mit den regulären Matrizen Q (i) den Rang nicht ändert, gilt k = rang(r) = rang(a (k) ) = rang(a), und das Ausgleichsproblem ist genau dann eindeutig lösbar, wenn die Koeffizientenmatrix A linear unabhängige Spalten besitzt. Lineare Ausgleichsproblems p. 28/7

29 QR Zerlegung Besitzt A R (m,n) linear unabhängige Spalten, so kann man mit den eben konstruierten orthogonalen Matrizen Q (j) die Matrix A auf obere Dreiecksgestalt transformieren: Q (n) Q (n )... Q () A = R. Wegen der Orthogonalität und der Symmetrie der Q (j) erhält man hieraus A = Q ()... Q (n) R =: QR. Es gilt also Lineare Ausgleichsproblems p. 29/7

30 Satz 7.9 Die Matrix A R (m,n) besitze linear unabhängige Spalten. Dann gibt es eine orthogonale Matrix Q R (m,m) und eine reguläre obere Dreiecksmatrix R R (n,n), so dass gilt A = Q ( R ). Diese Zerlegung heißt die QR Zerlegung von A. Man kann die QR-Zerlegung einer Matrix mit Hilfe von Householder Transformationen bestimmen. Lineare Ausgleichsproblems p. 3/7

31 Bemerkung Ist A R (n,n) quadratisch und regulär und ist die QR-Zerlegung A = QR von A bekannt, so kann man (ähnlich wie mit der LR-Zerlegung) für jede rechte Seite b R n die Lösung des linearen Gleichungssystems Ax = b leicht bestimmen. Wir setzen nämlich y := Q T b und bestimmen dann durch Rückwärtseinsetzen die Lösung x von Rx = y. Dann gilt Ax = QRx = Qy = b. Lineare Ausgleichsproblems p. 3/7

32 Bemerkung (2) Der Aufwand zur Lösung eines linearen Gleichungssystems mit der QR-Zerlegung ist etwa doppelt so hoch wie der des Gaußschen Eliminationsverfahrens. Jedoch ist die QR-Zerlegung i.a., was Rundungsfehler und Stabilität betrifft, etwas günstiger als das Eliminationsverfahren. Lineare Ausgleichsproblems p. 32/7

33 Bemerkung Man beachte, dass die orthogonale Matrix Q dabei nur in y := Q T b benötigt wird. Wegen Q T = P (n )... P () kann die Multiplikation von b mit Q T durch die sukzessive Multiplikation mit den Matrizen P () bis P (n ) realisiert werden, ohne dass dafür die expliziten Matrixeinträge von Q bekannt sein müssen. Die Matrizen P (i) sind dabei (im wesentlichen) Householder-Matrizen, und werden ebenfalls nicht als volle Matrizen gespeichert oder multiplikativ angewendet. Lineare Ausgleichsproblems p. 33/7

34 Bemerkung (2) Vielmehr ist P (i) durch einen Vektor der Länge n i + voll charakterisiert. Der Speicheraufwand für die R-Matrix und die die P -Matrizen entspricht dem der ursprünglichen Matrix plus n weitere Plätze. Mit etwas Nachdenken kann die QR-Zerlegung der Matrix A ähnlich der Vorgehensweise bei der LR-Zerlegung so im Speicher von A sowie einem zusätzlichen Vektor vorgenommen werden. Lineare Ausgleichsproblems p. 34/7

35 Bemerkung Aus den obigen Ausführungen geht hervor, dass die QR-Zerlegung auch für Matrizen durchführbar ist, deren Spalten nicht linear unabhängig sind. In diesem Fall wird die R-Matrix ebenfalls nicht regulär werden. Wegen der während der Zerlegungsphase auftretenden algorithmischen Schwierigkeiten bei der Detektion der linearen Abhängigkeit wird hier auf die Darstellung dieses Falles verzichtet und auf Spezialvorlesungen über numerische Methoden verwiesen. Lineare Ausgleichsproblems p. 35/7

36 Gram-Schmidt Orthogonalisierung Alternativ kann man die QR Zerlegung mit dem Gram-Schmidt Prozess bestimmen, bei dem im j-ten Schritt, d.h. nachdem die ersten j Spalten q,...,q j von Q bereits bestimmt wurden, von der j-ten Spalte a j von A die Anteile in Richtung von q i, i =,...,j, abgezogen werden und der so bestimmte, zu den q i orthogonale Vektor normiert wird. q j = r jj ( a j ) j (q i ) T a j q i, wobei r jj so gewählt, dass q j =. i= j r ij q i = a j i= mit r ij := (q i ) T a j, i =,...,j, r jj = a j j i= r ij q i Lineare Ausgleichsproblems p. 36/7

37 Gram-Schmidt Orthogonalisierung (2) j r ij q i = a j i= mit r ij := (q i ) T a j, i =,...,j, r jj = a j j i= r ij q i A = ( a,...,a n) = ( q,...,q n) r r 2... r n r r 2n =: Q R... r nn Formal unterscheidet sich diese Zerlegung von der mit Householder Matrizen konstruierten QR Zerlegung, denn Q R (m,n) enthält nur eine Orthonormalbasis des von den Spalten von A aufgespannten Teilraums von R m. Diese lässt sich aber durch weitere m n orthonormale Spalten zu einer Orthonormalbasis von R m ergänzen. Man erhält dann eine QR Zerlegung wie vorher, wenn man R durch m n Nullzeilen ergänzt. Lineare Ausgleichsproblems p. 37/7

38 Die Normalgleichungen Wir leiten nun eine weitere notwendige und hinreichende Bedingung für die Lösung des linearen Ausgleichsproblems her. Die numerische Anwendung dieser Bedingung ist zwar i.a. rundungsfehleranfälliger als die schon demonstrierte Methode. Für die Handrechnung bei kleinen Problemen ist sie aber oft etwas angenehmer. Außerdem vermittelt sie wieder einmal gewisse strukturelle Einsichten in das Ausgleichsproblem. Lineare Ausgleichsproblems p. 38/7

39 Satz 7.2 Die Lösungen des Ausgleichsproblems Ax b 2 = min! sind genau die Lösungen der Normalgleichungen A T Ax = A T b. Lineare Ausgleichsproblems p. 39/7

40 Beweis von Satz 7.2 Es sei W := span{a,...,a n }. ỹ = A x W löst genau dann das Approximationsproblem ỹ b 2 y b 2 für alle y W, wenn ỹ die orthogonle Projektion von b auf W ist, und dies ist genau dann der Fall, wenn A x b W (a j ) T (A x b) =, j =,...,n A T (A x b) =. Lineare Ausgleichsproblems p. 4/7

41 Bemerkung Da A T A genau dann regulär ist, wenn ranga = n gilt (vgl. Kapitel 6), enthält Satz 7.2 die Eindeutigkeitsaussage von Satz 7.8. A T Ax = A T b ist auch dann stets lösbar ist, wenn A T A singulär ist. Die Normalgleichungen kann man als notwendige Bedingungen für das Minimum der Funktion φ(x) := Ax b 2 2 mit Methoden der Infinitesimalrechnung gewinnen. Lineare Ausgleichsproblems p. 4/7

42 Beispiel Für das Beispiel x 2 = min! lauten die Normalgleichungen A T Ax = x = A T b = mit der Lösung x = (.5,, ) T. Lineare Ausgleichsproblems p. 42/7

43 Bemerkung Die Normalgleichungen sind häufig wesentlich schlechter konditioniert (d.h. reagieren empfindlicher auf Fehler in den Eingangsdaten und auf Rundungsfehler bei der numerischen Lösung) als das Ausgleichsproblem und sollten nur für sehr kleine n verwendet werden. In der Regel ist das oben beschriebene Verfahren mit orthogonalen Transformationen des Originalproblems vorzuziehen. Lineare Ausgleichsproblems p. 43/7

44 Beispiel zur Abschreckung Bestimme p(t) = 2 a j t j j= mit i= wobei t i = 49 + i und b i = π + t i. (p(t i ) b i ) 2 = min!, Da die Daten exakt auf der Gerade ˆp(t) = π + t liegen, ist a = (a, a, a 2 ) T = (π,, ) T sicherlich eine Lösung (mit Defekt = ). Diese Lösung ist auch eindeutig. Lineare Ausgleichsproblems p. 44/7

45 Beispiel (2) Mit den Householder Transformationen erhält man die unten angegebene brauchbare Näherung ã. Löst man die Normalgleichungen mit dem Gaußschen Eliminationsverfahren, so erhält man als Näherung für die Lösung den Vektor â (die Rechnungen wurden auf dem IBM PS/2 unter Turbo Pascal 6. in einfacher Genauigkeit bei 7-8 Dezimalstellen ausgeführt), der sicherlich nicht befriedigen kann: ã = π â = π Lineare Ausgleichsproblems p. 45/7

46 Lineare diskrete Approximation Gegeben seien m Messpunkte (t j, b j ), j =,...,m, wobei die t j [a, b] R paarweise verschieden sind und b j R. Um hieraus eine funktionale Beziehung b = b(t), t [a, b], zu ermitteln, wählt man n Ansatzfunktionen φ k : [a, b] R, k =,..., n m, und bestimmt reelle Parameter x k so, dass ( m n ) 2 x k φ k (t j ) b j j= k= /2 = min!. ( ) Lineare Ausgleichsproblems p. 46/7

47 Lineare diskrete Approximation (2) Das Ausgleichsproblem (*) kann geschrieben werden als Ax b 2 = min! mit A = φ (t ) φ 2 (t )... φ n (t ) φ (t 2 ) φ 2 (t 2 )... φ n (t 2 ) φ (t m ) φ 2 (t m )... φ n (t m ), b = b b 2. b m. Lineare Ausgleichsproblems p. 47/7

48 Satz 7.8 Das lineare diskrete Approximationsproblem (*) ist genau dann eindeutig lösbar, wenn gilt n x k φ k (t j ) =, j =,...,m x k =, k =,...,n. ( ) k= In diesem Fall ist die Lösung die eindeutige Lösung des linearen Gleichungssystems n k= m φ i (t j )φ k (t j ) x k = j= m b j φ i (t j ), i =,...,n. (+) j= Lineare Ausgleichsproblems p. 48/7

49 Beweis von Satz 7.8 Die Bedingung (**) besagt gerade, dass die Matrix A linear unabhängige Spalten besitzt. Daher ist das Ausgleichsproblem eindeutig lösbar. Ist Bedingung (**) nicht erfüllt und gilt φ(t j ) = für alle j =,...,m für die Funktion n φ(t) = α k φ k (t), k= so ist wegen Aα = mit φ(t) auch φ(t) + λφ(t) für alle λ R eine Lösung des Ausgleichsproblems. (+) sind die Normalgleichungen A T A = A T b. Lineare Ausgleichsproblems p. 49/7

50 Haarsche Bedingung Bei der Überprüfung der Voraussetzung (**) ist die folgende Bedingung von besonderer Bedeutung (die auch in der Approximationstheorie bei Eindeutigkeitsfragen eine große Rolle spielt). Definition: Man sagt, dass die Funktionen φ j : [a, b], i =,...,n, auf dem Intervall [a, b] der Haarschen Bedingung genügen (oder dort ein Chebyshev System bilden), wenn jede Linearkombination φ(t) := n α j φ j (t) j= der φ j (t), für die nicht alle α j gleich sind, höchstens n Nullstellen in [a, b] besitzt. Lineare Ausgleichsproblems p. 5/7

51 Beispiel Wie wir bereits wissen, hat jedes Polynom p(t) = n i= α it i vom Höchstgrad n, dessen Koeffizienten α i nicht alle verschwinden, maximal n Nullstellen in C. Also hat ein solches Polynom auch maximal n Nullstellen in jedem reellen Intervall. Daher erfüllt jede Basis des Π n in jedem Teilintervall [a, b] von R die Haarsche Bedingung. Lineare Ausgleichsproblems p. 5/7

52 Beispiel 2 Es seien a k [a, b], k =,...,n, paarweise verschieden. φ k (t) = t a k, k =,...,n erfüllen die Haarsche Bedingung auf [a, b], denn n α k φ k (t) = n α k n (t a j ) =, k= k= j= j k und v k (t) := n (t a j ), j =,...,n j= j k bilden eine Basis des Π n. Lineare Ausgleichsproblems p. 52/7

53 Beispiel 3 Es seien a k <, k =,...,n, paarweise verschieden. Dann erfüllen (wie im letzten Beispiel) die Funktionen φ k (t) = t t + a k, k =,...,n, die Haarsche Bedingung in (, ). Lineare Ausgleichsproblems p. 53/7

54 Beispiel 4 Die Funktonen, sint, cos t, sin2t,...,sinnt, cos nt erfüllen die Haarsche Bedingung in jedem Teilintervall von [, 2π) (und genauso in jedem TeilIntervall von [ρ, ρ + 2π) R). Mit cos t = 2 (eit + e it ) und sint = 2i (eit e it ) gilt Lineare Ausgleichsproblems p. 54/7

55 Beispiel 4 (2) n n φ(t) := α + α k cos kt + β k sinkt = k= α + 2 k= n α k (e ikt + e ikt ) + 2i k= α e int i n β k (e ikt e ikt ) = k= n α k (e i(k+n)t + e i(n k)t ) k= n β k (e i(k+n)t e i(n k)t ) = k= n ( 2 α n k 2i β n k)(e it ) k + α (e it ) n k= n + ( 2 α k + 2i β k)(e it ) k+n =. k= Lineare Ausgleichsproblems p. 55/7

56 Beispiel 4 (3) Die Funktion auf der linken Seite der letzten Gleichung ist ein Polynom vom Grade 2n in der Variablen z := e it. Dieses hat höchstens 2n Nullstellen in C, wenn nicht seine Koeffizienten ( 2 α n k 2i β n k), k =,...,n, α, ( 2 α k + 2i β k), k =,...,n, allesamt verschwinden. Dies ist gleichbedeutend mit dem Verschwinden aller α und β Koeffizienten des ursprünglichen trigonometrischen Polynoms φ. Da die Funktion t e it jedes Intervall [ρ, ρ + 2π) bijektiv auf den Einheitskreis in C abbildet, besitzt φ höchstens 2n Nullstellen in [ρ, ρ + 2π), also auch höchstens 2n Nullstellen in jedem seiner Teilintervalle, und die Haarsche Bedingung ist demnach auf jedem solchen Intervall erfüllt. Lineare Ausgleichsproblems p. 56/7

57 Beispiel 5 Die Funktionen sinkt, k =,...,n, genügen der Haarschen Bedingung auf jedem Teilintervall [a, b] von (, π), denn besitzt die Funktion φ(t) = n α k sinkt k= die n Nullstellen t < < t n in [a, b], so hat φ wegen φ( t) = φ(t) für alle t im Intervall ( π, π) wenigstens die 2n + Nullstellen t n < < t < < t < < t n, und nach dem letzten Beispiel ist dies nur möglich, wenn alle α Koeffizienten verschwinden. Lineare Ausgleichsproblems p. 57/7

58 Beispiel 6 Sehr ähnlich wie im letzten Beispiel zeigt man, dass die Funktionen, cos t,...,cos nt in jedem Teilintervall von [, π) der Haarschen Bedingung genügen. Lineare Ausgleichsproblems p. 58/7

59 Satz 7.27 Erfüllen die Funktionen φ k : [a, b], k =,...,n, die Haarsche Bedingung in [a, b] und sind t j [a, b], j =,...,m, m n, paarweise verschieden, so besitzt das lineare diskrete Approximationsproblem für alle b j, j =,...,m, eine eindeutige Lösung. Beweis: Wir zeigen die Gültigkeit der Bedingung (**) aus Satz 7.9. Ist nämlich n α k φ k (t j ) = k= für alle j =,...,m, so besitzt die Funktion φ(t) := n α k φ k (t) k= im Intervall [a, b] wenigstens m n Nullstellen. Aus der Haarschen Bedingung folgt dann, dass α k = für alle k =,...,n ist. Lineare Ausgleichsproblems p. 59/7

60 Vandermondesche Matrix Aus Satz 7.27 folgt insbesondere für den Fall n = m, dass für jedes System φ k : [a, b] R, k =,...,n, von Funktionen, das auf [a, b] die Haarsche Bedingung erfüllt, und für alle paarweise verschiedenen t j [a, b], j =,...,n, die Matrix regulär ist. V = φ (t ) φ 2 (t )... φ n (t ) φ (t 2 ) φ 2 (t 2 )... φ n (t 2 ) φ (t n ) φ 2 (t n )... φ n (t n ) Die Matrix V heißt Vandermondesche Matrix zu {φ k : k =,...,n} und {t j : j =,...,n}, det(v ) heißt die Vandermondesche Determinante. Lineare Ausgleichsproblems p. 6/7

61 Vandermondesche Matrix (2) Die (klassische) Vandermondesche Matrix V = t... t n t 2... t n , t n+... t n n+ ist in diesem Sinne die Vandermonde Matrix zum System der Monome {t k : k =,,...,n} und den Punkten {t j : j =,...,n + }. Lineare Ausgleichsproblems p. 6/7

62 Vandermondesche Matrix (3) Aus der Regularität der Vandermondeschen Matrix folgt, dass das lineare Gleichungssystem V x = b für alle b R n eindeutig lösbar ist. Definiert man mit der Lösung x die Funktion φ(t) := n x k φ k (t), k= so erfüllt diese offenbar φ(t j ) = b j für alle j =,...,n, und sie ist die einzige Funktion in span{φ,...,φ n } mit dieser Eigenschaft. Damit gilt Lineare Ausgleichsproblems p. 62/7

63 Satz 7.29 Erfüllen die Funktionen φ k : [a, b], j =,...,n, die Haarsche Bedingung auf [a, b], so besitzt das Interpolationsproblem Bestimme bei gegebenen, paarweise verschiedenen t j [a, b] und gegebenen b j R, j =,...,n, eine Funktion φ(t) := n x k φ k (t) k= mit φ(t j ) = b j, j =,...,n. eine eindeutige Lösung. Lineare Ausgleichsproblems p. 63/7

64 Bemerkung Die Koeffizienten x k der interpolierenden Funktion φ lösen das lineare Gleichungssystem V x = b. Man sollte dieses Gleichungssystem aber nur in Ausnahmefällen zur Lösung des Interpolationsproblems verwenden, da die Vandermondesche Matrix häufig sehr schlecht konditioniert ist (die Lösung des Gleichungssystems also sehr empfindlich auf Rundungsfehler reagiert). Alternativ gibt es für viele Klassen von Funktionen (z.b. Polynome und trigonometrische Polynome) spezielle Algorithmen zur Berechnung der Interpolierenden, die stabiler sind und wesentlich weniger Aufwand erfordern. Lineare Ausgleichsproblems p. 64/7

65 Bemerkung Sind Messdaten (t j, b j ) R 2, j =,...,m, zur Bestimmung der Funktion b : R R gegeben und liegen keine Informationen über den Verlauf des Graphen von b vor, so werden oft als Ansatzfunktionen Polynome verwendet. Möglicherweise findet man es naheliegend, den Grad des Ansatz-Polynoms auch noch so groß zu wählen (= m), dass als Approximation für die Funktion b das Interpolationspolynom p Π m zu den Messdaten gebildet werden kann. Da man dann in den Messstellen t j die Daten mit dem Interpolationspolynom reproduziert, erwartet man auch zwischen den Messstellen eine gute Übereinstimmung mit b. Lineare Ausgleichsproblems p. 65/7

66 Bemerkung (2) Es zeigt sich häufig, dass das Interpolationspolynom sehr stark oszilliert und zur Beschreibung des untersuchten Vorgangs völlig ungeeignet ist. Dies ist insbesondere dann der Fall, wenn die Messungen fehlerhaft sind. Besser ist es, bei der polynomialen Approximation den Grad n klein gegen die Anzahl m der Datenpunkte zu wählen und die Approximation q Π n durch Ausgleich zu bestimmen. Lineare Ausgleichsproblems p. 66/7

67 Beispiel Die nächste Figur zeigt das Interpolationspolynom p Π 2 zu den Daten t i = b i = + 2i, i =,...,2, 2 wobei die b i mit einem zufälligen relativen Fehler von höchstens.% verschmutzt wurden, und das Ausgleichspolynom q vom Grade 2. Lineare Ausgleichsproblems p. 67/7

68 Beispiel (2) Lineare Ausgleichsproblems p. 68/7

69 Lineare Regression Besonders häufig tritt der Fall auf, dass zwischen den t j und b j ein linearer Zusammenhang angenommen wird: b j a t j + a, j =,...,m. Man spricht dann von linearer Regression. In diesem Fall ist die Matrix A = t.. t m, Lineare Ausgleichsproblems p. 69/7

70 Lineare Regression (2) Die Normalgleichungen A T Ax = A T b lauten m m t j j= m t j j= m t 2 j j= ( a a ) = m b j j= m j= t j b j, Lineare Ausgleichsproblems p. 7/7

71 Lineare Regression (3) mit der Lösung a = a = ( m )( j= b m j m ( m m j= t2 j ( m ) ) ( m j= t2 j ( m j= t j ) j= t jb j ( m ) m j= t2 j )( j= t m jb j j= t j ( m ) 2 j= t j ) ( m ) ( m j= t j j= b j ) 2. ) Lineare Ausgleichsproblems p. 7/7