Regression, Interpolation, numerische. Integration

Transkript

1 ,, numerische 9. Vorlesung Methoden I Clemens Brand 20. Mai 2010

2 Gliederung

3 : Aufgabenstellung Gesucht ist ein Polynom, das die Datenpunkte möglichst gut approximiert Gegeben m+1 Wertepaare (x i, y i ), i = 0,...,m Gesucht p(x), ein Polynom n-ten Grades, n < m, so dass die Summe der Fehlerquadrate m (p(x i ) y i ) 2 i=0 minimal wird.

4 Anpassen eines Polynoms an Datenpunkte Spezifische Wärmekapazität von kohlenstoffarmem Stahl in J/kgK für 20C T 700, C T c p y = *x *x + 4.6e+002 y = 1.6e 006*x *x *x + 4.4e Datenpunkte quadratisches Pol. kubisches Pol Die Abbildung illustriert e (quadratisch und kubisch) an die gegebenen Datenpunkte.

5 Direkter Lösungsweg Ansatz des Polynoms mit unbestimmten Koeffizienten p(x) = a 0 + a 1 x + a 2 x 2 + +a n 1 x n 1 + a n x n. Einsetzen der gegebenen Wertepaare führt auf ein System von m linearen Gleichungen in den n+1 unbekannten Koeffizienten a 0, a 1,...,a n. Sofern n < m liegt in der Regel ein überbestimmtes System vor. Lösung nach der Methode der Normalengleichungen. Besser: Lösung durch QR-Zerlegung (Standardverfahren)

6 Formel für die Normalengleichungen Bei er haben die Normalengleichungen spezielle Form; man kann die Koeffizienten direkt angeben. s 0 a 0 + s 1 a s n a n = t 0 s 1 a 0 + s 2 a s n+1 a n = t 1... s n a 0 + s n+1 a s 2n a n = t n mit s k = m xi k, t k = i=0 m xi k y i i=0

7 Was dabei schiefgehen kann Remember Murphy s Law: If anything can go wrong, it will Normalengleichungen für größere n schlecht konditioniert Abhilfe: Daten skalieren. Anderere Lösungswege (QR-Zerlegung, Singulärwertzerlegung), andere Ansatzfunktionen (Orthogonalpolynome) Methode der kleinsten Quadrate wird durch Ausreißer stark irritiert Abhilfe: Robuste Methoden, Minimierung der Summe der absoluten Fehler (Minimierung in der 1-Norm statt in der 2-Norm)

8 Einfacher Spezialfall der en Anpassen einer Geraden an Datenpunkte. Die Ausgleichsgerade nach der Methode der kleinsten Quadrate lässt sich von den wenigen Ausreissern stark ablenken. Minimieren des absoluten Fehlers legt eine wesentlich plausiblere Gerade durch die Daten.

9 Total Least Squares mit SVD Standardverfahren minimiert Summe der Abstandsquadrate in y-richtung, TLS minimiert Quadratsumme der Normalabstände Bestimme Schwerpunkt [ x, ȳ] der Daten. x = 1 x i, ȳ = 1 n n i=1,n i=1,n y i 0.4 Verschiebe die Daten x i = x i x, y i = y i ȳ Bilde Singulärwertzerlegung x 1 y 1 U S V T =.. x n y n TLS-Gerade geht durch den Schwerpunkt in Richtung des ersten Spaltenvektors von V.

10 Statistische Zusammenhänge Die Methode der kleinsten Quadrate liefert maximum likelihood-schätzung der Parameter wenn die Daten mit unabhängigen, zufälligen, normalverteilten Fehlern mit gleicher Standardabweichung behaftet sind. Ist C = (A T A) 1 die inverse Matrix des Systems der Normalengleichungen, und ist die Varianz der Daten gleich σ 2, so ist σ 2 C die Kovarianzmatrix der Parameter.

11 in MATLAB Die Übungen enthalten Beispiele zur en mit den Befehlen polyfit und polyval mit dem Basic-Fitting-Tool Fallstudie in der MATLAB-Hilfe

12 Approximation durch e Datenpunkte sind gegeben. Ein Approximationspolynom vierten Grades modelliert den Verlauf der Daten ganz passabel. Es hängt vom Modell ab, ob es Sinn macht, mehr Parameter (höheren Grad) zu verwenden. Ein Polynom 15. Grades (16 freie Parameter) könnte die Daten exakt modellieren, aber...

13 Datenanpassung mit zu hohem Polynomgrad Der Fehler an den Datenpunkten verschwindet zwar, das Polynom oszilliert aber heftig. Typisch für Polynome hohen Grades. Nur sehr glatte Funktionen lassen sich gut durch Polynome hohen Grades gut annähern, und auch das nur in kleinen Bereichen (Beispiel: Potenzreihen)

14 Woher die Daten kommen Ob eine Approximation ausreichend gut ist, hängt unter anderem auch davon ab, was die Daten beschreiben sollen

15 Definition der Aufgabenstellung Gegeben: Datenpunkte Gesucht: Eine Funktion, die durch die gegebenen Datenpunkte verläuft. Ein Wert zwischen den Datenpunkten Trend über den gegebenen Datenbereich hinaus: Extrapolation Anwendung: Zwischenwerte in Tabellen, glatte Kurven für Graphik...

16 Beispiel: in Tabellen Spezifische Wärmekapazität von kohlenstoffarmem Stahl in J/kgK für 20C T 700, C T c p Die Abbildung illustriert stückweise lineare zwischen den Stützstellen und Extrapolation bis 900 C.

17 Die einfachsten s-funktionen sind Polynome... Durch zwei Punkte der xy-ebene geht genau eine Gerade. Durch drei beliebige Punkte lässt sich eindeutig eine Parabel legen. Durch n+1 Punkte ist ein Polynom n-ten Grades eindeutig bestimmt. (Ausnahme, wenn x-werte zusammenfallen) Aufgabenstellung: gegeben n+1 Wertepaare (x i, y i ), i = 0,...,n, wobei die x i paarweise verschieden sind. gesucht ist das eindeutig bestimmte Polynom n-ten Grades p, das durch die gegebenen Datenpunkte verläuft: p(x i ) = y i für i = 0,...,n.

18 spolynome hohen Grades sind ungeeignet! Durch die acht Datenpunkte lässt sich ein Ploynom siebten Grades exakt durchlegen. Aber: Polynome so hohen Grades neigen zu Oszillationen und zu extrem unrealistischer Extrapolation Datenpunkte spolynom

19 Rechenverfahren zur en Alle Verfahren für e liefern für entsprechend hohen Polynomgrad das spolynom. Rechenaufwand ist höher als bei den folgenden Methoden. Lagrangesches spolynom: Eine Formel, die das Polynom direkt hinschreibt. Newtonsches spolynom: besonders rechengünstig. Es gibt noch einige andere Rechenschemen (im Skript: Neville-Verfahren; wir lassen es heuer aus) Trotz unterschiedlicher Namen und Schreibweisen liefern alle Verfahren dasselbe (eindeutig bestimmte) Polynom.

20 Lagrangesche sformel Das spolynom durch die n+1 Wertepaare (x i, y i ), i = 0,...,n ist gegeben durch wobei p(x) = L 0 (x)y 0 + L 1 (x)y L n (x)y n, L i (x) = (x x 0)(x x 1 )...(x x i 1 )(x x i+1 )...(x x n ) (x i x 0 )(x i x 1 )...(x i x i 1 )(x i x i+1 )...(x i x n ) Es ist für die rechnerische Durchführung nicht ratsam, nach Einsetzen der Datenpunkte die L i (x) durch symbolisches Ausmultiplizieren noch weiter zu vereinfachen. Die x-werte direkt einsetzen!

21 sverfahren Nicht alle Funktionen lassen sich vorteilhaft durch Polynome interpolieren Andere wichtige Verfahren sind Rationale - (Kubisch, Bezier,...) Stückweise Hermite- (MATLAB pchip) Trigonometrische in zwei oder mehr Dimensionen

22 Natürlicher kubischer Ein kubischer s(x) durch die n+1 Wertepaare (x i, y i ), i = 0,...,n ist folgendermaßen charakterisiert: In den einzelnen Intervallen (x i 1, x i ) ist s(x) jeweils ein kubisches Polynom An den Intervallgrenzen stimmen die Funktionswerte, die ersten und die zweiten Ableitungen rechts- und linksseitig überein. Zusatzbedingung: zweite Ableitung an den Rändern wird Null gesetzt.

23 Natürlicher kubischer Eine dünne, an einzelnen Punkten festgehaltene Latte biegt sich in der Form eines kubischen s

24 in Matlab: spline und pchip x = -3:3; y = [ ]; t = -3:.01:3; p = pchip(x,y,t); s = spline(x,y,t); plot(x,y, o,t,p, -, t,s, -. ) Daten pchip spline MATLAB bietet verschiedene stückweise kubische sverfahren. spline ist für glatte Daten genauer. pchip überschwingt nicht und neigt weniger zu Oszillationen.

25 Beispiel: c p -Daten mit spline und pchip Innerhalb des Datenbereiches stimmen beide Verfahren sichtlich überein. Extrapolation ist ein wesentlich riskanteres Geschäft wie man sieht: hier sind weitere Datenpunkte eingetragen. Keine der beiden Methoden extrapoliert den tatsächlichen Verlauf der spez. Wärme korrekt

26 Gegeben: eine Funktion f(x) in einem Intervall a x b. Gesucht: deren Integral b a f(x)dx Oft lässt sich das Integral nicht durch elementare Funktionen ausdrücken, oder die Funktion selbst ist nur tabellarisch gegeben. Verfahren

27 sformeln nach Gegeben: Eine Funktion f(x) in einem Intervall (a, b) durch ihre Werte f i an n+1 äquidistanten Stützstellen, f i = f(a+ih), mit h = b a n, i = 0,...,n. Prinzip: Interpoliere f(x) durch ein Polynom p(x). Nähere das Integral von f durch das Integral von p. Die Näherung ist gegeben als gewichtete Summe der f i, b a f(x)dx (b a) n α i f i i=0 mit fixen Gewichten α i

28 -Formeln Klassische Beispiele Trapezregel b a f(x)dx = b a 2 mit Fehlertermen (f(a)+f(b)) (b a)3 12 f (ξ) Simpson-Regel b a f(x)dx = b a 6 ( f(a)+4f( a+b ) 2 )+f(b) (b a) f IV (ξ) 3/8-Regel ( pulcherrima ) b a f(x)dx = b a 8 (f(a)+3f(a+h)+3f(a+2h)+f(b)) (b a) f IV (ξ)

29 Zusammengesetzte N.-C.-Formeln Wenn feinere Intervallteilung vorliegt Achtung bei Intervallbreite h! Es sind n+1 Datenpunkte, und um eins weniger Intervalle. n= Anzahl Datenpunkte-1, und h = (b a)/n Zusammengesetzte Trapezregel b a f(x)dx = h 2 (f 0 + 2f 1 + 2f f n 1 + f n )+E Zusammengesetzte Simpson-Regel b a f(x)dx = h 3 (f 0+4f 1 +2f 2 +4f f n 2 +4f n 1 +f n )+E (Nur für gerades n möglich!)

30 Gauß-Quadratur, Gauß-Lobatto-Formeln Nicht äquidistante Stützstellen, dafür höhere Genauigkeit. (Typische Anwendung: Finite Elemente) Romberg-Verfahren berechnet mit zusammengesetzter Trapezregel mehrere Werte zu verschiedenen h und extrapoliert auf h = 0. MATLAB bietet zwei Verfahren: quad (adaptive Simpson-Regel) und quadl (trickreichere Gauß-Lobatto Methode)