Approximation, Interpolation, numerische Integration

Approximation, Interpolation, numerische Integration 7. Vorlesung 170 004 Numerische Methoden I Clemens Brand und Erika Hausenblas Montanuniversität Leoben 12. Mai 2016

Approximation, Interpolation, numerische Integration 1 Polynomiale Regression Aufgabenstellung und Lösungsweg Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad 2 Interpolation polynomial Runge-Phänomen Rechenverfahren Spline 3 Numerische Integration Klassisch: Newton-Cotes Weitere Quadraturformeln Clemens Brand und Erika Hausenblas 12. Mai 2016 2 / 40

Gliederung 7. Vorlesung 1 Polynomiale Regression Aufgabenstellung und Lösungsweg Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad 2 Interpolation polynomial Runge-Phänomen Rechenverfahren Spline 3 Numerische Integration Klassisch: Newton-Cotes Weitere Quadraturformeln Clemens Brand und Erika Hausenblas 12. Mai 2016 3 / 40

Polynomiale Regression: Aufgabenstellung Gesucht ist ein Polynom, das die Datenpunkte möglichst gut approximiert Gegeben m + 1 Wertepaare (x i, y i ), i = 0,..., m Gesucht p(x), ein Polynom n-ten Grades, n < m, so dass die Summe der Fehlerquadrate m (p(x i ) y i ) 2 minimal wird. i=0 Clemens Brand und Erika Hausenblas 12. Mai 2016 4 / 40

Anpassen eines Polynoms an Datenpunkte Spezifische Wärmekapazität von kohlenstoffarmem Stahl in J/kg K für 20 C T 700, C 1200 1100 T c p 20 447 173 500 200 509 400 595 543 700 600 763 626 800 700 909 1000 900 800 700 600 y = 0.0009*x 2 0.02*x + 4.6e+002 y = 1.6e 006*x 3 0.00083*x 2 + 0.46*x + 4.4e+002 500 Datenpunkte quadratisches Pol. kubisches Pol. 400 0 100 200 300 400 500 600 700 800 Die Abbildung illustriert polynomiale Regression (quadratisch und kubisch) an die gegebenen Datenpunkte.

Polynomiale Regression ist eigentlich ein Spezialfall von linearen Modellen. (Ansatzfunktionen sind nichtlinear, aber die gesuchten Koeffizienten treten nur linear auf!) für die Normalengleichungs-Matrix gibt es eine einfache Formel für Polynome hohen Grades (ab n 15 20) ist der naive Ansatz a 0 + a 1 x + a 2 x 2 + x n völlig ungeeignet. Abhilfe: Orthogonalpolynome. Clemens Brand und Erika Hausenblas 12. Mai 2016 6 / 40

Direkter Lösungsweg Ansatz des Polynoms mit unbestimmten Koeffizienten p(x) = a 0 + a 1 x + a 2 x 2 + + a n 1 x n 1 + a n x n. Einsetzen der gegebenen Wertepaare führt auf ein System von m linearen Gleichungen in den n + 1 unbekannten Koeffizienten a 0, a 1,..., a n. Die Matrix A hat eine spezielle Form (Vandermonde-Matrix): 1 x 0 x0 2 x0 3... x n 0 1 x 1 x1 2 x1 3... x n 1 A =..... 1 x m xm 2 xm 3... xm n Standard-Lösung am Rechner durch QR-Zerlegung Bei kleinen Problemen und Rechnung mit Papier und Stift: klassisch nach der Methode der Normalengleichungen. Clemens Brand und Erika Hausenblas 12. Mai 2016 7 / 40

Formel für die Normalengleichungen Bei polynomialer Regression haben die Normalengleichungen spezielle Form; man kann die Koeffizienten direkt angeben. s 0 s 1... s n a 0 t 0 s 1 s 2... s n+1... a 1. = t 1. s n s n+1... s 2n a n t n mit s k = m xi k, t k = i=0 m xi k y i i=0 Praktisch nur bei linearer oder vielleicht noch quadratischer Regression sinnvoll. Moderner Lösungsweg: Vandermonde-Matrix aufstellen, QR-Lösung Clemens Brand und Erika Hausenblas 12. Mai 2016 8 / 40

Was dabei schiefgehen kann Remember Murphy s Law: If anything can go wrong, it will Normalengleichungen für größere n schlecht konditioniert Abhilfe: Daten skalieren. Anderere Lösungswege (QR-Zerlegung, Singulärwertzerlegung), andere Ansatzfunktionen (Orthogonalpolynome) Methode der kleinsten Quadrate wird durch Ausreißer stark irritiert Abhilfe: Robuste Methoden, Minimierung der Summe der absoluten Fehler (Minimierung in der 1-Norm statt in der 2-Norm) Clemens Brand und Erika Hausenblas 12. Mai 2016 9 / 40

Statistische Zusammenhänge Die Methode der kleinsten Quadrate liefert maximum likelihood-schätzung der Parameter wenn die Daten mit unabhängigen, zufälligen, normalverteilten Fehlern mit gleicher Standardabweichung behaftet sind. Ist C = (A T A) 1 die inverse Matrix des Systems der Normalengleichungen, und ist die Varianz der Daten gleich σ 2, so ist σ 2 C die Kovarianzmatrix der Parameter. Clemens Brand und Erika Hausenblas 12. Mai 2016 10 / 40

Lineare Regression Gerade anpassen Einfacher Spezialfall der polynomialen Regression 2 1.75 1.5 1.25 1 0.75 0.5 0.25 0.5 1 1.5 2 2.5 3 3.5 Die Ausgleichsgerade nach der Methode der kleinsten Quadrate lässt sich von den wenigen Ausreissern stark ablenken. Robuste Regression: Minimieren der Summe der Fehlerbeträge legt eine wesentlich plausiblere Gerade durch die Daten. Clemens Brand und Erika Hausenblas 12. Mai 2016 11 / 40

Total Least Squares mit SVD Standardverfahren minimiert Summe der Abstandsquadrate in y-richtung, TLS minimiert Quadratsumme der Normalabstände 1 0.8 0.6 Bestimme Schwerpunkt [ x, ȳ] der Daten. x = 1 n x i, i=1,n ȳ = 1 n i=1,n y i 0.4 Verschiebe die Daten 0.2 0 0.2 0.2 0 0.2 0.4 0.6 0.8 1 1.2 x i = x i x, y i = y i ȳ Bilde Singulärwertzerlegung x 1 y 1 U S V T =.. x n y n TLS-Gerade geht durch den Schwerpunkt in Richtung des ersten Spaltenvektors von V.

Approximation durch polynomiale Regression 200 175 150 125 100 75 50 25 50 100 150 200 250 16 Datenpunkte sind gegeben. Ein Approximationspolynom vierten Grades modelliert den Verlauf der Daten ganz passabel. Es hängt vom Modell ab, ob es Sinn macht, mehr Parameter (höheren Grad) zu verwenden. Ein Polynom 15. Grades (16 freie Parameter) könnte die Daten exakt modellieren, aber...

Datenanpassung mit zu hohem Polynomgrad 200 175 150 125 100 75 50 25 50 100 150 200 250 Kein Fehler an den Datenpunkten, aber dazwischen oszilliert das Polynom heftig. Typisch für Polynome hohen Grades. Sie oszillieren besonders zu den Rändern hin, wenn man Sie durch vorgegebene Datenpunkte zwingt.

Woher die Daten kommen Ob eine Approximation ausreichend gut ist, hängt unter anderem auch davon ab, was die Daten beschreiben sollen... In diesem Fall sind es Punkte in einer kurvenreichen Computergraphik: 200 175 150 125 100 75 50 25 200 175 150 125 100 75 50 25 50 100 150 200 250 50 100 150 200 250

Woher die Daten kommen Ob eine Approximation ausreichend gut ist, hängt unter anderem auch davon ab, was die Daten beschreiben sollen... In diesem Fall sind es Konturen in einer kurvenreichen Computergraphik:

Interpolation Definition der Aufgabenstellung Gegeben: Datenpunkte Gesucht: Eine Funktion, die durch die gegebenen Datenpunkte verläuft. Ein Wert zwischen den Datenpunkten Trend über den gegebenen Datenbereich hinaus: Extrapolation Anwendung: Zwischenwerte in Tabellen, glatte Kurven für Graphik... Clemens Brand und Erika Hausenblas 12. Mai 2016 18 / 40

Beispiel: Interpolation in Tabellen Spezifische Wärmekapazität von kohlenstoffarmem Stahl in J/kg K für 20 C T 700, C T c p 20 447 173 500 200 509 400 595 543 700 600 763 626 800 700 909 1300 1200 1100 1000 900 800 700 600 500 400 0 100 200 300 400 500 600 700 800 900 Die Abbildung illustriert stückweise lineare Interpolation zwischen den Stützstellen und Extrapolation bis 900 C.

Polynomiale Interpolation Die einfachsten Interpolations-Funktionen sind Polynome... Durch zwei Punkte der xy-ebene geht genau eine Gerade. Durch drei beliebige Punkte lässt sich eindeutig eine Parabel legen. Durch n + 1 Punkte ist ein Polynom n-ten Grades eindeutig bestimmt. Aufgabenstellung: gegeben n + 1 Wertepaare (x i, y i ), i = 0,..., n, gesucht ist das eindeutig bestimmte Polynom n-ten Grades p, das durch die gegebenen Datenpunkte verläuft: p(x i ) = y i für i = 0,..., n. Clemens Brand und Erika Hausenblas 12. Mai 2016 20 / 40

Polynomiale Interpolation Die einfachsten Interpolations-Funktionen sind Polynome... Durch zwei Punkte der xy-ebene geht genau eine Gerade. Durch drei beliebige Punkte lässt sich eindeutig eine Parabel legen. Durch n + 1 Punkte ist ein Polynom n-ten Grades eindeutig bestimmt. (Ausnahme, wenn x-werte zusammenfallen) Aufgabenstellung: gegeben n + 1 Wertepaare (x i, y i ), i = 0,..., n, wobei die x i paarweise verschieden sind. gesucht ist das eindeutig bestimmte Polynom n-ten Grades p, das durch die gegebenen Datenpunkte verläuft: p(x i ) = y i für i = 0,..., n. Clemens Brand und Erika Hausenblas 12. Mai 2016 20 / 40

Interpolationspolynome hohen Grades sind ungeeignet! Durch die acht Datenpunkte lässt sich ein Polynom siebten Grades exakt durchlegen. 1000 900 800 Datenpunkte Interpolationspolynom 700 600 500 400 0 100 200 300 400 500 600 700 800 900

Interpolationspolynome hohen Grades sind ungeeignet! Durch die acht Datenpunkte lässt sich ein Polynom siebten Grades exakt durchlegen. Aber: Polynome so hohen Grades neigen zu Oszillationen und zu extrem unrealistischer Extrapolation 1000 900 800 700 600 500 Datenpunkte Interpolationspolynom 400 0 100 200 300 400 500 600 700 800 900

Interpolationspolynome hohen Grades sind ungeeignet! Approximation der Funktion f (x) = 1, x [ 5, 5] mit 3, 7, 11 und 17 1+x 2 Stützstellen: 11 Stuetzstellen 11 Stuetzstellen 4 4 3.5 3 2.5 2 1.5 1 0.5 0 0.5 1 5 0 5 3.5 3 2.5 2 1.5 1 0.5 0 0.5 1 5 0 5 4 11 Stuetzstellen 4 11 Stuetzstellen 3.5 3.5 3 3 2.5 2.5 2 2 1.5 1.5 1 1 0.5 0.5 0 0 0.5 0.5 1 5 0 5 1 5 0 5

Runge-Phänomen Interpolationspolynome mit äquidistenten Stützstellen konvergieren nicht unbedingt y x

Runge-Phänomen Interpolationspolynome mit äquidistenten Stützstellen konvergieren nicht unbedingt y x Im mittleren Bereich nähern die Polynome immer besser, in den Randbereichen werden die Fehler immer größer!

Tschebysheff-Stützstellen Nicht äquidistant, sondern zu den Rändern hin dichter y x

Optimale Lage der Stützstellen Projektion von n gleichmäßig am Halbkreis verteilten Punkten Bei dieser Wahl der Stützstellen ( Tschebysheff-Stützstellen ) ist die maximale Abweichung Funktion Polynom am kleinsten Lage auf Intervall [ 1; 1] ( ) 2i 1 x i = cos 2n π für i = 1,..., n

Rechenverfahren zur polynomialen Interpolation Alle Verfahren für polynomiale Regression liefern für entsprechend hohen Polynomgrad das Interpolationspolynom. Rechenaufwand ist höher als bei den folgenden Methoden. Lagrangesches Interpolationspolynom: Eine Formel, die das Polynom direkt hinschreibt. Newtonsches Interpolationspolynom: besonders rechengünstig. Es gibt noch einige andere Rechenschemen (im Skript: Neville-Verfahren; wir lassen es heuer aus) Trotz unterschiedlicher Namen und Schreibweisen liefern alle Verfahren dasselbe (eindeutig bestimmte) Polynom. Clemens Brand und Erika Hausenblas 12. Mai 2016 26 / 40

Lagrangesche Interpolationsformel Das Interpolationspolynom durch die n + 1 Wertepaare (x i, y i ), i = 0,..., n ist gegeben durch wobei p(x) = L 0 (x)y 0 + L 1 (x)y 1 +... + L n (x)y n, L i (x) = (x x 0)(x x 1 )...(x x i 1 )(x x i+1 )...(x x n ) (x i x 0 )(x i x 1 )...(x i x i 1 )(x i x i+1 )...(x i x n ) Es ist für die rechnerische Durchführung nicht ratsam, nach Einsetzen der Datenpunkte die L i (x) durch symbolisches Ausmultiplizieren noch weiter zu vereinfachen. Die x-werte direkt einsetzen! Clemens Brand und Erika Hausenblas 12. Mai 2016 27 / 40

Weitere Interpolationsverfahren Nicht alle Funktionen lassen sich vorteilhaft durch Polynome interpolieren Andere wichtige Verfahren sind Spline-Interpolation (Kubisch, Bezier,...) Stückweise Hermite-Interpolation (MATLAB pchip) Rationale Interpolation Trigonometrische Interpolation Interpolation in zwei oder mehr Dimensionen Clemens Brand und Erika Hausenblas 12. Mai 2016 28 / 40

Biegsame Latte als Kurvenlineal Ursprünglich im Schiffsbau verwendet, heißt Straklatte, englisch Spline. Funktionen, die das Verhalten biegsamer Latten nachbilden: Natürliche kubische Spline-Funktionen. Clemens Brand und Erika Hausenblas 12. Mai 2016 29 / 40

Natürlicher kubischer Spline Eine dünne, an einzelnen Punkten festgehaltene Latte biegt sich in der Form eines kubischen Splines 0.4 0.3 0.2 0.1 1 2 3 4

Natürlicher kubischer Spline Ein kubischer Spline s(x) durch die n + 1 Wertepaare (x i, y i ), i = 0,..., n ist folgendermaßen charakterisiert: In den einzelnen Intervallen (x i 1, x i ) ist s(x) jeweils ein kubisches Polynom An den Intervallgrenzen stimmen die Funktionswerte, die ersten und die zweiten Ableitungen rechts- und linksseitig überein. Zusatzbedingung: zweite Ableitung an den Rändern wird Null gesetzt. Clemens Brand und Erika Hausenblas 12. Mai 2016 31 / 40

Interpolation in Matlab: spline und pchip x = -3:3; y = [-1-1 -1 0 1 1 1]; t = -3:.01:3; p = pchip(x,y,t); s = spline(x,y,t); plot(x,y, o,t,p, -, t,s, -. ) 1.5 1 0.5 0 0.5 1 Daten pchip spline 1.5 3 2 1 0 1 2 3 MATLAB bietet verschiedene stückweise kubische Interpolationsverfahren. spline ist für glatte Daten genauer. pchip überschwingt nicht und neigt weniger zu Oszillationen.

Beispiel: c p -Daten mit spline und pchip Innerhalb des Datenbereiches stimmen beide Verfahren sichtlich überein. 1300 1200 1100 1000 900 800 700 600 500 400 blau: Spline grün: PCHIP 300 200 0 200 400 600 800 1000

Beispiel: c p -Daten mit spline und pchip Innerhalb des Datenbereiches stimmen beide Verfahren sichtlich überein. Extrapolation ist ein wesentlich riskanteres Geschäft... 1300 1200 1100 1000 900 800 700 600 500 400 blau: Spline grün: PCHIP 300 200 0 200 400 600 800 1000

Beispiel: c p -Daten mit spline und pchip Innerhalb des Datenbereiches stimmen beide Verfahren sichtlich überein. Extrapolation ist ein wesentlich riskanteres Geschäft...... wie man sieht: hier sind weitere Datenpunkte eingetragen. Keine der beiden Methoden extrapoliert den tatsächlichen Verlauf der spez. Wärme korrekt. 1300 1200 1100 1000 900 800 700 600 500 400 300 200 0 200 400 600 800 1000

Interpolationsverfahren Übersicht und Zusammenfassung Newton-Polynom: rechengüstig; zusätzliche Datenpunkte lassen sich leicht anfügen Lagrange-Polynom: y-werte lasen sich leicht ändern Polynome mit hohem Grad und äquidistanten Stützstellen: Ungeeignet! (Runge-Phänomen). Tschebysheff-Stützstellen: optimale Approximation Natürliche kubische Splines: meist bessere Anpassung als Polynome. Es gibt viele weitere Spline-Varianten

Numerische Integration Gegeben: eine Funktion f (x) in einem Intervall a x b. Gesucht: deren Integral b a f (x)dx Oft lässt sich das Integral nicht durch elementare Funktionen ausdrücken, oder die Funktion selbst ist nur tabellarisch gegeben. Numerische Verfahren Clemens Brand und Erika Hausenblas 12. Mai 2016 36 / 40

Integrationsformeln nach Newton-Cotes Gegeben: Eine Funktion f (x) in einem Intervall (a, b) durch ihre Werte f i an n + 1 äquidistanten Stützstellen, f i = f (a + ih), mit h = b a, i = 0,..., n. n Prinzip: Interpoliere f (x) durch ein Polynom p(x). Nähere das Integral von f durch das Integral von p. Die Näherung ist gegeben als gewichtete Summe der f i, mit fixen Gewichten α i b a f (x)dx (b a) n α i f i i=0 Clemens Brand und Erika Hausenblas 12. Mai 2016 37 / 40

Newton-Cotes-Formeln Klassische Beispiele Trapezregel b a f (x)dx = b a 2 mit Fehlertermen (f (a) + f (b)) (b a)3 12 f (ξ) Simpson-Regel b a f (x)dx = b a 6 ( f (a) + 4f ( a + b ) 2 ) + f (b) (b a)5 2880 f IV (ξ) 3/8-Regel ( pulcherrima ) b a f (x)dx = b a 8 (f (a) + 3f (a + h) + 3f (a + 2h) + f (b)) (b a)5 6480 f IV (ξ)

Zusammengesetzte N.-C.-Formeln Wenn feinere Intervallteilung vorliegt Achtung bei Intervallbreite h! Es sind n + 1 Datenpunkte, und um eins weniger Intervalle. n= Anzahl Datenpunkte-1, und h = (b a)/n Zusammengesetzte Trapezregel b a f (x)dx = h 2 (f 0 + 2f 1 + 2f 2 + + 2f n 1 + f n ) + E Zusammengesetzte Simpson-Regel b a f (x)dx = h 3 (f 0 + 4f 1 + 2f 2 + 4f 3 + + 2f n 2 + 4f n 1 + f n ) + E (Nur für gerades n möglich!) Clemens Brand und Erika Hausenblas 12. Mai 2016 39 / 40

Weitere Quadraturformeln Gauß-Quadratur, Gauß-Lobatto-Formeln Nicht äquidistante Stützstellen, dafür höhere Genauigkeit. (Typische Anwendung: Finite Elemente) Romberg-Verfahren berechnet mit zusammengesetzter Trapezregel mehrere Werte zu verschiedenen h und extrapoliert auf h = 0. MATLAB bietet zwei Verfahren: quad (adaptive Simpson-Regel) und quadl (trickreichere Gauß-Lobatto Methode) Clemens Brand und Erika Hausenblas 12. Mai 2016 40 / 40