Überbestimmte Systeme, Approximation

Transkript

1 Überbestimmte Systeme, Approximation 7. Vorlesung Numerische Methoden I Clemens Brand und Erika Hausenblas Montanuniversität Leoben 3. April 2014

2 Gliederung 1 Überbestimmte Systeme Wiederholung: Geometrische Interpretation Nichtlineare Systeme 2 Inverse, Pseudoinverse und Singlärwertzerlegung Inverse und Pseudoinverse 3 Polynomiale Regression Aufgabenstellung Lösungsverfahren Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad

3 Gliederung 1 Überbestimmte Systeme Wiederholung: Geometrische Interpretation Nichtlineare Systeme 2 Inverse, Pseudoinverse und Singlärwertzerlegung Inverse und Pseudoinverse 3 Polynomiale Regression Aufgabenstellung Lösungsverfahren Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

4 Geometrische Interpretation von Ax = b Zwei Möglichkeiten Im Raum der x-vektoren Jede Zeile der Matrix ist ein Normalvektor in einer Geradengleichung für x R 2,... Ebenengleichung für x R 3,... Lösung x ist Schnittpunkt aller Geraden (Ebenen, Hyperebenen...) Im Raum der b-vektoren Jede Spalte der Matrix A ist ein Vektor. Das Produkt Ax ist eine Linearkombination der Spaltenvektoren. Lösung x gibt genau die Koeffizienten an, mit denen sich b als Linearkombination der Spaltenvektoren von A erreichen lässt.

5 Geometrische Interpretation von Ax = b Zwei Möglichkeiten Im Raum der x-vektoren Jede Zeile der Matrix ist ein Normalvektor in einer Geradengleichung für x R 2,... Ebenengleichung für x R 3,... Lösung x ist Schnittpunkt aller Geraden (Ebenen, Hyperebenen...) Im Raum der b-vektoren Jede Spalte der Matrix A ist ein Vektor. Das Produkt Ax ist eine Linearkombination der Spaltenvektoren. Lösung x gibt genau die Koeffizienten an, mit denen sich b als Linearkombination der Spaltenvektoren von A erreichen lässt.

6 Geometrische Interpretation von Ax = b Zwei Möglichkeiten Im Raum der x-vektoren Jede Zeile der Matrix ist ein Normalvektor in einer Geradengleichung für x R 2,... Ebenengleichung für x R 3,... Lösung x ist Schnittpunkt aller Geraden (Ebenen, Hyperebenen...) Im Raum der b-vektoren Jede Spalte der Matrix A ist ein Vektor. Das Produkt Ax ist eine Linearkombination der Spaltenvektoren. Lösung x gibt genau die Koeffizienten an, mit denen sich b als Linearkombination der Spaltenvektoren von A erreichen lässt.

7 Illustration: Farbmischung Farbtöne entsprechen RGB-Vektoren Additive Farbmischung Linerakombination von Farbvektoren Wie gut lässt sich der Farbton SlateGray (RGB ) aus Turquoise (RGB ) und DeepPink (RGB ) zusammenmischen? x x 2 = Bestmögliche Mischfarbe Die Linearkombination mit x 1 = 0,520 x 2 = 0,294 ergibt die bestmögliche Mischfarbe (RGB ) - keine andere kommt näher an RGB heran.

8 Illustration: Farbmischung Farbtöne entsprechen RGB-Vektoren Additive Farbmischung Linerakombination von Farbvektoren Wie gut lässt sich der Farbton SlateGray (RGB ) aus Turquoise (RGB ) und DeepPink (RGB ) zusammenmischen? , ,294 = Bestmögliche Mischfarbe Die Linearkombination mit x 1 = 0,520 x 2 = 0,294 ergibt die bestmögliche Mischfarbe (RGB ) - keine andere kommt näher an RGB heran.

9 Illustration: Farbmischung Farbtöne entsprechen RGB-Vektoren Additive Farbmischung Linerakombination von Farbvektoren Wie gut lässt sich der Farbton SlateGray (RGB ) aus Turquoise (RGB ) und DeepPink (RGB ) zusammenmischen? , ,294 = Bestmögliche Mischfarbe Die Linearkombination mit x 1 = 0,520 x 2 = 0,294 ergibt die bestmögliche Mischfarbe (RGB ) - keine andere kommt näher an RGB heran.

10 Rechenweg über Normalengleichungen Die Standard-Lehrbuch-Lösung Gleichungssystem A x = b [ x1 x 2 ] 112 = Zeilen- und Spaltenvektoren von A sind nur der Deutlichkeit halber farblich hinterlegt; die Farben haben sonst keine tiefere Bedeutung Multipliziere Matrix und rechte Seite mit der transponierten Matrix A T A = A T b = [ [ ] ] = 144 = [ ] [ ]

11 Rechenweg über Normalengleichungen (Forts.) System der Normalengleichungen [ ] (A T A) x = A T b [ x1 x 2 ] = [ ] Matrix A T A ist symmetrisch Größenordnung der Zahlenwerte in A T A ist Quadrat der Zahlenwerte in der Originalmatrix Konditionszahl der Normalengleichungen ist Quadrat der Original-Konditionszahl. Das vergrößert Rundungsfehler!

12 Rechenweg mit QR-Zerlegung, anschaulich Original-System in Spaltenvektor-Schreibung x x 2 = System in gedrehten Koordinaten Die Matrix Q T aus der QR-Zerlegung dreht alle Vektoren in ein einfacheres Koordinatensystem. Die Matrix R enthält die gedrehten Spalten von A x x 2 =

13 Singulärwert-Zerlegung, anschaulich System in gedrehten Koordinaten Die Matrix U T aus der Singulärwert-Zerlegung A = U S V T dreht die Spalten in ein neues Koordinatensystem x x 2 = Lösungsvektor auch noch gedreht Die Matrix V T aus der Singulärwert-Zerlegung A = U S V T dreht den Lösungsvektor: y = V T x. Die Gleichungen für y werden ganz einfach y y 2 =

14 Überbestimmte Systeme, Zusammenfassung Normalengleichungen: Löse das System (A T A) x = A T b QR-Zerlegung: Löse das System R x = Q T b Singulärwert-Zerlegung: Löse die Systeme S y = U T b x = V y

15 Gliederung 1 Überbestimmte Systeme Wiederholung: Geometrische Interpretation Nichtlineare Systeme 2 Inverse, Pseudoinverse und Singlärwertzerlegung Inverse und Pseudoinverse 3 Polynomiale Regression Aufgabenstellung Lösungsverfahren Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

16 Überbestimmte nichtlineare Systeme Beispiel: Standortbestimmung durch Trilateration Die Abstände von drei festen Punkten A,B,C zu einem unbekannten Punkt X sind (etwas ungenau) bekannt. Gesucht ist eine möglichst gute Positionsbestimmung. (x1 1) 2 +(x 2 1) 2 = 6 (x1 8) 2 +(x 2 4) 2 = C d c =4.2 d b =3.6 (x1 5) 2 +(x 2 8) 2 = d a =6 4 X B 2 Den drei Gleichungen entsprechen drei Kreise im R 2. Sie haben keinen gemeinsamen Schnittpunkt. 1 A

17 Überbestimmte nichtlineare Systeme Lösung durch Linearisierung und Iteration f(x) = o, x R n, f(x) R m, m > n Ausgehend von Startvektor x (0) bestimmt man eine Korrektur x. Die Rechenvorschrift des Newton-Verfahrens für f(x) b = o ergibt ein überbestimmtes lineares System mit der Jacobimatrix D f D f x = f(x) Verbesserte Lösung x (1) = x (0) + x. Für die Konvergenz der Iteration kann Unterrelaxation (Dämpfung) notwendig sein: x (n+1) = x (n) +ω x mit Unterrelaxationsfaktor 0 < ω 1.

18 Überbestimmte nichtlineare Systeme Lösung durch Linearisierung und Iteration f(x) = o, x R n, f(x) R m, m > n Ausgehend von Startvektor x (0) bestimmt man eine Korrektur x. Die Rechenvorschrift des Newton-Verfahrens für f(x) b = o ergibt ein überbestimmtes lineares System mit der Jacobimatrix D f D f x = f(x) Verbesserte Lösung x (1) = x (0) + x. Für die Konvergenz der Iteration kann Unterrelaxation (Dämpfung) notwendig sein: x (n+1) = x (n) +ω x mit Unterrelaxationsfaktor 0 < ω 1.

19 Rechenbeispiel von vorhin [ ] (x1 1) 2 +(x 2 1) 2 6 f(x) = (x1 8) 2 +(x 2 4) 2 3.6,D f = (x1 5) 2 +(x 2 8) [ 5 Mit Startvektor x = erhält man 4] x 1 1 x 2 1 (x 1 1) 2 +(x 2 1) 2 (x 1 1) 2 +(x 2 1) 2 x 1 8 x 2 4 (x 1 8) 2 +(x 2 4) 2 (x 1 8) 2 +(x 2 4) 2 x 1 5 x 2 8 (x 1 5) 2 +(x 2 8) 2 (x 1 5) 2 +(x 2 8) 2 ([ 5 f = 4]) 1 3/5, D f = 1/ , lin. Syst ] [ x1 = x 2 1 3/5 1/5 Ergibt x 1 = 1/25, x 2 = 7/25 verbesserte Position [5.04; 4.28].

20 Gliederung 1 Überbestimmte Systeme Wiederholung: Geometrische Interpretation Nichtlineare Systeme 2 Inverse, Pseudoinverse und Singlärwertzerlegung Inverse und Pseudoinverse 3 Polynomiale Regression Aufgabenstellung Lösungsverfahren Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

21 Abbildung und inverse Abbildung Eine Matrix definiert durch y = A x eine lineare Abbildung. Die Matrix ist dazu gedacht, dass sie aus einem Vektor einen anderen macht. Die inverse Matrix macht diese Abbildung rückgängig: x = A 1 y Was eine Matrix tut, macht die Inverse wieder gut. Aber das ist nicht immer möglich: Eine lineare Abbildung auf den Nullvektor lässt sich nicht umkehren. Doch wenn ein Vektor ganz verschwindet, gibt s keine Matrix, die ihn wiederfindet. Die pseudoinverse Matrix macht rückgängig, so gut es eben geht.

22 Abbildung und inverse Abbildung Eine Matrix definiert durch y = A x eine lineare Abbildung. Die Matrix ist dazu gedacht, dass sie aus einem Vektor einen anderen macht. Die inverse Matrix macht diese Abbildung rückgängig: x = A 1 y Was eine Matrix tut, macht die Inverse wieder gut. Aber das ist nicht immer möglich: Eine lineare Abbildung auf den Nullvektor lässt sich nicht umkehren. Doch wenn ein Vektor ganz verschwindet, gibt s keine Matrix, die ihn wiederfindet. Die pseudoinverse Matrix macht rückgängig, so gut es eben geht.

23 Abbildung und inverse Abbildung Eine Matrix definiert durch y = A x eine lineare Abbildung. Die Matrix ist dazu gedacht, dass sie aus einem Vektor einen anderen macht. Die inverse Matrix macht diese Abbildung rückgängig: x = A 1 y Was eine Matrix tut, macht die Inverse wieder gut. Aber das ist nicht immer möglich: Eine lineare Abbildung auf den Nullvektor lässt sich nicht umkehren. Doch wenn ein Vektor ganz verschwindet, gibt s keine Matrix, die ihn wiederfindet. Die pseudoinverse Matrix macht rückgängig, so gut es eben geht.

24 Abbildung und inverse Abbildung Eine Matrix definiert durch y = A x eine lineare Abbildung. Die Matrix ist dazu gedacht, dass sie aus einem Vektor einen anderen macht. Die inverse Matrix macht diese Abbildung rückgängig: x = A 1 y Was eine Matrix tut, macht die Inverse wieder gut. Aber das ist nicht immer möglich: Eine lineare Abbildung auf den Nullvektor lässt sich nicht umkehren. Doch wenn ein Vektor ganz verschwindet, gibt s keine Matrix, die ihn wiederfindet. Die pseudoinverse Matrix macht rückgängig, so gut es eben geht.

25 Pseudoinverse tritt auch bei überbestimmten Systemen auf Für überbestimmte Systeme Ax = b lässt sich die kleinste-quadrate-lösung aus den Normalengleichungen bestimmen A T Ax = A T b (A T A) 1 x = (A T A) 1 A T b Substituiere (A T A) 1 A T A + x = A + b (abgesehen von numerischen Problemen und dem Sonderfall, dass A nicht vollen Spaltenrang hat) Die Matrix A + wirkt also ähnlich wie eine Inverse bei der Lösung eines gewöhnlichen Gleichungssystems mit nichtsingulärer quadratischer Matrix. C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

26 Pseudoinverse tritt auch bei überbestimmten Systemen auf Für überbestimmte Systeme Ax = b lässt sich die kleinste-quadrate-lösung aus den Normalengleichungen bestimmen A T Ax = A T b (A T A) 1 x = (A T A) 1 A T b Substituiere (A T A) 1 A T A + x = A + b (abgesehen von numerischen Problemen und dem Sonderfall, dass A nicht vollen Spaltenrang hat) Die Matrix A + wirkt also ähnlich wie eine Inverse bei der Lösung eines gewöhnlichen Gleichungssystems mit nichtsingulärer quadratischer Matrix. C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

27 Pseudoinverse tritt auch bei überbestimmten Systemen auf Für überbestimmte Systeme Ax = b lässt sich die kleinste-quadrate-lösung aus den Normalengleichungen bestimmen A T Ax = A T b (A T A) 1 x = (A T A) 1 A T b Substituiere (A T A) 1 A T A + x = A + b (abgesehen von numerischen Problemen und dem Sonderfall, dass A nicht vollen Spaltenrang hat) Die Matrix A + wirkt also ähnlich wie eine Inverse bei der Lösung eines gewöhnlichen Gleichungssystems mit nichtsingulärer quadratischer Matrix. C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

28 Pseudoinverse Die Definition A + = (A T A) 1 A T ist nicht immer gültig Problem Die Definition A + = (A T A) 1 A T ist nicht möglich, wenn (A T A) singulär ist. Trotzdem lässt sich eine Matrix A + angeben, die eine optimale Lösung des überbestimmten Systems findet. Existenz und Eigenschaften der Pseudoinversen Zu jeder reellen m n-matrix A gibt es eine eindeutig bestimmte reelle n m-matrix A +, die Moore-Penrose Inverse, mit den Eigenschaften A A + A = A (A A + ) T = A A + A + A A + = A + (A + A) T = A + A Falls A + = (A T A) 1 A T existiert, erfüllt diese Matrix alle vier Bedingungen. C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

29 Pseudoinverse Die Definition A + = (A T A) 1 A T ist nicht immer gültig Problem Die Definition A + = (A T A) 1 A T ist nicht möglich, wenn (A T A) singulär ist. Trotzdem lässt sich eine Matrix A + angeben, die eine optimale Lösung des überbestimmten Systems findet. Existenz und Eigenschaften der Pseudoinversen Zu jeder reellen m n-matrix A gibt es eine eindeutig bestimmte reelle n m-matrix A +, die Moore-Penrose Inverse, mit den Eigenschaften A A + A = A (A A + ) T = A A + A + A A + = A + (A + A) T = A + A Falls A + = (A T A) 1 A T existiert, erfüllt diese Matrix alle vier Bedingungen. C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

30 Inverse und Pseudoinverse von Diagonalmatrizen Für quadratische Diagonalmatrizen ist die Definition recht einfach... Diagonalmatrix (falls alle s i 0) 1 s s s S =.... S 1 0 s = s 1 n 0 0 s n Pseudoinverse einer Diagonalmatrix r S + 0 r 2 0 { 1 =.... mit r i = s i r n falls { si 0 s i = 0 C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

31 Inverse und Pseudoinverse von Diagonalmatrizen Für quadratische Diagonalmatrizen ist die Definition recht einfach... Diagonalmatrix (falls alle s i 0) 1 s s s S =.... S 1 0 s = s 1 n 0 0 s n Pseudoinverse einer Diagonalmatrix r S + 0 r 2 0 { 1 =.... mit r i = s i r n falls { si 0 s i = 0 C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

32 Pseudoinverse von rechteckigen Diagonalmatrizen Ist S R m R n, dann ist S + R n R m Definition der r i und s i bleibt gleich wie vorhin, es gibt nur zusätzliche Nullzeilen oder -spalten. s s r S = 0 0 s n S + = 0 r r n C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

33 Pseudoinverse allgemein Verwende Singulärwertzerlegung A = U S V T Bei der Multiplikation y = A x = U S V T x spürt x zuerst V T, dann S, zuletzt U. Um diese drei Multiplikationen rückgängig zu machn, muss man bei der letzten beginnen: U rückgängig machen: mit U T multiplizieren S rückgängig machen: hier braucht man S + V T rückgängig machen: mit V multiplizieren Pseudoinverse A = U S V T A + = V S + U T C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

34 Gliederung 1 Überbestimmte Systeme Wiederholung: Geometrische Interpretation Nichtlineare Systeme 2 Inverse, Pseudoinverse und Singlärwertzerlegung Inverse und Pseudoinverse 3 Polynomiale Regression Aufgabenstellung Lösungsverfahren Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

35 Polynomiale Regression: Aufgabenstellung Gesucht ist ein Polynom, das die Datenpunkte möglichst gut approximiert Gegeben m+1 Wertepaare (x i,y i ), i = 0,...,m Gesucht p(x), ein Polynom n-ten Grades, n < m, so dass die Summe der Fehlerquadrate m (p(x i ) y i ) 2 minimal wird. i=0 C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

36 Anpassen eines Polynoms an Datenpunkte Spezifische Wärmekapazität von kohlenstoffarmem Stahl in J/kg K für 20 C T 700, C T c p y = *x *x + 4.6e+002 y = 1.6e 006*x *x *x + 4.4e Datenpunkte quadratisches Pol. kubisches Pol Die Abbildung illustriert polynomiale Regression (quadratisch und kubisch) an die gegebenen Datenpunkte.

37 Erkennen von Oberflächen-Defekten Ein Anwendungsbeispiel (MUL Dissertation Ingo Reindl, 2006) Polynomialer Regression approximiert Oberflächen-Querschnitte Pixeldaten aus Oberflächenerfassung der abgerundeten Kante eines rohgewalzten Stahlblocks Polynom Referenzquerschnitt Abweichung Oberflächendefekte

38 Polynomiale Regression ist eigentlich ein Spezialfall von linearen Modellen. (Ansatzfunktionen sind nichtlinear, aber die gesuchten Koeffizienten treten nur linear auf!) für die Normalengleichungs-Matrix gibt es einfache Darstellung für Polynome hohen Grades ist der naive Ansatz a 0 +a 1 x +a 2 x 2 + x n völlig ungeeignet. Abhilfe: Orthogonalpolynome. C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

39 Gliederung 1 Überbestimmte Systeme Wiederholung: Geometrische Interpretation Nichtlineare Systeme 2 Inverse, Pseudoinverse und Singlärwertzerlegung Inverse und Pseudoinverse 3 Polynomiale Regression Aufgabenstellung Lösungsverfahren Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

40 Direkter Lösungsweg Ansatz des Polynoms mit unbestimmten Koeffizienten p(x) = a 0 +a 1 x +a 2 x 2 + +a n 1 x n 1 +a n x n. Einsetzen der gegebenen Wertepaare führt auf ein System von m linearen Gleichungen in den n+ 1 unbekannten Koeffizienten a 0,a 1,...,a n. Sofern n < m liegt in der Regel ein überbestimmtes System vor. Lösung nach der Methode der Normalengleichungen. Besser: Lösung durch QR-Zerlegung (Standardverfahren) C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

41 Formel für die Normalengleichungen Bei polynomialer Regression haben die Normalengleichungen spezielle Form; man kann die Koeffizienten direkt angeben. s 0 a 0 + s 1 a s n a n = t 0 s 1 a 0 + s 2 a s n+1 a n = t 1... s n a 0 + s n+1 a s 2n a n = t n mit s k = m xi k, t k = i=0 m xi k y i i=0 C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

42 Was dabei schiefgehen kann Remember Murphy s Law: If anything can go wrong, it will Normalengleichungen für größere n schlecht konditioniert Abhilfe: Daten skalieren. Anderere Lösungswege (QR-Zerlegung, Singulärwertzerlegung), andere Ansatzfunktionen (Orthogonalpolynome) Methode der kleinsten Quadrate wird durch Ausreißer stark irritiert Abhilfe: Robuste Methoden, Minimierung der Summe der absoluten Fehler (Minimierung in der 1-Norm statt in der 2-Norm) C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

43 Gliederung 1 Überbestimmte Systeme Wiederholung: Geometrische Interpretation Nichtlineare Systeme 2 Inverse, Pseudoinverse und Singlärwertzerlegung Inverse und Pseudoinverse 3 Polynomiale Regression Aufgabenstellung Lösungsverfahren Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

44 Lineare Regression Einfacher Spezialfall der polynomialen Regression Anpassen einer Geraden an Datenpunkte. Die Ausgleichsgerade nach der Methode der kleinsten Quadrate lässt sich von den wenigen Ausreissern stark ablenken. Minimieren des absoluten Fehlers legt eine wesentlich plausiblere Gerade durch die Daten. C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

45 Total Least Squares mit SVD Standardverfahren minimiert Summe der Abstandsquadrate in y-richtung, TLS minimiert Quadratsumme der Normalabstände Bestimme Schwerpunkt [ x,ȳ] der Daten. x = 1 x i, ȳ = 1 n n i=1,n i=1,n y i 0.4 Verschiebe die Daten x i = x i x, y i = y i ȳ Bilde Singulärwertzerlegung x 1 y 1 U S V T =.. x n y n TLS-Gerade geht durch den Schwerpunkt in Richtung des ersten Spaltenvektors von V.

46 Statistische Zusammenhänge Die Methode der kleinsten Quadrate liefert maximum likelihood-schätzung der Parameter wenn die Daten mit unabhängigen, zufälligen, normalverteilten Fehlern mit gleicher Standardabweichung behaftet sind. Ist C = (A T A) 1 die inverse Matrix des Systems der Normalengleichungen, und ist die Varianz der Daten gleich σ 2, so ist σ 2 C die Kovarianzmatrix der Parameter. C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

47 Regression in MATLAB Die Übungen enthalten Beispiele zur polynomialen Regression mit den Befehlen polyfit und polyval mit dem Basic-Fitting-Tool Fallstudie in der MATLAB-Hilfe C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

48 Gliederung 1 Überbestimmte Systeme Wiederholung: Geometrische Interpretation Nichtlineare Systeme 2 Inverse, Pseudoinverse und Singlärwertzerlegung Inverse und Pseudoinverse 3 Polynomiale Regression Aufgabenstellung Lösungsverfahren Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad C.B & E.H. (MUL) Überbestimmte Systeme, Approximation 20.III / 38

49 Approximation durch polynomiale Regression Datenpunkte sind gegeben. Ein Approximationspolynom vierten Grades modelliert den Verlauf der Daten ganz passabel. Es hängt vom Modell ab, ob es Sinn macht, mehr Parameter (höheren Grad) zu verwenden. Ein Polynom 15. Grades (16 freie Parameter) könnte die Daten exakt modellieren, aber...

50 Datenanpassung mit zu hohem Polynomgrad Kein Fehler an den Datenpunkten, das Polynom oszilliert aber heftig. Typisch für Polynome hohen Grades. Sie oszillieren besonders zu den Rändern hin, wenn man Sie durch vorgegebene Datenpunkte zwingt.