Überbestimmte Systeme, Datenmodelle, Polynomiale Regression

Transkript

1 Überbestimmte Systeme, Datenmodelle, Polynomiale Regression 6. Vorlesung Numerische Methoden I Clemens Brand und Erika Hausenblas Montanuniversität Leoben 26. April 2018

2 Überbestimmte Systeme, Datenmodelle, Polynomiale Regression 1 Überbestimmte Systeme Wiederholung: Geometrische Interpretation Nichtlineare Systeme 2 Inverse, Pseudoinverse und Singlärwertzerlegung Inverse und Pseudoinverse 3 Polynomiale Regression Aufgabenstellung und Lösungsweg Lineare Regression (klassisch, robust, total) Warnung vor zu hohem Grad Clemens Brand und Erika Hausenblas 26. April / 35

3 Noch nicht behandelt: Iterative Gleichungslöser auf den Folien der 5. Vorlesung Das ist sich letztes Mal zeitmäßig nicht ausgegangen; Wir verschieben dieses Themengebiet nach hinten, weil wir zuerst Überbestimmte Systeme, Datenmodelle und Regression abschließen wollen.

4 Überbestimmte Systeme Siehe Vorlesung vorige Woche! Weitere Folien folgen hier. Clemens Brand und Erika Hausenblas 26. April / 35

5 Geometrische Interpretation von Ax = b Zwei Möglichkeiten Im Raum der x-vektoren Jede Zeile der Matrix ist ein Normalvektor in einer Geradengleichung für x R 2,... Ebenengleichung für x R 3,... Lösung x ist Schnittpunkt aller Geraden (Ebenen, Hyperebenen... ) Im Raum der b-vektoren Jede Spalte der Matrix A ist ein Vektor. Das Produkt Ax ist eine Linearkombination der Spaltenvektoren. Lösung x gibt genau die Koeffizienten an, mit denen sich b als Linearkombination der Spaltenvektoren von A erreichen lässt.

6 Illustration: Farbmischung Farbtöne entsprechen RGB-Vektoren Additive Farbmischung Linerakombination von Farbvektoren Wie gut lässt sich der Farbton SlateGray (RGB ) aus Turquoise (RGB ) und DeepPink (RGB ) zusammenmischen? x x 2 = , , 294 = , , 294 =

7 Rechenweg über Normalengleichungen Die Standard-Lehrbuch-Lösung Gleichungssystem A x = b [ ] x1 x = Multipliziere Matrix und rechte Seite mit der transponierten Matrix A T A = A T b = [ [ ] [ ] = ] 112 [ ] = A und A T sind hier nur der Deutlichkeit halber farblich hinterlegt; die Farben haben sonst keine tiefere Bedeutung

8 Rechenweg über Normalengleichungen (Forts.) System der Normalengleichungen [ ] (A T A) x = A T b [ ] x1 x 2 = [ ] Matrix A T A ist symmetrisch Größenordnung der Zahlenwerte in A T A ist Quadrat der Zahlenwerte in der Originalmatrix Konditionszahl der Normalengleichungen ist Quadrat der Original-Konditionszahl. Das vergrößert Rundungsfehler! (Das ist bei kleinen Beispielen, so wie hier, kein Thema erst bei wirklichen, großen Systemen)

9 Rechenweg mit QR-Zerlegung, anschaulich Original-System in Spaltenvektor-Schreibung x x 2 = System in gedrehten Koordinaten Die Matrix Q T aus der QR-Zerlegung dreht alle Vektoren in ein einfacheres Koordinatensystem. Die Matrix R enthält die gedrehten Spalten von A x x 2 = Die Geometrie (Längen, Winkel) der Spaltenvektoren ist dieselbe, nur der Blickwinkel ist anders!

10 Singulärwert-Zerlegung, anschaulich System in gedrehten Koordinaten Die Matrix U T aus der Singulärwert-Zerlegung A = U S V T dreht die Spalten in ein neues Koordinatensystem x x 2 = Lösungsvektor auch noch gedreht Die Matrix V T aus der Singulärwert-Zerlegung A = U S V T dreht den Lösungsvektor: y = V T x. Die Gleichungen für y werden ganz einfach y y 2 =

11 Überbestimmte Systeme, Zusammenfassung Normalengleichungen: Löse das System (A T A) x = A T b QR-Zerlegung: Löse das System R x = Q T b Singulärwert-Zerlegung: Löse die Systeme S y = U T b x = V y Pseudoinverse (kommt noch) x = A + b

12 Überbestimmte nichtlineare Systeme Beispiel: Standortbestimmung durch Trilateration Die Abstände von drei festen Punkten A, B, C zu einem unbekannten Punkt X sind (etwas ungenau) bekannt. Gesucht ist eine möglichst gute Positionsbestimmung. (x1 1) 2 + (x 2 1) 2 = 6 (x1 8) 2 + (x 2 4) 2 = 3.6 (x1 5) 2 + (x 2 8) 2 = d a =6 C d c =4.2 X d b =3.6 B 2 Den drei Gleichungen entsprechen drei Kreise im R 2. Sie haben keinen gemeinsamen Schnittpunkt. 1 A

13 Überbestimmte nichtlineare Systeme Lösung durch Linearisierung und Iteration f(x) = 0, x R n, f(x) R m, m > n Ausgehend von Startvektor x (0) bestimmt man eine Korrektur x. Die Rechenvorschrift des Newton-Verfahrens für f(x) = 0 ergibt ein überbestimmtes lineares System mit der Jacobimatrix D f D f x = f(x) Verbesserte Lösung x (1) = x (0) + x. Für die Konvergenz der Iteration kann Unterrelaxation (Dämpfung) notwendig sein: x (n+1) = x (n) + ω x mit Unterrelaxationsfaktor 0 < ω 1.

14 Rechenbeispiel von vorhin (x1 1) 2 + (x 2 1) 2 6 f(x) = (x1 8) 2 + (x 2 4) 2 3.6, D f = (x1 5) 2 + (x 2 8) [ 5 Mit Startvektor x = erhält man 4] x 2 1 x 1 1 (x 1 1) 2 +(x 2 1) 2 (x 1 1) 2 +(x 2 1) 2 x 1 8 (x x ) 2 +(x 2 4) 2 (x 1 8) 2 +(x 2 4) 2 x 1 5 (x x ) 2 +(x 2 8) 2 (x 1 5) 2 +(x 2 8) 2 f ([ ]) 1 5 = 3/5, D 4 f = 1/ , lin. Syst ] 1 [ x1 = 3/5 x 2 1/5 Ergibt x 1 = 1/25, x 2 = 7/25 verbesserte Position [5.04; 4.28].

15 Abbildung und inverse Abbildung Eine Matrix definiert durch y = A x eine lineare Abbildung. Die Matrix ist dazu gedacht, dass sie aus einem Vektor einen anderen macht. Die inverse Matrix macht diese Abbildung rückgängig: x = A 1 y Was eine Matrix tut, macht die Inverse wieder gut. Aber das ist nicht immer möglich: Eine lineare Abbildung auf den Nullvektor lässt sich nicht umkehren. Doch wenn ein Vektor ganz verschwindet, gibt s keine Matrix, die ihn wiederfindet. Die pseudoinverse Matrix macht rückgängig, so gut es eben geht.

16 Pseudoinverse tritt auch bei überbestimmten Systemen auf Für überbestimmte Systeme Ax = b lässt sich die kleinste-quadrate-lösung aus den Normalengleichungen bestimmen A T Ax = A T b (A T A) 1 x = (A T A) 1 A T b Substituiere (A T A) 1 A T A + x = A + b (abgesehen von numerischen Problemen und dem Sonderfall, dass A nicht vollen Spaltenrang hat) Die Matrix A + wirkt also ähnlich wie eine Inverse bei der Lösung eines gewöhnlichen Gleichungssystems mit nichtsingulärer quadratischer Matrix. Clemens Brand und Erika Hausenblas 26. April / 35

17 Pseudoinverse Die Definition A + = (A T A) 1 A T ist nicht immer gültig Problem Die Definition A + = (A T A) 1 A T ist nicht möglich, wenn (A T A) singulär ist. Trotzdem lässt sich eine Matrix A + angeben, die eine optimale Lösung des überbestimmten Systems findet. Existenz und Eigenschaften der Pseudoinversen Zu jeder reellen m n-matrix A gibt es eine eindeutig bestimmte reelle n m-matrix A +, die Moore-Penrose Inverse, mit den Eigenschaften A A + A = A (A A + ) T = A A + A + A A + = A + (A + A) T = A + A Falls A + = (A T A) 1 A T existiert, erfüllt diese Matrix alle vier Bedingungen. Clemens Brand und Erika Hausenblas 26. April / 35

18 Inverse und Pseudoinverse von Diagonalmatrizen Für quadratische Diagonalmatrizen ist die Definition recht einfach... Inverse einer Diagonalmatrix (falls alle s i 0) 1 s s s 2 0 S =.... S 1 0 = s s 1 n 0 0 s n Pseudoinverse einer Diagonalmatrix r { S + 0 r =.... mit r i = s i r n falls { si 0 s i = 0 Clemens Brand und Erika Hausenblas 26. April / 35

19 Pseudoinverse von rechteckigen Diagonalmatrizen Ist S R m R n, dann ist S + R n R m Definition der r i und s i bleibt gleich wie vorhin, es gibt nur zusätzliche Nullzeilen oder -spalten. s s S = 0 0 s n r S + 0 r = r n 0 0 Clemens Brand und Erika Hausenblas 26. April / 35

20 Pseudoinverse allgemein Verwende Singulärwertzerlegung A = U S V T Bei der Multiplikation y = A x = U S V T x spürt der Vektor x zuerst V T dann S zuletzt U Um diese drei Multiplikationen rückgängig zu machn, muss man bei der letzten beginnen: U rückgängig machen: mit U T multiplizieren S rückgängig machen: hier braucht man S + V T rückgängig machen: mit V multiplizieren Pseudoinverse A = U S V T A + = V S + U T Clemens Brand und Erika Hausenblas 26. April / 35

21 Polynomiale Regression: Aufgabenstellung Gesucht ist ein Polynom, das die Datenpunkte möglichst gut approximiert Gegeben m + 1 Wertepaare (x i, y i ), i = 0,..., m Gesucht p(x), ein Polynom n-ten Grades, n < m, so dass die Summe der Fehlerquadrate m (p(x i ) y i ) 2 minimal wird. i=0 Clemens Brand und Erika Hausenblas 26. April / 35

22 Anpassen eines Polynoms an Datenpunkte Spezifische Wärmekapazität von kohlenstoffarmem Stahl in J/kg K für 20 C T 700, C T c p y = *x *x + 4.6e+002 y = 1.6e 006*x *x *x + 4.4e Datenpunkte quadratisches Pol. kubisches Pol Die Abbildung illustriert polynomiale Regression (quadratisch und kubisch) an die gegebenen Datenpunkte.

23 Polynomiale Regression ist eigentlich ein Spezialfall von linearen Modellen. (Ansatzfunktionen sind nichtlinear, aber die gesuchten Koeffizienten treten nur linear auf!) für die Normalengleichungs-Matrix gibt es eine einfache Formel für Polynome hohen Grades (ab n 15 20) ist der naive Ansatz a 0 + a 1 x + a 2 x 2 + x n völlig ungeeignet. Abhilfe: Orthogonalpolynome. Clemens Brand und Erika Hausenblas 26. April / 35

24 Direkter Lösungsweg Ansatz des Polynoms mit unbestimmten Koeffizienten p(x) = a 0 + a 1 x + a 2 x a n 1 x n 1 + a n x n. Einsetzen der gegebenen Wertepaare führt auf ein System von m linearen Gleichungen in den n + 1 unbekannten Koeffizienten a 0, a 1,..., a n. Die Matrix A hat eine spezielle Form (Vandermonde-Matrix): 1 x 0 x0 2 x x n 0 1 x 1 x A = 1 2 x x n x m xm 2 xm 3... xm n Standard-Lösung am Rechner durch QR-Zerlegung Bei kleinen Problemen und Rechnung mit Papier und Stift: klassisch nach der Methode der Normalengleichungen. Clemens Brand und Erika Hausenblas 26. April / 35

25 Formel für die Normalengleichungen Bei polynomialer Regression haben die Normalengleichungen spezielle Form; man kann die Koeffizienten direkt angeben. s 0 s 1... s n a 0 t 0 s 1 s 2... s n+1... a 1. = t 1. s n s n+1... s 2n a n t n mit s k = m i=0 x k i, t k = m i=0 x k i y i Praktisch nur bei linearer oder vielleicht noch quadratischer Regression sinnvoll. Moderner Lösungsweg: Vandermonde-Matrix aufstellen, QR-Lösung Clemens Brand und Erika Hausenblas 26. April / 35

26 Was dabei schiefgehen kann Remember Murphy s Law: If anything can go wrong, it will Normalengleichungen für größere n schlecht konditioniert Abhilfe: Daten skalieren. Anderere Lösungswege (QR-Zerlegung, Singulärwertzerlegung), andere Ansatzfunktionen (Orthogonalpolynome) Methode der kleinsten Quadrate wird durch Ausreißer stark irritiert Abhilfe: Robuste Methoden, Minimierung der Summe der absoluten Fehler (Minimierung in der 1-Norm statt in der 2-Norm) Clemens Brand und Erika Hausenblas 26. April / 35

27 Statistische Zusammenhänge Die Methode der kleinsten Quadrate liefert maximum likelihood-schätzung der Parameter wenn die Daten mit unabhängigen, zufälligen, normalverteilten Fehlern mit gleicher Standardabweichung behaftet sind. Ist C = (A T A) 1 die inverse Matrix des Systems der Normalengleichungen, und ist die Varianz der Daten gleich σ 2, so ist σ 2 C die Kovarianzmatrix der Parameter. Clemens Brand und Erika Hausenblas 26. April / 35

28 Lineare Regression Gerade anpassen Einfacher Spezialfall der polynomialen Regression Clemens Brand und Erika Hausenblas 26. April / 35

29 Total Least Squares mit SVD Standardverfahren minimiert Summe der Abstandsquadrate in y-richtung, TLS minimiert Quadratsumme der Normalabstände Bestimme Schwerpunkt [ x, ȳ] der Daten. x = 1 n x i, i=1,n ȳ = 1 n i=1,n y i 0.4 Verschiebe die Daten 0.2 x i = x i x, y i = y i ȳ Bilde Singulärwertzerlegung x 1 y 1 U S V T =.. x n y n TLS-Gerade geht durch den Schwerpunkt in Richtung des ersten Spaltenvektors von V.

30 Approximation durch polynomiale Regression Datenpunkte sind gegeben. Ein Approximationspolynom vierten Grades modelliert den Verlauf der Daten ganz passabel. Es hängt vom Modell ab, ob es Sinn macht, mehr Parameter (höheren Grad) zu verwenden. Ein Polynom 15. Grades (16 freie Parameter) könnte die Daten exakt modellieren, aber...

31 Datenanpassung mit zu hohem Polynomgrad Kein Fehler an den Datenpunkten, aber dazwischen oszilliert das Polynom heftig. Typisch für Polynome hohen Grades. Sie oszillieren besonders zu den Rändern hin, wenn man Sie durch vorgegebene Datenpunkte zwingt.

32 Woher die Daten kommen Ob eine Approximation ausreichend gut ist, hängt unter anderem auch davon ab, was die Daten beschreiben sollen... In diesem Fall sind es Punkte in einer kurvenreichen Computergraphik: