Interpolation, lineare Gleichungen (mit und ohne Lösungen) und lineare Regression

Transkript

1 Interpolation, lineare Gleichungen (mit und ohne Lösungen) und lineare Regression Franz Pauer Institut für Mathematik, Universität Innsbruck Technikerstr. 13/7, A-6020 Innsbruck, Österreich 1 Einleitung Lineare Regression ist ein Thema des Lehrplans von berufsbildenden höheren Schulen (4. und 5. Jahrgang der HTL, 2. und 5. Jahrgang der HAK). Es könnte auch in der AHS als interessante Anwendung von Kenntnissen über lineare Gleichungen und über das Skalarprodukt besprochen werden. Leider wird in den mir bekannten Schulbüchern (zum Beispiel [1] oder [2]) darauf verzichtet zu erklären, wie die Gleichung der Regressionsgeraden berechnet werden kann und warum man dazu gerade die Summe der Fehlerquadrate minimiert. Auch in [3] wird zur zweiten Frage nur auf rechentechnische bzw. historische Gründe verwiesen. Dort wird aber erläutert, wie man die Gleichung der Regressionsgeraden mit Hilfe des Skalarprodukts leicht herleiten kann. In diesem Beitrag betrachten wir zuerst Interpolationsaufgaben, die durch Systeme linearer Gleichungen Ax = b beschrieben werden können (Abschnitt 2). Wenn diese Gleichungssysteme keine Lösung haben (Abschnitt 3), ersetzen wir die Spalte b durch die am nächsten liegende Spalte, mit der das Gleichungssystem eine Lösung hat. Dieser Vorgang entspricht der linearen Regression. Um zu präzisieren, was am nächsten liegend bedeutet, müssen wir festlegen, was wir unter dem Abstand zweier Spalten verstehen. Verwenden wir dazu den euklidischen Abstand, landen wir bei der Methode der kleinsten Quadrate. Im Abschnitt 4 wird dargestellt, wie man auf einfache Weise mit Hilfe des Skalarprodukts die Gleichung der Regressionsgeraden erhält. Da in der Handelsakademie das Skalarprodukt nicht Pflichtstoff ist, wird im Abschnitt 5 die Gleichung der Regressionsgeraden ohne Verwendung des Skalarprodukts hergeleitet. Abschnitt 6 geht auf die Herleitung dieser Gleichung mit Hilfe der Differenzialrechnung ein (und weist darauf hin, dass man diese dazu eigentlich nicht braucht). 1

2 2 Interpolationsaufgaben Wir betrachten die folgenden Interpolationsaufgaben: Gegeben sind Funktionen f 1,..., f k von R nach R, paarweise verschiedene reelle Zahlen x 1,..., x n R und reelle Zahlen y 1,..., y n R. Gesucht sind reelle Zahlen c 1,..., c k so, dass die Funktion f := k c if i die Bedingungen f(x 1 ) = y 1, f(x 2 ) = y 2,..., f(x n ) = y n erfüllt. y 1 y 4 y 2 y 3 x 1 x 2 x 3 x 4 Durch die Funktionen f 1,..., f k wird der Typ der Interpolationsaufgabe vorgegeben. Die reellen Zahlen x 1,..., x n heißen Stützstellen, die reellen Zahlen y 1,..., y n Werte der Interpolationsaufgabe. Die gesuchte Funktion f heißt interpolierende Funktion. Wir suchen also eine Funktion f des vorgegebenen Typs so, dass die Funktionswerte von f in den Stützstellen die vorgegebenen Werte der Interpolationsaufgabe sind. Anders formuliert: Wir suchen Zahlen c 1,..., c k so, dass f 1 (x 1 )c 1 + f 2 (x 1 )c f k (x 1 )c k = y 1 f 1 (x 2 )c 1 + f 2 (x 2 )c f k (x 2 )c k = y 2... =... f 1 (x k )c 1 + f 2 (x k )c f k (x n )c k = y n ist. Das ist ein System von k linearen Gleichungen mit n Unbekannten c 1,..., c n. Beispiel 1. Interpolation durch lineare Funktionen. Wenn f 1 die Identität (also die Funktion, die jeder Zahl sich selbst zuordnet) und f 2 die konstante Funktion 1 (also die Funktion, die jeder Zahl die Zahl 1 zuordnet) ist, dann suchen wir eine Funktion f := c 1 f 1 + c 2 f 2 mit (f(x i ) =) c 1 x i + c 2 = y i, 1 i n. 2

3 In diesem Fall schreiben wir wie üblich k statt c 1 und d statt c 0. Dann ist f die Funktion, die jeder reellen Zahl z die Zahl f(z) := k.z + d zuordnet. Um die Zahlen k und d mit den Eigenschaften k.x 1 + d.1 = y 1... k.x n + d.1 = y n zu finden, müssen wir ein System von n linearen Gleichungen mit zwei Unbekannten lösen. Beispiel 2. Interpolation durch Polynomfunktionen. Wenn die gegebenen Funktionen f 1,..., f k die Potenzfunktionen vom Grad 0 bis k 1 sind, dann ist die gesuchte Funktion f eine Polynomfunktion vom Grad k 1, also f : R R, z c 1 + c 2.z c k.z k 1. Wir suchen reelle Zahlen c 1, c 2,..., c k mit der Eigenschaft, dass c 1 + x 1 c x k 1 1 c k = y 1... c 1 + x n c x k 1 n c k = y n ist, müssen also ein System von n Gleichungen mit k Unbekannten lösen. Beispiel 3. Interpolation durch Linearkombinationen von Sinus und Cosinus. Ist f 1 die Sinusfunktion und f 2 die Cosinusfunktion, dann suchen wir eine (2π-periodische) Funktion f := c 1 sin +c 2 cos mit (f(x i ) =) c 1 sin(x i ) + c 2 cos(x i ) = y i, 1 i n. Wir suchen daher zwei reelle Zahlen c 1 und c 2 so, dass c 1 sin(x 1 ) + c 2 cos(x 1 ) = y 1... c 1 sin(x n ) + c 2 cos(x n ) = y n ist. Um sie zu berechnen, müssen wir ein System von n linearen Gleichungen mit zwei Unbekannten lösen. 3 Systeme linearer Gleichungen (mit und ohne Lösung) Das System f 1 (x 1 )c 1 + f 2 (x 1 )c f k (x 1 )c k = y 1 f 1 (x 2 )c 1 + f 2 (x 2 )c f k (x 2 )c k = y 2... =... f 1 (x k )c 1 + f 2 (x k )c f k (x n )c k = y n 3

4 von k linearen Gleichungen mit den Unbekannten c 1,..., c n kann auch in der Form f 1 (x 1 ) f k (x 1 ) y 1 c c k. =., f 1 (x n ) f k (x n ) oder, mit den Abkürzungen kurz als y 1 y :=. y n und f i (x) := k c i f i (x) = y y n f i (x 1 )., 1 i k, f i (x n ) angeschrieben werden. Diese Schreibweise legt es nahe, das System linearer Gleichungen als die folgende Aufgabe zu interpretieren: Schreibe die Spalte y als Linearkombination k c if i (x) der Spalten f i (x), 1 i k. Das ist aber nur dann möglich, wenn y in dem von den Spalten f i (x), 1 i k, erzeugten Untervektorraum U (des Vektorraums aller Spalten) enthalten ist. Wenn das nicht der Fall ist, ist dieses System linearer Gleichungen nicht lösbar. Im Fall von Beispiel 1 (Interpolation durch lineare Funktionen) ist U die von x 1 1 := 1. und x :=. 1 erzeugte Ebene. Im Fall von Beispiel 2 (Interpolation durch Polynomfunktionen vom Grad k) ist U der von x 1 1.,. 1 x n,..., x n x k 1 1. x k 1 n erzeugte Vektorraum. Im Fall von Beispiel 3 (Interpolation durch Linearkombinationen von Sinus und Cosinus) ist U die von sin(x 1 ) cos(x 1 ). und. sin(x n ) cos(x n ) 4

5 erzeugte Ebene. Wenn die Interpolationsaufgabe einerseits eine Situation beschreibt, von der man weiß, dass es eine Lösung gibt, andererseits die Aufgabe aber nicht lösbar ist, weil y mit Mess- oder Rundungsfehlern behaftet ist, liegt es nahe, dass y eigentlich ein Element von U sein sollte. Wir erzwingen die Lösbarkeit der Aufgabe, indem wir y durch eine Spalte y in U ersetzen! Wie sollen wir diese Spalte y aber wählen? Am einfachsten ist es, y in U so zu wählen, dass der Abstand zwischen y und y möglichst klein ist. Wir suchen also ein Element des Vektorraums (im Fall von Beispiel 1 der Ebene) U so, dass der Abstand y y zwischen y und y so klein wie möglich ist. Wir müssen uns nun aber entscheiden, welchen Abstand wir meinen: wir wählen den (durch das Standardskalarprodukt auf dem R n induzierten) euklidischen Abstand im R n, also y y := n (y i y i) 2. Für positive reelle Zahlen a und b ist a b genau dann, wenn a 2 b 2 ist. Daher ist der y y genau dann minimal, wenn die Summe n (y i y i ) 2 der Fehlerquadrate minimal ist. 4 Lineare Regression (wenn das Skalarprodukt bekannt ist) Genau dann ist der Abstand zwischen y und y kleiner oder gleich dem Abstand zwischen y und jedem anderen Element z von U, wenn die Gerade durch y und y normal zum Untervektorraum U steht. Das folgt leicht aus dem Satz von Pythagoras: y U z y Das Dreieck mit den Eckpunkten y, y und z hat bei y einen rechten Winkel. Der Abstand zwischen y und z ist die Länge der Hypotenuse, also größer oder gleich der Länge einer Kathete, also dem Abstand zwischen y und y. 5

6 Das Skalarprodukt zweier Spalten ist die Zahl a 1 a :=. a n und b := a b := a i b i. b 1. Die Gerade durch y und y steht genau dann normal zu U, wenn alle Skalarprodukte von y y mit den erzeugenden Spalten von U gleich 0 sind. Für y = k c if i (x) U muss also gelten: Anders geschrieben: b n (y y ) f j (x) = 0, 1 j k. k c i (f i (x) f j (x)) = y f j (x), 1 j k. Wenn wir dieses System von k linearen Gleichungen mit k Unbekannten c 1,..., c k lösen, dann erhalten wir die annähernd interpolierende Funktion f = k c if i. Im Fall von Beispiel 1 (lineare Interpolation) ist y = k.x + d.1 U und die Gerade durch y und y steht normal auf der von x und 1 erzeugten Ebene U. Also ist (y (k.x + d.1)) x = 0 und (y (k.x + d.1)) 1 = 0. Daraus erhalten wir das folgende System von zwei linearen Gleichungen mit zwei Unbekannten k und d: k(x x) + d(1 x) = x y k(x 1) + d(1 1) = 1 y 6

7 Als Lösung erhalten wir k = n(x y) (1 x).(1 y) n(x x) (1 x) 2 und d = (x x).(1 y) (1 x).(x y) n.(x x) (1 x) 2. Wegen x y = n x iy i, 1 x = n x i, 1 y = n y i, 1 1 = n, x x = n x2 i und y y = n y2 i ist und k = n n x iy i ( n x i)( n y i) n n x2 i ( n x i) 2 d = ( n x2 i )( n y i) ( n x i)( n x iy i ) n n x2 i ( n x. i) 2 Wir haben damit die Funktion f : R R, z k.z + d, so bestimmt, dass der (euklidische) Abstand vom n-tupel der gegebenen (gemessenen oder gerundeten) ungenauen Funktionswerte (y 1,..., y n ) zum n-tupel der berechneten Funktionswerte (f(x 1 ),..., f(x n )) möglichst klein ist, also n (y i (kx i + d)) 2 möglichst klein ist. Der Graph dieser Funktion heißt Regressionsgerade oder Trendlinie. Dazu mussten wir nur das Skalarprodukt und das Lösen von Systemen von zwei linearen Gleichungen mit zwei Unbekannten als bekannt voraussetzen. 5 Lineare Regression, wenn das Skalarprodukt noch nicht bekannt ist Die Aufgabe Gegeben sind paarweise verschiedene reelle Zahlen x 1,..., x n R und reelle Zahlen y 1,..., y n R. Berechne eine Funktion f : R R, z k.z + d, so, dass der (euklidische) Abstand zwischen (y 1,..., y n ) und (f(x 1 ),..., f(x n )) möglichst klein ist. kann auch ohne Verwendung des Skalarproduktes gelöst werden. Man muss dazu - etwas mühsam, aber ohne wesentliche Schwierigkeiten - einige Rechnungen ausführen. Wir bestimmen Zahlen k und d so, dass n (y i (kx i + d)) 2, das Quadrat des Abstandes von (y 1,..., y n ) zu (kx 1 + d,..., kx n + d), möglichst klein ist. 7

8 Das heißt: k und d werden so gewählt, dass für alle reellen Zahlen r und s (y i ((k + r)x i + (d + s))) 2 (y i (kx i + d)) 2 ist, also die Differenz D(r, s) := (y i ((k + r)x i + (d + s))) 2 (y i (kx i + d)) 2 0 ist. Ausrechnen ergibt: D(r, s) = ((y i kx i d) (rx i + s)) 2 (y i kx i d)) 2 = = (rx i + s) 2 2 (y i kx i d)(rx i + s). Als Summe von Quadraten ist die Zahl n (rx i + s) 2 immer 0. Wählt man daher k und d so, dass für alle r, s (rx i + s)(y i kx i d) = 0 ist, dann ist D(r, s) 0 für alle r, s R. Wegen (rx i + s)(y i kx i d) = r (x i y i kx 2 i dx i ) + s (y i kx i d) ist (k, d) Lösung des Systems n (x iy i kx 2 i dx i ) = 0 n (y i kx i d) = 0 von zwei linearen Gleichungen in zwei Unbekannten. Dessen Lösung ist dieselbe wie die in Abschnitt 4. 8

9 6 Lineare Regression, wenn partielles Differenzieren und seine Anwendung auf Extremwertaufgaben bekannt sind Gegeben sind paarweise verschiedene reelle Zahlen x 1,..., x n R und reelle Zahlen y 1,..., y n R. Differenziert man die quadratische Funktion q := n (y i (ux i + v)) 2 an der Stelle (k, d) partiell nach u und v, erhält man eine Darstellung dieser Funktion in der Form q = q(k, d) + q q (k, d)(u k) + u v (k, d)(v d) + 2 q (k, d)(u k)(v d) + u v = q(k, d) 2 +( q 2 2 u (k, d)(u k) q 2 2 v (k, d)(v d)2 = x i (y i (kx i + d))(u k) 2 (y i (kx i + d))(u d)+ x i )(u k)(v d) + ( x 2 i )(u k) 2 + n(v d) 2. Dieselbe Darstellung der quadratischen Funktion q als Linearkombination von 1, (u k), (v d), (u k)(v d), (u k) 2 und (v d) 2 hätte man auch erhalten, wenn man n (y i (ux i +v)) 2 als n (y i ((k +(u k))x i +(d+(v d)))) 2 geschrieben hätte, dann ausmultipliziert und die Koeffizienten von 1, (u k), (v d), (u k)(v d), (u k) 2, (v d) 2 zusammengefasst hätte. Die Funktion q hat in (k, d) ein Minimum, wenn q q (k, d) = 0, (k, d) = 0 u v und die Hesse sche Matrix 2 q (k, d) 2 q (k, d) n n 2 u u v x2 i x i = 2 2 q (k, d) 2 q n (k, d) u v 2 v x i n positiv definit ist. Diese Matrix ist bekanntlich genau dann positiv definit, wenn n x2 i > 0 und n. n x2 i > ( n x i) 2 ist. Die zweite Ungleichung folgt aus der (quadrierten) Cauchy-Schwarz schen Ungleichung 1 2. x 2 > (1 x) 2. Auch dafür braucht man keine Differenzialrechnung: Wenn die Koeffizienten bei u k und bei v d gleich 0 sind, ist q(k, d) der kleinste Funktionswert von q genau dann, wenn die (homogene) quadratische Funktion q := (2 x i )(u k)(v d) + ( x 2 i )(u k) 2 + n(v d) 2 9

10 keine negativen Funktionswerte hat. Wir ergänzen quadratisch und erhalten q = n.((v d) + 1 n x i (u k)) n (n x 2 i ( x i ) 2 )(u k) 2. Diese Funktion hat somit genau dann keine negativen Funktionswerte, wenn n( n x2 i ) ( n x i) 2 0 ist. Literatur [1] Tinhof, F. et al.: Mathematik II HAK/LW. 3. Auflage, Trauner Verlag, Linz, [2] Timischl, W., Prugger, E.: Mathematik & Wirtschaft Auflage, Dorner Verlag, Wien, [3] Götz, S.: Von Pferden, Ziegen und unmöglichen Würfeln. Didaktikhefte 37, 19-46,