Regressionsrechnung: Die Methode der kleinsten Quadrate

Transkript

1 Universität Basel Wirtschaftswissenschaftliches Zentrum Regressionsrechnung: Die Methode der kleinsten Quadrate Dr. Thomas Zehrt Inhalt: 1. Einstimmung 2. Problemstellung 3. Die Methode der kleinsten Quadrate 4. Lineare Regression 5. Quadratische Regression

2 Teil 1 Einstimmung

3 Aufgabe: Untersuchung des Zusammenhangs zwischen Werbungskosten und Absatz Daten einer Stichprobe: x i y i x i - Werbungskosten je Kunde (in ) y i - Absatz je Kunde (in ) Frage: Welcher Absatz ist bei Werbungskosten von zu erwarten???

4 Darstellung in einem Streuungsdiagramm (Punktwolke) y x

5 Mathematische Modellbildung: Es scheint zwischen beiden Merkmalen einen linearen Zusammenhang zu geben, der durch verschiedene Einflüsse leicht verfälscht ist. Linearer Modellansatz: y = f(x) = a + b x Problem: Wie sollen die Zahlen a und b gewählt werden, d.h. welche Gerade kommt unserer Punktwolke am nächsten?

6 Welche Gerade ist die Beste? y x

7 Methode der kleinsten Quadrate Für jede Gerade y = f(x;a,b) = a + b x führen wir in zwei Schritten ein Strafmass für deren Abweichung von der Punktwolke ein. Dieses Strafmass wird eine Funktion F(a,b) sein, die von den beiden Parametern a und b abhängt. Wir minimieren diese Funktion F, d.h. wir suchen die Werte â und ˆb die die Funktion (global) minimieren.

8 1. Schritt Abweichung der Geraden im Punkt x i : e i = y i (a + b x i ) }{{} f(x i ;a,b) R y a + b x 1 e 1 e 2 e 3 y 1 y = a + bx x 1 x 2 x 3 x e 1 = 2 (a + b) = 2 a b e 2 = 3 (a + b2) = 3 a 2b e 3 = 4.5 (a + b3) = 4.5 a 3b

9 2. Schritt Gesamtstrafe für die Gerade y = a + b x F(a,b) }{{} 0 = e 2 i }{{} 0 Für unser Beispiel: F(a,b) = (2 a b) 2 + (3 a 2b) 2 + (4.5 a 3b) 2 = 3a b ab 19a 43b

10 3. Schritt Bestimmung der Extremalstellen der Funktion F(a, b) Notwendige Bedingungen: 0 = a F(a,b) und 0 = b F(a,b)

11 Für unser Beispiel: 0 = 6a + 12b 19 und 0 = 12a + 28b 43 oder ( )( a b ) = ( ) Lösung: â = 2 3 und ˆb = 5 4 Das sind die Koordinaten des einzigen lokalen (und globalen) Minimums der Funktion F(a,b)! Optimale Gerade: y = x Antwort: Bei Werbungskosten von ist ein Absatz von also zu erwarten!

12 Teil 2 Problemstellung

13 Seien X und Y (bzw. X 1,...,X n und Y ) zwei (bzw. n + 1) quantitative Merkmale. Die Regressionsrechnung untersucht die Form des Zusammenhangs dieser Merkmale. Wir benötigen eine Modellgleichung zwischen den Merkmalen: y = f(x;a,b,c,...) y = f(x 1,...,x n ;a,b,c,...) mit einer (an das Problem angepassten) Funktion f, mit noch zu bestimmenden Parametern a,b,c,... X bzw. X 1,...,X n heissen Ursache und Y Wirkung.

14 Modell 1: Merkmal Y : Absatz(menge) eines Produktes Merkmal X: Werbungskosten Zusammenhangsmodell: y = a + bx gesucht: a,b

15 Modell 2: Merkmal Y : Nachfrage nach einem Gut (y = q d ) Merkmal X: Preis (x = p) Zusammenhangsmodell: }{{} q d = a b }{{} p y x gesucht: a,b > 0

16 Modell 3: Merkmal Y : Angebot eines Gutes (y = q s ) Merkmal X: Preis (x = p) Zusammenhangsmodell: }{{} q s = c + d }{{} p y x gesucht: a,b > 0

17 Modell 4: Merkmal Y : Nachfrage nach einem Gut (y = q) Merkmal X: persönliches Einkommen (x = E) Zusammenhangsmodell(Engel-Funktion für ein normales Gut): ( q = q(e) = s 1 E ) 0 E gesucht: s,e

18 Modell 5: Merkmal Y : Nachfrage nach einem Gut (y = q) Merkmal X: persönliches Einkommen (x = E) Zusammenhangsmodell(Engel-Funktion für ein inferiores Gut): q = q(e) = a E gesucht: a

19 Modell 6: Merkmal Y : Nachfrage nach einem Gut (y = q) Merkmal X: persönliches Einkommen (x = E) Zusammenhangsmodell: q = q(e) = A e b/e gesucht: A,b

20 Modell 7: Merkmal Y : Produktionskosten (y = K) Merkmal X: Output (x) Zusammenhangsmodell: K = K(x) = k 0 + k 1 x + k 2 x 2 + k 3 x 3 gesucht: k 0,k 1,k 2,k 3

21 Modell 8: Merkmal Y : Konsum (y = C) Merkmal X: Volkseinkommen (x = Y ) Zusammenhangsmodelle: C = C(Y ) = C 0 + cy C = C(Y ) = C 0 + b(1 e ay ) gesucht: C 0,c bzw. C 0,b,a

22 Modell 9: Merkmal Y : Nachfrage nach Gut G 1 (y = q 1 ) Merkmal X 1 : Preis von Gut G 1 (x 1 = p 1 ) Merkmal X 2 : Preis von Gut G 2 (x 2 = p 2 ) Zusammenhangsmodelle: Konkurrierende Güter q 1 = q 1 (p 1,p 2 ) = a bp 1 + cp 2 q 1 = q 1 (p 1,p 2 ) = k pβ 2 p α 1 gesucht: a,b,c bzw. k,α,β

23 Modell 10: Merkmal Y : Nachfrage nach Gut G 1 (y = q 1 ) Merkmal X 1 : Preis von Gut G 1 (x 1 = p 1 ) Merkmal X 2 : Preis von Gut G 2 (x 2 = p 2 ) Zusammenhangsmodelle: Komplementäre Güter q 1 = q 1 (p 1,p 2 ) = a bp 1 cp 2 q 1 = q 1 (p 1,p 2 ) = k 1 p α 1 pβ 2 gesucht: a,b,c bzw. k,α,β

24 Modell 11: Merkmal Y : Kosten für die Produktion von 2 Gütern G 1 und G 2 (y = C) Merkmal X 1 : Menge von G 1 (x 1 = q 1 ) Merkmal X 2 : Menge von G 2 (x 2 = q 2 ) Zusammenhangsmodelle: C = C(q 1,q 2 ) = aq 2 1 +bq 1q 2 +cq 2 2 +dq 1+eq 2 +f gesucht: a,b,c,d,e,f

25 Modell 12: Merkmal Y : Produktionsergebnis (y = Q) Merkmal X 1 : 1. Produktionsfaktor (x 1 = K) Merkmal X 2 : 2. Produktionsfaktor (x 2 = A) Zusammenhangsmodelle: Q = Q(K,A) = c K α A β gesucht: c,α,β

26 Modell 13: Merkmal Y : Produktionsergebnis (y = Q) Merkmal X 1 : 1. Produktionsfaktor (x 1 = K) Merkmal X 2 : 2. Produktionsfaktor (x 2 = A) Zusammenhangsmodelle: Q = Q(K,A) = (a K ρ + b A ρ ) 1/ρ gesucht: a,b,ρ

27 Nun werden n Messungen beider Merkmale durchgeführt. Ergebnis: n Messwertepaare (-tripel,...) (x 1,y 1 ), (x 2,y 2 ),...,(x n,y n ) die (z.b. auf Grund von Messfehlern) nicht genau auf einer dem Modell entsprechenden Kurve (Fläche) liegen werden. Ziel der Regressionsrechnung: Aus der Vielzahl aller möglichen Modellkurven (Modellflächen) soll die,,beste ausgewählt werden. Weg: Die Methode der kleinsten Quadrate

28 Teil 3 Die Methode der kleinsten Quadrate

29 gegeben Modellgleichung zwischen den Merkmalen X und Y n Messwertpaare y = f(x;a,b,c,...) (x 1,y 1 ), (x 2,y 2 ),...,(x n,y n ) Problem: Für jede (erlaubte) Wahl der Parameter a,b,c,... entsteht eine Funktion, die in das Modell passt. Welche approximiert meine Messwerte am Besten?

30 Lösung: Jeder möglichen Modellkurve (d.h. jeder Wahl der Parameter) wird das Strafmass F(a,b,c,...) = (y } i f(x i {{ ;a,b,c,...) } ) 2 e i zugeordnet, dessen Grösse die Abweichung dieser Kurve von den Messwerten ausdrückt. Dann suchen wir die Parameter â,ˆb,ĉ,... die diese Straffunktion minimieren. Notwendige Bedingungen: 0 = a F(a,b,c,...) 0 = b F(a,b,c,...) 0 = c F(a,b,c,...)....

31 Vektorschreibweise x = x 1 x 2. x n y = y 1 y 2. y n u = e = e 1 e 2. e n = y 1 f(x 1,a,b,c, ) y 2 f(x 2,a,b,c, ). y n f(x n,a,b,c, )

32 Teil 4 Lineare Regression

33 gegeben lineare Modellgleichung zwischen den Merkmalen X und Y n Messwertpaare y = f(x;a,b) = a + bx (x 1,y 1 ), (x 2,y 2 ),...,(x n,y n ) oder x = x 1 x 2. x n y = y 1 y 2. y n u = e = e 1 e 2. e n = y 1 a bx 1 y 2 a bx 2. y n a bx n = y au bx

34 Straffunktion F(a,b) = e 2 i = e e = (y au bx) (y au bx) = y y 2a u y 2b x y +a 2 u u + 2ab u x + b 2 x x

35 Notwendige Bedingungen für ein Extrema 0 = F(a,b) = 2a u u + 2b u x 2u y a 0 = F(a,b) = 2a u x + 2b x x 2x y b Als lineares Gleichungssystem ( u u u x u x x x ) ( a b ) = ( u y x y ) Nach Berechnung der Skalarprodukte n x i x i x 2 i ( a b ) = y i x i y i

36 Lösung mittels Cramerscher Regel: â = y i n n x 2 i n x 2 i ( x i x i ) 2 x i y i ˆb = n n n x i y i n x 2 i ( x i x i ) 2 y i

37 Aufgabe: Finden Sie eine einfache Bedingung dafür, dass das lineare Regressionsproblem ( ) ( ) ( ) u u u x a u y = u x x x b x y für jede rechte Seite eindeutig lösbar ist. Hinweis: Erinnern Sie sich zunächst unter welchen Bedingungen ein lineares Gleichungssystem eindeutig lösbar ist. Berechnen Sie dann det ( u u ) u x u x x x

38 Aufgabe 1: Die Werte x i y i liegen ungefähr auf einer Geraden. Bestimmen Sie die Gerade, die diese Daten bestmöglich approximiert ,0 1,5 2,0 2,5 3,0 3,5 4,0

39 Aufgabe 2: Gegeben sind die Daten x i y i Bestimmen Sie mit den Techniken der linearen Regression eine Funktion der Form f(x) = ae bx, die diese Daten gut approximiert. 3,0 2,5 2,0 1,5 1,0 0,5 0,

40 Teil 5 Quadratische Regression

41 gegeben quadratische Modellgleichung zwischen den Merkmalen X und Y y = f(x;a,b,c) = a + bx + cx 2 n Messwertpaare (x 1,y 1 ), (x 2,y 2 ),...,(x n,y n ) oder x = x 1 x 2. x n y = y 1 y 2. y n u = e = e 1 e 2. e n = y 1 a bx 1 cx 2 1 y 2 a bx 2 cx 2 2. y n a bx n cx 2 n

42 Straffunktion F(a,b,c) = (y i a bx i cx 2 i )2 Notwendige Bedingungen für ein Extrema 0 = a F(a,b,c) = 2 n 0 = b F(a,b,c) = 2 n 0 = c F(a,b,c) = 2 n (y i a bx i cx 2 i ) x i (y i a bx i cx 2 i ) x 2 i (y i a bx i cx 2 i )

43 Als lineares Gleichungssystem n x i x 2 i x i x 2 i x 3 i x 2 i x 3 i x 4 i a b c = y i x i y i x 2 i y i

44 Aufgabe 3: Gegeben sind die Daten x i y i Bestimmen Sie eine quadratische Funktion, die diese Daten gut approximiert

45 Lösung: Daten x i y i Arbeitstabelle: x i y i x 2 i x 3 i x 4 i x i y i x 2 i y i

46 Lösung: Daten x i y i Arbeitstabelle: x i y i x 2 i x 3 i x 4 i x i y i x 2 i y i Als lineares Gleichungssystem a b c =

47 Lösungen des linearen Gleichungssystems â = 1.2 ˆb = 2.1 ĉ = 4.5 Die quadratische Funktion f(x) = x + 4.5x 2 approximiert die Datenmenge bestmöglich! x