Statistik II für Betriebswirte Vorlesung 12

Transkript

1 Prof. Dr. Hans-Jörg Starkloff TU Bergakademie Freiberg Institut für Stochastik Statistik II für Betriebswirte Vorlesung Januar 2013

2 7.3. Multiple parameterlineare Regression Im Folgenden soll die Abhängigkeit eines Regressanden (einer Wirkungsgröße oder einer endogenenen Variablen) Y von mehreren Regressoren (Einflussgrößen oder exogenen Variablen) X 1,..., X k beschrieben werden, d.h. es soll gelten Y f(x 1,..., X k ) mit einer geeigneten Funktion f : R k R. Wir werden größtenteils wieder annehmen, dass die Regressoren deterministisch sind (z.b. mit exakt einstellbaren Werten) und dies durch kleine Buchstaben x 1,..., x k in den Gleichungen kennzeichnen. Man erhält dann als Modellgleichung Y (x 1,..., x k ) = f(x 1,..., x k ) + ε(x 1,..., x k ) mit einem zufälligen Fehler ε (der im Allgemeinen abhängig von den Werten x 1,..., x k ist). Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 1

3 Parameterlineare Ansätze Häufig werden bei solchen Aufgabenstellungen parameterlineare Ansätze verwendet, d.h. man setzt eine Beziehung Y (x 1,..., x k ) = a 1 f 1 (x 1,..., x k ) a r f r (x 1,..., x k ) (1) + ε(x 1,..., x k ) mit speziell gewählten, bekannten Funktionen f 1,..., f r und zu bestimmenden Koeffizienten (Parametern) a 1,..., a r (die linear in die Gleichung eingehen) voraus. Die einfache lineare Regression mit der Modellgleichung Y (x) = a + bx + ε(x) ist ein Spezialfall davon, dort gelten k = 1, r = 2, f 1 (x) = 1, f 2 (x) = x, a 1 = a, a 2 = b. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 2

4 Beispiele für parameterlineare Ansätze Im eigentlich nichtmultiplen Fall k = 1 (nur eine Einflussgröße) gilt bei der quadratischen Regression Y (x) = a + bx + cx 2 + ε(x) und allgemeiner bei der polynomialen Regression vom Grade m Y (x) = a 0 + a 1 x a m x m + ε(x). Der k faktorielle Ansatz ohne Wechselwirkungen Y (x 1,..., x k ) = a 0 + a 1 x a k x k + ε(x 1,..., x k ) wird zur Bestimmung der Ausgleichsebene (für die ebene Regression) genutzt. Bem.: Eine Gleichung der Form y = a 0 + a 1 x a k x k definiert eine (Hyper-)Ebene im (k + 1) dimensionalen Raum von Punkten mit Koordinaten (x 1,..., x k, y). Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 3

5 Weitere Beispiele für parameterlineare Ansätze Als Beispiel eines k faktoriellen Ansatzes mit Wechselwirkungen werde hier noch der Fall einer multiplen quadratischen Regression vorgestellt: Y (x 1,..., x k ) = a 0 + a 1 x a k x k + a 12 x 1 x a k 1,k x k 1 x k + a 11 x a kk x 2 k + ε(x 1,..., x k ). Auch höhere Polynomgrade oder andere Funktionen der Variablen x 1,..., x k sind möglich und werden auch verwendet. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 4

6 Regressionsansatz in Vektorschreibweise Es ist vorteilhaft, die Vektorschreibweise zu nutzen. Es seien x = (x 1,..., x k ) T = x 1. x k f(x) = (f 1 (x),..., f r (x)) T =, a = (a 1,..., a r ) T = f 1 (x). f r (x). Der parameterlineare Ansatz kann dann geschrieben werden als a 1. a r, Y (x) = a T f(x) + ε(x), (2) wobei die Definition der Multiplikation von Vektoren (als Spezialfall der Matrixmultiplikation oder als Skalarprodukt) genutzt wird. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 5

7 Die Methode der kleinsten Quadrate Sind die (zufallsbeeinflussten) Wirkungen y i für i = 1,..., n an den Einflussstellen x i = (x 1i,..., x ki ) T durch Messungen bestimmt wurden, kann man mit Hilfe der Methode der kleinsten Quadrate eine geeignete Schätzung â des Vektors a der Regressionskoeffizienten im parameterlinearen Ansatz (2) finden. Die Schätzung â ist ein Vektor von Regressionskoeffizienten a, für den n ( yi a T f(x i ) ) 2 minimal wird. i=1 Die geschätzte Regressionsfunktion ist dann ŷ(x) = â 1 f 1 (x) â r f r (x) = â T f(x) = f(x) T â. Im Weiteren genutzte Bezeichnungen sind y = (y 1,..., y n ) T und F = ( f(x 1 ),..., f(x n ) ) f 1 (x 1 )... f r (x 1 ) T = f 1 (x n )... f r (x n ) Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 6

8 Das Normalgleichungssystem Die Schätzung â des Vektors a der Regressionskoeffizienten kann dann mit Hilfe des sogenannten Normalgleichungssystems gefunden werden: F T F â = F T y. (3) Dies ist ein lineares Gleichungssystem zur Bestimmung der Komponenten von â. Ist die Matrix F T F regulär, dann ist (3) eindeutig auflösbar und es gilt â = ( F T F ) 1 F T y. (4) Sind in dem parameterlinearen Ansatz (1) die zufälligen Fehler ε(x i ) unabhängige normalverteilte Zufallsgrößen mit Erwartungswert 0 und konstanter Varianz σ 2, dann ist die Schätzung â aus (4) erwartungstreu und konsistent. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 7

9 Beispiel Jahresumsatz Daten aus Bleymüller et al, Statistik für Wirtschaftswissenschaftler. i Filiale x 1i Verkaufsfläche in Tsd. qm x 2i Passantenfrequenz in Tsd. Passanten pro Tag Jahresumsatz in Mio. e y i i x 1i x 2i y i i x 1i x 2i y i Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 8

10 Fortsetzung Beispiel Jahresumsatz Wir wählen als Ansatz mit x = (x 1, x 2 ) T Y (x) = a 0 + a 1 x 1 + a 2 x 2 + ε(x) = (a 0, a 1, a 2 ) Dann erhält man F T = F T F = â T = ( 0.83, 4.74, 0.175), also als geschätzte Regressionsfunktion ŷ(x 1, x 2 ) = x x 2. 1 x 1 x 2,, + ε(x). Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 9

11 Streuungszerlegung Wie im Fall der einfachen linearen Regression gilt für den parameterlinearen Ansatz die Quadratsummenzerlegung (Streuungszerlegung) SST = SSE + SSR (bei Schätzung der Regressionskoeffizienten mit der Methode der kleinsten Quadrate). Dabei sind wieder n SST = (y i y) 2, die Totalvariabilität (Totalvarianz); SSE = SSR = i=1 n (ŷ i y) 2, die erklärte Variabilität (erklärte Varianz); i=1 n (y i ŷ i ) 2, die Restvariabilität (Restvarianz). i=1 Das Bestimmtheitsmaß ist B = SSE SST = 1 SSR SST = r2 Y (f 1 (X),...,f. r(x)) Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 10

12 Schätzung der Fehlervarianz Eine konstante Varianz der zufälligen Fehler ε(x i ) (und damit der Zufallsgrößen Y (x i ) kann analog zum Fall der einfachen linearen Regression durch ˆσ 2 = s 2 Rest = SSR n r geschätzt werden. Der Nenner n r ist durch die Schätzung von r Parametern bedingt. Für die folgenden Aussagen zu Konfidenzschätzungen und Tests setzen wir wieder voraus, dass die zufälligen Fehler ε(x i ) unabhängige normalverteilte Zufallsgrößen mit Erwartungswert 0 und konstanter Varianz σ 2 sind. Mit m i wird in den nächsten Folien das i te Diagonalelement der Matrix (F T F ) 1 bezeichnet. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 11

13 Konfidenzschätzungen Konfidenzintervall zum Niveau 1 α für die Komponente a i von a: ] I = [â i t n r;1 α/2 s 2Rest m i ; â i + t n r;1 α/2 s 2 Rest m i Konfidenzintervall zum Niveau 0.95 für a 2 im Beispiel: â 2 = 0.175; s 2 Rest = = ; m 2 = 0.029; t 9;0.975 = I = [0.074; 0.276]. Konfidenzintervall zum Niveau 1 α für die Regressionsfunktion f(x) T a: I = [f(x) T â t n r;1 α/2 s 2 Rest f(x)t (F T F ) 1 f(x) ; ] f(x) T â + t n r;1 α/2 s 2 Rest f(x)t (F T F ) 1 f(x). Auch Prognoseintervalle können konstruiert werden. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 12

14 t Test für einzelnen Parameter Hypothesen: H 0 : a i = a (0) i, H A : a i a (0) i. Testgröße: T = âi a (0) i s 2 Rest m i. Diese Testgröße ist unter H 0 t verteilt mit n r Freiheitsgraden. Kritischer Bereich zum Niveau α: K = {t R : t > t n r;1 α/2 }. Analog können einseitige Tests durchgeführt werden. Test mit H 0 : a 2 = 0, H A : a 2 0, α = 0.05 im Beispiel = 3.89 > 2.26 = t 9;0.975 H 0 wird abgelehnt, d.h. der Koeffizient a 2 (der die Abhängigkeit des Umsatzes von der Passantenfrequenz beschreibt) ist signifikant verschieden von 0. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 13

15 F Test für das Modell (Varianzanalyse) Wir setzen voraus, dass f 1 (x) = 1 gilt, d.h. a 1 die Konstante im Modell ist. Hypothesen: H 0 : a 2 =... = a r = 0, H A : a i 0 für ein i > 1. Testgröße: T = MSE MSR mit MSE = SSE SSR, MSR = r 1 n r. Diese Testgröße ist unter H 0 F verteilt mit (r 1; n r) Freiheitsgraden. Kritischer Bereich zum Niveau α: K = {t R : t > F r 1;n r;1 α }. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 14

16 t Test bezüglich der ganzen Regressionsfunktion Hypothesen: H 0 : a T f(x) = c, H A : a T f(x) c. a T f(x) c Testgröße: T =. s 2 Rest f(x)t (F T F ) 1 f(x) Diese Testgröße ist unter H 0 t verteilt mit n r Freiheitsgraden. Kritischer Bereich zum Niveau α: K = {t R : t > t n r;1 α/2 }. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 15

17 Beispiel: Test auf optimale Skalenelastizität Ein Produktionsprozess mit den Produktionsfaktoren x i werde durch die Cobb-Douglas-Produktionsfunktion beschrieben: ỹ = e β0 x β xβ k k. Durch die Variablentransformation y = ln ỹ, x i = ln x i, i = 1,..., k, erhält man die Beziehung y = β 0 + β 1 x β k x k. Die Größen β 1,..., β k sind die Produktionselastizitäten und ε = β β k ist die Skalenelastizität. Eine Steigerung der Produktionsfaktoren um a % bewirkt ( dann eine Steigerung der Produktionsmenge von ỹ auf ỹ 1 + a ) ε. 100 Dann interessiert die Hypothese H 0 : ε = β β k = 1 (es liegen keine positive oder negative Skaleneffekte vor). Der entsprechende Test ist ein Spezialfall des vorherigen Tests, hier gelten f(x) = (0, 1, 1,..., 1) T und c = 1. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 16

18 F Test zur Modellüberprüfung Allgemein gilt, dass bei großen Werten der Restvarianz (der Restquadratsumme) das gewählte Modell schlecht ist. Ist eine gute Anpassung aber möglich, dann interessiert oft die Frage, ob auch schon ein kleineres Modell, d.h. ein Modell mit einer geringeren Anzahl von Ansatzfunktionen adäquat ist. Dieses kann für ein gewähltes großes Modell (r g Ansatzfunktionen, Restquadratsumme SSR g ) und ein gewähltes kleines Modell (r k Ansatzfunktionen, Restquadratsumme SSR k ) mit Hilfe eines F Tests überprüft werden. Hypothesen: H 0 : kleines Modell ist ausreichend. Testgröße: T = n r g SSR k SSR g. r k SSR g Kritischer Bereich zum Niveau α: K = {t R : t > F rk ;n r g;1 α}. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 17

19 Weiteres Beispiel Daten aus Bleymüller et al, Statistik für Wirtschaftswissenschaftler, Aufgabe i Beobachtungszeitraum x i Produktionsmenge (in Tsd. Stück) y i Gesamtkosten (in Tsd. e) i x i y i i x i y i Gesuchte Regressionsfunktion: ŷ(x) = â 1 + â 2 x + â 3 x 2 + â 4 x 3 bzw. entsprechendes Polynom 2. Grades. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 18

20 Fortsetzung Beispiel: Statgraphics-Ergebnisse Mit Statgraphics geschätztes Regressionspolynom 3. Grades ŷ = x x x 3 mit Restvariabilität SSR g = Mit Statgraphics geschätztes Regressionspolynom 2. Grades ŷ = x x 2 mit Restvariabilität SSR k = Wert der Testgröße t = = Quantil der F Verteilung F 3;6;0.95 = H 0 : kleines Modell (Polynom 2. Grades) ist ausreichend wird abgelehnt. Prof. Dr. Hans-Jörg Starkloff (TUBAF) Statistik II für Betriebswirte Vorlesung 12 19