Statistik II für Betriebswirte Vorlesung 11

Transkript

1 Statistik II für Betriebswirte Vorlesung 11 Prof. Dr. Hans-Jörg Starkloff TU Bergakademie Freiberg Institut für Stochastik 18. Januar 2017 Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

2 7. Regressionsanalyse 7.1. Einleitung Während bei der Korrelationsanalyse eine qualitative Analyse von Zusammenhängen zwischen Merkmalen im Vordergrund stand, führt man bei der Regressionsanalyse eine quantitative Analyse von derartigen Zusammenhängen durch. Insbesondere sucht man im Rahmen einer Regressionsanalyse z.b. auf der Basis von Beobachtungen (x 1, y 1 ),... (x n, y n ) nach einem konkreten funktionalen Zusammenhang, der die Abhängigkeit eines Merkmals Y von einer Merkmalsgröße X (einfache Regression) (bei der multiplen Regression von mehreren Größen X 1,..., X k ) möglichst gut beschreibt, wobei ein Zufallseinfluss und damit eine Streuung der Werte mit berücksichtigt wird. Eine ganz andere Aufgabenstellung wäre z.b. die Bestimmung eines Interpolationspolynoms durch die gegebenen Punkte, bei dem man aber einen Zufallseinfluss in der Formel unberechtigterweise verewigen würde und oft sehr viele Parameter bestimmen muss. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

3 Die Methode der kleinsten Quadrate Eine grundlegende Methode für die Regressionsanalyse ist die Methode der kleinsten Quadrate. Gegeben seien z.b. Punkte (x 1, y 1 ),..., (x n, y n ) und eine Klasse R von möglichen Regressionsfunktionen, so dass die funktionale Abhängigkeit der Größe y von der Größe x voraussichtlich gut durch eine Funktion aus dieser Klasse beschreibbar ist. Die Methode der kleinsten Quadrate besteht dann darin, aus R diejenige Funktion y = f (x) als empirische Regressionsfunktion zu den Daten auszuwählen, für die die Summe der Quadrate der Abstände zwischen den theoretischen Funktionswerten f (x i ) und den beobachteten Funktionswerten y i (jeweils bei den Argumenten x i, i = 1,..., n), d.h. die Summe der Abweichungsquadrate oder n Residual-Quadratsumme d = (y i f (x i )) 2 minimal wird. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

4 Weitere Bezeichnungen und Bemerkungen Die Abweichungen y i f (x i ) (bei einer gewählten Funktion f (x)) nennt man Residuen. Ist eine funktionale Abhängigkeit der Größe Y von der Größe X gesucht, nennt man X auch Regressor, exogene Variable oder Einflussgröße. Die Größe Y wird auch Regressand, endogene Variable oder Wirkungsgröße genannt. Der Name Regression ( Rückschritt ) geht auf Galton zurück. Ausgangspunkt war damals eine Untersuchung der Größe der Söhne (Variable Y ) im Zusammenhang mit der Größe der Väter (Variable X ) von Pearson. Galton schrieb damals: Each peculiarity in a man is shared by his kinsmen but on the average in a less degree. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

5 7.2. Einfache lineare Regression Gegeben seien Punkte (x 1, y 1 ),..., (x n, y n ). Die Abhängigkeit der y Werte von den x Werten soll bei der einfachen linearen Regression durch eine (affin-)lineare Funktion y = f (x) = a + bx beschrieben werden. Die Grafik der mit der Methode der kleinsten Quadrate geschätzten Regressionsfunktion nennt man dann Ausgleichsgerade oder Regressionsgerade. Zur Bestimmung der geschätzten Regressionsfunktion muss die Quadratsumme QS = QS(a, b) als Funktion der beiden Parameter (Variablen) minimiert werden, QS = QS(a, b) = n (y i f (x i )) 2 = n (y i a bx i ) 2. Als notwendige Bedingung müssen für die optimalen Werte (die Schätzwerte) â und ˆb die ersten partiellen Ableitungen der Funktion QS(a, b) nach a und b Null werden. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

6 Die Regressionsgerade Man erhält als Schätzwerte der Koeffizienten n n (x i x)(y i y) x i y i nx y ˆb = = = n n s Y r (x i x) 2 xi 2 nx 2 s X,Y, X und damit die Gleichung der geschätzten Regressionsgeraden ŷ = â + ˆb x. Dann gelten mit den Schätzwerten ŷ i = â + ˆb x i n die Summe der Residuen ist Null, (y i ŷ i ) = 0 ; die Summe n x i(y i ŷ i ) ist Null; â = y ˆb x das arithmetische Mittel y der beobachteten y Werte ist gleich dem arithmetischen Mittel der geschätzten y Werte ŷ i = â + ˆbx i ; die Regressionsgerade verläuft durch den Schwerpunkt der Punktwolke mit den Koordinaten (x, y). Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

7 Beispiel 1 Jahresumsatz und Verkaufsfläche Daten aus Bleymüller et al, Statistik für Wirtschaftswissenschaftler, 2004, Kap. 20. i Filiale x i Verkaufsfläche in Tsd. qm Jahresumsatz in Mio. e y i i x i y i i x i y i Berechnung de Regressionsgeraden in Statgraphics unter: Relate One Factor Simple Regression (Beziehungen Ein Faktor Einfache Regression). Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

8 Regressionsgerade im Beispiel 1 (Statgraphics) Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

9 Streuungszerlegung Es gilt die Streuungszerlegung SST = SSE + SSR mit n SST = (y i y) 2, der Totalvariabilität (Totalvarianz); SSE = SSR = n (ŷ i y) 2, der erklärten Variabilität (erklärte Varianz); n (y i ŷ i ) 2, der Restvariabilität (Restvarianz). Das Verhältnis B = SSE SST = 1 SSR SST heißt Bestimmtheitsmaß. Es gelten 0 B 1 und B = r 2 mit dem gewöhnlichen X,Y empirischen Korrelationskoeffizienten r X,Y. Liegt der Wert des Bestimmtheitsmaßes nahe bei 1, deutet dies auf eine gute Beschreibung der Punktwolke durch die Regressionsgerade hin. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

10 Das stochastische Modell Weiterführende statistische Aussagen, wie Konfidenzintervalle oder statistische Test, basieren auf einem geeigneten stochastischen Modell. Üblicherweise nimmt man in dieser Situation an, dass Y i = a + b x i + ε i, i = 1,..., n, gilt, wobei die Werte x i (zunächst) deterministische, einstellbare Werte sind und die zufälligen Schwankungen durch unabhängige normalverteilte Zufallsgrößen ε i ( zufällige Fehler ) mit Eε i = 0 und Varε i = σ 2 (unbekannt, aber konstant) verursacht werden. Unter diesen Bedingungen sind â bzw. ˆb erwartungstreue und konsistente Schätzfunktionen für die Modellparameter a bzw. b. Die Standardabweichung σ der Fehler kann geschätzt werden durch SSR ˆσ = s Rest = n 2. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

11 Tests für die Parameter a und b Hypothesen: H 0 : a = a 0, H A : a a 0 ; bzw. H 0 : b = b 0, H A : b b 0. Testgrößen: T a = â a 0 mit s a = 1 s a n x 2 n ˆσ (x i x) 2 bzw. T b = ˆb b 0 s b mit s b = Die Testgrößen sind unter H 0 ˆσ = n (x i x) 2 ˆσ n 1 sx. t verteilt mit n 2 Freiheitsgraden. Kritischer Bereich (Niveau α) : K = {t R : t > t n 2;1 α/2 }. Analog können einseitige Tests durchgeführt werden. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

12 Tests mit α = 0.05 im Beispiel 1 Zweiseitiger t Test mit H 0 : a = 0 : â = , p = H 0 wird nicht abgelehnt, d.h., man kann nicht darauf schließen, dass der Koeffizient a signifikant von 0 verschieden ist. Zweiseitiger t Test mit H 0 : b = 0 : ˆb = , p = H 0 wird abgelehnt, d.h., der Koeffizient b ist signifikant von 0 verschieden. F Test für das Modell (Varianzanalyse): H 0 : b = 0, H A : b 0, p = H 0 wird abgelehnt, d.h., der Koeffizient b ist signifikant von 0 verschieden. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

13 Statgraphics-Ergebnisse Tests im Beispiel 1 Simple Regression - Jahresumsatz vs. Verkaufsfläche Dependent variable: Jahresumsatz (Mio Euro) Independent variable: Verkaufsfläche (1000 qm) Linear model: Y = a + b*x Coefficients Least Squares Standard T Parameter Estimate Error Statistic P-Value Intercept 0, , , ,0623 Slope 5, , ,6375 0,0000 Analysis of Variance Source Sum of Squares Df Mean Square F-Ratio P-Value Model 51, , ,08 0,0000 Residual 1, , Total (Corr.) 53, Correlation Coefficient = 0, R-squared = 96,8855 percent R-squared (adjusted for d.f.) = 96,5741 percent Standard Error of Est. = 0, Mean absolute error = 0, Durbin-Watson statistic = 2,05563 (P=0,4737) Lag 1 residual autocorrelation = -0, The StatAdvisor The output shows the results of fitting a linear model to describe the relationship between Jahresumsatz and Verkaufsfläche. The equation of the fitted model is Jahresumsatz = 0, ,22209*Verkaufsfläche Since the P-value in the ANOVA table is less than 0,05, there is a statistically significant relationship between Jahresumsatz and Verkaufsfläche at the 95,0% confidence level. The R-Squared statistic indicates that the model as fitted explains 96,8855% of the variability in Jahresumsatz. The correlation coefficient equals 0,984304, indicating a relatively strong relationship between the variables. The standard error of the estimate shows the standard deviation of the residuals to be 0, This value can be used to construct prediction limits for new observations by selecting the Forecasts option from the text menu. The mean absolute error (MAE) of 0, is the average value of the residuals. The Durbin-Watson (DW) statistic tests the residuals to determine if there is any significant correlation based on the order in which they occur in your data file. Since the P-value is greater than 0,05, there is no indication of serial autocorrelation in the residuals at the 95,0% confidence level. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

14 Konfidenzintervalle zum Niveau 1 α für die Parameter Ein Konfidenzintervall für a ist [â s a t n 2;1 α/2 ; â + s a t n 2;1 α/2 ]. Ein Konfidenzintervall für b ist [ˆb s b t n 2;1 α/2 ; ˆb + s b t n 2;1 α/2 ]. Ein [ Konfidenzintervall für die] Fehlervarianz [ σ 2 (n 2)ˆσ 2 (n 2)ˆσ 2 SSR χ 2 ; n 2;1 α/2 χ 2 = n 2;α/2 χ 2 n 2;1 α/2 ist ; SSR χ 2 n 2;α/2 Simultane Konfidenzintervalle sind die folgenden. Das erste Intervall überdeckt a, das zweite b, wobei insgesamt das Niveau 1 α eingehalten [ wird : ] â 2sa 2 F 2;n 2;1 α ; â + 2s 2a F 2;n 2;1 α [ ] ˆb 2sb 2F 2;n 2;1 α ; ˆb + 2sb 2F 2;n 2;1 α. ]. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

15 Konfidenzintervalle für die Regressionsgerade Häufig möchte man jedoch Konfidenzintervalle für den Wert der Regressionsgerade an einer Stelle x (oder für ein Intervall von x Werten) bestimmen, d.h. für EY (x) = a + bx. Ein solches Konfidenzintervall zum Niveau 1 α kann berechnet werden durch [ ŷ(x) d(x) ; ŷ(x) + d(x) ] mit ŷ(x) = â + ˆb x und d(x) = ˆσ t n 2,1 α/2 1 n (x x)2 +. n (x i x) 2 Für unterschiedliche Werte x erhält man unterschiedliche Abstände zwischen der oberen und unteren Grenze. Für alle x Werte betrachtet ergibt sich ein Konfidenzstreifen (Konfidenzschlauch), der an der Stelle x = x am schmalsten ist. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

16 Konfidenzstreifen im Beispiel (Statgraphics) Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

17 Prognoseintervalle für Y (x) Berechnet man ein zufälliges Intervall, welches mit einer vorgegebenen Wahrscheinlichkeit 1 α eine Realisierung von Y (x) = a + bx + ε überdeckt, erhält man ein sogenanntes Prognoseintervall für Y (x) zum Niveau 1 α. Unter den gemachten Voraussetzungen berechnet man [ ŷ(x) d(x) ; ŷ(x) + d(x) ] mit ŷ(x) = â + ˆb x und d(x) = s Rest t n 2,1 α/ (x x)2 +. n n (x i x) 2 Bei Betrachtung beliebiger x Werte erhält man wieder einen Streifen um die Regressionsgerade, den Prognosestreifen. Er ist breiter als der zugehörige Kondidenzstreifen zum selben Niveau. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

18 Prognosestreifen im Beispiel (Statgraphics) Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

19 Konfidenz- und Prognosestreifen im Beispiel (Statgraphics) Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

20 Residualanalyse zur Überprüfung des Modells Ist der Modellansatz, insbesondere die Normalverteilungsannahme der zufälligen Fehler ε i, i = 1,..., n, richtig, dann sind die Residuen ˆε i = Y i ŷ i näherungsweise unabhängig und identisch normalverteilt. Diese Eigenschaft kann anschaulich grafisch überprüft oder durch Anwendung statistischer Tests untersucht werden. Die grafische Darstellung der Residuen kann dabei bezüglich der Fallnummern, der x i Werte oder der geschätzten Werte ŷ i erfolgen. Bei bestimmten typischen Mustern in den Grafiken kann man dann unter Umständen auf spezielle Modellfehler schließen (siehe Literatur). Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

21 Residuendiagramm 1 im Beispiel (Statgraphics) Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

24 Einfache lineare Regression durch den Koordinatenursprung Bei bestimmten Problemstellungen ist es sinnvoll zu fordern, dass die Regressionsgerade durch den Koordinatenursprung geht. Man spricht dann auch von einer Regression ohne Absolutglied oder einer eigentlich-linearen Regression. Man erhält nun als Modellansatz Y i = b x i + ε i, i = 1,..., n ; als Schätzung für den Parameter b ˆb = n x iy i n x 2 i und als Schätzung für die Varianz der zufälligen Fehler ˆσ 2 = 1 n 1 n (y i ŷ i ) 2 mit ŷ i = ˆb x i. Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

25 Regressionsgerade ohne Absolutglied im Beispiel 1 (Statgraphics) Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar

26 Transformationen auf Linearität Ist die gesuchte Abhängigkeitsfunktion eine nichtlineare Funktion (eine Gerade ist schlecht an die Daten anpassbar), kann man mitunter durch geeignete Variablentransformationen die Aufgabenstellung in eine der einfachen linearen Regression transformieren. Diese ist dann aber nicht äquivalent zur ursprünglichen Aufgabenstellung. Nichtlineare, in lineare transformierbare Funktionen sind z.b. y = αx β ln y = ln α + β ln x y = αe βx ln y = ln α + βx y = (α + βx) 1 y 1 = α + βx y = x(α + βx) 1 y 1 = αx 1 + β y = αe β/x ln y = ln α + βx 1 y = ( α + βe x) 1 y 1 = α + βe x Prof. Dr. Hans-Jörg Starkloff Statistik II für Betriebswirte Vorlesung 11 Version: 16. Januar