Statistik II für Betriebswirte Vorlesung 8

Transkript

1 Statistik II für Betriebswirte Vorlesung 8 Dr. Andreas Wünsche TU Bergakademie Freiberg Institut für Stochastik 3. Dezember 2018 Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

2 7. Regressionsanalyse 7.1. Lineare Regression Während bei der Korrelationsanalyse eine qualitative Analyse von Zusammenhängen zwischen Merkmalen im Vordergrund stand, führt man bei der Regressionsanalyse eine quantitative Analyse von derartigen Zusammenhängen durch. Insbesondere sucht man im Rahmen einer Regressionsanalyse, z.b. auf der Basis von Beobachtungen (x 1, y 1 ),... (x n, y n ), nach einem konkreten funktionalen Zusammenhang, der die Abhängigkeit eines Merkmals Y von einer Merkmalsgröße X beschreibt. (einfache Regression) Im Beispiel 6.4 kann man z.b. die Frage stellen, ob ein funktionaler Zusammenhang zwischen den Variablen Jahresumsatz (Y ) und der Prädiktorvariablen Verkaufsfläche (X ) besteht? Gesucht ist also eine Funktion f, die aus der Prädiktorvariablen Verkaufsfläche (X ) eine Vorhersage für die abhängige Variable Jahresumsatz (Y ) liefert. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

3 Regression Daten: (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) Annahme: Es existiert ein kausaler Zusammenhang der Form y = f (x) zwischen der abhängigen Variable y und der Prädiktorvariable x. Weitere Annahme : Die Funktion f hat eine bestimmte Form. Beispiele: Lineare Regression (der Zusammenhang wird also durch eine Gerade beschrieben): y = b 0 + b 1 x, Quadratische Regression (der Zusammenhang wird durch eine Parabel beschrieben): y = b 0 + b 1 x + b 2 x 2, usw. Beachte: Der Zusammenhang ist in der Regel nicht exakt zu beobachten. Das Modell (Lineare Regression) lautet: Y = b 0 + b 1 x + ε Dabei bezeichnet ε eine zufällig Störgröße. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

4 Streudiagramm für die Daten aus Beispiel 6.4 Simple Regression - Jahresumsatz vs. Verkaufsfläche Dr. Andreas Dependent Wünsche variable: Jahresumsatz Statistik II für (Mio Betriebswirte Euro) Vorlesung 8 Version: 28. November

5 Die Methode der kleinsten Quadrate Daten: (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) Annahme: Es existiert ein linearer Zusammenhang: Y = b 0 + b 1 x + ε Gesucht ist diejenige Gerade, die den Zusammenhang zwischen Y und x am besten beschreibt. Bestimme die Gerade so, dass die Summe der quadrierten senkrechten Abstände zwischen der Gerade und den Daten minimal wird. Datum an der Stelle xi : y i Wert der Geraden an der Stelle xi : b 0 + b 1 x i Differenz: yi (b 0 + b 1 x i ) Minimiere: QS(b 0, b 1 ) = n (y i (b 0 + b 1 x i )) 2. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

6 Die Regressionsgerade Die Lösung des Extremwertproblems liefert Schätzer für die Steigung und den Achsenabschnitt der Geraden: n n (x i x)(y i y) x i y i nx y ˆb 1 = = = n n s Y r (x i x) 2 xi 2 nx 2 s X,Y, ˆb0 = y ˆb 1 x X und damit die Gleichung der geschätzten Regressionsgeraden ŷ = ˆb 0 + ˆb 1 x. Der Wert der geschätzten Regressionsgerade an der Stelle x i ist ŷ i = ˆb 0 + ˆb 1 x i. Die Abweichungen y i ŷ i nennt man Residuen. n Die Summe der Residuen ist Null, (y i ŷ i ) = 0. Die Regressionsgerade verläuft durch (x, y), den Schwerpunkt. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

7 Weitere Bezeichnungen und Bemerkungen Ein mögliche andere Parametrisierung ist a = b 0 und b = b 1. = Modellgleichung: Y = a + bx + ε. Ist eine funktionale Abhängigkeit der Größe Y von der Größe X gesucht, nennt man X und Y unter anderem auch: Regressor und Regressand, Einflussgröße und Wirkungsgröße, unabhängige Variable und abhängige Variable, Prädiktorvariable und Zielvariable, exogene Variable und endogene Variable. Der Name Regression ( Rückschritt ) geht auf Galton zurück. Ausgangspunkt war damals eine Untersuchung der Größe der Söhne (Variable Y ) im Zusammenhang mit der Größe der Väter (Variable X ) von Pearson. Galton schrieb damals: Each peculiarity in a man is shared by his kinsmen but on the average in a less degree. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

8 Beispiel 7.1 Jahresumsatz und Verkaufsfläche Fortsetzung vom Beispiel 6.4: Daten aus Bleymüller et al, Statistik für Wirtschaftswissenschaftler, 2004, Kap. 20. i Filiale x i Verkaufsfläche in Tsd. qm Jahresumsatz in Mio. e y i i x i y i i x i y i Berechnung de Regressionsgeraden in Statgraphics unter: Relate One Factor Simple Regression (Beziehungen Ein Faktor Einfache Regression). Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

9 Regressionsgerade im Beispiel 7.1 (Statgraphics) Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

10 Weitere Fragen zur Regression im Beispiel 7.1 Schätzer: ˆb 0 = 0.606, ˆb 1 = Fragen: Wie genau sind diese Schätzungen? Besteht ein (signifikanter) Einfluss der Verkaufsfläche auf den Jahresumsatz? H 0 : b 1 = 0 Wie gut beschreibt das lineare Regressionsmodell die Situation? Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

11 Genauigkeit der Schätzer für die Parameter Beachte: Vor der Datenerhebung sind ˆb 0 und ˆb 1 zufällig. Die mathematische Statistik (allgemeines lineares Modell) liefert Schätzer für die Varianzen von ˆb 0 und ˆb 1 n Schätzer für die Varianz von ˆb 0 : Schätzer für die Varianz von ˆb 1 : Dabei ist ˆσ 2 = s 2 Rest = 1 n 2 n (y i ŷ i ) 2 = 1 n 2 s 2 b 0 = s2 Rest n s 2 b 1 = s2 Rest n 1 n xi 2 n (x i x) 2 1 n (x i x) 2 n (y i (ˆb 0 + ˆb 1 x i )) 2 der Schätzer für die Varianz der Störgrößen. Je größer der Stichprobenumfang n, desto genauer sind die Schätzungen! Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

12 Streuungszerlegung Es gilt die Streuungszerlegung SST = SSE + SSR mit n SST = (y i y) 2, der Totalvariabilität (Totalvarianz); SSE = SSR = n (ŷ i y) 2, der erklärten Variabilität (erklärte Varianz); n (y i ŷ i ) 2, der Restvariabilität (Residualvarianz). Das Verhältnis B = SSE SST = 1 SSR SST heißt Bestimmtheitsmaß. Es gelten 0 B 1 und B = r 2 mit dem gewöhnlichen X,Y empirischen Korrelationskoeffizienten r X,Y. Je besser das Modell ist, desto kleiner ist die Residualvarianz, bzw. desto größer ist das Bestimmtheitsmaß B! Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

13 Das stochastische Modell Weiterführende statistische Aussagen, wie Konfidenzintervalle oder statistische Tests, basieren auf einem geeigneten stochastischen Modell. Üblicherweise nimmt man in dieser Situation an, dass Y i = b 0 + b 1 x i + ε i, i = 1,..., n, gilt, wobei die Werte x i (zunächst) deterministische, einstellbare Werte sind und die zufälligen Störgrößen durch unabhängige normalverteilte Zufallsgrößen ε i ( zufällige Fehler ) mit Eε i = 0 und Varε i = σ 2 (unbekannt, aber konstant) verursacht werden. Unter diesen Bedingungen sind ˆb 0 bzw. ˆb 1 erwartungstreue und konsistente Schätzfunktionen für die Modellparameter b 0 bzw. b 1. Die Standardabweichung σ der Fehler kann geschätzt werden durch SSR ˆσ = s Rest = n 2. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

14 Konfidenzintervalle zum Niveau 1 α für die Parameter Ein Konfidenzintervall für b 0 ist [ˆb 0 s b0 t n 2;1 α/2 ; ˆb0 + s b0 t n 2;1 α/2 ]. Ein Konfidenzintervall für b 1 ist [ˆb 1 s b1 t n 2;1 α/2 ; ˆb 1 + s b1 t n 2;1 α/2 ]. Ein [ Konfidenzintervall für die] Fehlervarianz [ σ 2 (n 2)ˆσ 2 (n 2)ˆσ 2 SSR χ 2 ; n 2;1 α/2 χ 2 = n 2;α/2 χ 2 n 2;1 α/2 ist ; SSR χ 2 n 2;α/2 ]. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

15 Konfidenzintervalle im Beispiel 7.1 Mit ˆb 0 = , sˆb 0 = , ˆb 1 = , sˆb 1 = (vgl. Statgraphics-Ergebnisse auf Folie 16) lauten die Konfidenzintervalle zum Konfidenzniveau 95% für: b 0 : [ ; ] und b 1 : [ ; ]. Mit SSR = ist die Punktschätzung für σ 2, der Varianz der Fehler: ˆσ 2 = 1 n 2 SSR = = (vgl. Statgraphics-Ergebnisse auf Folie 18) Damit ist das Konfidenzintervall für σ 2 zum Konfidenzniveau 95%: [ ; ]. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

16 Tests für die Parameter b 0 und b 1 Hypothesen: H 0 : b 0 = b 00, H A : b 0 b 00 ; bzw. H 0 : b 1 = b 10, H A : b 1 b 10. Testgrößen: T b0 = ˆb 0 b 00 s b0 bzw. T b1 = ˆb 1 b 10 s b1 Die Testgrößen sind unter H 0 t verteilt mit n 2 Freiheitsgraden. Kritischer Bereich (Niveau α) : K = {t R : t > t n 2;1 α/2 }. Analog können einseitige Tests durchgeführt werden. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

17 t-tests im Beispiel 7.1 mit Statgraphics Simple Regression - Jahresumsatz vs. Verkaufsfläche Dependent variable: Jahresumsatz (Mio Euro) Independent variable: Verkaufsfläche (1000 qm) Linear model: Y = a + b*x Coefficients Least Squares Standard T Parameter Estimate Error Statistic P-Value Intercept 0, , , ,0623 Slope 5, , ,6375 0,0000 Analysis of Variance Source Sum of Squares Df Mean Square F-Ratio P-Value Model 51, , ,08 0,0000 Residual 1, , Total (Corr.) 53, Test mit H 0 : b 0 = 0 gegen H A : b 0 0; ˆb0 = , p = > 0.05 = α H 0 wird nicht abgelehnt, d.h., man kann nicht darauf schließen, dass der Koeffizient b 0 signifikant von 0 verschieden ist. Correlation Coefficient = 0, R-squared = 96,8855 percent R-squared (adjusted for d.f.) = 96,5741 percent Standard Error of Est. = 0, Test mit H 0 : b 1 = 0 gegen H A : b 1 0; ˆb 1 = , p = < 0.05 = α H 0 wird abgelehnt, d.h., der Koeffizient ist signifikant von 0 verschieden. b 1 Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

18 F-Test für die Hypothese H 0 : b 1 = 0 Es besteht also ein signifikanter Einfluss der Verkaufsfläche auf den Jahresumsatz. Die Hypothesen H 0 : b 1 = 0 gegen H A : b 1 0 können auch mit dem F-Test getestet werden. Dieser Test spielt z.b. im Modell der multiplen parameterlinearen Regression eine eigenständige Rolle. Testgröße: 1 1 T = SSE MSE = SSR MSR 1 n 2 Falls H 0 : b 1 = 0 gilt ist T F 1,n 2 und damit ist der kritische Bereich: K = {t : t > F 1,n 2;1 α }. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

19 Intercept 0, , , ,0623 F-Test Slope im Beispiel 5, mit 0, Statgraphics 17,6375 0,0000 Analysis of Variance Source Sum of Squares Df Mean Square F-Ratio P-Value Model 51, , ,08 0,0000 Residual 1, , Total (Corr.) 53, Correlation Coefficient 1 = 0, t = = R-squared = 96, percent = > 4.96 = F 1,10;0.95 R-squared (adjusted for d.f.) = 96,5741 percent = Standard H 0 wird Error abgelehnt. of Est. = 0, (Gleiches Ergebnis wie beim t-test.) Zusammenhang zum t-test: Ist t t n 2, dann ist t 2 F 1,n 2. Hier: = Zusammenhang zum Bestimmtheitsmaß B: Ist t die Realisierung der Testgröße des F-Tests, dann gilt: 1 n 2 t n 2 t = = = = B Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

20 Konfidenzintervalle für die Regressionsgerade Häufig möchte man jedoch Konfidenzintervalle für den Wert der Regressionsgerade an einer Stelle x (oder für ein Intervall von x Werten) bestimmen, d.h. für EY (x) = b 0 + b 1 x. Ein solches Konfidenzintervall zum Niveau 1 α kann berechnet werden durch [ ŷ(x) d(x) ; ŷ(x) + d(x) ] mit ŷ(x) = ˆb 0 + ˆb 1 x und d(x) = ˆσ t n 2,1 α/2 1 n (x x)2 +. n (x i x) 2 Für unterschiedliche Werte x erhält man unterschiedliche Abstände zwischen der oberen und unteren Grenze. Für alle x Werte betrachtet ergibt sich ein Konfidenzstreifen (Konfidenzschlauch), der an der Stelle x = x am schmalsten ist. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

21 Konfidenzstreifen im Beispiel (Statgraphics) Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

22 Prognoseintervalle für Y (x) Berechnet man ein zufälliges Intervall, welches mit einer vorgegebenen Wahrscheinlichkeit 1 α eine Realisierung von Y (x) = b 0 + b 1 x + ε überdeckt (Vorhersage für eine neue Beoabachtung an einer Stelle x), erhält man ein sogenanntes Prognoseintervall für Y (x) zum Niveau 1 α. Unter den gemachten Voraussetzungen berechnet man [ ŷ(x) d(x) ; ŷ(x) + d(x) ] mit ŷ(x) = ˆb 0 + ˆb 1 x und d(x) = ˆσ t n 2,1 α/ (x x)2 +. n n (x i x) 2 Bei Betrachtung beliebiger x Werte erhält man wieder einen Streifen um die Regressionsgerade, den Prognosestreifen. Er ist breiter als der zugehörige Konfidenzstreifen zum selben Niveau. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

23 Prognosestreifen im Beispiel (Statgraphics) Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

24 Konfidenz- und Prognosestreifen im Beispiel (Statgraphics) Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

25 Residualanalyse zur Überprüfung des Modells Ist der Modellansatz, insbesondere die Normalverteilungsannahme der zufälligen Fehler ε i, i = 1,..., n, richtig, dann sind die Residuen ˆε i = Y i ŷ i näherungsweise unabhängig und identisch normalverteilt. Diese Eigenschaft kann anschaulich grafisch (Residualanalyse) überprüft oder durch Anwendung statistischer Tests untersucht werden. Die Residualanalyse ist ein deskriptives Verfahren zur Überprüfung der Modellannahmen an ε 1 ;... ; ε n. Mögliche Teilschritte sind dabei: A: Streudiagramm der Daten mit der Regessionsgerade, B: Streudiagramm der Residuen gegen die vorhergesagten Werte ŷ i (oder z.b. auch gegen die Fallnummern der x i Werte), C: Normalverteilungs-Q-Q-Plot der Residuen, D: Histogramm der Residuen mit angepasster Normalverteilungsdichte. Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

26 Streudiagramm und Regressionsgerade im Beispiel 7.1 Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

27 Streudiagramm der Residuen im Beispiel 7.1 Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

28 Normalverteilungs-Q-Q-Plot im Beispiel 7.1 (Statgraphics) Tests for Normality for RESIDUALS Dr. Andreas Wünsche Statistik Test II für Betriebswirte Statistic Vorlesung P-Value 8 Version: 28. November

29 Histogramm der Residuen im Beispiel 7.1 (Statgraphics) Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November

30 Shapiro-Wilk-Test im Beispiel 7.1 (Statgraphics) Tests for Normality for RESIDUALS Test Statistic P-Value Shapiro-Wilk W 0, ,18088 Tests for Normality for RESIDUALS Test Statistic P-Value Shapiro-Wilk W 0, ,18088 Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 8 Version: 28. November