Ökonometrie. Hartmut Lanzinger. Sommersemester R-Beispiele

Transkript

1 Ökonometrie R-Beispiele Hartmut Lanzinger Sommersemester 2013

2 1 Einführung 1 Was ist Ökonometrie? 2 Eine kurze Einführung in R Rechnen mit Vektoren R ist eine Open-Source-Implementierung der Programmiersprache S, die auch die Grundlage für das kommerzielle Paket S-Plus darstellt. R eignet sich gut für die Darstellung und statistische Analyse und ist zudem für alle verbreiteten Platformen verfügbar. Bei R ist sowohl die interaktive Nutzung möglich als auch die Programmierung längerer statistischer Analysen. Das macht es einerseits möglich, mit dem Programm ohne vertiefte Kenntnisse sofort zu arbeiten, andererseits kann R aber auch für sehr komplexe Problemstellungen verwendet werden. Nach dem Start meldet sich R mit dem Prompt > (evtl. innerhalb eines GUI). Wahrscheinlich die am häufigsten benutzte Operation ist die Zuweisung: x <- 5 x [1] 5 x = 7 x [1] 7 x <- 9 x [1] 9 R kann als eine Art Taschenrechner benutzt werden: 2 + 3^2 * 4 [1] 38 33%/%9 [1] 3 33%%9 [1] 6 R kann mit Vektoren rechnen als wären sie einzelne Zahlen. Hat man sich einmal an diese Syntax gewöhnt, ist das ungemein praktisch. Wir betrachtn z.b. den vorinstallierten Datensatz precip mit dem durchschnittlichen Niederschlag aus 70 US-amerikanischen Städten in Inches, der in Zentimeter umgerechnet werden soll: 2

3 x <- as.numeric(precip) x [1] [15] [29] [43] [57] x * 2.54 [1] [11] [21] [31] [41] [51] [61] Um Vektoren zu konstruieren, gibt es viele Möglichkeiten. Vielleicht am wichtigsten ist die Funktion c(), die mehrere Werte zu einem Vektor zusammenbindet. x <- 2:10 x [1] x * 3 [1] x^2 [1] y <- c(2, 3, 4) y [1] x/y [1] z <- c(2, 3, 4, 5) x * z Warning: L?nge des l?ngeren Objektes ist kein Vielfaches der L?nge des k?rzeren Objektes [1] Viele Vektorfunktionen sind in R bereits vorinstalliert, von denen wir häufig Gebrauch machen werden: 3

4 x <- 2:10 length(x) [1] 9 sum(x) [1] 54 cumsum(x) [1] log(x) [1] sum(x)/length(x) [1] 6 mean(x) [1] 6 x <- as.numeric(precip) min(x) [1] 7 max(x) [1] 67 Der Zugriff auf Komponenten eines Vektors funktioniert folgendermaßen: x <- 3 * 1:10 x [1] x[1] [1] 3 x[2:4] [1] x[c(2, 1, 3)] [1] x[-c(3, 4, 7)] [1]

5 Ein Vektor hat in R einen sogenannten Mode, der die Art des Vektors bestimmt: x <- 1:8 x [1] mode(x) [1] "numeric" x > 5 [1] FALSE FALSE FALSE FALSE FALSE TRUE TRUE TRUE mode(x > 5) [1] "logical" y <- LETTERS[1:8] y [1] "A" "B" "C" "D" "E" "F" "G" "H" mode(y) [1] "character" Auf den ersten Blick ungewöhnlich ist, dass die Komponenten eines Vektors Namen haben können. Für die Arbeit mit Datensätzen, bei denen die Elemente des Vektors bestimmte Bedeutungen haben, ist das ungemein nützlich. Hat ein Vektor ein Namensattribut, so kann auf die Elemente auch über diese Namen zugegriffen werden: names(x) NULL names(x) <- y x A B C D E F G H x[c("a", "C", "D")] A C D Matrizen Um Matrizen zu definieren gibt es verschiedene Möglichkeiten: x <- 1:12 dim(x) NULL 5

6 NULL dim(x) <- c(3, 4) x [,1] [,2] [,3] [,4] [1,] [2,] [3,] x <- matrix(1:12, nrow = 3) x [,1] [,2] [,3] [,4] [1,] [2,] [3,] x <- matrix(1:12, nrow = 3, byrow = TRUE) x [,1] [,2] [,3] [,4] [1,] [2,] [3,] t(x) [,1] [,2] [,3] [1,] [2,] [3,] [4,] y <- matrix(rep(1:4, 2), nrow = 4) y [,1] [,2] [1,] 1 1 [2,] 2 2 [3,] 3 3 [4,] 4 4 x %*% y [,1] [,2] [1,] [2,] [3,] dim(x %*% y) [1] 3 2 nrow(x %*% y) [1] 3 6

7 ncol(x %*% y) [1] 2 y[1, 2] [1] 1 y[1, ] [1] 1 1 y[, 2] [1] Bei quadratischen Matrizen können auch Eigenwerte bestimmt werden: A <- matrix(c(1, 2, 4, 3), nrow = 2) A [,1] [,2] [1,] 1 4 [2,] 2 3 det(a) [1] -5 eigen(a) $values [1] 5-1 $vectors [,1] [,2] [1,] [2,] solve(a) [,1] [,2] [1,] [2,] diag(c(1, 2, 3, 0, 2)) [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] Häufig benutzt werden die Befehle rbind() und cbind(), die Matrizen zeilen- bzw. Spaltenweise zusammenfügen: 7

8 A <- matrix(1:12, nrow = 3) x1 <- 21:24 y1 <- 15:18 y2 <- c(2, 5, 10) rbind(a, x1) [,1] [,2] [,3] [,4] x cbind(a, y1, y2) Warning: number of rows of result is not a multiple of vector length (arg 2) y1 y2 [1,] [2,] [3,] Listen und Dataframes Objekte unterschiedlicher Bauart können in R zu einer Liste zusammengefasst werden. liste_beispiel <- list(studiengaenge = c("bachelor Wirtschaftswissenschaften", "Bachelor Mathematik", "Master Wirtschaftswissenschaften"), Dozenten = c("stadtmueller", "Lanzinger"), Noten = c(1, 1.3, 1.7, 2, 2.3, 2.7, 3, 3.3, 3.7, 4)) class(liste_beispiel) [1] "list" liste_beispiel $Studiengaenge [1] "Bachelor Wirtschaftswissenschaften" [2] "Bachelor Mathematik" [3] "Master Wirtschaftswissenschaften" $Dozenten [1] "Stadtmueller" "Lanzinger" $Noten [1] liste_beispiel[[1]] [1] "Bachelor Wirtschaftswissenschaften" [2] "Bachelor Mathematik" [3] "Master Wirtschaftswissenschaften" liste_beispiel[c(1, 2)] 8

9 $Studiengaenge [1] "Bachelor Wirtschaftswissenschaften" [2] "Bachelor Mathematik" [3] "Master Wirtschaftswissenschaften" $Dozenten [1] "Stadtmueller" "Lanzinger" liste_beispiel$noten [1] Auf das erste Element einer Liste kann also mit liste_beispiel [[1]] oder mittels liste_beispiel$studiengaenge über den Namen des Eintrags zugegriffen werden. liste_beispiel [ c (1,2)] erzeugt eine Unterliste mit dem ersten und zweiten Eintrag. Datensätze haben in R häufig die Gestalt eines sogenannten Data Frames. Dabei handelt es sich um eine Liste von Vektoren gleicher Länge, die in Matrixform spaltenweise angeordnet sind. Einträge in der selben Zeile gehören zur selben statistischen Einheit (z.b. Person, Unternehmen). Die Liste tatort2013 aus dem Eingangsbeispiel enthält den Dataframe Schaetzung mit den Altersschätzungen. Unter den darin enthaltenen Variablen befinden sich die kategoriellen Größen Kurs und Geschlecht. Eine solche kategorielle Variable wird in R als sogenannter Factor dargestellt. attach(tatort2013) Schaetzung Kurs Geschlecht Tatort persona personb personc persond persone personf 1 A M N A M N A M N A M J A M N A M J A M J A M N A M N A M N A W J A W N A W N A W N is.factor(schaetzung$geschlecht) [1] TRUE detach(tatort2013) Liegt ein Charactervector vor, der nur die Einträge M und W (für männlich und weiblich besitzt, so wird dieser nicht automatisch als Factor interpretiert: geschlecht <- c("m", "W", "M", "W", "W") geschlecht 9

10 [1] "M" "W" "M" "W" "W" is.factor(geschlecht) [1] FALSE geschlecht <- as.factor(geschlecht) geschlecht [1] M W M W W Levels: M W 10

11 2 Lineare Modelle 1 Lineare Regressionsmodelle Beispiele 1. Der Datensatz MunExp im Paket Ecdat) enthält unter anderem Daten zu Einnahmen (aus Steuern und Abgaben) sowie Ausgaben einer Reihe von Kommunen in Schweden aus den Jahren Wir greifen uns die Daten für das Jahr 1987 heraus. data(munexp) head(munexp) id year expend revenue grants ausgaben <- MunExp[MunExp$year == 1987, c("expend", "revenue")] Abbildung 2.1: Einnahmen und Ausgaben schwedischer Kommunen im Jahr revenue expend Wir stellen uns die Daten nun so vor, dass für Kommune j sich die Ausgaben y j in der Form y j = β 1 + β 2 x j + ε j darstellen lässt (für j = 1,..., 265). Die Fehlerterme ε j repräsentieren hierbei andere, von uns in diesem Datensatz nicht erfasste Einflussgrößen sowie zufällige Abweichungen. 11

12 2. Der Datensatz CPS1988 im Paket AER enthält Daten aus dem Current Population Survey des Jahres Untersucht werden soll die Frage, ob die erhobenen Faktoren einen Einfluss auf das Gehalt haben. Der Datensatz enthält Beobachtungen zu den folgenden Variablen: wage: Einkommen in Dollar pro Woche education: Ausbildungszeit in Jahren experience: Arbeitserfahrung in Jahren, künstlich berechnet als Alter-Ausbildungszeit-6 ethnicity: caucasian der African American smsa: Lebt die Person in einer Standard Metropolitan Statistical Area (SMSA)? region: northeast, midwest, south oder west parttime: Arbeitet die Person teilzeit? Solche Daten sind auf der Homepage des US Census Bureau auch in aktuelleren Versionen verfügbar, in diesem Fall aber in der Regel noch nicht für die Bearbeitung mit einem Statistikprogramm aufbereitet. Wegen der vielen Variablen ist es relativ schwierig, sich hier einen grafischen Überblick zu verschaffen. Wir werden später mit einem komplizierteren (aber immer noch linearen) Modell auf diesen Datensatz zurückkommen. data(cps1988) head(cps1988) wage education experience ethnicity smsa region parttime cauc yes northeast no cauc yes northeast yes cauc yes northeast no cauc yes northeast no cauc yes northeast no cauc yes northeast no summary(cps1988) wage education experience ethnicity smsa Min. : 50 Min. : 0.0 Min. :-4.0 cauc:25923 no : st Qu.: 309 1st Qu.:12.0 1st Qu.: 8.0 afam: 2232 yes:20932 Median : 522 Median :12.0 Median :16.0 Mean : 604 Mean :13.1 Mean :18.2 3rd Qu.: 783 3rd Qu.:15.0 3rd Qu.:27.0 Max. :18777 Max. :18.0 Max. :63.0 region parttime northeast:6441 no :25631 midwest :6863 yes: 2524 south :8760 west :6091 Beispiele 1. Bei einem Kaufhauskonzern mit 10 Filialen wird die Auswirkung von Werbeausgaben (x i, in Einheiten von 1000 e) auf die Umsatzsteigerung (y i, in Einheiten von e) untersucht. Dabei erhält man folgende Werte: 12

13 wage wage Abbildung 2.2: Beispielgrafiken zu Datensatz CPS education Filiale xi yi 40 experience Das zugrunde liegende lineare Modell besitzt also die Designmatrix X= = X T X = Somit folgt 1 T β = (X X) 1 X y= 60 T = Mit R sieht das folgendermaßen aus: x <- c(15, 20, 35, 25, 5, 45, 40, 55, 75, 85)/10 y <- c(2, 3, 6, 5, 1, 6, 5, 11, 14, 17) lm1 <- lm(y ~ x) print(lm1) Call: lm(formula = y ~ x) Coefficients: (Intercept) -1 x

14 names(lm1) [1] "coefficients" "residuals" "effects" "rank" [5] "fitted.values" "assign" "qr" "df.residual" [9] "xlevels" "call" "terms" "model" lm1$coefficients (Intercept) x -1 2 summary(lm1) Call: lm(formula = y ~ x) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) x e-06 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1... Auch die Designmatrix kann man mit model.matrix(lm1) anzeigen, aber das wird kaum benötigt. 2. Wir betrachten noch einmal die Daten für das Jahr 1987 aus dem Datensatz MunExp im Paket Ecdat. ausgaben <- MunExp[MunExp$year == 1987, c("expend", "revenue")] lm1 <- lm(expend ~ revenue, data = ausgaben) summary(lm1) Call: lm(formula = expend ~ revenue, data = ausgaben) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** revenue <2e-16 ***

15 Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1... Abbildung 2.3: Einnahmen und Ausgaben schwedischer Kommunen im Jahr 1987 (mit Regressionsgerade) revenue expend Die Beispiele, die wir bisher betrachtet haben, beinhalten alle einen linearen Zusammenhang zwischen den Daten. Lineare Modelle lassen jedoch trotz der Namensgebung zu, dass man verschiedene nichtlineare funktionale Zusammenhänge damit modelliert. Beispiel (vgl. [9]) Der Datensatz Caschool enthält für 420 Schüler verschiedener Schulen in Kalifornien die Ergebnisse eines standardisierten Lese- und Mathematiktests sowie einige Daten zur jeweiligen Schule und demographische Angaben zum Distrikt, in dem sich die Schule befindet. Eine ausführliche Beschreibung findet sich unter Wir betrachten hier den Zusammenhang zwischen dem durchschnittlichen Einkommen des jeweiligen Distrikts (in 1000 US-$) und dem Testergebnis (d.h. dem Durchschnitt zwischen Mathematik und Lesetest). data(caschool) lm1 <- lm(testscr ~ avginc, data = Caschool) summary(lm1) Call: lm(formula = testscr ~ avginc, data = Caschool) Residuals: Min 1Q Median 3Q Max

16 Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) <2e-16 *** avginc <2e-16 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1... lm2 <- lm(testscr ~ avginc + I(avginc^2), data = Caschool) summary(lm2) Call: lm(formula = testscr ~ avginc + I(avginc^2), data = Caschool) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) < 2e-16 *** avginc < 2e-16 *** I(avginc^2) e-11 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1... Abbildung 2.4: Durchschnittseinkommen der Region und durchschnittliches Testergebnis testscr avginc In diesem Beispiel haben wir uns darauf verlassen, dass wir ein geeignetes Modell direkt gesehen haben. Das ist jedoch nicht immer möglich. Die folgende Tabelle gibt eine Übersicht über verschiedene Zusammenhänge an, die in der Ökonometrie besonders häufig verwendet werden (vgl. [1]). 16

17 Tabelle 2.1: Typische Funktionale Zusammenhänge Name abhängige unabhängige Variable Variable linear Y β 1 + β 2 x invers Y β 1 + β 2 x semilogarithmisch Y β 1 + β 2 log x exponential log Y β 1 + β 2 x logarithmisch log Y β 1 + β 2 log x logarithmisch-invers log Y β 1 + β 2 x Eine mögliche Strategie ist es nun, bei einem gegebenen Datensatz diese typischen Modelle auszuprobieren und dann zu entscheiden, welches am ehesten eine lineare Struktur aufweist. Beispiele 1. (vgl. [1]) Bei 12 Milchkühen wird die Menge an Kraftfutter (in Zentnern pro Jahr) und die Milchleistung (in Litern pro Jahr) beobachtet. futter <- c(10, 30, 20, 33, 5, 22, 8, 14, 25, 1, 17, 28) milch <- c(6525, 8437, 8019, 8255, 5335, 7236, 5821, 7531, 8320, 4336, 7225, 8112) Das logarithmische und das semilogarithmische Modell passen am besten. Da man den Zuwachs in beiden Fällen prozentual angibt, ist das logarithmische Modell vorzuziehen. 2. Wir wollen nun herausfinden, ob diese Strategie auch bei unserem obigen Beispiel Erfolg hätte. Sowohl das semilogarithmische als auch das logaritmische Modell scheinen eine lineare Struktur zu besitzen. In einem solchen Fall ist es keine rein statistische Entscheidung, welches der beiden Modelle gewählt wird (vgl. auch das vorhergehende Beispiel). 2 Nichtlineare Regressionsfunktionen Beispiel Wir betrachten das Modell Y j = β 1 + β 2 e β 3x j + ε j für j = 1,..., n Beispiel Im obigen Beispiel ist und daher f(x; β 1, β 2, β 3 ) = β 1 + β 2 e β 3x f (x; β 1, β 2, β 3 ) = 1 β 1 f (x; β 1, β 2, β 3 ) = e β 3x β 2 f (x; β 1, β 2, β 3 ) = β 2 xe β 3x β 3 Für dieses Beispiel betrachten wir nun einen hypothetischen Datensatz, den wir mit dieser Methode der Linearisierung untersuchen. Wir setzen x j = j für j = 1, 2,..., 20 und Y j = β 1 + β 2 e β 3x j mit β 1 = 3, β 2 = 2 und β 3 = 0.1 sowie ε j N(0, 1). 17

18 Abbildung 2.5: Vergleich der Modelle am Datensatz milchkuehe linear invers Milchleistung 6000 Milchleistung Futtermenge /Futtermenge semilogarithmisch exponential Milchleistung 6000 log(milchleistung) log(futtermenge) Futtermenge logarithmisch logarithmisch invers log(milchleistung) 8.7 log(milchleistung) log(futtermenge) /Futtermenge 18

19 Abbildung 2.6: Vergleich der Modelle am Datensatz Caschool linear invers testscr testscr avginc /avginc semilogarithmisch exponential testscr log(testscr) log(avginc) avginc logarithmisch logarithmisch invers log(testscr) log(testscr) log(avginc) /avginc 19

20 set.seed(334) nichtlinear_bsp <- function(x, beta1 = 3, beta2 = 2, beta3 = 0.1) { beta1 + beta2 * exp(beta3 * x) } y0 <- nichtlinear_bsp(1:20) * rnorm(20) skizze <- ggplot(data.frame(x = 1:20, y = y0), aes(x = x, y = y)) + geom_point() + stat_function(fun = nichtlinear_bsp, colour = "blue") lm0 <- nls(y0 ~ nichtlinear_bsp(1:20, beta1, beta2, beta3), start = list(beta1 = 1, beta2 = 1, beta3 = 0.5)) lm0fit <- function(x) { nichtlinear_bsp(x, coef(lm0)[1], coef(lm0)[2], coef(lm0)[3]) } skizze0 <- skizze + stat_function(fun = lm0fit, colour = "red") summary(lm0) Formula: y0 ~ nichtlinear_bsp(1:20, beta1, beta2, beta3) Parameters: Estimate Std. Error t value Pr(> t ) beta * beta * beta e-05 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: on 17 degrees of freedom Number of iterations to convergence: 23 Achieved convergence tolerance: 3.35e beta1 <- 3 beta2 <- 2 beta3 <- 0.1 ytilde1 <- y0 - nichtlinear_bsp(1:20, beta1, beta2, beta3) + beta1 + exp(beta3 * (1:20)) * beta2 + beta2 * (1:20) * exp(beta3 * (1:20)) * beta3 lm1 <- lm(ytilde1 ~ I(exp(beta3 * (1:20))) + I(beta2 * (1:20) * exp(beta3 * (1:20)))) y1 <- y0 - ytilde1 + coef(lm1)[1] + coef(lm1)[2] * exp(beta3 * (1:20)) + coef(lm1)[3] * beta2 * (1:20) * exp(beta3 * (1:20)) skizze1 <- skizze + geom_line(aes(x = 1:20, y = y1), colour = "red") summary(lm1) Call: lm(formula = ytilde1 ~ I(exp(beta3 * (1:20))) + I(beta2 * (1:20) * exp(beta3 * (1:20)))) Residuals: Min 1Q Median 3Q Max Coefficients: 20

21 Estimate Std. Error t value (Intercept) I(exp(beta3 * (1:20))) I(beta2 * (1:20) * exp(beta3 * (1:20))) Pr(> t )... beta1 <- 2 beta2 <- 2 beta3 < ytilde2 <- y0 - nichtlinear_bsp(1:20, beta1, beta2, beta3) + beta1 + exp(beta3 * (1:20)) * beta2 + beta2 * (1:20) * exp(beta3 * (1:20)) * beta3 lm2 <- lm(ytilde2 ~ I(exp(beta3 * (1:20))) + I(beta2 * (1:20) * exp(beta3 * (1:20)))) y2 <- y0 - ytilde2 + coef(lm2)[1] + coef(lm2)[2] * exp(beta3 * (1:20)) + coef(lm2)[3] * beta2 * (1:20) * exp(beta3 * (1:20)) skizze2 <- skizze + geom_line(aes(x = 1:20, y = y2), colour = "red") summary(lm2) Call: lm(formula = ytilde2 ~ I(exp(beta3 * (1:20))) + I(beta2 * (1:20) * exp(beta3 * (1:20)))) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value (Intercept) I(exp(beta3 * (1:20))) I(beta2 * (1:20) * exp(beta3 * (1:20))) Pr(> t )... beta1 <- 0.5 beta2 <- 5 beta3 < ytilde3 <- y0 - nichtlinear_bsp(1:20, beta1, beta2, beta3) + beta1 + exp(beta3 * (1:20)) * beta2 + beta2 * (1:20) * exp(beta3 * (1:20)) * beta3 lm3 <- lm(ytilde3 ~ I(exp(beta3 * (1:20))) + I(beta2 * (1:20) * exp(beta3 * (1:20)))) y3 <- y0 - ytilde3 + coef(lm3)[1] + coef(lm3)[2] * exp(beta3 * (1:20)) + coef(lm3)[3] * beta2 * (1:20) * exp(beta3 * (1:20)) skizze3 <- skizze + geom_line(aes(x = 1:20, y = y3), colour = "red") summary(lm3) Call: lm(formula = ytilde3 ~ I(exp(beta3 * (1:20))) + I(beta2 * (1:20) * exp(beta3 * (1:20)))) Residuals: 21

22 Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value (Intercept) 8.04e e e+01 I(exp(beta3 * (1:20))) 9.71e e e+00 I(beta2 * (1:20) * exp(beta3 * (1:20))) 9.90e e e+08 Pr(> t ) y y x x y 12 y x x Abbildung 2.7: Echte Regesssionsfunktion und linearisierte Variante (links oben: nichtlineare Schätzung (s.u.); rechts oben: linearisiert mit β 1 = 3, β 2 = 2, β 3 = 0.1; links unten: linearisiert mit β 1 = 2, β 2 = 2, β 3 = 0.11; rechts unten: linearisiert mit β 1 = 0.5, β 2 = 5, β 3 = 0.99) Beispiel Im Modell Y j = β 1 + β 2 e β 3x j + ε j für j = 1,..., n 22

23 gilt, wie wir oben gesehen haben: und daher f(x; β 1, β 2, β 3 ) = β 1 + β 2 e β 3x f (x; β 1, β 2, β 3 ) = 1 β 1 f (x; β 1, β 2, β 3 ) = e β 3x β 2 f (x; β 1, β 2, β 3 ) = β 2 xe β 3x β 3 Ein Kleinste-Quadrate-Schätzer für den unbekannten Parameter β = Lösung des Gleichungssystems n j=1 n j=1 n j=1 ( Y j β 1 + β 2 e β 3x j ) 2 = 0 ( Y j β 1 + β 2 e β 3x j ) 2 e β 3 x j = 0 ( Y j β 1 + β 2 e β 3x j ) 2 β2 x j e β 3x j = 0 ( β1 β 2 β 3 ) ist daher gegeben als Beispiel (vgl. [5]) Auf der Internetseite wird ein Datensatz bereitgestellt, der ohne Zwischenspeicherung auf dem eigenen Rechner direkt mit dem Befehl GreeneMacrodat <- read.table(" header = TRUE) direkt in R eingelesen werden kann. Er enthält für den Zeitraum von 1950 bis 2004 quartalsbezogenen Daten unter anderem zum Jahreseinkommen (realdpi) und zum Jahreskonsum (realcons) (jeweils in Einheiten von Milliarden US-$). Wir betrachten nun zunächst ein lineares Modell für die Konsumfunktion, die die Abhängigkeit des Konsums vom Einkommen modelliert. lm1 <- lm(realcons ~ realdpi, data = GreeneMacrodat) summary(lm1) Call: lm(formula = realcons ~ realdpi, data = GreeneMacrodat) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-08 *** 23

24 realdpi < 2e-16 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1... Nun wollen wir das nichtlineare Modell Y j = β 1 + β 2 x β 3 j + ε j für j = 1,..., n an die Daten anpassen. Als Anfangswerte wählen wir die Schätzer für β 1 und β 2, die wir aus dem linearen Modell erhalten haben. Zusätzlich setzen wir β 3 = 1. konsumfunktion <- function(x, beta1, beta2, beta3) { beta1 + beta2 * x^beta3 } lm2 <- nls(realcons ~ konsumfunktion(realdpi, beta1, beta2, beta3), data = GreeneMacrodat, start = list(beta1 = -80, beta2 = 1, beta3 = 1)) summary(lm2) Formula: realcons ~ konsumfunktion(realdpi, beta1, beta2, beta3) Parameters: Estimate Std. Error t value Pr(> t ) beta <2e-16 *** beta <2e-16 *** beta <2e-16 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Residual standard error: 50.1 on 201 degrees of freedom Number of iterations to convergence: 45 Achieved convergence tolerance: 1.73e Die Box-Cox-Transformation Beispiele 1. Wir betrachten zunächst ein hypothetisches Beispiel, um zu sehen, ob das oben dargestellte Verfahren sinnvoll ist. Hierzu setzen wir x j = j 2 für j = 1, 2,..., 100 und Y j = 2 + x j + ε j mit ε j N(0, 0.25). Theoretisch müsste also λ = 0.5 sein. set.seed(5221) x <- 1:100/20 y <- 2 + sqrt(x) * rnorm(100) lambda_werte <- seq(-2, 2, 0.01) bctransf <- function(x, lambda) { if (lambda == 0) { y <- log(x) } else { 24

25 6000 Konsum Einkommen Abbildung 2.8: Einkommen und Konsum mit linearer und nichtlinearer Konsumfunktion y <- (x^lambda - 1)/lambda } y } sumsquares <- numeric(length(lambda_werte)) for (index in 1:length(lambda_werte)) { sumsquares[index] <- deviance(lm(y ~ bctransf(x, lambda_werte[index]))) } lambda_werte[which(sumsquares == min(sumsquares))] [1] 0.45 Der theoretische Wert wird also durch den vorgeschlagenen Algorithmes relativ genau erreicht. Am Schaubild ist dagegen nicht so genau abzulesen, dass das Modell, mit dem die Daten erzeugt wurden, tatsächlich besser ist als ein lineares Modell. 2. (vgl. [9]) Wir betrachten wieder den Datensatz Caschool mit den Ergebnissen eines standardisierten Lese- und Mathematiktests sowie dem durchschnittlichen Einkommen des jeweiligen Distrikts (in 1000 US-$). Wir hatten oben gesehen, dass ein semilogarithmisches Modell eine gute Anpassung liefert, jedenfalls nach der Grafik zu beurteilen. Nun wollen wir untersuchen, ob ein Box-Cox-transformiertes Modell noch besser funktioniert. Wenn das semilogarithmische Modell sinnvoll ist, dann müsste man erwarten, dass der optimale Wert von λ (im Sinne des oben dargestellten Algorithmus) um Null herum liegt. data(caschool) lambda_werte <- seq(-2, 2, 0.01) attach(caschool) 25

26 Abbildung 2.9: Hypothetisches Modell zur Box-Cox-Transformation (blau: λ = 1, rot: λ = 0.5, grün: λ = 0.45) sumsquares <- numeric(length(lambda_werte)) for (index in 1:length(lambda_werte)) { sumsquares[index] <- deviance(lm(testscr ~ bctransf(avginc, lambda_werte[index]))) } lambda_werte[which(sumsquares == min(sumsquares))] [1] detach(caschool) 4 Modellwahl Beispiele 1. Wir betrachten noch einmal das Beispiel mit den Milchkühen: futter <- c(10, 30, 20, 33, 5, 22, 8, 14, 25, 1, 17, 28) milch <- c(6525, 8437, 8019, 8255, 5335, 7236, 5821, 7531, 8320, 4336, 7225, 8112) library(lmtest) lm1 <- lm(milch ~ futter) resettest(lm1, power = 2:4, type = "fitted") RESET test 26

27 data: lm1 RESET = 4.644, df1 = 3, df2 = 7, p-value = Bei den Schuldaten ist auch zu erwarten, dass die Hypothese der Linerität zurückgewiesen wird: data(caschool) lm1 <- lm(testscr ~ avginc, data = Caschool) resettest(lm1, power = 2:4, type = "fitted") RESET test data: lm1 RESET = 17.75, df1 = 3, df2 = 415, p-value = 7.342e Bei unserem Datensatz mit den Handmessungen wollen wir ebenfalls untersuchen, ob ein lineares Modell angemessen ist: lm1 <- lm(groesse ~ Handlaenge, data = handmessungen) resettest(lm1, power = 2:4, type = "fitted") RESET test data: lm1 RESET = , df1 = 3, df2 = 24, p-value = lm2 <- lm(groesse ~ Handbreite, data = handmessungen) resettest(lm2, power = 2:4, type = "fitted") RESET test data: lm2 RESET = 1.039, df1 = 3, df2 = 24, p-value = Der Box-Cox-Test Beispiele 1. Im Beispiel mit den Milchkühen ergibt sich: futter <- c(10, 30, 20, 33, 5, 22, 8, 14, 25, 1, 17, 28) milch <- c(6525, 8437, 8019, 8255, 5335, 7236, 5821, 7531, 8320, 4336, 7225, 8112) n <- length(milch) milch_mittel <- prod(milch)^{ 1/n } milch_mittel 27

28 [1] 6965 milch_normiert <- milch/milch_mittel lm1 <- lm(milch_normiert ~ log(futter)) deviance(lm1) [1] lm2 <- lm(log(milch_normiert) ~ log(futter)) deviance(lm2) [1] Man sieht, dass das logarithmische Modell etwas besser ist als das semilogarithmische. Wir wollen nun testen, ob wir zu einem Signifikanzniveau von 5% davon ausgehen können, dass zwischen den Modellen ein Unterschied besteht. Ein 95%-Quantil der χ 2 1-Verteilung ist gegeben durch und die Testgröße hat den Wert T = n 2 log S 0 = S 1 Die Nullhypothese der Gleichwertigkeit kann zu einem Signifikanzniveau von 5% also nicht abgelehnt werden. 2. Beim Beispiel mit den Schuldaten hatten sich ebenfalls das semilogarithmische und das logarithmische Modell als aussichtsreich herausgestellt. data(caschool) attach(caschool) Die folgenden Objekte sind maskiert from Caschool (position 3): avginc, calwpct, compstu, computer, county, distcod, district, elpct, enrltot, expnstu, grspan, mathscr, mealpct, readscr, str, teachers, testscr n <- length(testscr) testscr_mittel <- exp(mean(log(testscr))) testscr_mittel [1] testscr_normiert <- testscr/testscr_mittel lm1 <- lm(testscr_normiert ~ log(avginc)) deviance(lm1) [1] lm2 <- lm(log(testscr_normiert) ~ log(avginc)) deviance(lm2) [1] detach(caschool) 28

29 Bereits durch einen Vergleich der Werte sieht man, dass die Anpassung in beiden Modellen praktisch gleich gut ist. Bei einem formalen Test ergibt sich die Testgröße T = n 2 log S 0 = S 1 Die Nullhypothese der Gleichwertigkeit kann zu einem Signifikanzniveau von 5% also nicht abgelehnt werden. 29

30 3 Verallgemeinerte lineare Modelle 1 Einführung Beispiele 1. Es soll untersucht werden, in wie weit Variablen wie der GRE (Graduate Record Exam), GPA (Grade Point Average) und das Prestige der Institution, bei der der Bachelor erworben wurde, einen Einfluss auf die Zulassung zum Masterstudium an einer amerikanischen Universität haben. Die Zielgröße (Zulassung/keine Zulassung) ist dabei binär. Der Datensatz ist online verfügbar: zulassung <- read.csv(" 2. Der Datensatz SwissLabor aus dem Paket AER enthält Daten aus der Umfrage SOMIPOPS (Socio-medical indicators for the population of Switzerland) in der Schweiz aus dem Jahr Es liegen Daten für 872 Frauen über die folgenden Variablen vor: participation berufstätig (yes/no) income logarithmiertes Einkommen ohne beruflichen Verdienst age Alter in Jahrzehnten education Jahre formaler Ausbildung youngkids Anzahl Kinder unter 7 Jahren oldkids Anzahl Kinder über 7 Jahren foreign ja: kein Schweizer Staatsbürger; nein: Schweizer Staatsbürger Nun soll untersucht werden, wie sich die Frage, ob die jeweiligen Frauen berufstätig sind, mit Hilfe eines geeigneten Modells beschreiben lässt. Tests für H 0 : β = β 0 gegen H 1 : β β 0 Beispiel Wir betrachten als erstes einen hypothetischen Datensatz mittels x k = k 20 für k = 1,..., 100 und Y k B(1, p k ) mit p k = eβ 1+β 2 x k 1 + e β 1+β 2. Hierbei wählen wir β x 1 = 1 und β 2 = 0.5 k glm1 <- glm(y ~ x, family = binomial) coef(glm1) (Intercept) x Die gefundenen Schätzwerte weichen offensichtlich weit von den theoretischen Werten ab, mit denen die Stichprobe erzeugt wurde. Wir wollen nun die oben definierte Teststatistik auf das Problem H 0 : β = ( ) gegen H 1 : β ( ) anwenden. Beachte, dass in diesem Fall log L(Y, β) = Y log e β 1+β 2 x 1 + e β 1+β 2 x p 1 p log(1 p) gilt, wobei p = p(β) = gilt. In R können wir die Berechnung deswegen folgendermaßen vornehmen: 30

31 Abbildung 3.1: Hypothetisches Beispiel mit Logit- (blau) und Probit-Kurve (grün) p0 <- exp(beta1 + beta2 * x)/(1 + exp(beta1 + beta2 * x)) l0 <- y * log(p0/(1 - p0)) + log(1 - p0) pdach <- exp(coef(glm1)[1] + coef(glm1)[2] * x)/(1 + exp(coef(glm1)[1] + coef(glm1)[2] * x)) ldach <- y * log(pdach/(1 - pdach)) + log(1 - pdach) tstat <- 2 * sum(ldach - l0) pchisq(tstat, df = 2) [1] Tests für H 0 : β j = 0 gegen H 1 : β j 0 Beispiele 1. Wir betrachten wieder unserern hypothetischen Datensatz x k = k 20 für k = 1,..., 100 und Y k B(1, p k ) mit p k = eβ 1+β 2 x k 1 + e β 1+β 2. Wieder ist β x 1 = 1 und β 2 = 0.5. k Wir testen H 0 : β 2 = 0 gegen H 1 : β 2 0. Die Nullhypothese lautet also, dass x keinen Einfluss auf y hat. Wir wissen, dass für dieses Modell I = X T diag(p i (1 p i ))X ist. Somit können wir die Teststatistik wie folgt berechnen: glm1 <- glm(y ~ x, family = binomial) summary(glm1) Call: glm(formula = y ~ x, family = binomial) 31

32 Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) x Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1... pdach <- exp(coef(glm1)[1] + coef(glm1)[2] * x)/(1 + exp(coef(glm1)[1] + coef(glm1)[2] * x)) Xmatrix <- cbind(1, x) Imatrix <- t(xmatrix) %*% diag(pdach * (1 - pdach)) %*% Xmatrix Imatrix x x tstat <- coef(glm1)[2]/sqrt(solve(imatrix)[2, 2]) tstat x * (1 - pnorm(tstat)) x Vergleicht man das eben erzielte Ergebnis mit der Ausgabe von summary(glm1), so stellt man fest, dass dieser Test durch die summary-funktion automatisch für jede Variable durchgeführt wird. Er muss also künftig nicht von Hand ausgeführt werden. Die Variable pdach kann übrigens auch einfach über den fitted(glm1) erzeugt werden. 2. Der Datensatz SwissLabor aus dem Paket AER enthält Daten aus der Umfrage SOMIPOPS (Socio-medical indicators for the population of Switzerland) in der Schweiz aus dem Jahr Es liegen Daten für 872 Frauen über die folgenden Variablen vor: participation berufstätig (yes/no) income logarithmiertes Einkommen ohne beruflichen Verdienst age Alter in Jahrzehnten education Jahre formaler Ausbildung 32

33 youngkids Anzahl Kinder unter 7 Jahren oldkids Anzahl Kinder über 7 Jahren foreign ja: kein Schweizer Staatsbürger; nein: Schweizer Staatsbürger Nun soll untersucht werden, wie sich die Frage, ob die jeweiligen Frauen berufstätig sind, mit Hilfe eines geeigneten Modells beschreiben lässt. data(swisslabor) logit2 <- glm(participation ~ income + age + education + youngkids + oldkids + foreign, data = SwissLabor, family = binomial) summary(logit2) Call: glm(formula = participation ~ income + age + education + youngkids + oldkids + foreign, family = binomial, data = SwissLabor) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) e-06 *** income e-05 *** age e-08 *** education youngkids e-13 *** oldkids foreignyes e-11 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 (Dispersion parameter for binomial family taken to be 1) Null deviance: on 871 degrees of freedom Residual deviance: on 865 degrees of freedom... Nimmt man ein Signifikanzniveau von 5% als Kriterium, haben offenbar alle Größen außer education und oldkids einen Einfluss. Eine Überraschung erlebt man, wenn man neben age auch noch dessen Quadrat ins Modell aufnimmt. data(swisslabor) logit1 <- glm(participation ~ income + age + I(age^2) + education + youngkids + oldkids + foreign, data = SwissLabor, family = binomial) summary(logit1) Call: glm(formula = participation ~ income + age + I(age^2) + education + youngkids + oldkids + foreign, family = binomial, data = SwissLabor) 33

34 Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) ** income e-06 *** age e-07 *** I(age^2) e-08 *** education youngkids e-12 *** oldkids ** foreignyes e-09 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 (Dispersion parameter for binomial family taken to be 1) Null deviance: on 871 degrees of freedom... Jetzt haben alle Größen außer education einen Einfluss. 3. Es soll untersucht werden, in wie weit Variablen wie der GRE (Graduate Record Exam), GPA (Grade Point Average) und das Prestige der Institution, bei der der Bachelor erworben wurde, einen Einfluss auf die Zulassung zum Masterstudium an einer amerikanischen Universität haben. Die Zielgröße (Zulassung/keine Zulassung) ist dabei binär. Der Datensatz kann online folgendermaßen eingelesen werden: zulassung$rank <- factor(zulassung$rank) logit1 <- glm(admit ~ gre + gpa + rank, data = zulassung, family = "binomial") summary(logit1) Call: glm(formula = admit ~ gre + gpa + rank, family = "binomial", data = zulassung) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) *** gre * gpa * rank * rank *** rank *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 34

35 (Dispersion parameter for binomial family taken to be 1) Null deviance: on 399 degrees of freedom Residual deviance: on 394 degrees of freedom AIC: zulassung <- read.csv(" Tests für H 0 : Cβ = d gegen H 1 : Cβ d Beispiel Für den Datensatz SwissLabor wollen wir testen, ob überhaupt eine Abhängigikeit vom Alter vorliegt. Nun geht das Alter aber doppelt in das Modell ein, einmal linear und einmal quadratisch. Wir spezifizieren das Modell folgendermaßen: participation j = β 1 +β 2 income j +β 3 age j +β 4 age 2 j+β 5 education j +β 6 youngkids j +β 7 oldkids j +β 8 foreign j +ε j Wir wollen testen. Mit der Matrix H 0 : β 3 = β 4 = 0 gegen H 1 : β β 2 4 > 0 C = ( ) R ist dies gleichbedeutend mit dem linearen Testproblem H 0 : Cβ = 0 gegen H 1 : Cβ 0 Beispiel Im Beispiel von oben können wir folgendermaßen vorgehen. Wir definieren die Modelle folgendermaßen: logit1 <- glm(participation ~ income + age + I(age^2) + education + youngkids + oldkids + foreign, data = SwissLabor, family = binomial) logit2 <- glm(participation ~ income + education + youngkids + oldkids + foreign, data = SwissLabor, family = binomial) Die Modelle könnten in R übrigens einfacher auf folgende Art eingegeben werden: logit1 <- glm(participation ~. + I(age^2), data = SwissLabor, family = binomial) logit2 <- update(logit1,. ~. - age - I(age^2), data = SwissLabor, family = binomial) Die Test, die auf der Likelihood-Ratio-Statistik bzw. der Score-Statistik beruhen, sind über die Funktion anova() direkt verfügbar: anova(logit2, logit1, test = "Chisq") Analysis of Deviance Table Model 1: participation ~ income + education + youngkids + oldkids + foreign Model 2: participation ~ income + age + I(age^2) + education + youngkids + oldkids + foreign Resid. Df Resid. Dev Df Deviance Pr(>Chi) 35

36 e-15 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 anova(logit2, logit1, test = "Rao") Analysis of Deviance Table Model 1: participation ~ income + education + youngkids + oldkids + foreign Model 2: participation ~ income + age + I(age^2) + education + youngkids + oldkids + foreign Resid. Df Resid. Dev Df Deviance Rao Pr(>Chi) e-15 *** --- Signif. codes: 0 '***' '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1 Für den Wald-Test erhalten wir Cmatrix <- matrix(c(rep(0, 4), 1, 0, 0, 1, rep(0, 8)), nrow = 2) Cmatrix [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [1,] [2,] Xmatrix <- model.matrix(logit1) pdach <- fitted(logit1) Imatrix <- t(xmatrix) %*% diag(pdach * (1 - pdach)) %*% Xmatrix waldstat <- t(cmatrix %*% coef(logit1)) %*% solve(cmatrix %*% solve(imatrix) %*% t(cmatrix)) %*% Cmatrix %*% coef(logit1) waldstat [,1] [1,] pchisq(waldstat, df = 8) [,1] [1,] 1.11e-09 qchisq(0.95, df = 8) [1] Kriterien zur Modellwahl Beispiele 1. logit1 <- glm(participation ~ income + age + I(age^2) + education + youngkids + oldkids + foreign, data = SwissLabor, family = binomial) logit2 <- glm(participation ~ income + age + education + youngkids + oldkids + 36

37 foreign, data = SwissLabor, family = binomial) logit3 <- glm(participation ~ income + education + youngkids + oldkids + foreign, data = SwissLabor, family = binomial) logit4 <- glm(participation ~ income + age + I(sin(age)) + education + youngkids + oldkids + foreign, data = SwissLabor, family = binomial) logit5 <- glm(participation ~ income + age + I(age^2) + I(age^3) + education + youngkids + oldkids + foreign, data = SwissLabor, family = binomial) probit1 <- glm(participation ~ income + age + I(age^2) + education + youngkids + oldkids + foreign, data = SwissLabor, family = binomial(link = "probit")) extractaic(logit1) [1] AIC(logit1) [1] 1034 AIC(logit2) [1] 1067 AIC(logit3) [1] 1098 AIC(logit4) [1] 1038 AIC(logit5) [1] 1036 AIC(probit1) [1] 1033 Das Modell mit dem zusätzlichen quadratischen Altersterm wird also vorgezogen. Zudem hat das zugehörige Probit-Modell noch einen etwas kleineren AIC. 2. Auf der Internetseite findet man die Datei DebTrivedi.rda mit einem Datensatz zu einer Arbeit aus dem Journal of Applied Econometrics, siehe Der Datensatz kann nach dem Herunterladen mit dem Befehl load(debtrivedi) eingelesen werden. Hier betrachten wir die Zielgröße ofp, die Anzahl der Arztbesuche im Jahr vor der Datenerhebung in Abhängigkeit von folgenden Regressoren: 37

38 hosp: Anzahl der Krankenhausaufenthalte im Jahr vor der Datenerhebung numchron: Anzahl chronischer Erkrankungen age: Alter in Jahren black: nein/ja gender: weiblich/männlich married: nein/ja school: Jahre Schulbildung faminc: Familieneinkommen employed: nein/ja privins: privatversichert nein/ja medicaid: Unterstützung durch Medicaid nein/ja Für diese Zielgröße erscheint das Modell mit der Poissonverteilung am passendsten. Wir wollen nun versuchen, mit Hilfe der oben kennengelernten Tests und des AIC, das Modell etwas zu reduzieren: model1 <- glm(ofp ~ hosp + numchron + age + I(age^2) + black + married + school + faminc + employed + privins + medicaid, data = DebTrivedi, family = poisson) model1 <- glm(ofp ~ hosp + numchron + age + I(age^2) + black + married + school + faminc + employed + privins + medicaid, data = DebTrivedi, family = poisson) summary(model1) Call: glm(formula = ofp ~ hosp + numchron + age + I(age^2) + black + married + school + faminc + employed + privins + medicaid, family = poisson, data = DebTrivedi) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) e-08 *** hosp < 2e-16 *** numchron < 2e-16 ***... AIC(model1) [1] model2 <- glm(ofp ~ hosp + numchron + age + I(age^2) + black + married + school + faminc + privins + medicaid, data = DebTrivedi, family = poisson) summary(model2) Call: glm(formula = ofp ~ hosp + numchron + age + I(age^2) + black + 38

39 married + school + faminc + privins + medicaid, family = poisson, data = DebTrivedi) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) e-08 *** hosp < 2e-16 *** numchron < 2e-16 ***... AIC(model2) [1] model3 <- glm(ofp ~ hosp + numchron + age + I(age^2) + black + married + school + privins + medicaid, data = DebTrivedi, family = poisson) summary(model3) Call: glm(formula = ofp ~ hosp + numchron + age + I(age^2) + black + married + school + privins + medicaid, family = poisson, data = DebTrivedi) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) e-08 *** hosp < 2e-16 *** numchron < 2e-16 ***... AIC(model3) [1] model4 <- glm(ofp ~ hosp + numchron + age + I(age^2) + married + school + privins + medicaid, data = DebTrivedi, family = poisson) summary(model4) Call: glm(formula = ofp ~ hosp + numchron + age + I(age^2) + married + school + privins + medicaid, family = poisson, data = DebTrivedi) 39

40 Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) e-08 *** hosp < 2e-16 *** numchron < 2e-16 *** age e-12 ***... AIC(model4) [1]

41 4 Zeitreihen 1 Einführung Beispiel (vgl. [1]) Wir betrachten Absatzmengen Y t von Wasserfiltern in 1000 Stück in Abhängigkeit von Verkaufspreis x t in e. Die Daten finden sich in Tabelle 4.1. Es handelt sich dabei um monatliche Daten für den Zeitraum von Januar 2005 bis Dezember Ein lineares Modell lässt sich dabei zunächst t x t Y t t x t Y t Tabelle 4.1: Absatzmengen von Wasserfiltern in Abhängigkeit von Verkaufspreis problemlos anwenden, das linke Schaubild in Abbildung 4.1 zeigt die Datenpunkte mit der Regressionsgeraden. Schaut man sich die sog. Residuen an, also die Differenz zwischen den Datenpunkten und ihren geschätzten Werten in der vorgegebenen zeitlichen Reihenfolge, so entsteht die rechte Grafik in Abbildung 4.1. Die Verteilung der Vorzeichen sollte dabei zufällig sein. Die Grafik suggeriert zumindest, dass das nicht der Fall ist: Offensichtlich treten Werte ober- bzw. unterhalb der Regressionsgerade ebensolche Werte im Folgemonat nach sich. Ist also ein Wert in einem Monat im Vergleich zum geschätzten Wert zu hoch, dann ist die Wahrscheinlichkeit groß, dass das auch im nächsten Monat so sein wird. Beispiele 1. Der Datensatz AirPassengers enthält die weltweite monatliche Anzahl von Flugpassagieren (in 1000) für die Jahre 1949 to Es handelt sich hierbei um einen Standarddatensatz, auf den in Darstellungen zu Zeitreihen immer wieder zurückgegriffen wird. Eine Skizze kann direkt mit plot(airpassengers) erzeugt werden. Abbildung 4.2 zeigt die Zeitreihe. 2. Die Arbeitslosenquote (von Dezember 1991 bis Mai 2013) in der Bundesrepublik Deutschland erhält man von der Seite der Bundesbank über den Link: StatisticDownload?tsId=BBK01.UJCC02&its_csvFormat=en&its_fileFormat=csv&mode=its 41

42 Absatzmenge Residuen Verkaufspreis t Abbildung 4.1: Wasserfilter: Scatterplot(links), Residualplot (rechts) 600 Passagiere Jahr Abbildung 4.2: Zeitreihe AirPassengers Er findet sich aufbereitet als R-Datei UnempGermany.rda auch auf der Homepage der Vorlesung und kann mit 42

43 load("unempgermany.rda") geladen werden. Eine entsprechende Grafik finden Sie in Abbildung Arbeitslosenquote Jahr Abbildung 4.3: Zeitreihe UnempGermany 3. Die Datei Einzelhandel.rda von der Homepage der Vorlesung enthält die Einzelhandelsumsätze für Nahrungsmittel und Kraftstoffe für den Zeitraum von Januar 2000 bis April Die Daten sind inflationsbereinigt und so normiert, dass der Wert 100 den Preisen von 2010 entspricht. Die Daten stammen vom Statistischen Bundesamt und können der Webpage Konjunkturindikatoren/Einzelhandel/hug230.html entnommen werden. Abbildung 4.4 zeigt die Werte der beiden Zeitreihen. 4. Um eine mathematische Struktur hinter solchen Zeitreihen zu entdecken, definieren wir ein fiktives Beispiel: set.seed(3241) zeit <- 1:200 x < * zeit * zeit^ * sin(11 * zeit) 43

44 Nahrungsmittel 125 Kraftstoff Jahr Jahr Abbildung 4.4: Einzelhandelsumsätze: Nahrungsmittel (links), Kraftstoffe (rechts) x x t t Abbildung 4.5: Fiktive Zeitreihe Diese Werte werden anschließend mit einem zufälligen Fehler verzerrt. Zwei Varianten dieser Zeitreihe zeigt Abbildung Bestimmung von Trend und saisonaler Komponente Beispiele 1. Bevölkerung der USA von 1790 bis 2000 (in Einheiten von 1000 Personen) Die Zeitreihe kann z.b. von der Webpage abgerufen werden. Die Zeitreihe liegt in Wirklichkeit bis 2012 vor. Wir werden aber nur die Werte bis 2000 nutzen und für eine Prognose des Werts für 2012 nutzen. 44

45 Zeitreihe Saisonale Komponente Trend Restkomponente Abbildung 4.6: Zerlegung von Nahrungsmittel in Komponenten 2. Prozentuale Änderung der Lagerbestände an alkoholischen Getränken im Handel in den USA von Februar 1992 bis April 2013 Die Zeitreihe kann z.b. von der Webpage abgerufen werden. 3. Wir betrachten die Streiks in den USA in den Jahren strikes <- ts(c(4737, 5117, 5091, 3468, 4320, 3825, 3673, 3694, 3708, 3333, 3367, 3614, 3362, 3655, 3963, 4405, 4595, 5045, 5700, 5716, 5138, 5010, 5353, 6074, 5031, 5648, 5506, 4230, 4827, 3885), start = 1951) 45

46 Elimination eines Trends bei einer Zeitreihe ohne saisonale Effekte Methode 1: Kleinste-Quadrate-Schätzung des Trends Beispiel Für die Zeitreihe mit der US-Bevölkerungsentwicklung kann beispielsweise einfach das Modell Population = β 1 + β 2 Jahr + β 2 Jahr 2 angesetzt werden. Es ist klar, dass die Natur der Fragestellung eher ein semilogarithmisches Modell nahelegt, aber auch mit diesem einfacheren Modell lässt sich die Zeitreihe untersuchen. Mit diesen e+05 0 Einwohner Residuen 1e e Jahr Jahr Abbildung 4.7: Bevölkerung der USA (links), Residuen (rechts) linearen Modell ist es einfach, eine Prognose für 2012 zu erstellen, indem man nämlich einfach den Jahreswert 2012 in die Modellgleichung einsetzt. Einwohner <- as.vector(useinwohner) Jahr <- 1790:2000 einwohner2012 <- rev(as.vector(uspopulation))[1] lm1 <- lm(einwohner ~ Jahr + I(Jahr^2)) print(lm1) Call: lm(formula = Einwohner ~ Jahr + I(Jahr^2)) Coefficients: (Intercept) Jahr I(Jahr^2) 2.16e e e+00 prognose2012_lm1 <- predict(lm1, newdata = data.frame(jahr = 2012)) prognose2012_lm einwohner2012 [1]