Übungen zur Vorlesung. Statistik 2. a) Welche Grundannahmen der linearen Regression sind in Modell (1) verletzt?

Transkript

1 Institut für Stochastik WS 2007/2008 Universität Karlsruhe JProf. Dr. H. Holzmann Blatt 7 Dipl.-Math. oec. D. Engel Übungen zur Vorlesung Statistik 2 Aufgabe 25 (keine Abgabe) Angenommen die Zielvariable Y nimmt nur die beiden Werte 1 (Erfolg) mit Wahrscheinlichkeit p und 0 (Misserfolg) mit Wahrscheinlichkeit an. Betrachten Sie das folgende Modell Y = Xβ + ε mit X R n p, β R p, ε R n, Eε = 0. (1) a) Welche Grundannahmen der linearen Regression sind in Modell (1) verletzt? b) Welche stetige Größe kann man anstatt der binären Zielvariablen Y in (1) betrachten? Welches Problem, das Sie in der Vorlesung kennen gelernt haben, tritt dabei auf? Welche Lösungen für dieses Problem wurden in der Vorlesung vorgestellt? c) Zeigen Sie, dass für den Logit-Link F (p) = log gilt F 1 (η) = e η und zeichnen Sie die so genannte Responsefunktion (Antwortfunktion) F 1 (η) für 6 η 6. d) Welche Linkfunktionen gibt es noch? Zeichnen Sie auch deren Responsefunktionen für 6 η 6. e) Was versteht man unter Odds und wie können diese interpretiert werden? f) Geben Sie eine Interpretation für die Koeffizienten bei der logistischen Regression an. g) In welche Kategorien kann man erklärende Variablen einteilen? Aufgabe 26 (R-Aufgabe, keine Abgabe) Am explodierte die amerikanische Raumfähre Challenger (OV-99) kurz nach dem Start der Mission STS-51-L mit sieben Astronauten an Bord. Als Ursache der Katastrophe wurden Materialermüdungserscheinungen an den Dichtungsringen im Bereich der Triebwerke, den so genannten O-Ringen, ausgemacht. Von diesen O-Ringen besitzen die beiden Raketentriebwerke insgesamt sechs Stück. Zum Zeitpunkt des Starts der Challenger herrschte eine Außentemperatur von nur 31 F (ca. 0 C). In der Nacht vor der Katastrophe fand eine mehrstündige Telefonkonferenz mit den Experten des Triebwerkherstellers Morton Thiokol, des Marshall Space Flight Center der NASA und des Kennedy Space Center Raumflughafens statt. Im Wesentlichen ging es dabei um die Wettervorhersage von extrem niedrigen 31 F Außentemperatur für die Startzeit am nächsten Morgen und den Effekt einer niedrigen Außentemperatur auf die Zuverlässigkeit der O-Ringe.

2 Bei dieser Telefonkonferenz spielte der Datensatz challeng, den Sie im R-Paket alr3 sowie unter challeng.txt auf der Seite zur Übung finden, eine wichtige Rolle. Dieser gibt in Fail für die vorherigen Flüge der NASA-Raumfähren an, wie viele der O-Ringe Ermüdungserscheinungen zeigten. Außerdem gibt (u.a.) Temp die Außentemperatur in F zur jeweiligen Startzeit an. a) Laden Sie zunächst das Paket alr3 mit Hilfe des Befehls library(alr3) und anschließend den Datensatz challeng mit data(challeng) oder lesen Sie den Datensatz challeng.txt von der Seite zur Übung ein. Bestimmen Sie die minimale und die maximale Außentemperatur bei den bisherigen Starts sowie deren Mittelwert und Median. Bei welchen Temperaturen traten in der Vergangenheit Probleme mit den O-Ringen auf (Fail> 0)? Beurteilen Sie, die auf dieser Grundlage getroffene Entscheidung, die Raumfähre am nächsten Morgen starten zu lassen. b) Nach der Katastrophe nahm eine von der U.S. Regierung eingesetzte Expertenkommission (Rogers-Kommission) die Starttemperaturen der problemlos verlaufenen Flüge hinzu. Führen Sie die Zielvariable y ein, die 1 ist, falls beim entsprechenden Flug ein Problem mit den Dichtungsringen aufgetreten war, das heißt Fail> 0, und die 0 ist, falls kein Problem vorlag. Zeichen Sie nun ein Streudiagramm von y gegen Temp. Was beobachten Sie? Wie würden Sie auf dieser Grundlage die Entscheidung für einen Start bei 31 F bewerten? c) Passen Sie ein lineares Modell der Form y = β 1 + β 2 Temp + ε an die Daten an. Ist der lineare Temp-Term zum 99% Niveau signifikant? Zeichnen Sie die Regressionsgerade in das Streudiagramm aus Teilaufgabe b) ein. Warum liefert das lineare Modell keine gute Beschreibung der Daten? d) Beschreiben Sie nun die Wahrscheinlichkeit p für den Ausfall eines Dichtungsrings in Abhängigkeit von der Außentemperatur Temp zum Startzeitpunkt durch ein logistisches Modell (Logit-Link). Welche Schätzwerte erhalten Sie für die Modellparameter? R-Hinweis: Sie können ein logistisches Modell (Logit-Link) mit Hilfe des Befehls glm(y Temp,family=binomial) in R anpassen. Eine Zusammenfassung des angepassten Modells erhalten Sie, analog zur linearen Regression, mit dem Aufruf summary(). e) Plotten Sie die Ausfallwahrscheinlichkeit eines Dichtungsrings, die Sie mit dem angepassten Modell aus Teilaufgabe d) erhalten, in Abhängigkeit von der Außentemperatur. Geben Sie die Wahrscheinlichkeit an, mit welcher (unter diesem Modell) bei der prognostizierten Temperatur von 31 F mit einem Ausfall zu rechnen war. f) Wiederholen Sie die Teilaufgaben d) und e) für (i) die Probit-Linkfunktion (ii) die komplementäre Log-log-Linkfunktion anstatt der Logit-Linkfunktion. R-Hinweis: Sie erhalten die Probit-Linkfunktion bzw. die komplementäre Log-log-Linkfunktion mit Hilfe der Befehle glm(y Temp,family=binomial(link= probit )) bzw. glm(y Temp,family=binomial(link= cloglog )). Falls Sie die Befehle in R kopieren, denken Sie bitte daran, dass Sie die Anführungszeichen neu eingeben müssen.

3 Aufgabe 27 (Fortsetzung von Aufgabe 26, keine Abgabe) Betrachten Sie nochmals den challeng-datensatz aus dem Paket alr3, der bereits in Aufgabe 26 untersucht wurde. a) Fassen Sie nun jeweils die Gesamtanzahl der Flüge und diejenigen mit Ermüdungserscheinungen bei den Dichtungsringen für die Starttemperaturen 51 F bis (einschließlich) 55 F, 56 F bis 60 F,...,81 F bis 85 F zusammen und verwenden Sie den Mittelpunkt eines jeden Intervalls als erklärende Variable. b) Bestimmen Sie die Wahrscheinlichkeit p für die einzelnen Temperaturintervalle mit denen ein Problem bezüglich der O-Ringe auftrat und passen Sie für diese Wahrscheinlichkeiten ein logistisches Modell an. R-Hinweis: Bei gruppierten Daten, wie sie hier vorliegen, müssen Sie im glm()-befehl noch das Argument weights=n ergänzen, wobei n der Vektor mit den Anzahlen an Beobachtungen in den einzelnen Gruppen ist. c) Erstellen Sie ein Streudiagramm der Wahrscheinlichkeit für ein Problem mit den O-Ringen in Abhängigkeit der Mittelpunkte der entsprechenden Temperaturintervallen und zeichnen Sie die Kurve der angepassten Responsefunktion des Modells aus Teilaufgabe b) ein. d) Ersetzen Sie Wahrscheinlichkeiten p von 0 und 1 durch beziehungsweise 0.999, so dass Sie die Logit-Linkfunktion für die Wahrscheinlichkeiten berechnen können und berechnen Sie diese, das heißt, bestimmen Sie Logit(p) = log für die einzelnen Temperaturintervalle. e) Passen Sie ein lineares Modell der Form log = β 1 + β 2 Temp + ε =: η + ε an. Replizieren Sie die Werte der einzelnen Temperaturintervalle dabei entsprechend der Anzahl der Beobachtungen in diesen Intervallen. Welche Kleinste-Quadrate Schätzer β 1 und β 2 erhalten Sie für das lineare Modell? 1 f) Zeichnen Sie die Kurve 1 + e η mit η = β 1 + β 2 Temp ebenfalls in das Schaubild aus Teilaufgabe c) ein. Stimmt diese Kurve mit derjenigen aus Teilaufgabe c) überein? Erklären Sie dies kurz. g) Wie groß ist bei den beiden oben betrachteten Modellen die Wahrscheinlichkeit eines Problems mit den O-Ringen bei einer Starttemperatur von 31 F? h) Betrachten Sie jetzt nur noch zwei Klassen (Gruppen) von Flügen, nämlich solche, bei denen die Außentemperatur zum Startzeitpunkt maximal 67 F betrug, und solche mit einer Außentemperatur von über 67 F beim Start. Stellen Sie die 23 Individualdaten aus dem ursprünglichen Datensatz nach dieser Gruppierung in Form einer so genannten Kontingenztabelle dar, das heißt bestimmen Sie die Anzahl der Flüge a, b, c und d in der folgenden Tabelle Problem kein Problem Temp 67 a b Temp > 67 c d und stellen Sie die Anteile graphisch in einem so genannten Mosaik-Plot dar.

4 R-Hinweis: Sie erhalten in R einen Mosaik-Plot mit Hilfe des folgenden Befehls: mosaicplot(cbind(c(a,c),c(b,d)), color=t). i) Passen Sie an die gruppierten Daten aus Teilaufgabe h) auf die folgenden drei Arten jeweils ein logistisches Modell an: (i) direkt glm()-befehl auf binäre Größen (Problem: ja/nein und Temperatur maximal 67 F: ja/nein )anwenden. (ii) mit dem Befehl glm(c(a/(a+b),c/(c+d)) c(1,0),family=binomial,weights=c(a+b,c+d)). (iii) mit dem Befehl glm(cbind(c(a,c),c(b,d)) c(1,0),family=binomial). Vergleichen Sie die summary-outputs der drei oben angepassten Modelle. Aufgabe 28 (R-Aufgabe, keine Abgabe) Am 4. Juli 1999 zog ein Sturm mit Windgeschwindigkeiten von über 140 Stundenkilometer über die Boundary Waters Canoe Area Wilderness (BWCAW) im nordöstlichen Minnesota hinweg, der große Waldschäden anrichtete. Roy Rich untersuchte die Auswirkungen dieses Sturmes sehr gründlich, indem er für 3600 Bäume verschiedener Arten in diesem Gebiet überprüfte, ob sie durch den Sturm umgeworfen wurden oder ob sie den Sturm überstanden haben. Ein Ziel dabei war die Untersuchung des Zusammenhangs zwischen dem Überstehen des Sturmes und der Größe des Baumes sowie der Stärke des Sturmes in den einzelnen Teilen der BWCAW. Im Datensatz blowbf aus dem Paket alr3 sind die Daten für die 659 untersuchten Balsamtannen gegeben. Die Zielvariable y gibt an, ob eine Tanne den Sturm überstanden hat ( Survived, y = 0) oder ob sie von dem Sturm umgeworfen wurde ( Died, y = 1). Die erklärenden Variablen D und S geben den Durchmesser der Bäume bzw. die Stärke des Sturmes in der Gegend, in der der Baum stand, an. Wir werden im Folgenden anstatt des Durchmessers D, den Logarithmus zur Basis 2 von diesem betrachten, also log 2 (D). a) Lesen Sie den Datensatz in R ein und verschaffen Sie sich einen ersten Überblick über die Daten. Zeichnen Sie hierfür auch die Dichte von log 2 (D) sowohl für die Bäume, welche dem Sturm standgehalten haben (y = 0) als auch für jene, die von ihm umgeworfen wurden (y = 1) in ein gemeinsames Schaubild ein. Interpretieren Sie das Schaubild kurz. R-Hinweis: Sie erhalten in R den Logarithmus von D zur Basis 2 mit log(d,2). b) Erstellen Sie ein Streudiagramm der Zielvariable y gegen log 2 (D). Verwenden Sie, da es zu den meisten log 2 (D) Werten mehrere Beobachtungen mit y = 0 bzw. y = 1 gibt, im plot()-befehl für das Streudiagramm anstatt y besser jitter(y,amount=0.02), dadurch sind die einzelnen Beobachtungen besser zu erkennen. Schauen Sie sich die Hilfe zum Befehl jitter() an, wenn Sie genau wissen wollen, was dieser bewirkt. c) Passen Sie ein lineares Modell der Form y = β 1 + β 2 log 2 (D) + ε an die Daten an und zeichnen Sie die Regressionsgerade in das Streudiagramm aus Teilaufgabe b) ein. d) Passen Sie ein logistisches Modell (Logit-Link) an die Daten (y gegen log 2 (D)) an und zeichnen Sie die angepasste Responsefunktion, also die Umkehrfunktion der Logit-Linkfunktion, ebenfalls in das Streudiagramm aus Teilaufgabe b) ein. e) Interpretieren Sie den Koeffizienten β 2 für log 2 (D) in dem logistischen Modell aus Teilaufgabe d). f) Testen Sie die Nullhypothese Ein Baum mit einem Durchmesser von 10 cm hat ein 15- mal höheres Risiko umgeworfen zu werden, als ein Baum mit 5 cm Durchmesser. auf dem 5% Niveau.

5 g) Fassen Sie nun die Individualdaten für gleiche Werte des Durchmessers zu Gruppen zusammen und geben Sie für jeden Durchmesser an, wie viele Bäume jeweils von dem Sturm umgeworfen wurden und wie viele den Sturm überstanden haben. R-Hinweis: Sie können in R eine solche Kontingenztafel leicht mittels dem Befehl xtabs() erstellen. Konkret lautet der Befehl in unserem Fall beispielsweise: grupp1 <- xtabs( D + y) Sie müssen jetzt noch die Werte für D, die bisher nur als Zeilennamen dienen, in den Typ numeric umwandeln. Dies geschieht beispielsweise mit: grupp2 <- data.frame(d=as.numeric(rownames(grupp1)),surv=grupp1[,1],died=grupp1[,2]) h) Bestimmen Sie als nächstes den Vektor n, dessen Elemente angeben, wie viele Beobachtungen zu den einzelnen Werte für den Durchmesser insgesamt vorliegen, also gerade die Summe der umgeworfenen und noch stehenden Bäume mit dem entsprechenden Durchmesser. i) Zeichnen Sie nun das Schaubild der Wahrscheinlichkeit, dass ein Baum von dem Sturm umgeworfen wurde, in Abhängigkeit seines logarithmierten Durchmessers. Wählen Sie die Größe der Punkte für die einzelnen logarithmierten Durchmesser entsprechend der (Gesamt-)Anzahl n an Beobachtungen, die für diesen Wert des logarithmierten Durchmessers vorliegen. R-Hinweis: Sie erhalten die oben beschriebenen Punkte in der entsprechenden Größe, wenn Sie im plot()-befehl das Argument cex=sqrt(n/median(n)) ergänzen. j) Passen Sie ein logistisches Modell an die gruppierten Daten an und zeichnen Sie die angepasste Responsefunktion in das Schaubild von Teilaufgabe i) ein. Passen Sie nun zwei logistische Modelle, die nur den Intercept als Kovariable beinhalten, (i) für die Individualdaten (ii) für die gruppierten Daten an und führen Sie damit jeweils einen χ 2 Test durch, ob der (logarithmierte) Durchmesser der Bäume einen Einfluss auf ihre Standfestigkeit während eines Sturms hat. R-Hinweis: Verwenden Sie den Befehl anova(reg1,reg2,test= Chisq ) um den χ 2 Test für die beiden Modelle reg1 und reg2 durchzuführen. k) Jetzt wird noch eine weitere erklärende Variable, nämlich die lokale Stärke des Sturmes, welche durch die Kovariable S im Datensatz gegeben ist, betrachtet. Geben Sie die geschätzten Koeffizienten des logistischen Modells mit den erklärenden Variablen Intrcept, log 2 (D) und S für die Individualdaten an. l) Testen Sie mit Hilfe des Befehls drop1(reg.name, test= Chisq ), ob es sinnvoll ist, eine der Kovariablen wegzulassen. m) Nehmen Sie jetzt zusätzlich zu den Haupteffekten noch die Interaktion zwischen dem logarithmierten Durchmesser log 2 (D) der Bäume und der lokalen Sturmstärke S in Ihr Modell auf. Welche Schätzer für die Koeffizienten erhalten Sie jetzt? Überprüfen Sie analog zu Teilaufgabe l), ob man die Interaktion in das Modell aufnehmen soll. Keine Abgabe! Diese Aufgaben werden in der Übung am behandelt. Wir wünschen allen Hörer(inne)n der Vorlesung Statistik 2 ein frohes Weihnachtsfest und einen guten Rutsch ins neue Jahr!