Das multiple lineare Regressionsmodell

Transkript

1 Das multiple lineare Regressionsmodell Worum geht es in diesem Lernmodul? Das Modell Schätzen der Koeffizienten Interpretation der Koeffizienten Testen der Koeffizienten Worum geht es in diesem Lernmodul? Bisher haben wir nur das lineare Regressionsmodell mit einer erklärenden Variablen untersucht. Manchmal ist es aber sinnvoll, zur Erklärung der Y-Werte nicht nur einen einzigen Regressor zu nutzen. Wir können das einfache lineare Regressionsmodell erweitern, indem wir mehrere erklärende Variablen nutzen, um eine zu erklärende Variable zu beschreiben. So entsteht das multiple lineare Regressionsmodell. Analog zum einfachen Regressionsmodell können wir auch in diesem Modell die Regressionskoeffizienten schätzen und testen. Das Modell Die "Open University Research Group" führte über 10 Wochen ein Experiment durch, bei dem der Bedarf an elektrischer Energie zur Heizung von Häusern untersucht wurde (vgl. Hand, D. J., Daly, F., Lunn, A. D., McConway, K. J. und Ostrowski, E. (1994). A Handbook of Small Data Sets. Chapman & Hall, London. S. 76f.). Zusätzlich zur elektrischen Energie verwenden die betrachteten Häuser aber auch Solarenergie zum Heizen. Diese Solarenergie wird über am Haus angebrachte Solarzellen gewonnen. Der Bedarf an elektrischer Energie sollte in Abhängigkeit von der zusätzlich gewonnenen Solarenergie untersucht werden. Zu diesem Zweck wurde in England ein Test-Haus ausgewählt und mit einer Solaranlage ausgestattet. Die Innentemperatur des Hauses wurde auf konstant 21 C gehalten. Hier liegt zunächst einmal ein einfacher linearer Regressionsansatz mit der Solarenergie als erklärender Variable und der elektrischen Energie als zu erklärende Variable nahe. Aber es ist offensichtlich auch nötig, die aktuelle Temperatur als weitere erklärende Variable zu berücksichtigen, denn bei kalten Außentemperaturen muss augenscheinlich mehr geheizt werden als bei warmen Außentemperaturen. Damit hätten wir nun zwei erklärende Variablen zu betrachten. Die bei dem Experiment gemessenen Variablen sind: = Elektrische Energie (kwh) für die Heizung = Elektrische Solarenergie (kwh pro qm pro Tag), die über am Haus angebrachte Solarzellen zusätzlich gewonnen wurde = Differenz zwischen Innen- und Außentemperatur in C. Wenn zwei erklärende Variablen berücksichtigt werden sollen, übersteigt das den Rahmen der einfachen linearen Regression. Wir müssen also das lineare Regressionsmodell um eine weitere erklärende Variable erweitern. Vom Ansatz her lässt sich das leicht nachvollziehen: Wir berücksichtigen dazu in der Gleichung zusätzlich die Variable - und zwar in der gleichen Weise wie die Solarenergie: Page 1

2 Damit haben wir nun ein lineares Regressionsmodell mit zwei erklärenden Variablen. Allgemein erhalten wir bei erklärenden Variablen oder Regressoren das multiple lineare Regressionsmodell. Das multiple lineare Regressionsmodell mit Regressoren lautet: Wie wir gesehen haben, kann die lineare Beziehung bei einer erklärenden Variablen als Gerade in einem Streudiagramm dargestellt werden. Auch bei zwei erklärenden Variablen lässt sich die Ausgleichsfunktion noch bildlich darstellen. Jedes Wertepaar von und bestimmt einen Punkt auf der -Ebene. Über diesen Punkt wird der Wert von angebracht. Die Ausgleichsfunktion ist eine Ebene. Aufgrund der durch die Fehler verursachten Abweichungen liegen einige Punkte über, andere unter der Ebene. Schauen Sie sich in dem Applet Multiples Regressionsmodell (a61.jar) einmal selbst eine solche Ebene an! Schätzen der Koeffizienten Für die Anwendung des Modells mit mehreren Regressoren geht es zuerst darum, die Koeffizienten zu schätzen. Die Bestimmung der Schätzungen der Regressionskoeffizienten geschieht wie bei der einfachen linearen Regression mit dem Ansatz der kleinsten Quadrate. Es ist also die Summe der quadrierten Abstände möglichst klein zu halten: Die Lösung erfolgt wie bei der einfachen linearen Regression; die so bestimmten Koeffizienten lassen sich jedoch für nicht mehr mit einer einfachen Formel angeben. Die Berechnung erfolgt generell mit Computerprogrammen. Für Interessierte steht eine Ableitung der Ergebnisse ( : a81.pdf ) für bereit. Erinnern wir uns an unser Beispiel zum Bedarf an elektrischer Energie: Bei der Untersuchung erhalten wir mit den aus Hand (Hand, D. J., Daly, F., Lunn, A. D., McConway, K. J. und Ostrowski, E. (1994). A Handbook of Small Data Sets. Chapman & Hall, London. S. 76f.) entnommenen Daten ( a89.spf ) die folgenden Koeffizientenschätzungen: Variable Konstante Die in der Tabelle angegebenen Werte können wir im Labor folgendermaßen berechnen: Labordatei öffnen ( ac0.spf ) Genauso wie bei der einfachen linearen Regression gilt: Page 2

3 Die KQ-Schätzer sind auch ohne die Annahme einer Normalverteilung erwartungstreu und konsistent. Damit ist gesichert, dass die Schätzungen keinen systematischen Fehler aufweisen und umso besser um die wahren Werte konzentriert sind, je mehr Beobachtungen vorliegen. Eine unverzerrte Schätzung der Varianz der Fehler ist gegeben durch: Einkommen und der benötigten Ausbildung. Stellen Sie ein multiples Regressionsmodell auf, bei dem das Ansehen verschiedener Berufe durch das Einkommen und die Ausbildung erklärt wird (vgl. Duncan, O. D. (1961). A Status. The Free Press, New York. S ). Ermitteln Sie die Regressionskoeffizienten und Standardfehler! Labordatei öffnen ( adc.zmpf ) Interpretation der Koeffizienten Bei der multiplen Regression ist die Interpretation der Parameter von besonderem Interesse. Sofern das Modell passt, vgl., ist die Interpretation zunächst in Bezug auf das Vorzeichen unproblematisch. Das Vorzeichen eines Koeffizienten gibt an, ob sich die erklärende Variable in positiver oder negativer Art und Weise auf die zu erklärende Variable auswirkt. Weiter gibt der Wert jedes Koeffizienten an, wie sich die Zielgröße ändert, wenn bei Festhalten aller anderen Größen die zugehörige Variable um eine Einheit wächst. Im Energiebeispiel zeigt das negative Vorzeichen des Koeffizienten der Variablen, dass mit größeren Werten von weniger (sonstiger) Strom gebraucht wurde. Bei gleichbleibender Außentemperatur (was auch eine gleichbleibende Temperaturdifferenz bewirkt) sinkt der Energiebedarf um kwh mit jeder kwh pro qm pro Tag. Dass der Koeffizient der Temperaturdifferenz positiv ist, zeigt natürlich, dass bei niedrigerer Temperatur (= größere Differenz) mehr Energie benötigt wird. Der Achsenabschnitt sollte nicht interpretiert werden, da der Untersuchungsbereich den Punkt (0,0) nicht einschließt. In einer vorläufigen, groben Analyse geben die geschätzten Koeffizienten bereits Anhaltspunkte für die unterschiedliche Stärke des Einflusses des Regressors auf den Regressanden. Je größer der absolute Betrag des Regressionskoeffizienten ist, desto stärker ist der vermutete Einfluss. Allerdings sind die numerischen Werte verschiedener Koeffizienten nicht ohne weiteres vergleichbar. Die zugehörigen Regressanden können ja in unterschiedlichen Skalen gemessen worden sein. Eine geeignete Umformung der Regressionskoeffizienten mit dem Ziel, eine direkte Vergleichbarkeit der numerischen Werte herzustellen, sind die standardisierten Regressionskoeffizienten. Anhand dieser Werte kann die relative Bedeutsamkeit der Regressoren für die Erklärung des Regressanden miteinander verglichen werden. Durch die Standardisierung werden nämlich die unterschiedlichen Messdimensionen der Variablen beseitigt und somit können diese direkt verglichen werden. Bei Durchführung einer Regressionsanalyse mit standardisierten Variablen würden Regressionskoeffizienten und -Werte übereinstimmen. Page 3

4 Formal erhält man die standardisierten Regressionskoeffizienten einfach durch Multiplikation der normalen geschätzten Koeffizienten mit den Standardabweichungen der zugehörigen erklärenden Variablen. In unserem Beispiel zum Bedarf an elektrischer Energie sind die Standardabweichungen der beiden erklärenden Variablen: Dementsprechend erhalten wir: Variable nicht standardisiert standardisiert Die in der Tabelle angegebenen Werte können wir im Labor wie folgt berechnen. Labordatei öffnen ( b5f.spf ) Beim Vergleich der Koeffizienten kommen wir zu einer unterschiedlichen Einschätzung, je nachdem, welche der beiden Arten von Koeffizienten wir verwenden. Bei den nicht-standardisierten Koeffizienten erscheint die Variable, die Solarenergie, bedeutsamer als, die Temperaturdifferenz. Diese (Fehl-) Einschätzung resultiert nur aus dem unterschiedlichen Wertebereich der Regressoren. Standardisierung führt zu der Einschätzung, dass beide in etwa gleich bedeutsam sind. (Mit unterschiedlichen Wirkungsrichtungen.) Einkommen und der benötigten Ausbildung (vgl. Duncan, O. D. (1961). A Status. The Free Press, New York. S ). Stellen Sie ein multiples Regressionsmodell auf, berechnen Sie die standardisierten e der Regressionskoeffizienten und interpretieren Sie diese! Labordatei öffnen ( b71.zmpf ) Testen der Koeffizienten Bei einem multiplen Regressionsmodell wollen wir wissen, ob alle in Betracht gezogenen Regressoren auch tatsächlich zur Erklärung benötigt werden. Unter Umständen sind ja einige überflüssig und tragen nichts zur Erklärung bei. Tests zur Überprüfung, ob einzelne Koeffizienten der Regressionsbeziehung null sind, haben inhaltlich die Bedeutung der Überprüfung, ob sie überhaupt im Modell berücksichtigt werden sollten. Die Prüfgrößen für die die einzelnen Koeffizienten betreffenden Hypothesen sind Bei Normalverteilung der Fehler haben die Prüfgrößen t-verteilungen mit Freiheitsgraden, wenn die Hypothese korrekt ist. Page 4

5 Mit dem t-test wird überprüft, ob eine Variable aus dem Modell weggelassen werden kann, wobei hier als zur Gesamtheit der erklärenden Variablen gehörig angesehen wird. Wie viel zusätzlich zu den anderen Regressoren erklärt, wird damit nicht gesagt. Computerprogramme präsentieren i.d.r. Ergebnisse von Regressionsrechnungen in der Form, dass für alle Koeffizienten die entsprechenden Tests angegeben werden. Hier ist zu beachten, dass die Niveaus der Tests bzw. die P-Werte eigentlich nur für die Beurteilung einer einzelnen Hypothese korrekt sind. Im Labor können wir die Tests der Regressionskoeffizienten folgendermaßen durchführen: Labordatei öffnen ( b9f.spf ) Für den Energie-Datensatz erhalten wir zum Beispiel im Labor den folgenden Ausdruck: Die Nullhypothesen werden abgelehnt, wenn der p-wert, der in obiger Tabelle unter "Pr(> t )" zu finden ist, kleiner als ist. In unserem Energie-Beispiel zeigt sich also, dass sowohl als auch einen signifikanten Einfluss auf den Energieverbrauch haben. Der Achsenabschnitt ist dagegen mit einem so großen Standardfehler behaftet, dass er keine Bedeutung hat. Einkommen und der benötigten Ausbildung (vgl. Duncan, O. D. (1961). A Status. The Free Press, New York. S ). Stellen Sie ein multiples Regressionsmodell auf und testen Sie die Regressionskoeffizenten! Zum Bearbeiten mit Regress: Labordatei öffnen ( bbc.zmpf ) Zum Bearbeiten mit lm: Labordatei öffnen ( bc0.zmpf ) - Wie unterscheidet sich das multiple lineare Regressionsmodell vom einfachen linearen Regressionsmodell? Lösung ( : bc9.pdf ) - Wozu testet man die Regressionskoeffizienten im multiplen Regressionsmodell? Lösung ( : bcc.pdf ) - Nennen Sie die Annahmen des multiplen linearen Regressionsmodells! Lösung ( : bcf.pdf ) Wollen Sie Ihren Lernerfolg überprüfen? Dann lösen Sie folgende Aufgabe: Labordatei öffnen ( bd7.zmpf ) Angestellte eines großen Finanzinstituts wurden bezüglich der Zufriedenheit mit ihren Vorgesetzten befragt (vgl. Chatterjee, S. und Price, B. (1995). Praxis der Regressionsanalyse (2. Aufl.). Oldenbourg-Verlag, München. S ). Untersuchen Sie die Bewertung der Vorgesetzten mit Hilfe einer multiplen Regressionsanalyse! (c) Projekt Neue Statistik 2003, Freie Universität Berlin, Center für Digitale Systeme Kontakt: Page 5