Regression mit Gretl Eine erste Einführung 1

Transkript

1 Kurzeinführung in Gretl S. 1 Regression mit Gretl Eine erste Einführung 1 Installation: Gretl für das entsprechende Betriebssystem herunterladen und die Setup-Datei ausführen. Hinweis: Für die Benutzung im Pool zu Hause auf dem USB-Stick installieren (und im Poolraum vom USB-Stick ausführen). Allerdings ist dann der Programmpfad auf den USB-Stick gesetzt. Falls Sie auch ohne USB-Stick an ihrem PC arbeiten wollen, anschließend einfach nochmals installieren. Nach dem Programmaufruf sehen Sie dieses Fenster: Die untere Werkzeugleiste können Sie vorerst vergessen. Wichtig ist die obere Menueleiste. 1 Die Einführung stützt sich auf die Kapitel 1, 2 und 4 des Users Guide - Downloadbar unter der Adresse von gretl (link auf der website)

2 Kurzeinführung in Gretl S. 2 Daten importieren Um mit Daten arbeiten zu können, müssen wir erst mal welche ins Programm kriegen. Es gibt hier mehrere Möglichkeiten. Z.B. kann man mit Gretl selbst Daten eingeben. Allerdings kann man sich auch einen Nagel ins Knie bohren und ein Klavier dran aufhängen: Bequem geht anders. Daher sehen wir uns mal die Alternative an: Daten aus anderen Programmen importieren. Über Daten ==> Öffne Daten ==> Import kommt man auf eine Auswahl von Datenformaten, die importiert werden können. Wählt man eines davon aus, kann man das Verzeichnis suchen, in dem sich seine Datei befindet. (Die Datei Test_1.xls 2 hatte ich schon einmal geöffnet, daher erscheint sie in der Auswahlliste.) Erstellen wir die Daten daher lieber in einem bequemeren Spreadsheet und importieren sie erst anschließend nach Gretl. Dabei muß man sich an eine Reihe von Konventionen halten. 2 Mangles eines aktuellen Office, habe ich nicht probiert, ob Gretl *.xlsx versteht. Im Zweifelsfall einfach als *.xls abspeichern.

3 Kurzeinführung in Gretl S. 3 Konventionen bei der Spreadsheet-Eingabe Gretel interpretiert die erste Zeile als Datenbeschriftung. Diese Labels dürfen aus bis zu 8 Zeichen bestehen Hier haben wir es mit zwei Zeitreihen zu tun. Damit Gretl das erkennt und die erste Spalte als Jahr interpretiert, muß die Spalte entweder mit date überschrieben sein oder frei gelassen werden. Andernfalls würde Gretl unterstellen, die erste Spalte bestünde ebenfalls aus Daten. Man kann Gretl dann beim Import immer noch zwingen, die Tabelle als Zeitreihe zu interpretieren, müßte dann aber das Startjahr bei der Eingabeaufforderung zu Fuß eingeben. Hat man es mit Quartalsdaten zu tun, so wäre die erste Spalte zu beschriften mit 2000:1, 2000:2 usw. Bei Monatsdaten mit 2000: :12 usw. Und bei Querschnittsdaten schließlich besteht die erste Reihe aus Labels - DEU wie Deutschland usw. Für das Eingeben von Paneldaten verweise ich auf den Users Guide Kapitel 4.5 S. 21ff. Hier habe ich zwei Reihen generiert: Die erste Reihe besteht aus (leider: gleichverteilten und nciht etwa: normalverteilten) Zufallszahlen zwischen 0 und 9 und die zweite Reihe wurde aus der ersten generiert über Reihe_2 = 1 log(reihe_1) + Zufallsbereich (-1;+1) also dem Logarithmus der ersten Zahl plus einem Wert aus (-1; 0; 1) wobei jede Zahl die gleiche Wahrscheinlichkeit aufweist. Mal sehen, was Gretl aus dieser Tabelle macht. In Regressionsschreibweise: Der tatsächliche Zusammenhang ist: y = βo + β 1 x + u i mit βo = 0; = 1 und dem Störterm / Zufallseinfluß u i, der allerdings nicht normal- sondern gleichverteilt ist. In der Regression sind nun die wahren Parameter durch die Parameter der Regressiongleichung: y = ^βo + ^β 1 x + u i ^βo und ^ βo zu schätzen. Mal sehen, was Gretl daraus macht.

4 Kurzeinführung in Gretl S. 4 Einfache Regression Beim Einlesen hatte Gretl mitgeteilt, daß es die erste Spalte für Jahreszahlen hält und entsprechend importiert. Kurz danach sieht man die Variablennamen am Bildschirm wobei, weil eine Regressionsgleichung ja ein konstantes Glied enthält, Gretl noch automatisch eine Spalte für die Konstante generiert hat. Mit diesen Daten läßt sich nun ein erster Auswertungslauf starten. Hängt Reihe 2 von Reihe eins ab? Im nächsten Schritt ist ein Modell für den Zusammenhang auszuwählen. Wie man sieht, wenn man auf Modell klickt, ist man dabei nicht nur auf lineare Modelle festgelegt (Abb. links) und selbst wenn man lineare Modelle wählt, hat man noch eine ganze Latte von Auswahlmöglichkeiten. Da wir aber (zumindest: bisher) außer den least squares nichts kennen, bleiben wir hier mal bei den kleinsten Quadraten. In einem ersten Schritt könnte man sich die Daten noch ansehen, zum Beispiel um schon mal eine Idee zu bekommen, wie der Zusammenhang ungefähr sein könnte. Hier bietet das Menue Ansicht eine Reihe von Möglichkeiten an. Ich beschränke mich mal auf die einfachste: X-Y-Plott.

5 Kurzeinführung in Gretl S. 5 Die Ausgabe ist nicht besonders hübsch, aber hier kommt sie: Aber nun mal Butter bei die Fische: Was passiert, wenn man das Modell schätzt? Zunächst mal fordert Gretl einen auf, das Modell zu spezifizieren? Welche Variable ist die abhängige Variable (hier: Reihe 2, denn sie wurde ja aus Reihe 1 errechnet) und welche ist / welches sind die unabhängigen denn (1) in dem spreadsheet können ja beliebig viele Reihen stehen, die gar nicht alle was mit dem Modell zu tun haben müssen. Und (2) bei einer multiplen Regression kann es ja mehr als eine unabhängige Variable geben. Mit den Pfeiltasten können Reihen der Variablenliste hinzugefügt oder von dort entfernt werden, wenn man es sich anders überlegt hat oder wenn man einen anderen Zusammenhang testen will. Ein Klick auf Ok, und es erscheint die Auswertungstabelle. in einem neuen Fenster, dem Modellfenster.

6 Kurzeinführung in Gretl S. 6 Hier kommt gleich automatisch ein ganzer Eimer voll von Statistiken, zu denen Adriane vielleicht etwas mehr sagen will. Ich halte erst mal fest: Das Programm schätzt den Zusammenhang auf: Reihe_2 = 0,51 + 0,24 Reihe_2 (+ Störterm) Die Güte der Regression ist nicht wirklich berühmt: R-Quadrat = 0,2 / korrigiertes R 2 0,16 Die Konstante wird nicht als signifikant ausgewiesen (T-Wert 0,8; P-Wert 0,43). β1 hingegen ist auf dem 5% Niveau signifikant (T-Wert 2,2; p-wert 0,04), sprich: Die Wahrscheinlichkeit, daß es Null ist, liegt unter 4%. Es wird mit 0,24 ausgewiesen, also kleiner als im wahren Modell. Damit liegen wir ziemlich neben dem Modell. wollen doch mal sehen, ob das vielleicht besser wird, wenn wir statt mit Reihe_1 mit dem Logarithmus von Reihe_1 rechnen. Dazu müssen wir Reihe_1 erstmal umrechnen. Das geht auch ohne Gretl zu

7 Kurzeinführung in Gretl S. 7 verlassen. Einfach aus dem Modellfenster zurück ins Hauptfenster wechseln und über (Hinzufügen Logs gewählter Variablen) eine neue Spalte log von Reihe 1 erzeugen. Die Prüfung, wieder über den Menuepunkt Modell, ergibt folgende Auswertung: Modell 2: KQ, benutze die Beobachtungen (T = 21) Abhängige Variable: Reihe_2 Koeffizient Std.-fehler t-quotient P-Wert const 0, , ,3306 0,7446 l_reihe_1 1, , ,524 0,0207 ** Mittel d. abh. Var. 1, Stdabw. d. abh. Var. 1, Summe d. quad. Res. 39,21499 Stdfehler d. Regress. 1, R-Quadrat 0, Korrigiertes R-Quadrat 0, F(1, 19) 6, P-Wert(F) 0, Log-Likelihood -36,35534 Akaike-Kriterium 76,71069 Schwarz-Kriterium 78,79973 Hannan-Quinn-Kriterium 77,16406 rho 0, Durbin-Watson-Stat 1, R-Quadrat ist ein wenig verbessert, die Schätzung für β1 ist ziemlich nahe am wahren Wert und auch wenn es nicht für eine höheres Signifikanzniveau gereicht hat, ist die Signifikanz doch nochmals verbessert mit einem p-wert von 0,02 (zuvor: 0,04) und einem T-wert von 2,5 (zuvor: 2,2). Wobei das schwache R 2 halt daran liegt, daß die Residuen nicht normalverteilt sind (weil der Störterm nicht normalverteilt ist). Ein Klick im Modellfenster auf Tests Normalverteilung der Residuen bestätigt den Verdacht: Die Nullhypothese für die Normalverteilung (also die Annahme, die Residuen seien nicht normalverteilt) kann nicht abgelehnt werden.

8 Kurzeinführung in Gretl S. 8 Multiple Regression Die Werte von Reihe_1 bis Reihe_4 seien Zufallszahlen aus unterschiedlichen Wertebereichen. Eine neue Reihe, Reihe_5 wird berechnet mit: Reihe_5 = Reihe_1 2 Wurzel (Reihe_2) + 3 (Reihe_3) + Störterm Wobei der Störterm aus dem Zufallsbereich (-5; + 5) stammt. Die ideale Ausgabe wäre also: β0 = 8; β 1 = 4; β 2 = -2; β 3 = 3; β 4 = 0 Bzw. die Regression sollte signifikanter werden, wenn Reihe 4 weggelassen wird. Zunächst regressiere ich mal über alle Variablen Modell 1: KQ, benutze die Beobachtungen 1-21 Abhängige Variable: Reihe_5 Koeffizient Std.-fehler t-quotient P-Wert const 11,4974 4, ,665 0,0169 ** Reihe_1 3, , ,78 4,25e-016 *** Reihe_2-0, , ,040 0,0078 *** Reihe_3 3, , ,79 1,84e-014 *** Reihe_4-0, , ,1056 0,9172 Mittel d. abh. Var. 78,89420 Stdabw. d. abh. Var. 37,15953 Summe d. quad. Res. 228,0097 Stdfehler d. Regress. 3, R-Quadrat 0, Korrigiertes R-Quadrat 0, F(4, 16) 480,4813 P-Wert(F) 1,93e-16 Log-Likelihood -54,83880 Akaike-Kriterium 119,6776 Schwarz-Kriterium 124,9002 Hannan-Quinn-Kriterium 120,8110 Abgesehen von Konstante war p-wert am höchsten für Variable 4 (Reihe_4) Das Modell wird als signifikant angesehen: R2 (korr.) = 0,99. Für signifikant gehalten werden die Konstante (95%-Niveau) sowie Reihe_1 bis Reihe_3 jeweils aus dem 99% Niveau. Der Koeffizient von Reihe 2 ist noch nicht in der Nähe von 2 kein Wunder, da steht ja auch Reihe_2 und nicht Wurzel_Reihe_2. Machen wir mal im nächsten Schritt folgendes: Erstens: Ich werfe die nicht signifikante Reihe_4 raus und nehme zweitens neben Reihe 2 noch deren Wurzel in die Variablenliste auf:

9 Kurzeinführung in Gretl S. 9 Modell 2: KQ, benutze die Beobachtungen 1-21 Abhängige Variable: Reihe_5 Koeffizient Std.-fehler t-quotient P-Wert const 18,3041 4, ,377 0,0005 *** Reihe_1 3, , ,50 2,22e-017 *** Reihe_2 0, , ,552 0,1403 Reihe_3 3, , ,82 1,88e-015 *** wurz_r_2-6, , ,571 0,0205 ** Mittel d. abh. Var. 78,89420 Stdabw. d. abh. Var. 37,15953 Summe d. quad. Res. 161,4519 Stdfehler d. Regress. 3, R-Quadrat 0, Korrigiertes R-Quadrat 0, F(4, 16) 680,2065 P-Wert(F) 1,22e-17 Log-Likelihood -51,21440 Akaike-Kriterium 112,4288 Schwarz-Kriterium 117,6514 Hannan-Quinn-Kriterium 113,5622 Abgesehen von Konstante war p-wert am höchsten für Variable 2 (Reihe_2) Jetzt verschwindet die Signifikanz für Reihe_2. Nur die Wurzel von Reihe 2 ist noch (auf dem 95%- Niveau) signifikant. Machen wir also mal das naheliegende und lassen Reihe 2 weg: Modell 3: KQ, benutze die Beobachtungen 1-21 Abhängige Variable: Reihe_5 Koeffizient Std.-fehler t-quotient P-Wert const 14,8864 3, ,024 0,0009 *** Reihe_1 3, , ,18 6,41e-018 *** Reihe_3 3, , ,48 4,89e-016 *** wurz_r_2-2, , ,085 0,0008 *** Mittel d. abh. Var. 78,89420 Stdabw. d. abh. Var. 37,15953 Summe d. quad. Res. 185,7482 Stdfehler d. Regress. 3, R-Quadrat 0, Korrigiertes R-Quadrat 0, F(3, 17) 836,8400 P-Wert(F) 1,18e-18 Log-Likelihood -52,68634 Akaike-Kriterium 113,3727 Schwarz-Kriterium 117,5508 Hannan-Quinn-Kriterium 114,2794

10 Kurzeinführung in Gretl S. 10 Das Ergebnis ist erfreulich: Das R 2 des Modells war schon von vornherein gut, da konnte sich nicht mehr viel tun. Aber außerdem sind jetzt alle Variablen signifikant (auf dem 99%-Niveau) und die Parameter liegen auch nicht mehr weit neben den ursprünglichen Werten: Koeffizient Variable tatsächlich geschätzt Konstante 8 14,9 Reihe_1 4 3,8 Wurzel_R_2-2 -2,8 Reihe_3 3 3,1 Eine Schwierigkeit hatte das Programm natürlich wieder: Der Störterm ist nicht normal verteilt und deswegen sind es die Residuen auch nicht:

11 Kurzeinführung in Gretl S. 11 Zur Interpretation der Zahlenfriedhöfe Die kleine Tabelle innerhalb der Tabelle ist wahrscheinlich auf den ersten Blick am interessantesten: Hier werden die Parameterschätzungen zusammen mit deren Signifikanzniveau angegeben: Zweite Spalte: Auf welche Werte werden die Koeffizienten geschätzt und Letzte Spalte: Die Sternchen = Das Signifikanzniveau. Hier bedeutet * - Signifikant auf dem 10% Niveau ** - " " " 5% Niveau *** - " " " 1% Niveau wobei das eigentlich nur eine Kurzfassung der Spalten 4 und 5 ist: Spalte 4: T-Wert und Spalte 5: p-wert = Wahrscheinlichkeit, daß der geschätze Parameter ebensogut Null sein könnte. Am Beispiel: Die Konstante (const) wird auf 0,51 geschätzt. Der geschätze Standardfehler ist 0,63. Der Wert Null befindet sich innerhalb einer Standardabweichung vom geschätzten Wert es ist also gut denkbar daß const in Wahrheit den Wert Null haben könnte. Die Nullhypothese könnte nur mit 43% Wahrscheinlichkeit abgelehnt werden (p-wert). Die nächsten beiden Zeilen sind summarische Statistiken für die abnhängie Variable und

12 Kurzeinführung in Gretl S. 12 die Schätzung. R-Quadrat Interessanter dürfte die Zeile mit den Werten für R-Quadrat sein, die die Stärke des Zusammenhangs mißt. Zentral ist der Wert von adjusted R-Quadrate, weil dieser um die Freiheitsgrade der Regression korrigiert ist (je mehr unabhängige Variablen, desto besser kann ja R-Quadrat werden.) 3 R-Quadrat ist der quadrierte Korrelationskoeffizient. Es kann also, qua Quadrat, zwischen 0 (kein Zusammenhang) und 1 (perfekter Zusammenhang) schwanken. F-Statistik...r 2 mißt den Prozentsatz der Veränderungen in der abhängigen Variablen, der durch das Regressionsmodell erklärt wird. (Gujarati, p. 84, meine Übertragung - K.B.) Anm: Hier ist das korrigierte R-Quadrat 0,16. Der (Betrag des) Korrelationskoeffizient(en) lag also bei 0,4 eigentlich nicht wirklich hoch, wenn man bedenkt daß der Schätzansatz ja alle Einflüsse enthielt (die in die Konstruktion der Werte eingingen). Und das wurde auch nicht wirklich besser, als statt Reihe_1 der Log von Reihe 1 genommen wurde. (0,21 statt 0,16) Die erste Spalte gibt den F-Wert für eine unabhängige Variable bei 19 Freiheitsgraden (Freiheitsgrade = Zahl der Beobachtungen Zahl der erklärenden Variablen: Hier: Konstante und Reihe_1) Die F-Statistik fragt, ob die Regressionsgleichung überhaupt einen Sinn macht kann es sein, daß alle erklärenden Variablen in Wahrheit keinen Einfluß haben, ihr wahrer Koeffizient also Null ist? F-Wert: Wert der F-Statistik könnte in einer Tabelle nachgeschlagen werden. p-wert, der in der Tabelle zu finden wäre: 0,03 nur mit 3%iger Wahrscheinlichkeit würde man erwarten, daß die Werte in Reihe_1 keinen Einfluß auf das Ergebnis haben. Die letzte Zeile wird nur ausgegeben, wenn es sich wie beim ersten Versuchslauf dem Programm mitgeteilt wurde um eine Zeitreihe handelt. Die Durbin-Watson-Statistik fragt nach einer Autokorrelation der Residuen. Ist diese vorhanden, könnte eine Autokorrelation in einer oder mehreren der unabhängigen bzw. der unabhängigen Variablen vorliegen und das Modell wäre falsch spezifiziert. Die Hypothese einer Autokorrelation in den Residuen wird abgelehnt, wenn der DW-Wert nahe bei 2,0 liegt. rho (ρ): (Koeffizient der Autokovarianz) Die Autokorrelation wird geschätzt: als Abweichung heute = ρ Abweichung gestern + Störterm (Gujarati p. 450) 3 Nehmen Sie an, Sie haben nur eine einzige Beobachtung: Dann können die geschätzten Werte gar nicht von der Beobachtung abweichen: Die Konstante ist gleich der Beobachtung. Nehmen Sie an, Sie haben zwei Beobachtungen und eine erklärende Variable. Dann setzen Sie einfach die Konstante gleich der ersten Variablen und wählen die zweite so, daß die Regressionsgerade durch die zweite Beobachtung verläuft. Diese Anpassung geht auch bei mehr Variablen und mehr Beobachtungen im Prinzip nach dem gleichen Muster, nur dürfte die Schätzgleichung dann nicht mehr linear sein. Abweichungen zwischen Schätzung (durch die Regression) und Beobachtungen können also überhaupt erst entstehen, wenn mehr Beobachtungen als erklärende Variable vorliegen. Deswegen ist es wichtig, die Zahl der Freiheitsgrade (also: Beobachtungen minus erklärende Variablen inkl. Konstante) zu beachten, wenn man die Güte einer Regression abschätzt: Die Zahl der Freiheitsgrade hat einen Einfluß darauf, wie weit man mit der Schätzung überhaupt daneben liegen kann.