5.4 Prognosen & Prognoseintervalle

Transkript

1 Empirische Wirtschaftsforschung Prognosen & Prognoseintervalle Prediction is very difficult, especially about the future. (Niels Bohr) Bisher haben wir uns ausschließlich auf die geschätzten Koeffizienten β 1 und β 2 sowie auf deren Standardfehler (bzw. Konfidenzintervalle) konzentriert. Nun wollen wir einen Schritt weitergehen und sehen, wie wir diese Schätzer für die Erstellung von Prognosen nützen können. Nehmen wir wieder an, der wahre Zusammenhang in der Grundgesamtheit könne durch y i = β 1 +β 2 x i +ε i beschrieben werden, und wir schätzen aus der Stichprobe eine SRFy i = β 1 + β 2 x i +ˆε i. Wiewir gleich sehen werden, können wir diesrffürdie Erstellung von Prognosen nützen. Wir werden uns in den folgenden Ausführungen auf das bivariate Regressionsmodell beschränken, die Erweiterung für das multiple Regressionsmodell ist einfach und folgt den gleichen Überlegungen. Bei einer Prognose geht es darum, die Ausprägung einer Zufallsvariablen vorherzusagen, die nicht beobachtet wurde (z.b. der Wert der abhängigen Variablen y in der nächsten Periode, oder der Konsum einer Person, die nicht befragt wurde). Gebräuchlichen Konventionen folgend bezeichnen wir den zu prognostizierenden Wert der abhängigen Variablen mit y 0. Den entsprechenden Wert der erklärenden Variable bezeichnen wir mit x 0. Da Prognosen hauptsächlich für Zeitreihen relevant sind verwenden wir t als Index über die Beobachtungen, und bezeichnen die Größe der Stichprobe mit T (d.h. t = 1,2,...,T). Offensichtlich können Prognosen mit Hilfe einer Regression sehr einfach durchgeführt werden, esgenügtdenwertvonx 0 indiesrfeinzusetzen. Wennz.B.eineGleichung ŷ t = x t geschätzt wurde, kann für ein x 0 = 4 sofort der Wert y 0 = 25 prognostiziert werden. In diesem Abschnitt werden wir nicht nur einfache Prognosen diskutieren, sondern auch Konfidenzintervalle für die prognostizierten Werte ermitteln. Bedingte und unbedingte Prognosen Prinzipiell unterscheidet man zwischen bedingten und unbedingten Prognosen. Bei einer bedingten Prognose wird von einem a priori bekannten Wert der erklärenden Variable x 0 im Prognosezeitraum ausgegangen. Eine bedingte Prognose macht also Aussagen über eine interessierende Variable y, bedingt auf die Annahme, dass die x Variable den Wert x 0 annimmt. Berechnet wird sie einfach, indem man x 0 in die geschätzte Regressionsgleichung einsetzt. Manchmal möchte man aber einfach eine bestmögliche Prognose für y, ohne den Wert von x 0 a priori zu kennen oder spezifische Annahmen über die x treffen zu müssen. Eine solche Prognose nennt man eine unbedingte Prognose. Um eine solche unbedingte Prognose machen zu können müssen meist in einem ersten Schritt Prognosen für die x Variable(n) erstellt werden. Da die ökonomische Theorie für die Prognose der erklärenden Variable(n) oft wenig hilfreich ist, werden für die Prognose der x Variable(n) häufig Zeitreihenmethoden eingesetzt.

2 Empirische Wirtschaftsforschung 48 Mit Hilfe dieser Prognosen für die erklärenden Variable(n) wird dann in einem zweiten Schritt der Wert der abhängigen Variablen y 0 prognostiziert. Wir beschäftigen uns im folgenden ausschließlich mit bedingten Prognosen, einige Hinweise zu unbedingten Prognosen finden sich z.b. bei Pindyck and Rubinfeld (1997, 221f). Wenn das Regressionsmodell zeitverzögerte abhängige Variablen enthält, z.b. y t = β 1 + β 2 y t 1 + ˆε i unterscheidet man außerdem zwischen statischen und dynamischen Prognosen. Bei einer statischen Prognose werden jeweils die realisierten verzögerten Werte y t 1 für die Prognose herangezogen, für eine dynamische Prognose werden jeweils die prognostizierten Werte der verzögerten Variable ŷ t 1 eingesetzt. Dynamische Prognosen sind v.a. in der Zeitreihenökonometrie von Bedeutung. Ähnlich wie bei Parameterschätzungen unterscheidet man auch bei Prognosen zwischen Punkt- und Intervallprognosen Punktprognose Wir wollen im Folgenden annehmen, dass alle Gauss-Markov Annahmen erfüllt seien und dass x 0 deterministisch sei. Die PRF sei y 0 = β 1 +β 2 x 0 +ε 0 mit ε 0 N(0,σ 2 ) bzw. y 0 N(β 1 +β 2 x 0,σ 2 ). Durch Einsetzen von x 0 in die Stichprobenregressionsfunktion erhalten wir ŷ 0 = β 1 + β 2 x 0 Wenn das geschätzte Modell z.b. ŷ t = x t wäre, würden wir für x 0 = 5 den Prognosewert ŷ 0 = 10 erhalten. Manbeachte, dasssowohl ŷ 0 = β 1 + β 2 x 0 alsauch y 0 = β 1 +β 2 x 0 +ε 0 Zufallsvariablen sind, da β 1, β 2 und ε 0 Zufallsvariablen sind. Erwartungstreue Falls die Gauss-Markov Annahmen erfüllt sind kann man einfach erkennen, dass ŷ 0 ein erwartungstreuer und effizienter Schätzer ist E(ŷ 0 ) = E( β 1 + β 2 x 0 + ˆε 0 ) = β 1 +β 2 x 0 = E(y 0 ) Ein seriöser Wahrsager würde ŷ 0 als wahrscheinlichsten Wert für ein gegebenes x 0 vorhersagen Intervallschätzer Um etwas über die Genauigkeit dieser Vorhersage aussagen zu können ist es zweckmäßig einen Intervallschätzer zu berechnen. Im Unterschied zu den Konfidenzintervallen für die einzelnen Koeffizienten β 1 und β 2 müssen wir hier etwas genauer überlegen, denn es können uns zwei verschiedene Dinge interessieren, nämlich

3 Empirische Wirtschaftsforschung 49 y...schätzungen ŷ 0 unterschiedl. SRFs PRF y 0 x x 0 x Abbildung 5.14: ŷ 0 ist ein unverzerrtrer Schätzer für y 0, d.h. E(ŷ 0 ) = y 0 1. für das Konfidenzintervall für ŷ 0 = β 1 + β 2 x 0, oder 2. für das Prognoseintervall für y 0 = β 1 +β 2 x 0 +ε 0 Im ersten Fall interessieren wir uns für die Streuung der mittleren y 0, denn wir können ŷ 0 Erwartungswert einer Stichprobenkennwertverteilung auffassen. Im zweiten häufig interessanteren Fall interessieren wir uns für die Streuung eines einzelnen, konkreten y 0. In diesem zweiten Fall müssen wir zusätzlich die individuelle Unsicherheit in Form von ε 0 berücksichtigen. Man beachte, dass wir die wahren β 1 und β 2 nicht kennen, sondern dass diese selbst erst geschätzt werden müssen. Wir beginnen mit dem wichtigeren zweiten Fall, dem Prognoseintervall für y 0. Zur Berechnung dieses Prognoseintervalls ist es zweckmäßig mit dem Prognosefehler zu beginnen. Erwartungswert und Varianz des Prognosefehlers Der Prognosefehler ist definiert als die Abweichung des tatsächlichen Werts y 0 vom prognostizierten Wert ŷ 0, d.h. Prognosefehler = ŷ 0 y 0 = ( β 1 β 1 )+( β 2 β 2 )x 0 ε 0 wobei β1, β2 und ε 0 Zufallsvariablen sind, und β 1, β 2 sowie x 0 deterministische Größen sind. Nebenbei bemerkt kann man einfach zeigen, dass die Varianz des Prognosefehlers gleich der Varianz von ỹ 0 = β 1 + β 2 x 0 +ε 0 ist, weil var(ŷ 0 y 0 ) = var ( β 1 + β ] 2 x 0 ) (β 1 +β 2 x 0 +ε 0 ) = var β 1 + β 2 x 0 +ε 0 ] = var(ỹ 0 )

4 Empirische Wirtschaftsforschung 50 und weil β 1, β 2 und x 0 deterministische Größen sind. Der Erwartungswert des Prognosefehlers (ŷ 0 y 0 ) ist Null, wenn die Schätzer β 1 und β 2 unverzerrt sind und E(ε 0 ) = 0, da Eŷ 0 y 0 ] = E( β 1 β 1 )+( β 2 β 2 )x 0 ε 0 ] = E( β 1 β 1 )]+E( β 2 β 2 )x 0 ] Eε 0 ] = = 0 wenn die OLS Schätzer β 1 und β 2 erwartungstreu sind. Die Varianz des Prognosefehlers kann einfach berechnet werden als ] var(ŷ 0 y 0 ) = σ T + (x 0 x) 2 T t=1 (x t x) 2 Beweis: varŷ 0 y 0 ] = Eŷ 0 y 0 ] 2 = E( β 1 β 1 )+( β 2 β 2 )x 0 ε 0 ] 2 = var( β 1 )+x 2 0var( β 2 )+σ 2 +2x 0 cov( β 1, β 2 ) weil ε 0 im Erwartungswert mit β 1 und β 2 unkorreliert ist, da die zu prognostizierenden Werte y 0 und die x 0 nicht in die Berechnung der Koeffizienten β 1 und β 2 eingegangen sind. Wir erinnern uns, dass var( β 1 ) = var( β 2 ) = cov( β 1, β 2 ) = σ 2 x 2 t T (x t x) 2 σ (xt x) 2 xσ 2 (xt x) 2 wobei t der Laufindex von 1...T und x der Stichprobenmittelwert der ersten T Beobachtungen ist. Aus (x t x) 2 = (x 2 t) T x 2 folgt (x 2 t) = (x t x) 2 +T x 2. Deshalb ist σ 2 ] x 2 t var( β 1 ) = T (x t x) = (xt x) 2 +T x σ2 T = σ 2 (x t x) 2 T + x (xt x) 2 Wir setzen nun die Varianzen der Schätzer β 1 und β 2 in die Varianz des Prognosefehlers ein varŷ 0 y 0 ] = var( β 1 )+x 2 0var( β 2 )+σ 2 +2x 0 cov( β 1, β 2 ) 1 = σ 2 T + x (xt x) + x 2 0 (xt x) +1+ 2x ] 0 x 2 (xt x) 2 = σ T + x2 0 2x ] 0 x+ x (xt x) 2 = σ T + (x ] 0 x) (xt x) 2

5 Empirische Wirtschaftsforschung 51 Diese Varianz kann noch nicht geschätzt werden, da sie die unbekannte Varianz der Störterme σ 2 enthält. Wie üblich können wir die Varianz des Prognosefehlers aber schätzen, indem wir die unbekannte Fehlervarianz σ 2 durch den unverzerrten Schätzer für die Fehlervarianz ˆσ 2 ersetzen, also ] var(ŷ 0 y 0 ) = ˆσ T + (x 0 x) 2 T t=1 (x t x) 2 wobei ˆσ 2 = ˆε i 2 /(T 2) das Quadrat des Standardfehlers der Regression (standard error of the regression) und T die Stichprobengröße ist. Man kann einfach erkennen, dass 1. dievarianzdes Prognosefehlers umso größer ist, jeweiter x 0 vomstichproben- Mittelwert x entfernt liegt. Eine Prognose für einen weit entfernt liegenden x 0 -Wert ist deshalb ungenauer; 2. die Varianz des Prognosefehlers ist umso kleiner, je größer die Streuung der x ist (d.h. je größer (x t x) 2 ); 3. die Varianz des Prognosefehlers ist umso kleiner, je größer die Anzahl der Beobachtungen T ist; und 4. die Varianz des Prognosefehlers umso größer, je größer der Standardfehler der Regression ˆσ ist Man kann außerdem zeigen, dass ŷ 0 = β 1 + β 2 x 0 der beste lineare unverzerrte Prognosewert ist, d.h. ŷ 0 ist ein effizienter Schätzer für y 0! Beispiel: Gegeben seien die folgenden 5 Beobachtungen für x und y: y: x: Eine Regression von x auf y gibt die folgende Regressionsgleichung Dependent Variable: Y Included observations: 5 Variable Coefficient Std. Error t-stat. Prob. C x R-squared SE of regression

6 Empirische Wirtschaftsforschung 52 Tabelle 5.4: Beispiel: Prognosen, Varianzen des Prognosefehlers und Konfidenzintervalle für ganzzahlige x t. x 0 ŷ 0 var(ŷ 0 y 0 ) ŷ 0 t crit var(ŷ 0 y 0 ) Daraus kann man nun die Varianz des Prognosefehlers berechnen var(ŷ 0 y 0 ) = ˆσ T + (x ] 0 x) (xt x) 2 da x = 4.34 und (x t x) 2 = = ( ) (x ] ) In Tabelle 5.4 wurden die Varianzen des Prognosefehlers für ganzzahlige x t berechnet. Zum Beispiel erhalten wir für x 0 = 7 ein ŷ 0 = = und eine Varianz des Prognosefehlers von var(ŷ 0 y 0 ) = ( ) ] 5 + (7 4.34)2 = Prognoseintervall für y 0 Mit Hilfe der Varianz des Prognosefehlers können wir nun ein Prognoseintervall für y 0 berechnen. DazumüssenwirwiederwieüblicheineStandardisierungdurchführen. Da annahmegemäß (ŷ 0 y 0 ) N(0,var(ŷ 0 y 0 )) folgt ŷ 0 y 0 var(ŷ0 y 0 ) N(0,1) Da σ 2 unbekannt ist müssen wir wieder var(ŷ 0 y 0 ) durch den Schätzer var(ŷ 0 y 0 ) ersetzen und erhalten eine t-verteilte Zufallsvariable t = ŷ 0 y 0 var(ŷ0 y 0 ) t T 2 Wenn wir uns für das 95% Prognoseintervall interessieren benötigen wir den kritischen t-wert t crit, für den Prt (T 2) > t crit ] = Für T = 5 mit T 2 = 3 Freiheitsgraden ist t crit =

7 Empirische Wirtschaftsforschung 53 Damit können wir das Prognoseintervall für y 0 bestimmen: Pr t crit t T 2 t crit] = 0.95 ] Pr t crit ŷ 0 y 0 var(ŷ0 y 0 ) tcrit = 0.95 Pr ŷ 0 t crit var(ŷ 0 y 0 ) y 0 ŷ 0 +t crit var(ŷ ] 0 y 0 ) Das Prognoseintervall für y 0 ist also ŷ 0 ±t crit var(ŷ 0 y 0 ) = 0.95 Die Interpretation ist wie üblich, wenn wir sehr viele Stichproben ziehen würden und für jede Stichprobe ein Prognoseintervall berechnen würden, so könnten wir damit rechnen, dass (1 α)100 Prozent dieser Prognoseintervalle den wahren Wert y 0 enthalten würden. Die letzten beiden Spalten von Tabelle 5.4 zeigen die entsprechenden Prognoseintervalle. Das Konfidenzintervall für y 0 = (x 0 = 7) erhält man z.b. ŷ 0 ±t crit var(ŷ 0 y 0 ) = 4.275± bzw. (0.333 y 0 (x0 =7) 8.218) Abbildung 5.15 zeigt die Beobachtungspunkte (schwarz), die Schätzgerade (Prognose) und das Prognoseintervall (blau strichliert). Da wir nur fünf Beobachtungspunkte haben ist das Prognoseintervall natürlich entsprechend breit. Konfidenzintervall für ŷ 0 Manchmal sind wir nicht an der Vorhersage eines konkreten y 0 interessiert, sondern wir an der Genauigkeit der Prognose eines mittleren y 0, d.h. an einem Konfidenzintervall für ŷ 0 = β 1 + β 2 x 0. Die Berechnung der Varianz von ŷ 0 erfolgt völlig analog wie im vorhergehenden Fall. var(ŷ 0 ) = var( β 1 + β 2 x 0 ) = var( β 1 )+x 2 0 var( β 2 )+2cov( β 1, β 2 ) 1 = σ 2 T + (x ] 0 x) (xt x) 2 Wenn wir σ 2 wieder durch den Schätzer ˆσ 2 ersetzen und die Wurzel davon nehmen erhalten wir den Standardfehler von ŷ 0 (d.h. ˆσŷ0 ). Mit dem kritischen Wert t crit können wir schließlich das Konfidenzintervall ŷ 0 ±t critˆσŷ0 berechnen. Dieses Konfidenzintervall für ŷ 0 ist natürlich schmäler als das Prognoseintervall für y 0.

8 Empirische Wirtschaftsforschung 54 y t c var(ŷ 0 y 0 ) 5 4 ŷ i = x 3 2 t c var(ŷ 0 y 0 ) x 3 Abbildung 5.15: Prognose und deren Konfidenzintervalle

9 Empirische Wirtschaftsforschung Beurteilung der Prognosequalität Meist wird die Qualität einer Regression anhand von statistischen Kenngrößen wie z.b. dem Bestimmtheitsmaß R 2, den Standardfehlern der Koeffizienten (bzw. den t- oder p-werten) oder verschiedenen Spezifikationstests (die in einem späteren Kapitel diskutiert werden) beurteilt. Die Prognosequalität einer Regressionsgleichung erlaubt eine davon verschiedene Einschätzung. Vor allem wenn bei der Spezifikation entsprechendes Data Mining betrieben wurde ist es nicht ungewöhnlich, dass eine geschätzte Gleichung eine sehr gute Anpassung in der Stichprobe hat, aber eine lausige Prognosequalität aufweist. Um die Prognosequalität beurteilen zu können kann man ex-post Prognosen durchführen, d.h. den Schätzzeitraum einschränken und sich bei der Spezifikationssuche nur auf einen Teil der Stichprobe beschränken. In der folgenden Grafik beruht die Schätzung auf der Stichprobe T 1 bis T 2. Für die Periode T 2 bis T 3, für die die exogenen Variablen x und die tatsächlich beobachteten y t bekannt sind, kann dann eine ex-post Prognose durchgeführt werden. Anhand des Fits dieser ex-post Prognose kann anschließend die Qualität der Regression beurteilt werden. Ist diese zufriedenstellend kann man sich an die eigentliche ex-ante Prognose wagen, d.h. an die Prognose der unbeobachteten Werte ŷ 0 in der Zukunft. Diese beruht natürlich auf der gesamten Stichprobe T 1 bis T 3. T 1 T 2 Gegenwart T 3 Zeit t Schätzperiode ex-post Prognose ex-ante Prognose Wenn die Gleichung eine verzögerte abhängige Variable enthält (z.b. y t = β 1 + β 2 y t 1 + ˆε t ) kann man anstelle der tatsächlichen Beobachtungen y t 1 die prognostizierten Werte ŷ t 1 einsetzen, also eine dynamische Prognose durchführen. Häufig wird auch eine Prognose über die gesamte Stichprobe durchgeführt und die prognostizierten (oder gefitteten ) Werte y f t mit den tatsächlich beobachteten Werten y t verglichen. Für den Vergleich zwischen tatsächlichen und prognostizierten Werten haben sich einige Kennzahlen eingebürgert, die im folgenden kurz vorgestellt werden Root Mean Square Forecast Error (RMS-Fehler) Der Root Mean Square Error (RMS-Fehler) ist die Wurzel aus dem mittleren quadratischen Prognosefehler und ist eine gebräuchliche Kennzahl um die Abweichung der prognostizierten Werte von den tatsächlich beobachteten Werten anzugeben. RMS-Fehler = 1 T T (y f t y t ) 2 t=1

10 Empirische Wirtschaftsforschung 56 mit: y f t = prognostizierter Wert von y t y t = tatsächlich realisierter Wert von y t T = Anzahl der Beobachtungen im Prognoseintervall Mean Absolute Forecast Error (MAE) Der mittlere absolute Prognosefehler (Mean Absolute Error) ist ein alternatives Maß mit einer anderen Gewichtung zur Beurteilung der Prognosequalität. MAE = 1 T T y f t y t t=1 Sowohl der Root Mean Square Error als auch der Mean Absolute Error sind abhängig von der Dimension der abhängigen Variablen y t, eignen sich also nur für einen Vergleich verschiedener Modelle zur Prognose der gleichen Datenreihe. Je kleiner der entsprechende Wert ist, umso besser ist die Prognosequalität. Im Gegensatz dazu sind die beiden folgenden Kennzahlen unabhängig von der Dimension der prognostizierten Datenreihe und können deshalb für einen Vergleich von Prognoseverfahren herangezogen werden Mean Absolute Percentage Error (MAPE) Der mittlere absolute prozentuelle Prognosefehler (MAPE) ist definiert als MAPE = 1 T y f t y t T y t Theil s Inequality Coefficient (TIC) t=1 Im Zähler von Theil s Inequality Coefficient (TIC) steht der Root Mean Square Error, der aber entsprechend gewichtet wird, sodass Theil s Inequality Coefficient immer zwischen Null und Eins liegt. TIC = 1 T T t=1 (yf t y t ) 2 1 T T t=1 (yf t) T T t=1 (y t) 2 Umso näher Theil s Inequality Coefficient bei Null liegt, umso besser ist die Prognosequalität. Bei einem perfekten Fit ist Theil s Inequality Coefficient gleich Null, während TIC= 1 das schlechtest mögliche Ergebnis ist. Mit ein bißchen Algebra kann zeigen, dass T t=1 (yf t y t ) 2 folgendermaßen zerlegt werden kann T (y f t y t ) 2 = (ȳ f ȳ) 2 +(ˆσ y f ˆσ y ) 2 +2(1 ρ)ˆσ y fˆσ y t=1

11 Empirische Wirtschaftsforschung 57 wobei ȳ f und ȳ die Mittelwerte und ˆσ y f und ˆσ y die Standardabweichungen der Datenreihen y f t und y t sind; und ρ = T t=1 (yf t ȳ f )(y t ȳ) Tˆσ y fˆσ y ist der übliche Korrelationskoeffizient zwischen y f t und y t. Mit Hilfe dieser Zerlegung kann man folgende Anteile berechnen: (ȳ f ȳ) 2 (ˆσ y f ˆσ y ) 2 1 = 1 T + T t=1 (yf t y t ) 2 1 T + 2(1 ρ)ˆσ y fˆσ y T t=1 }{{} t y t ) 2 1 T T t=1 }{{} t y t ) 2 }{{} Bias- Anteil Varianz- Anteil Kovarianz- Anteil Der Bias Anteil zeigt, wie stark sich der Mittelwert der prognostizierten Reihe vom Mittelwert der tatsächlichen Beobachtungen unterscheidet. Ein hoher Bias Anteil zeigt also, dass sich die prognostizierte Datenreihe stark von den tatsächlichen Daten unterscheidet. Der Varianz Anteil zeigt, wie stark sich die Streuung der prognostizierten Reihe der Streuung der tatsächlichen Beobachtungen unterscheidet. Wenn der Varianz-Anteil groß ist bedeutet dies, dass die tatsächlichen Beobachtungen stark schwanken, während die prognostizierten Werte kaum schwanken, bzw. umgekehrt. Der Kovarianz Anteil ist schließlich ein Maß für den unsystematischen Prognosefehler. Bei einer guten Prognose sollte der Bias- und der Varianz-Anteil möglichst klein sein. Da sich die Anteile natürlich auf 1 ergänzen, sollte der unsystematische Kovarianzanteil möglichst nahe bei Eins liegen. Literaturverzeichnis Edgeworth, F. (1885), Observations and Statistics: an Essay on the Theory of Errors of Observation and the First Principles of Statistics, Transactions of the Cambridge Philosophical Society. URL: Fisher, R. (1925), Statistical Methods For Research Workers, Cosmo study guides, Cosmo Publications. URL: Fisher, R. (1955), Statistical methods and scientific induction, Journal of the Royal Statistical Society. Series B (Methodological) 17(1), pp Gigerenzer, G., Swijtink, Z., Porter, T., Daston, L., Beatty, J. and Kruger, L.(1990), The Empire of Chance: How Probability Changed Science and Everyday Life (Ideas in Context), reprint edn, Cambridge University Press.

12 Empirische Wirtschaftsforschung 58 Gosset, W. S. (1908), The probable error of a mean, Biometrika 6(1), Originally published under the pseudonym Student. URL: Greene, W. H. (2007), Econometric Analysis, 6th edn, Prentice Hall. Lehmann, E. L. (1993), The fisher, neyman-pearson theories of testing hypotheses: One theory or two?, Journal of the American Statistical Association 88(424), pp Neyman, J. and Pearson, E. S.(1928a), On the use and interpretation of certain test criteria for purposes of statistical inference: Part i, Biometrika 20A(1/2), URL: Neyman, J. and Pearson, E. S. (1928b), On the use and interpretation of certain test criteria for purposes of statistical inference: Part ii, Biometrika 20A(3/4), URL: Pearson, K. (1900), On a criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can reasonably be supposed to have arisen from random sampling., Philosophical Magazine 50, Pindyck, R. S. and Rubinfeld, D. L. (1997), Econometric Models and Economic Forecasts, 4 edn, McGraw-Hill/Irwin. Spanos, A. (1999), Probability Theory and Statistical Inference: Econometric Modeling with Observational Data, Cambridge University Press. Ziliak, S. T. (2008), Retrospectives: Guinnessometrics: The Economic Foundation of Student s t, Journal of Economic Perspectives 28, URL: