Lineare Regressionsanalyse mit SPSS

Transkript

1 Unverstät Trer Zentrum für Informatons-, Medenund Kommunkatonstechnologe (ZIMK) Bernhard Baltes-Götz Lneare Regressonsanalyse mt SPSS Y X 0 0 X (Rev )

2 Herausgeber: Zentrum für Informatons-, Meden- und Kommunkatonstechnologe (ZIMK) an der Unverstät Trer Unverstätsrng 5 D-5486 Trer WWW: zmk.un-trer.de E-Mal: zmk@un-trer.de Tel.: (065) 0-347, Fax.: (065) 39 Copyrght: ZIMK 04 Autor: Bernhard Baltes-Götz (E-Mal : baltes@un-trer.de)

3 Vorwort In desem Kurs werden elementare Begrffe und Verfahren der lnearen Regressonsanalyse n Theore und Praxs behandelt, wobe den Methoden zur Modelldagnose besondere Aufmerksamket zukommt. Auf der Bass ener statstschen Grundausbldung (zu Begrffen wr Parameter, Statstk, Sgnfkanztest, etc.) und ener gewssen Erfahrung mt der Regressonsanalyse sollten de Erläuterungen zur Begründung von Analyseschrtten und zur Interpretaton der Ergebnsse nachvollzehbar sen. Als Software kommt de Verson von IBM SPSS Statstcs für Wndows (m Manuskrpt mest kurz als SPSS bezechnet) zum Ensatz, jedoch können praktsch alle vorgestellten Verfahren auch mt anderen SPSS-Versonen ab 6 unter Wndows, MacOS oder Lnux realsert werden. De aktuelle Verson des Manuskrpts st als PDF-Dokument zusammen mt allen m Kurs benutzen Daten- und Syntaxdateen auf dem Webserver der Unverstät Trer von der Startsete ( ausgehend folgendermaßen zu fnden: IT-Servces (ZIMK) > Downloads & Broschüren > Statstk > Lneare Regressonsanalyse mt SPSS Krtk und Verbesserungsvorschläge zum Manuskrpt werden dankbar entgegen genommen (z.b. unter der Mal-Adresse baltes@un-trer.de). Trer, m Jul 04 Bernhard Baltes-Götz 3

4 Inhaltsüberscht VORWORT 3 BIVARIATE REGRESSIO 7. Bespel: Regresson von Gewcht auf Größe 7. Modell 8.. Fxerter Regressor 8.. Voraussetzungen m klassschen lnearen Modell 0... Lneartät 0... ormaltät der Resduen...3 Varanzhomogentät der Resduen...4 Häufge Mssverständnsse...5 Skalenqualtät...6 Unkorrelerthet der Resduen...7 Technsche Voraussetzungen..3 Stochastsche Regressoren 3..4 Mathematsche Modelle und Realtät 3.3 Schätzung der Modellparameter 4.4 Sgnfkanztests und Konfdenzntervalle zu den Regressonskoeffzenten 7.4. Inferenzstatstsche Beurtelung von b Quadratsummenzerlegung und F-Test Zwe- und ensetger t-test Standardfehler Konfdenzntervalle 9.4. Inferenzstatstsche Beurtelung von b Determnatonskoeffzenten 0.6 Besonderheten be der homogenen Regresson.7 Modelldagnose und -modfkaton 3.7. Lneartät Dagnose Resduen-Plots Lneartätstest Lneartätsdefekte beheben 8.7. Auswahl der zu prüfenden Resduen Zentrerte Hebelwerte Studentserte Resduen Ausgelassen-studentserte Resduen Standardserte Resduen Varanzhomogentät der Resduen Konsequenzen be verletzter Varanzhomogentät Dagnosemethoden Resduen-Plots Spread & Level - Plot Maxmalquotentenkrterum Score-Test von Breusch und Pagan Glejser-Test Transformaton des Krterums zur Homogenserung der Fehlervaranzen Robuste Inferenzstatstk trotz Heteroskedastztät Heteroskedastztäts-robuste Standardfehler Bootstrappng WLS-Regresson 54 4

5 .7.4 ormalvertelung der Resduen Auswahl der zu prüfenden Resduen Graphsche Dagnosemethoden Inferenzstatstsche Dagnosemethoden Box-Cox - Transformaton zur ormalserung der Resdualvertelung 65.8 Stchprobenumfangsplanung Modell mt enem fxerten Regressor Modell mt enem stochastschen Regressor 68 MULTIPLE LIEARE REGRESSIO 70. Bespel und Anforderung ener multplen lnearen Regresson n SPSS 70.. Enflussfaktoren für de Mortaltät n amerkanschen Städten 70.. Anforderung ener multplen lnearen Regresson 7. Modell und Annahmen 73.. Lneartät 74.. ormalvertelung und Varanzhomogentät der Resduen Unkorrelerthet der Resduen Technsche Voraussetzungen 75.3 Parameterschätzung 75.4 Standardserte Regressonskoeffzenten 76.5 Sgnfkanztests und Konfdenzntervalle Quadratsummenzerlegung und globaler F-Test Sgnfkanztests zu den enzelnen Regressonskoeffzenten Konfdenzntervalle zu den Regressonskoeffzenten Multples Testen Schenbar geschützte t-tests zu den Regressonskoeffzenten Multple Tests mt -Fehler-Kumulerungskontrolle Smultane Konfdenzntervalle Bonferron-Holm - Adjusterung 83.6 Determnatonskoeffzenten 84.7 Phänomene der multplen Regresson und ndvduelle Erklärungsbeträge Partelle Redundanz Suppressoreffekt Indvduelle Erklärungsbeträge der Regressoren Quadrerte sempartelle Krterumskorrelatonen R - Anstege aus ener Sere geschachtelter Modelle Quadrerte partelle Krterumskorrelatonen 88.8 Überprüfung der Modellannahmen Lneartät Homoskedastztät ormalvertelung 94.9 Power-Analyse Modell mt fxerten Regressoren Erforderlche Stchprobengröße für den globalen F-Test Erforderlche Stchprobengröße für den t-test zu enem enzelnen Regressor Resulterende Power be gegebener Stchprobengröße Modell mt stochastschen Regressoren 99 5

6 3 GEFAHRE FÜR EIE ERFOLGREICHE MODELLIERUG 0 3. Ungewöhnlche Fälle Ausreßer bzgl. der Resduen Ausreßer bzgl. der Regressoren Enflussreche Fälle Multkollneartät 08 4 SPEZIELLE THEME 4. Polynomsche Regressonsmodelle 4. Alternatven zum smultanen Enschluss aller Regressoren Blockbldung Automatsche Modellsuche Kausale Interpretaton von Regressonskoeffzenten Strukturglechungsmodelle Verglech der Determnatonskoeffzenten von ncht geschachtelten Modellen 0 5 REGRESSIO MIT SERIELL ABHÄGIGE DATE 5. Bespel 5. Der Durbn-Watson-Test Regresson mt ntegrertem AR()-Modell für de Fehler AR()-Prozess Regresson mt AR()-Fehlerprozess Der Box-Ljung - Test als Alternatve zum Durbn-Watson - Test 30 LITERATUR 3 STICHWORTVERZEICHIS 34 6

7 Bvarate Regresson In der enfachen (bvaraten) lnearen Regressonsanalyse wrd de kausale oder prognostsche Relevanz ener unabhänggen Varablen X (Synonyme: Regressor, exogene Varable) für ene abhängge Varable Y (Synonyme: Krterum, Regressand, endogene Varable) untersucht. Während be der abhänggen Varablen metrsches Skalennveau vorausgesetzt wrd, kann de unabhängge Varable metrsch oder dchotomkategoral sen.. Bespel: Regresson von Gewcht auf Größe Zur Erläuterung der enfachen lnearen Regresson verwenden wr de Date ggg.sav, de für 33 Erwachsene m Alter von 0 bs 30 Jahren (Studerende der Unverstät Trer) de Körpergröße (SPSS- Varablenname GROESSE), das Körpergewcht (SPSS-Varablenname GEWICHT) und das Geschlecht (SPSS-Varablenname GESCHLECHT) enthält. Im Bespel übernmmt GEWICHT de Rolle des Krterums und GROESSE de des Regressors. Vor dem Ensteg n de statstsche Analyse verschaffen wr uns enen Endruck von der gemensamen Stchprobenvertelung der beden Varablen. ach dem Menübefehl Grafk > Alte Dalogfelder > Streu-/Punktdagramm > Enfaches Streudagramm wurde mt der Dalogbox das folgende bvarate Streudagramm für GEWICHT und GROESSE erstellt, das per Dagramm-Edtor noch ene Regressonsgerade und etwas Farbe erhalten hat (vgl. Baltes-Götz 04a): We de Date ggg.sav va Internet zu bezehen st, wrd m Vorwort beschreben. SPSS-Varablennamen werden m Manuskrpt aus typographschen Gründen groß geschreben. 7

8 Abbldung : Regresson von GEWICHT auf GROESSE be 33 Personen De dem Punkteschwarm m Snne ener mnmalen Fehlerquadratsumme (sehe Abschntt.3) angepasste Regressonsgerade kann offenbar den Zusammenhang zwschen den beden metrschen Merkmalen gut beschreben. Se steht für das Modell, dass mt zunehmender Größe das mttlere Gewcht lnear anstegt.. Modell.. Fxerter Regressor Das bvarate Regressonsmodell geht n sener klassschen Varante (als Spezalfall des allgemenen lnearen Modells) von enem fxerten Regressor aus, d.h.: Es wrd vorab festgelegt, welche Werte des Regressors mt welchen Häufgketen n de Stude enbezogen werden sollen. De Werte des Regressors können fehlerfre festgestellt werden. De Ergebnsse der Stude können ncht über de dort realserten Regressorwerte hnaus generalsert werden. Dese Annahmen schenen sehr restrktv und am ehesten auf expermentelle Studen anwendbar zu sen (z.b. mt ener n 5 festgelegten Doserungen verabrechten Substanz als Regressor). Es st jedoch verbretete Praxs, de aus dem Modell mt enem fxerten Regressor abgeleteten statstschen Verfahren auch n Beobachtungsstuden mt zufällg realserten Regressorwerte anzuwenden. Im Abschntt..3 über stochastsche Regressoren wrd sch herausstellen, dass dese Praxs n der Regel akzeptabel st. In ener bvaraten emprschen Regressonsstude mt Fällen legen Beobachtungspaare (x, y ) vor, wobe m klassschen Modell der Regressonsanalyse de X-Werte als fest vom Versuchsleter vorgegebene und fehlerfre gemessene Größen, de Y-Werte hngegen als Realsatonen von Zufallsvarablen Y aufgefasst werden. Für de Beobachtungsvarablen Y n der Stchprobe legen wr folgendes Modell zugrunde: 8

9 E( Y ) ~ (0, 0 x : Y E( Y ) ), Cov( ε) I,.., () Für de zu enem festen Wert x des Regressors beobachtete Varable Y, legt modellgemäß der Erwartungswert E(Y ) auf ener Geraden, welche durch de Regressonskoeffzenten 0 und bestmmt st: y 3 E(Y 4 ) E(Y 3 ) 3 4 E(Y ) y 4 E(Y ) y y 0 x x x 3 x 4 Abbldung : Geometrsche Veranschaulchung des Modells der bvaraten Regresson De Regressonskoeffzenten 0 und snd zwe feste, für alle Regressorwerte x dentsche, Zahlen, folgendermaßen zu nterpreteren snd: Erhöht man X um ene Enhet, so stegt modellgemäß der Mttelwert von Y um Enheten an. Das Erhöhen st ncht unbedngt m Snne ener Manpulaton be enem konkreten Fall aus dem Anwendungsberech der Theore zu verstehen, sondern bedeutet oft den Übergang zu enem Fall mt ener höheren X-Ausprägung. In unserem Bespel erwarten wr be Stegerung der Körpergröße um cm en um kg erhöhtes mttleres Gewcht. 0 st das vom Modell für enen Fall mt der Größe ull prognostzerte Gewcht und offenbar von gernger praktscher Bedeutung. Durch Zentreren des Prädktors könnte man für ene snnvollere 0 Bedeutung sorgen: prognostzertes Gewcht be mttlerer Größe. In der Regel st der Parameter 0 von untergeordnetem Interesse und darf trotzdem ncht weggelassen werden, wel de Regressonsgerade sonst gezwungen wrd, durch den ullpunkt zu verlaufen. Wenn ken determnstscher Zusammenhang zwschen dem Krterum und dem Regressor besteht, wrd ene beobachtete Y - Ausprägung praktsch ne mt dem Erwartungswert überenstmmen. De Abwechung : Y E( Y ) zur -ten Beobachtung bezechnen wr als Fehler- bzw. Resdualvarable. Es st der Antel von Y, der ncht aufgrund der Bezehung von Regressor und Krterum vorhergesagt werden kann. Her artkuleren sch der Messfehler und sonstge ncht explzt m Modell enthaltene Enflüsse auf das Krterum. Für jede realserte Regressorausprägung x wrd angenommen, dass de zugehörge Resdualvarable ener ormalvertelung mt der (überall dentschen) Varanz folgt: ~ (0, ) 9

10 Dass de Resduen den Erwartungswert ull bestzen, folgt aus hrer Defnton: : Y E( Y ) E( ) E( Y E( Y )) E( Y ) E( Y ) 0 In der kompakten Formel (sehe Erläuterung n Abschntt...6) für den Vektor mt allen Resduen Cov( ε) steckt de wchtge Forderung, dass de Resduen zu zwe verschedenen Beobachtungen unkorrelert sen müssen. Während sch der Erwartungswert ull unmttelbar aus der Defnton der Resduen ergbt, snd de weteren Forderungen an das Vertelungsverhalten der Resduen (ormaltät, Varanzhomogentät und Unkorrelerthet) enschränkend und falsfzerbar. Anwendungsorenterte Forscher müssen sch bem klassschen lnearen Model an zwe Gedanken gewöhnen: Wr haben es mt beobachtbaren Zufallsvarablen Y und ncht beobachtbaren Zufallsvarablen zu tun. De X-Ausprägungen werden gar ncht als Realsatonen rgendwelcher Zufallsvarablen aufgefasst, sondern als feste Werte, de kenen Messfehler enthalten. De n der Modellformulerung enthaltenen Behauptungen bzw. Annahmen werden anschleßend vertefend dskutert (vgl. z.b. Snedecor & Cochran 980, S. 53). I.. Voraussetzungen m klassschen lnearen Modell... Lneartät Das Modell behauptet de Exstenz von reellen Zahlen 0 und derart, dass zu allen realserten Regressorwerten x de Erwartungswerte E(Y ) der zugehörgen Zufallsvarablen Y auf der Regressonsgeraden durch de Punktepaare (x, 0 + x ) legen: 0, R : E( Y ) 0 x,.., Dabe st 0 der Schnttpunkt der Regressonsgeraden mt der y-achse (Ordnatenabschntt) und de Stegung der Regressonsgeraden, also der Tangens des Wnkels der Regressonsgeraden mt der x-achse (sehe Abbldung ). De Lneartätsannahme st be der Modellerung der Regresson von Y auf X wet wenger restrktv, als hr ame vermuten lässt. Der Regressor X kann z.b. durch Quadreren ener anderen Varablen Z entstanden sen, so dass m Rahmen unseres Modellansatzes ohne weteres de (kurvlneare) Regresson von Y auf Z analysert werden kann. Allerdngs wrd neben Z n der Regel auch Z als Regressor auftreten, so dass wr das Modell der bvaraten Regresson verlassen (sehe Abschntt 4. über polynomsche Regressonsmodelle). In enem weteren Vorausblck auf de Modellerungsflexbltät der multplen Regresson soll noch erwähnt werden, das sogar de Interakton zweer Regressoren X und Z bzgl. des Krterums Y mt der (multplen) lnearen Regressonsanalyse untersucht werden kann, ndem neben X und Z das Produkt XZ als Regressor enbezogen wrd. Über de Behandlung von Interaktonseffekten nformert en ZIMK-Manuskrpt (Baltes-Götz 009), das auf dem Webserver der Unverstät Trer von der Startsete ( ausgehend folgendermaßen fnden st: ZIMK (Rechenzentrum) > Servces für Studerende > EDV-Dokumentatonen > Statstk > Moderatoranalyse per multpler Regresson mt SPSS 0

11 Gelegentlch st en Modell ohne Ordnatenabschntt 0 gewünscht, so dass de Regressonsgerade durch den Ursprung des Koordnatensystems verläuft. Ist der Regressorwert x l = 0 m Untersuchungsplan enthalten, dann behauptet en solches Modell über de zugehörge Zufallsvarable Y l : E( Y l ) xl 0 Man erhält das Modell der so genannten homogenen Regresson, be dem enge Besonderheten zu beachten snd, de n Abschntt.6 behandelt werden (sehe auch Kockläuner 988, S. 44ff). In der Regel verwendet man das nhomogene Modell mt Ordnatenabschntt, dessen verdächtg klngender ame Se ncht zu der falschen Annahme verleten sollte, es handele sch um en mnderwertges Modell ormaltät der Resduen Für de (ncht beobachtbaren) Fehler- bzw. Resdualvarablen wrd angenommen, dass se normalvertelt snd. Se dürfen sch vorstellen, dass es für jeden realserten Regressorwert x ene ormalvertelung potenteller -Werte gbt, aus der zufällge Realsatonen gezogen werden, de zusammen mt dem konstanten Antel 0 + x de Realsatonen der abhänggen Varablen Y ergeben....3 Varanzhomogentät der Resduen De ormalvertelungen der Resdualvarablen haben alle deselbe Varanz. Statt von Varanzhomogentät sprcht man auch von Homoskedastztät....4 Häufge Mssverständnsse Um häufg anzutreffenden Mssverständnssen entgegen zu wrken, soll für das klasssche lneare Modell mt enem fxerten Regressor ausdrücklch betont werden: Es wrd kene Annahme über de Vertelung des Regressors benötgt. Es wrd kene Annahme über de Randvertelung des Krterums gemacht. Insbesondere st auch kene bvarate ormalvertelung von Regressor und Krterum erforderlch. In Abschntt..3 wrd sch zegen, dass m Rahmen des klassschen Modells und mt der darauf baserenden Software auch stochastsche Regressoren analysert werden dürfen. ur be engen spezellen Analysen kommen Annahmen über de Vertelung des Regressors und über de gemensame Vertelung von Regressor und Krterum ns Spel....5 Skalenqualtät Obwohl m mathematschen Modell de Skalenqualtät der betelgten Varablen ncht explzt auftrtt, ergbt sch doch aus obgen Forderungen: Be der abhänggen Varablen wrd metrsches Skalennveau vorausgesetzt, wel be ener gerngeren Skalenqualtät z.b. jede Aussage über de Vertelungsgestalt snnlos st. Außerdem sollte de Vertelung der abhänggen Varablen vom Ideal der Stetgket ncht zu wet entfernt sen, also möglchst dcht legende Ausprägungen bestzen. Genau genommen st ene Vertelung stetg m Snne der Wahrschenlchketstheore, wenn hre Vertelungsfunkton stetg m Snn der Analyss st, also kene Sprünge macht. Be ener stetgen Vertelung st de Wahrschenlchket für jede konkrete Ausprägung exakt glech ull, was für beobachtbare Varablen schon aus Gründen der Messgenaugket ncht der Fall st.

12 De unabhängge Varable kann metrsch oder dchotom-kategoral sen. Auch be dchotomen Varablen st de lneare Modellerung snnvoll, wobe de Parameter 0 und je nach gewählter X-Koderung z.b. für Gruppenmttelwerte oder Mttelwertsunterschede stehen. En kategoraler Regressor mt w > Ausprägungen muss m Rahmen ener multplen Regresson durch (w - ) Kodervarablen repräsentert werden. En ordnaler Regressor muss auf kategorales veau herabgestuft werden....6 Unkorrelerthet der Resduen De Resdualvarablen snd unkorrelert. Ihre Kovaranzmatrx st ene Dagonalmatrx der Ordnung mt dem dentschen Entrag auf der Hauptdagonalen (für de als dentsch angenommenen Fehlervaranzen) und ullen an allen anderen Postonen (für de Kovaranzen). Mt Hlfe der Enhetsmatrx der Ordnung lässt sch dese Stuaton kompakt so beschreben: Cov( ε ) I Begründete Zwefel an der Unabhänggketsannahme bestehen etwa n folgenden Stuatonen: Zetrehendaten (z.b. Arbetsmarktdaten aus 40 aufenander folgenden Jahren) Mt serell abhänggen Daten werden wr uns n Abschntt 5 beschäftgen. Cluster-Stchproben (z.b. 300 Schüler aus nsgesamt 0 Schulklassen) oder Panel-Stchproben (z.b. Evaluatonsstude mt 00 Telnehmern, de zu 5 Zetpunkten beobachtet werden) In enem solchen Fall kann man u.a.... o ene so genannte Mehrebenenanalyse durchführen (sehe z.b. Baltes-Götz 03a) o oder en GEE-Modell (Generalzed Estmatng Equaton) anwenden (sehe z.b. Baltes- Götz 04b). Dese Methoden werden m vorlegenden Manuskrpt ncht behandelt. Be ener Verletzung der Unabhänggketsannahme resulteren zwar unverzerrte Schätzer für de Regressonskoeffzenten, doch snd de geschätzten Vertrauensntervalle mest zu klen und de Sgnfkanztests zu lberal (erhöhte Rate von Fehlern erster Art)....7 Technsche Voraussetzungen Damt der regressonsanalytsche Algorthmus (sehe unten) durchgeführt werden kann, snd noch zwe unproblematsche technsche Voraussetzungen zu erfüllen: De n der Stchprobe realserten X-Werte dürfen ncht alle glech sen. Man wrd sch n der Regel um ene große Varabltät bemühen. Untypsche und daher sehr enflussreche Fälle (sehe Abschntt 3..3) snd aber zu vermeden. Der Stchprobenumfang muss größer sen als (= Anzahl der Parameter). We man sch lecht vorstellen kann, garantert ene Beachtung des mnmalen Stchprobenumfangs kene geegnete Power für de üblchen Hypothesentests (sehe Abschntt.4). Wr werden uns n Abschntt.8 mt der Stchprobenumfangsplanung beschäftgen. Wer Voraussetzungen zur Scherung der kausalen Interpreterbarket des Parameters vermsst, se auf Abschntt 4.3 vertröstet. Wr beschränken uns zunächst bewusst auf de folgenden Fragen:

13 Beschrebt das lneare Modell de statstsche Bezehung von X und Y korrekt? Hängt der Erwartungswert E(Y ) für jeden untersuchten x -Wert tatsächlch lnear von x ab? E(Y ) = 0 + x Ist der Parameter von ull verscheden? In der Regel soll auch geklärt werden, n welcher Rchtung der Parameter vom Wert ull abwecht...3 Stochastsche Regressoren Das bslang dargestellte regressonsanalytsche Modell schent wegen der Voraussetzung fester X-Werte z.b. auf de n Abschntt. präsenterten Daten zur Regresson von Gewcht auf Größe ncht anwendbar zu sen. Statt Personen mt vorher genau festgelegten Körpergrößen auszuwählen, wurden de Probanden nämlch zufällg aus ener Grundgesamthet rekrutert. Es lässt sch allerdngs zegen (vgl. Fahrmer et al. 007, S. 6f; Snedecor & Cochran 980, S. 60), dass alle Aussagen, de unter den oben skzzerten Voraussetzungen gelten, auch auf rene Beobachtungsstuden mt zufällg gewählten X-Ausprägungen übertragbar snd, sofern für de bedngte Vertelung L( Y X ) der Zufallsvarablen Y für belebge Werte der Zufallsvarablen X, glt (L steht für Law): L( Y X ) ( X, 0 In desem Vertelungsgesetz snd Lneartät, ormaltät und Homoskedastztät enthalten. Außerdem benötgt man de Unabhänggket der Resduen und de technschen Voraussetzungen (sehe Abschntt...7). mmt man m Modell der bvaraten Regresson mt enem stochastschen Regressor de starke Annahme der bvaraten ormalvertelung von Regressor und Krterum n Kauf, snd de Lneartät sowe de ormaltät und Varanzhomogentät der Resduen erfüllt, und es eröffnen sch wetere Analyseoptonen (sehe Ed et al. 00, S. 583f): Man kann für de Produktmoment-Korrelaton zwschen Regressor und Krterum (und damt auch für den Determnatonskoeffzenten) en Vertrauensntervall bestmmen. Be der Stchprobenumfangsplanung (sehe Abschntt.8) kann de stochastsche atur des Regressors korrekt berückschtgt werden. Ist de Annahme fehlerfre gemessener Regressorwerte ncht gerechtfertgt, resultert en betragsmäßg gemnderter Schätzer für den Regressonskoeffzenten. Zur Korrektur st en Verfahren für latente Varablen anzuwenden, was z.b. n enem Strukturglechungsanalyseprogramm we IBM SPSS Amos möglch st (sehe z.b. Baltes-Götz 00). )..4 Mathematsche Modelle und Realtät In den oben aufgelsteten Voraussetzungen werden jewels hochgradg spezelle Verhältnsse angenommen, z.b. de Identtät der Varanzen für alle Varablen. Man müsste von enem Wunder reden, wenn be ener emprschen Stude ene solche Voraussetzung tatsächlch perfekt erfüllt wäre. Für de nferenzstatstschen Verfahren, be denen ene Voraussetzung (z.b. de Homoskedastztät oder de ormaltät der Resduen) als ullhypothese auf den Prüfstand gerät, glt n der Regel: De Voraussetzung st mt großer Wahrschenlchket falsch. Ob de Verletzung der Voraussetzung tatsächlch entdeckt wrd, hängt von hrem Ausmaß und von der Power des Prüfverfahrens, also m Wesentlchen von der Stchprobengröße, ab. De egentlch relevante Frage lautet: Ist de Verletzung ener Voraussetzung m Hnblck auf das durchzuführende Verfahren tolererbar oder ncht. Leder gbt es zur Klärung deser Frage oft ken automatsches, also objektv anwendbares, Verfahren. 3

14 .3 Schätzung der Modellparameter In desem Abschntt beschäftgen wr uns mt der Parameterschätzung und verwenden zur Illustraton de SPSS-Ausgaben zur (nhomogenen) Regresson von GEWICHT auf GROESSE, de Se nach dem Menübefehl n der folgenden Dalogbox anfordern können: Analyseren > Regresson > Lnear Verlangen Se n der Statstken - Subdalogbox über de Vorenstellung hnausgehend noch de Berechnung von Konfdenzntervallen für de Regressonskoeffzenten 0 und : Vor ener Prüfung der Regressons-Voraussetzungen dürfen de Ergebnsse noch ncht nhaltlch nterpretert werden: Je nach SPSS-Verson kann de Beschrftung der Regressonsergebnstabellen lecht abwechen. 4

15 Im folgenden werden durch x bzw. y, =,..,, de Werte der unabhänggen bzw. abhänggen Varablen n der Stchprobe sowe durch x bzw. y de zugehörgen Stchprobenmttelwerte bezechnet. Aus den emprschen Daten werden Schätzer b 0 bzw. b für β 0 bzw. β so bestmmt, dass de Summe der quadrerten Abwechungen der geschätzten Werte: ˆ y =b0 +b x, =,.., () von den beobachteten Werten y mnmal wrd (Methode der klensten Quadrate): = ( y - yˆ )! mn Oft wrd de aus dem Englschen übernommene Bezechnung OLS-Schätzung (Ordnary Least Squares):) verwendet. Mt den Methoden der Dfferentalrechnung (ullsetzen der partellen Abletungen nach b 0 und b sowe Auflösen der entstehenden ormalglechungen) erhält man folgende Schätzer: b = ( x - x)( y = = ( x - x) - y) (3) b 0 = y - b x (4) Ist de Lneartätsvoraussetzung erfüllt ( E( Y ) 0 x,,.., ), dann snd b 0 und b erwartungstreue Schätzer für β 0 und β. Snd außerdem de Varanzhomogentät und de Unabhänggket der Resduen gegeben, dann snd b 0 und b nach dem Satz von Gauß-Markov sogar BLUE-Schätzer (Best Lnear Unbased Estmators), d.h. es snd de besten erwartungstreuen Schätzer, de als lneare Funkton der y -Werte dargestellt werden können. Zu den besten Schätzern macht se de Egenschaft der gerngsten Varanz (also der höchsten Präzson) unter allen Konkurrenten. 5

16 Ist außerdem de ormalvertelung der Resduen gegeben, dann können zu den Regressonskoeffzenten auch Konfdenzntervalle berechnet und Tests durchgeführt werden (sehe unten). In der SPSS-Ausgabe fnden Se de Schätzer n der Spalte B der Koeffzenten-Tabelle, wobe b 0 mt (Konstante) bezechnet st. Für unser Bespel erhalten wr: b 0 = -,767 b =,04 Das Körpergewcht stegt also n unserer Stchprobe pro Zentmeter Größe um ca. kg an. Be der Regresson des standardserten, d.h. auf den Mttelwert ull und de Varanz Ens gebrachten Krterums auf den standardserten Regressor resultert der standardserte Regressonskoeffzent. Er st auch als Beta-Koeffzent bekannt und m Fall der bvaraten Regresson mt der Produktmomentkorrelaton dentsch, was hn zu enem Maß für de Effektstärke macht (vgl. Abschntte.5 und.8). Der standardserte Regressonskoeffzent wrd von SPSS automatsch berechnet und n der Koeffzenten- Tabelle präsentert. Handhabbare Maßenheten (we cm und kg) durch das Standardseren über Bord zu werfen, st kaum jemals nützlch. Be Varablen mt enhetsfreer Messung (z.b. Prestge, Kreatvtät) fällt de Interpretaton ener Regressonsbezehung aber eventuell lechter, wenn für enen Ansteg des Regressors um ene Standardabwechung bekannt st, welche mttlere Änderung des Krterums n Standardabwechungsenheten resultert. De emprschen Fehler ( y - yˆ ) stellen Schätzer der (ncht beobachtbaren) Modellresduen dar. Wel se n den folgenden Ausführungen häufg auftreten, wollen wr ene bequeme Abkürzung verenbaren: e : y - yˆ Be der nhomogenen Regresson (mt 0 n der Regressonsglechung) haben de geschätzten Werte ˆ =b +b denselben Mttelwert we de beobachteten Y-Werte: y 0 x Folglch haben dann de emprschen Resduen e enen Mttelwert von ull: Für de Resdualvaranz = ( y - yˆ ) yˆ y (5) y = y yˆ = yˆ y wrd m Fall der nhomogenen Regresson folgender Schätzer berechnet: ˆ : ( y ˆ - y) e (6) - = - = In der SPSS-Ausgabe fnden Se ˆ als mttlere Quadratsumme der Resduen n der AOVA-Tabelle. Wr erhalten den Wert 58,644. De Wurzel aus dem Schätzer der Fehlervaranz (= 7,658) fndet sch unter der Bezechnung Standardfehler der Schätzung n der Tabelle Modellzusammenfassung. 0 6

17 .4 Sgnfkanztests und Konfdenzntervalle zu den Regressonskoeffzenten De Schätzer b 0 und b hängen von den Y-Varablen ab und snd daher ebenfalls Zufallsvarablen, de be jeder Durchführung enes Experments bzw. ener Stude andere Werte annehmen. Zum Glück st hre Vertelung unter den Voraussetzungen der Regressonsanalyse bekannt, so dass aufgrund ener enmalgen Durchführung des Experments wesentlche Aussagen über de egentlch nteresserenden Parameter 0 und möglch snd..4. Inferenzstatstsche Beurtelung von b.4.. Quadratsummenzerlegung und F-Test De totale Quadratsumme QST (mt - Frehetsgraden): QST : = ( y lässt sch m Modell der bvaraten nhomogenen Regresson (mt Achsenabschntt 0 ) addtv zerlegen n enen durch de Regresson erklärten Antel QSR (mt enem Frehetsgrad): QSR : = = ( yˆ = - y ) - y) und de unerklärte Fehlerquadratsumme QSF (mt - Frehetsgraden): Es glt also: QSF : = ( y ˆ - y ) = = SPSS lefert de Quadratsummenzerlegung n der AOVA-Tabelle: e ( y - y) ( yˆ - y) + ( y - yˆ ) (7) = = = 303, ,663 = 49466,3 Unter der (ungerchteten, zwesetgen) ullhypothese st der Quotent F: = H 0 : = 0 QSR QSF - be Gültgket aller Voraussetzungen des lnearen Modells F-vertelt mt enem Zählerfrehetsgrad sowe ( - ) ennerfrehetsgraden und erlaubt damt ene Beurtelung der ullhypothese. SPSS berchtet de Stchprobenausprägung deser Prüfgröße zusammen mt der Quadratsummenzerlegung n der AOVA-Tabelle. Wr erhalten den Wert 53,49, dessen Überschretungswahrschenlchket unter der ullhypothese klener als 0,00 st, so dass de ullhypothese abzulehnen st, sofern be der noch anstehenden Prüfung der Voraussetzungen kene Probleme auftreten. 7

18 .4.. Zwe- und ensetger t-test Für deselbe ullhypothese kann en äquvalenter t-test hergeletet werden. Folgende Prüfgröße: b b t : = ( ) mt ˆ : ˆ x x b ˆ = b ( x x = st be Gültgket aller Voraussetzungen unter der H 0 t-vertelt mt - Frehetsgraden, wobe ˆ ˆ b ˆ ) ˆ de Wurzel aus dem Fehlervaranzschätzer und der glech vorzustellende geschätzte Standardfehler von b st. Der t-wert steht n folgender Bezehung zum oben defnerten F-Wert: t In der SPSS-Ausgabe erschent der t-test n der Koeffzenten-Tabelle neben dem zugehörgen Schätzer b. Wr erhalten den t-wert,66 53,49, der natürlch deselbe Überschretungswahrschenlchket aufwest we der zugehörge F-Wert. Man kann auch enen ensetgen t-test zu durchführen, z.b. mt dem Hypothesenpaar: F H 0 : 0 versus H : > 0 In desem Fall muss de von SPSS ausgegebene emprsche Überschretungswahrschenlchket halbert werden, bevor se mt der akzepterten -Fehlerwahrschenlchket (mest 0,05) verglchen wrd. Außerdem kann de ensetge ullhypothese natürlch nur dann verworfen werden, wenn der geschätzte Regressonskoeffzent das vorhergesagte Vorzechen hat. Mt Hlfe der verallgemenerten t-test Prüfgröße (ebenfalls mt - Frehetsgraden) b t : ˆ (H 0 ) lassen sch Tests zu belebgen ullhypothesen-behauptungen kann zum Testproblem b (H ) 0 H 0 : versus H : > aus den oben beschrebenen SPSS-Ausgaben de Prüfgröße,04,0 0,89 0,046 durchführen. Im Anwendungsbespel berechnet werden. Be ensetger Testung und 330 Frehetsgraden ( ) ergbt sch ene Überschretungswahrschenlchket von 0,87, so dass de ullhypothese das Rennen macht. Zur Berechnung der Überschretungswahrschenlchket taugt folgendes SPSS-Kommando: compute p = - cdf.t(0.89, 330) Standardfehler In der Defntonsglechung zur Prüfgröße des t-tests st uns schon der geschätzte Standardfehler ˆ b zum Regressonskoeffzenten b begegnet: ˆ b : = ˆ ( x x) 8

19 Er schätzt de Streuung der Vertelung von b um den Erwartungswert. Mt der Defnton lässt sch der geschätzte Standardfehler s X : ( x x) = ˆ b zum Regressonskoeffzenten b auch so schreben: ˆ b : un seht man besonders deutlch, welche Faktoren auf ˆ b enwrken: Offenbar wächst dese Streuung mt der Fehlervaranz des Modells, während sch de Varanz der X-Werte und der Stchprobenumfang dämpfend auswrken. Im mest zugrunde legenden Modell mt fxertem Regressor sollte man wohl besser von der Unterschedlchket statt von der Varanz der X-Werte sprechen. Werden be ener Stude de Regressorwerte tatsächlch geplant (vgl. Abschntt..3), sollte man möglchst unterschedlch X-Werte wählen. In der SPSS-Ausgabe erschent der Standardfehler neben dem zugehörgen Schätzer b. In unserem Bespel resultert zum Schätzer,04 en Standardfehler von 0,046. ˆ s X.4..4 Konfdenzntervalle Mt Hlfe deses Standardfehlers lässt sch en Konfdenzntervall für berechnen. Folgendes Intervall [ b - t ; ˆ b ; b t ˆ ] + ; b überdeckt be Gültgket aller Voraussetzungen mt ener Wahrschenlchket von ( - ) den wahren Stegungskoeffzenten. Dabe st t ; das ( - /) - Quantl der t-vertelung mt ( - ) Frehetsgraden (= krtscher Wert bem zwesetgen Sgnfkanztest zum veau ). In unserem Bespel ( = 33, = 0,05) erhalten wr als relevantes Quantl der t-vertelung und als Vertrauensntervall zu b : t 0,975;330,967 [,04 -,967 0,046;,04 +,967 0,046] [0,95;,3] SPSS lefert de 95% - Vertrauensntervalle zu den Regressonskoeffzenten (aufgrund unserer Zusatzanforderung n der Statstken-Subdalogbox, sehe Abschntt.3) n der Koeffzenten-Tabelle und fndet dabe für b aufgrund der höheren Rechengenaugket en lecht abwechendes Ergebns. Der zwesetge Sgnfkanztest zum Regressonskoeffzenten b verwrft sene ullhypothese übrgens genau dann, wenn das 95% - Konfdenzntervall zu b den Wert ull ncht enthält. Es wrd von velen Autoren (z.b. Cohen et al. 003) zu Recht betont, dass en Vertrauensntervall bedeutend mehr Informaton über den Populatonsparameter lefert als en zwesetger Sgnfkanztest und daher unbedngt n Forschungsberchte aufgenommen werden sollte. Allerdngs st be denselben Autoren mest zu krtseren, dass se den oft angebrachten ensetgen Sgnfkanztest gnoreren. Passend zum ensetgen Test lässt sch übrgens auch en ensetges Konfdenzntervall konstrueren. Be H : > 0 resultert zu b das folgende rechtsetg offene ensetge Vertrauensntervall: b - t ; ˆ b ; ) [ 9

20 Wel das ensetge Vertrauensntervall den mesten Lesern enes Forschungsberchts weng bekannt sen dürfte, sollte man ggf. besser das konventonelle zwesetge Vertrauensntervall (als mutmaßlchen Aufenthaltsberech des Parameters) mt enem ensetgen Sgnfkanztest kombneren..4. Inferenzstatstsche Beurtelung von b 0 Be der nhomogenen Regresson lassen sch auch für den Achsenabschntt (engl.: ntercept) analog zum Vorgehen bem Stegungskoeffzenten t-tests durchführen (z.b. zur Hypothese H 0 : 0 = 0) und Konfdenzntervalle (z.b. zum Rsko = 0,05) bestmmen. Wenn der zwesetge t-test sene ullhypothese bebehält, muss das (sparsamere) homogene Modell ncht zu Gunsten des nhomogenen Modells verworfen werden. In unserem Bespel sgnalsert ene emprsche Überschretungswahrschenlchket unter 0,00, dass auf den konstanten Term ncht verzchtet werden kann. Allerdngs steht deses Ergebns we alle anderen noch unter dem Vorbehalt der ausstehenden Voraussetzungsprüfung..5 Determnatonskoeffzenten Als Maß für de Erklärungslestung enes Modells wrd der Determnatonskoeffzent R verwendet, der be ener nhomogenen Regresson (nklusve Achsenabschntt 0 ) als Quotent aus der erklärten Quadratsumme QSR = ( y ˆ - y) und der totalen Quadratsumme SST = ( y - y) defnert st: = R : = ( yˆ - y) = QSR QST QSF QSF (8) QST QST QST ( y - y) = Im Bespel erhalten wr: R 935,663 0, ,3 Be der nhomogenen bvaraten Regresson st R übrgens dentsch mt dem Quadrat der Pearsonschen Stchprobenkorrelaton zwschen dem Krterum und dem Regressor. Dese Korrelaton fndet sch (unquadrert) auch n der Beta-Spalte der Koeffzenten-Tabelle. Der Stchproben-Determnatonskoeffzent R überschätzt den determnerten Varanzantel n der Populaton, wel de R -Defnton de n den Quadratsummen enthaltenen Frehetsgrade ncht berückschtgt. Um zu enem unverzerrten Schätzwert zu gelangen, werden m adjusterten R alle Quadratsummen durch de Anzahl der enthaltenen Frehetsgrade dvdert, so dass sch m Fall der bvaraten Regresson ergbt: R a : = = ( y e - y) a Zugunsten der guten Lesbarket beschränkt sch das Manuskrpt mest auf de männlche Form. 0

21 Desem adjusterten R a sollte zur Beurtelung der Erklärungslestung enes Modells regelmäßg der Vorzug gegeben werden. SPSS lefert n der Tabelle Modellzusammenfassung für unser Bespel ( = 33) enen adjusterten R -Wert von 0,608, den wr der Übung halber nachrechnen wollen: a R a 935, ,3 33 0,608 Wel de Stchprobe relatv groß st, fndet m konkreten Bespel fast kene Korrektur statt. Aus der Tatsache, dass auch be Modellen mt enem enzelnen Regressor ene Adjusterung erforderlch st und der oben erwähnten Bezehung zwschen dem Determnatonskoeffzenten und der Pearsonschen Stchprobenkorrelaton folgt übrgens, dass letztgenannte kene erwartungstreue Schätzung der Populatonskorrelaton st. a De gelegentlch zu lesende Forderung (sehe z.b. Kockläuner 988, S. 6), be enem snnvollen Modell solle das adjusterte R mndestens 0,50 betragen, st ncht gerechtfertgt. En solches R st kene notwendge Voraussetzung für ene snnvolle regressonsanalytsche Modellerung. Goldberger (99, S. 77) bemerkt zu Recht: othng n the CR (Classcal Regresson) model requres that R be hgh. Hence a hgh R s not evdence n favor of the model, and a low R s not evdence aganst t. Auch Urban & Mayerl (0, S. 09ff) argumenteren gegen de Jagd nach hohen Determnatonskoeffzenten. Zur Beschrebung (ncht zur Bewertung) von Populatons-Effektstärken n bvaraten Regressonsmodellen nennt Cohen (988, S. 79ff) folgende Orenterungsgrößen für de Verhaltens- und Sozalwssenschaften: Effektstärke n der Populaton erklärter Varanzantel klen 0,0 mttel 0,09 groß 0,5 a.6 Besonderheten be der homogenen Regresson Be der homogenen Regresson (ohne Ordnatenabschntt) haben de geschätzten Werte denselben Mttelwert we de beobachteten Y-Werte: und nfolge dessen glt.a. auch kene Quadratsummenzerlegung analog zu Formel (7): yˆ ( y - y) ( yˆ - yˆ) + ( y - yˆ = = = y ) ˆ = b x.a. ncht y Des hat wederum Konsequenzen für den n Formel (8) defnerten Determnatonskoeffzenten, der Werte außerhalb des Intervalls [0, ] annehmen könnte, so dass man für homogene Modelle en alternatves Bestmmthetsmaß bevorzugt, das auch von SPSS verwendet wrd: = = yˆ y

22 Es gbt an, welcher Antel der Varabltät der Y-Werte um den ullpunkt durch das Regressonsmodell erklärt werden kann. Be der Anforderung ener homogenen Regresson n SPSS st n der Subdalogbox Optonen de Markerung bem Kontrollkästchen Konstante n Glechung enschleßen zu entfernen: Mt unseren Bespeldaten erhalten wr für das her scher untauglche homogene Modell (sehe Abschntt.3) folgende Ergebnsse: SPSS west ausführlch per Fußnote auf de Konsequenzen des homogenen Modells auf de Berechnung der Determnatonskoeffzenten und der Quadratsummen hn. Es wäre etwa en eklatanter Fehler, aus dem korrgerten R -Wert von 0,98 für das homogene Modell auf dessen Überlegenhet gegenüber dem nhomogenen Modell zu schleßen, das enen korrgerten R -Wert von 0,608 aufwest. Kockläuner (988, S. 47) krtsert zu Recht, dass SPSS n der Ausgabe zum homogenen Fall das Bestmmthetsmaß mt R-Quadrat und de Wurzel daraus mt R überschrebt. Damt wrd der falsche Endruck geweckt, es handle sch um de (quadrerte) Korrelaton zwschen Krterum und Regressor, was aber m homogenen Fall ncht zutrfft.

23 .7 Modelldagnose und -modfkaton In desem Abschntt werden Methoden zur Prüfung der n Abschntt.. beschrebenen Modellvoraussetzungen behandelt. Mt ener graverenden Gefahr für de Gültgket unserer Forschungsergebnsse werden wr uns erst n Abschntt 3.. beschäftgen: Mt den Ausreßern, de durch extreme, ncht zum Anwendungsberech der Forschung gehörende Werte verfälschte Schätzungen und Tests verursachen..7. Lneartät Es st zu prüfen, ob de Regresson von Y auf X tatsächlch lnear st, d.h. ob für den Erwartungswert von Y für jeden realserten x -Wert tatsächlch glt: E ( Y ) 0 x Für de wahren Resduen glt aufgrund hrer Defnton trvalerwese: E ( ) 0 De wahren Resduen werden durch de emprschen Resduen e : y b0 b geschätzt, und be gültger Lneartätsannahme glt auch für de geschätzten Resduen: E ( ) 0 e x.7.. Dagnose.7... Resduen-Plots Zur Überprüfung der Lneartät werden wr untersuchen, ob alle geschätzten Resduen e zufällg um hren gemensamen Erwartungswert ull vareren. Der globale Mttelwert aus allen geschätzten Resduen st be der üblchen nhomogenen Regresson n jedem Fall glech ull (sehe Sete 6). Wr müssen daher anhand der Stchprobendaten überprüfen, ob für alle realserten x -Werte de zugehörgen e zufällg um ull vareren. Daher lassen wr von SPSS das Streuungsdagramm mt den (e, x )-Paaren erzeugen. Her sollten sch alle Resduen n enem Strefen um de ull-lage aufhalten, wenn neben der Lneartäts- auch de Varanzhomogentätsannahme erfüllt st: e x Abbldung 3: Modellkonformer Erwartungsberech für de e Werte m Plot gegen de x Werte Grundsätzlch lässt sch de Lneartätsannahme berets mt dem Plot der abhänggen gegen de unabhängge Varable überprüfen, doch snd Verstöße m Resduenplot oft besser zu erkennen, we das folgende Bespel zegt: 3

24 Der lnke Plot zegt en (X, Y)-Stchprobenstreudagramm aus ener künstlchen Populaton mt dem folgenden wahren Modell: Y = ln(x) +, ~ (0, ) Im Dagramm rechts daneben werden de Resduen e aus der fehlspezfzerten Regresson von Y auf X gegen den Regressor geplottet, wobe de Verletzung der Lneartätsannahme besser zu erkennen st. We man derartge Dagramme erstellt, st glech zu erfahren. Wr werden bald enen spezellen, für unsere Dagnosezwecke tauglchen Resduenplot kennen lernen, den man bequem be der Regressonsprozedur anfordern kann (sehe Abschntt.7.3.). Aus ddaktschen Gründen beschränken wr uns vorläufg auf ene Darstellung der unstandardserten Resduen, de wr n desem Manuskrpt mt e bzw. ( y - yˆ ) bezechnen, gegen den Regressor. Dazu fordern wr n der Subdalogbox Spechern der Regressonsprozedur de Erzeugung ener neuen SPSS-Varablen mt den un- standardserten Resduen an: Im Ausgabefenster von SPSS fndet man den amen der neu n de Arbetsdate aufgenommenen Varablen m Abschntt Hnwese der Regressonsausgabe, der per Vorenstellung ausgeblendet st: Unter Verwendung deser Varablen erstellt man über Grafk > Alte Dalogfelder > Streu-/Punktdagramm > Enfaches Streudagramm das gewünschte Dagramm. Für unsere Bespeldaten zur Regresson von Gewcht auf Größe resultert: 4

25 Abbldung 4: Unstand. Resduen versus Prädktor für de Regresson von GEWICHT auf GROESSE De Regressonsgerade wurde m Dagrammedtor über den Menübefehl Elemente > Anpassungslne be Gesamtwert engefügt. Se zegt bem Ordnatenabschntt und bem Stegungskoeffzenten ene modellgemäße ull. Auf den ersten Blck schenen de Resduen be allen X-Werten um den korrekten bedngten Erwartungswert ull zu schwanken. Vor enem endgültgen Urtel über de Lneartätsannahme wählen wr zur Anpassungslne per Egenschaftsfenster de nonparametrsche Anpassungsmethode Loess: Man erhält ene lokale Anpassung an den Punkteschwarm und Hnwese zur Verbesserung des Modells. In unserem Bespel zegt sch nun doch enge Struktur n der Resduenvertelung: 5

26 Abbldung 5: Unstand. Resduen versus Prädktor für de Regresson von GEWICHT auf GROESSE mt lokal optmerter Anpassungslne Um de lechten Abwechungen von der modellgemäßen Ideallne ener für alle x -Werte konstanten Erwartung von ull besser zu verstehen, betrachten wr erneut das Streuungsdagramm für de Orgnaldaten, desmal mt engezechneter LOESS-Lne und unterschedlchen Markerungen für Frauen und Männer: Abbldung 6: Regresson von GEWICHT auf GROESSE mt geschlechtsspezfschen Symbolen und lokal optmerter Anpassungslne Es drängt sch de Vermutung auf, dass de Regresson von Gewcht auf Größe be Frauen (oder be kleneren Personen) flacher verläuft als be den Männern (oder be größeren Personen). Wenn sch dese Hypothese erhärten lässt, legt be unserem Modell en Spezfkatonsfehler vor. 6

27 .7... Lneartätstest Für de bvarate Regresson mt enem metrschen Regressor betet SPSS n der Prozedur MEAS enen Lneartätstest an, wobe allerdngs grupperte Daten mt hnrechend stark besetzten Regressor-Kategoren vorlegen sollten. Um den Test auf de Regresson von Größe auf Gewcht (mt nsgesamt 33 Fällen) anzuwenden, lassen wr zunächst über den Menübefehl Transformeren > Vsuelle Klasserung ene Varante des Regressors mt 5 Ausprägungen baserend auf 5 glech breten Intervallen erstellen (SPSS-Varablenname: G5): De Trennwerte werden nach enem Mausklck auf den Schalter Trennwerte erstellen her defnert: ach dem Menübefehl Analyseren > Mttelwerte verglechen > Mttelwerte geben wr m folgenden Dalog das Gewcht als abhängge und de vergröberte Größe als unabhängge Varable an: 7

28 Im Optonen-Subdalog verlangen wr schleßlch den Lneartätstest: Der Test erwest sch als sensbel und entdeckt ene Abwechung von der Lneartät (p = 0,03): Deses Ergebns stützt de Vermutungen, de wr be der Analyse von Resduen-Dagrammen gewonnen haben. Es st generell anzumerken, dass wr be der Resduenanalyse exploratv arbeten, also eventuell Hypothesen genereren, de an ener unabhänggen Stchprobe überprüft werden müssen..7.. Lneartätsdefekte beheben De generelle Empfehlung für den Fall ener verletzten Lneartätsannahme kann nur lauten, den Fehler n der Modellspezfkaton zu beheben: Eventuell st für de Abhänggket des Krterums vom Regressor ene alternatve funktonale Form zu wählen. Vele nchtlneare Zusammenhänge lassen sch durch geegnete Transformatonen von Regressor und/oder Krterum lnearseren. Be ener nchtlnearen Transformaton des Krterums st mt ener Auswrkung auf de Varanzhomogentät und de Vertelungsform der Resduen zu rechnen. Ersetzt man be dem auf Sete 4 vorgestellten Modell zu smulerten Daten den Regressor X durch ln(x), dann resultert en Resduenplot (mt LOESS-Anpassungslne) ohne Hnwese auf Lneartätsprobleme: 8

29 Im Abschntt 4. über de polynomsche Regresson betrachten wr ene wchtge Klasse von kurvlnearen Modellen, de aus der enfachen Regresson von Y auf X durch Aufnahme weterer Potenzen des Regressors (z.b. X ) n de Glechung entstehen. Möglcherwese muss das Modell um zusätzlche Regressoren erwetert werden, womt wr den Berech der bvaraten Regresson verlassen. Aus dem Streuungsdagramm mt Gewcht, Größe und Geschlecht haben wr de Hypothese abgeletet, dass das Geschlecht sowe de Wechselwrkung von Größe und Geschlecht (vertreten durch das Produkt der beden Varablen) n das Modell aufgenommen werden sollten (sehe Baltes-Götz 009). Beachten Se den Untersched zwschen der Prüfung enes vor der Datenerhebung formulerten Modells (konfrmatorsche Forschung) und der Überarbetung enes Modells während der exploratorschen Datenanalyse. Be der exploratorschen Forschung entstehen Modelle, de nur ener neuen Stchprobe überprüft werden können. Um de Gewcht-Größe - Daten weterhn als Bespel für de bvarate Regresson mt überzeugender Lneartätsannahme verwenden zu können, schränken wr unsere Stchprobe auf de Männer en. Mt 5 durch das folgende RECODE-Kommando gebldeten Größe-Gruppen akzeptert der n Abschntt.7... beschrebene Lneartätstest sene ullhypothese (p = 0,54): Für de Telstchprobe der Männer ( = 59) lefert de lneare Regresson folgende Schätzungen und Tests: 9

30 .7. Auswahl der zu prüfenden Resduen Bslang haben wr uns aus ddaktschen Gründen auf de enfachen Resduen e bzw. ( y - yˆ ) beschränkt. un werden deren achtele dskutert und bessere Alternatven vorgestellt..7.. Zentrerte Hebelwerte Für de anschleßenden Defntonen wrd mt dem zentrerten Hebelwert (engl.: leverage- oder hat-value) en Begrff benötgt, für den wr uns später m Zusammenhang mt der Dagnose enflussrecher Fälle nochmals nteresseren werden. Be der bvaraten Regresson mt Ordnatenabschntt wrd der zentrerte Hebelwert von Fall folgendermaßen defnert: h : ( x x) ( x x) Er quantfzert de relatve quadrerte Entfernung des Regressorwerts vom zugehörgen Mttelwert und bestmmt de Hebelwrkung enes Falles auf de Regressonsschätzung. Sene Werte legen zwschen 0 und (-/) (Urban & Mayerl 0, S. 88). Manche Autoren (z.b. Fox & Wesberg 0) verwenden ene abwechende Hebeldefnton, de sch vom zentrerten Hebel sensu SPSS durch de addtve Konstante / unterschedet: ~ h : h.7.. Studentserte Resduen De n Abschntt.7 betrachteten unstandardserten Resduen e snd ncht optmal geegnet zur Prüfung der Homoskedastztätsannahme. Man kann zegen (sehe z.b. Fahrmer et al. 007, S. 07; Snedecor & Cochran, 980, S. 44 und 5), dass auch be Gültgket aller Regressonsannahmen de Varanzen der geschätzten Resduen e von den zugehörgen x -Werten abhängen. Beachten Se, dass dese Aussage für de geschätzten Resduen e glt, ncht jedoch für de wahren Resduen. ach Fox & Wesberg (0, S. 86) glt für de Varanz von e : Var(e ) = ( ) h 30

31 Se hängt u.a. von dem n Abschntt.7.. defnerten zentrerten Hebelwert h ab. h varert von 0 bs - /, wobe Fälle mt enem extremen (untypschen) x -Wert enen großen Hebelwert und dementsprechend ene klene Resdualvaranz bestzen. Be Fox & Wesberg (0, S. 86) seht de Formel für Var(e ) etwas anders aus, wel dort en lecht abwechender Hebelbegrff verwendet wrd, für den wr n Abschntt.7.. de Bezechnung h ~ engeführt haben: ~ Var(e ) = ( h ) Dvdert man de enfachen Resduen e, de modellgemäß enen Erwartungswert von ull haben, durch hre jewels ndvduell geschätzte Standardabwechung, ~ e : ˆ e ~ ( h ) so erhält man de von SPSS als studentsert bezechneten Resduen, de be Gültgket des Modells m Untersched zu den enfachen Resduen konstante Varanzen bestzen und somt zur Beurtelung der Homoskedastztätsfrage besser geegnet snd (sehe Draper & Smth, 98, Abschntt 3.7; Kockläuner, 988, Abschntt 3..). Leder werden de Begrffe für Regressonsresduen unenhetlch verwendet. De studentserten Resduen sensu SPSS werden z.b. von Fahrmer et al. (007, S. 08) sowe von Fox & Wesberg (0, S. 86) als standardserte Resduen bezechnet Ausgelassen-studentserte Resduen Sollen Resduen ndvduell beurtelt werden (z.b. be ener Ausreßeranalyse, sehe Abschntt 3..), muss hre Vertelung be gültgem Modell bekannt sen. Für de von SPSS als studentsert bezechneten Resduen st ene solche Vertelungssausage ncht möglch, wel der standardserende enner auch vom Resduum m Zähler abhängt, so dass ken Quotent aus zwe unabhänggen Zufallsgrößen vorlegt. Genau dese Voraussetzung wrd aber benötgt, um de Vertelung herleten zu können. Be den so genannten ausgelassen-studentserten Resduen, de n desem Manuskrpt mt r bezechnet und n der Regel für Dagnosezwecke bevorzugt werden, st das Problem elegant besetgt. Im enner wrd ene Schätzung der Resdualstandardabwechung verwendet, de ohne Betelgung der -ten Beobachtung zustande gekommen st: r : ˆ ( ) e ( h ) Be enem gültgen Modell mt k Regressoren folgen de r - Werte ener t-vertelung mt - k - Frehetsgraden (Fox & Wesberg 0, S. 87). In desem Manuskrpt wrd bewusst von ausgelassen-studentserten Resduen gesprochen n Abgrenzung von der verbreteten Bezechnung studentserte ausgeschlossen Resduen. Mt der zuletzt genannten Bezechnung st mest ene alternatve Defnton verbunden (sehe z.b. Ed et al. 0, S. 683; Fahrmer et al. 007, S. 09), wobe m Zähler ncht das enfache, sondern das so genannte ausgeschlossene Resduum steht. Man erhält es als Dfferenz aus dem Beobachtungswert von Fall und der Prognose unter Verwendung enes Modells, das ohne Betelgung von Fall geschätzt worden st. (9) 3

32 SPSS berechnet r - Werte nach Formel (9) und schrebt dese n ene neue Varable der Arbetsdate, wenn Se n der oben erwähnten Spechern-Subdalogbox der Regressonsprozedur das Kontrollkästchen Studentsert, ausgeschl. markeren: De neue Varable erhält (falls noch ncht vergeben) den amen SDR_ und de Varablenbeschrftung Studentzed Deleted Resdual. Fox & Wesberg (0, S. 87) bezechnen de durch Formel (9) defnerten Resduen als Studentzed Resduals. Wr werden ab jetzt zur Modellprüfung de ausgelassen-studentserten Resduen bevorzugen. In Abschntt.7. haben wr uns aus ddaktschen Gründen auf de enfachen (unstandardserten) Resduen beschränkt Standardserte Resduen De von SPSS als standardsert bezechneten Resduen snd schlcht durch den Quotenten aus dem enfachen Resduum und der global geschätzten Resdualstandardabwechung (sehe Sete 6) defnert: e ˆ mt ˆ - Se bestzen daher we de enfachen Resduen auch be gültgen Modellvoraussetzungen heterogene Varanzen. = e.7.3 Varanzhomogentät der Resduen Anschleßend werden m Abschntt.7.3. de möglchen Konsequenzen be verletzter Homoskedastztätsannahme behandelt. Danach werden n den Abschntten.7.3. bzw. Fehler! Verwesquelle konnte ncht gefunden werden. graphsche bzw. statstsche Verfahren zur Beurtelung der Homoskedastztät beschreben. Wrd ene relevante Verletzung der Varanzhomogentät festgestellt, sollte zunächst geprüft werden, ob enzelne Ausreßer dafür verantwortlch snd. Eventuell müssen bzw. dürfen dese Fälle von der Analyse ausgeschlossen werden, wel se ncht zu der nteresserenden Populaton gehören (sehe Abschntt 3..). Besteht weterhn ene ernsthafte Varanzheterogentät, kommen folgende Maßnahmen n Betracht: Transformaton des Krterums zur Homogenserung der Fehlervaranzen (sehe Abschntt.7.3.3) Verwendung von nferenzstatstschen Verfahren mt Robusthet gegenüber Varanzheterogentät (sehe Abschntt.7.3.4) Gewchtete Klenstquadrat-Schätzung (WLS-Regresson, sehe Abschntt.7.3.5) Im selben Dalog snd übrgens auch de eben erwähnten ausgeschlossenen Resduen verfügbar. 3

33 .7.3. Konsequenzen be verletzter Varanzhomogentät Auch be verletzter Varanzhomogentät snd de gewöhnlchen Klenst-Quadrat-Schätzer mmer noch erwartungstreu und konsstent, also durch Stegerung des Stchprobenumfangs auf jede belebge Präzson zu brngen. Se haben jedoch ncht mehr de n Abschntt.3 beschrebenen BLUE- Optmaltätsegenschaften, sondern bestzen größere Standardfehler als de bestmöglchen Schätzer (Ryan 997, S. 6). Deser Qualtätsverlust trtt auf, wel alle Beobachtungen mt glechem Gewcht engehen, obwohl se mt unterschedlchen Fehlerstreuungen belastet snd. Besonders graverend snd de Auswrkungen auf de Schätzungen der Standardfehler zu den Regressonskoeffzenten. Dese Schätzungen snd: verzerrt, also ncht erwartungstreu nkonsstent De Verzerrung wrd durch ene Stegerung des Stchprobenumfangs ncht klener, sondern eventuell sogar größer (Long & Ervn 000). Im Ergebns erhält man fehlerhafte Sgnfkanztests und Vertrauensntervalle, wobe de Tests je nach Struktur der Heteroskedastztät zu lberal oder zu konservatv ausfallen können. Be ener multplen Regresson kann auch der globale F-Test zum gesamten Modell analog betroffen sen (vgl. Abschntt.5.). Hayes und Ca (007, S. 70) fassen de Befunde zu den Effekten verschedener Heteroskedastztätsmuster so zusammen: Ene relatv mlde Heteroskedastztät hat n der Regel kene graverenden Auswrkungen auf de Ergebnsse ener Regressonsanalyse. Fällt de Fehlervaranz be extremen Ausprägungen enes Regressors nedrger aus m Verglech zu mttleren Ausprägungen, dann resulteren überschätzte Standardfehler, also zu konservatve Tests und überbrete Konfdenzntervalle. Fällt de Fehlervaranz be extremen Ausprägungen enes Regressors höher aus m Verglech zu mttleren Ausprägungen, dann resulteren unterschätzte Standardfehler, also zu lberale Tests und zu schmale Konfdenzntervalle. Als Ursachen für Heteroskedastztät kommen z.b. n Frage: Mt dem Krterumswert wachsender Messfehler Ist von ull verscheden, ändert sch mt dem Regressor auch das Krterum. Wenn das Instrument zur Messung der Krterumswerte mt zunehmender Merkmalsausprägung tendenzell größere Fehler macht, resultert Heteroskedastztät. Modellspezfkatonsfehler (z.b. vergessene Interakton zwschen zwe Regressoren) Ene erkannte Heteroskedastztät stellt also mmer enen Ansporn zur Verbesserung des Modells dar. Um enen Endruck von der Verzerrung des Standardfehlers zu enem OLS-Regressonskoeffzenten durch Heteroskedastztät zu vermtteln, wurde ene Smulatonsstude mt dem folgenden wahren Modell Y = 0X +, (0, 9 X ), X glechvertelt auf dem Intervall [0, 3] 000 mal mt jewels 50 Fällen durchgeführt. Es besteht ken Effekt von X auf Y, aber ene große Heteroskedastztät der Resduen: 33

34 In Abschntt werden wr reale Daten mt enem verglechbaren Heterogentätsproblem betrachten. In der folgenden Tabelle st de Standardabwechung der Stegungskoeffzenten aus 000 Versuchen sowe der Mttelwert der 000 per OLS-Technk geschätzten Standardfehler zum Stegungskoeffzenten zu sehen: 0,379 Es zegt sch, dass der Standardfehler um den Faktor 0, 9 (um 0%) unterschätzt wrd. Als Folge 0,4 stellt sch ene erhöhte -Fehlerrate von 7,6 % bzw. en entsprechend reduzerter Antel von 95% - Vertrauensntervallen, de den wahren Wert 0 enthalten (9,4% statt 95%). In Relaton zur smulerten drastschen Heteroskedastztät halten sch de Enflüsse auf de Inferenzstatstk n Grenzen. Allerdngs lassen sch dese Ergebnsse ncht generalseren Dagnosemethoden Resduen-Plots Anhand des (r, x ) - Streudagramms der ausgelassen-studentserten Resduen gegen den Regressor st de Heteroskedastztätsfrage ncht lecht zu entscheden: 34

35 Abbldung 7: Ausgelassen-studentserte Resduen versus Prädktor für de Regresson von GEWICHT auf GROESSE (be = 59 Männern) Wr haben bslang n nahe legender Vorgehenswese Resduen gegen de X-Varable geplottet und mussten dabe en relatv umständlches Vorgehen wählen. SPSS betet nnerhalb der Regressonsprozedur bequem zugänglche Plots an, de zu unseren obgen Abbldungen perfekt äquvalent snd. Darn wrd als x-achsen - Varable statt des Regressors de standardserte Modellprognose verwendet, de be ener bvaraten Regresson stets ene perfekte lneare Funkton des Regressors st. En Streudagramm mt den ausgelassen-studentserten Resduen (SPSS-Bezechnung: SDRESID) und den standardserten Modellprognosen (SPSS-Bezechnung: ZPRED) wrd n der Subdalogbox Dagramme folgendermaßen angefordert: Der per Regressonsprozedur erstellte Plot zegt erwartungsgemäß exakt dasselbe Bld we Abbldung 7: 35

36 Abbldung 8: Ausgelassen-studentserte Resduen vs. standardserte geschätzte Werte für de Regresson von GEWICHT auf GROESSE (be = 59 Männern) Spread & Level - Plot Im so genannten Spread & Level - Plot (sehe z.b. Fox & Wesberg 0, S. 35) werden de logarthmerten Beträge der ausgelassen-studentserten Resduen gegen de logarthmerten Modellprognosen geplottet. Fälle mt enem Prognosewert klener oder glech ull müssen ausgeschlossen werden, wel der Logarthmus für solche Werte ncht defnert st. Um den Plot mt SPSS zu erstellen, lässt man von der Regressonsprozedur de ausgelassen-studentserten Resduen sowe de vorhergesagten Werte des Modells als neue Varablen n der Arbetsdate spechern: Daraus werden de als Achsenvarablen für den Spread & Level - Plot benötgten Varablen berechnet, z.b.: compute LnAbsASR = ln(abs(sdr_)). compute LnProg = ln(pre_). Schleßlch kann man das gewünschte Streudagramm über den Menübefehl Grafk > Alte Dalogfelder > Streu-/Punktdagramm > Enfaches Streudagramm 36

37 erstellen lassen. Wächst de Resdualvaranz mt dem prognostzerten Wert (en typsches Bld be verletzter Homoskedastztät), dann ergbt sch m Spread & Level - Plot ene anstegende Regressonsgerade, was m Bespel ncht der Fall st: Abbldung 9: Plot der logarthmerten Beträge der ausgelassen-studentserten Resduen gegen de logarthmerten Modellprognosen für de Regresson von Gewcht auf Größe (be = 59 Männern) Aus enem sgnfkanten Koeffzenten b zur Regressonsgeraden m Spread & Level - Plot lässt sch ene Empfehlung für ene Fehlervaranz-stablserende Transformaton des Krterums ableten (sehe Fox 997, S. 30): Y Y b Im Bespel wrd de ullhypothese bebehalten (p = 0,0), so dass kene Transformaton erforderlch st: Damt ncht der Endruck entsteht, dass wr m Manuskrpt ständg mt bequemen Daten den Schwergketen des statstschen Alltags aus dem Weg gehen, wrd noch en Bespel mt deutlch verletzter Varanzhomogentät präsentert. In ener be Kockläuner (988) vorgestellten volkswrtschaftlchen Stude mt 0 atonen als Beobachtungsenheten geht es um en Modell zur Erklärung des Pro-Kopf - Bruttosozalprodukts (SPSS-Varablenname BSP) durch verschedene Entwcklungsndkatoren (Daten aus dem Jahr 974). Im ersten Schrtt, dessen Ergebnsse anschleßend dskutert werden, verwendet Kockläuner enen Ernährungsndex (SPSS-Varablenname ER) als enzgen Regressor. Er wurde aus ener Hauptkomponentenanalyse gewonnen und reflektert u.a. den Pro-Kopf - Kaloren- bzw. - Protenverbrauch. In der lnearen Regresson zegt sch en starker Effekt des Regressors, wobe aber de Prüfung der Modellvoraussetzungen noch aussteht: De Date Kockl.sav mt den Daten befndet sch an der m Vorwort verenbarten Stelle. 37

38 Zur Beurtelung der Homoskedastztät (und der Lneartät) betrachten wr de gemensame Vertelung der Varablen BSP und ER mt engezechneter Regressonsgeraden: Abbldung 0: Regresson von BSP auf ER Während das Streudagramm de Lneartätsannahme ncht ernstlch n Frage stellt, hat man den Endruck, dass de Fehlervaranz mt dem Prädktor wächst. Derselbe Befund zegt sch noch etwas prägnanter m Plot der ausgelassen-studentserten Resduen gegen de vorhergesagten Werte, der sch bequem per Regressonsprozedur anfordern lässt (vgl. Abschntt.7.3..): Abbldung : Ausgelassen-studentserte Resduen vs. standardserte Schätzwerte für de Regresson von BSP auf ER Wr erhalten en annähernd trchterförmges Bld: 38

39 r x Abbldung : ach desem trchterförmgen Muster wächst oft de Resdualvaranz mt dem Regressor Im Spread & Level - Plot der logarthmerten absoluten ausgelassen-studentserten Resduen gegen de logarthmerten Modellprognosen sprcht ene deutlch anstegende Regressonsgerade (b = 0,75) gegen de Homoskedastztät: Abbldung 3: Plot der logarthmerten absoluten ausgelassen-studentserten Resduen gegen de logarthmerten Modellprognosen m volkswrtschaftlchen Bespel In desem Dagramm fehlen 6 Fälle, wel für den Prognosewert klener oder glech 0 der Logarthmus ncht gebldet werden konnte. Das Vertrauensntervall zum Regressonskoeffzenten st wet vom Wert 0 entfernt: Es resultert de folgenden Empfehlung zur Transformaton des Krterums (sehe Abschntt.7.3.3): Y Y 0,75 Y 0,5 39

40 Maxmalquotentenkrterum In Abschntt..4 haben wr uns schon damt abgefunden, dass es ene perfekte Homoskedastztät praktsch ne geben wrd. Es st velmehr zu beurtelen, ob de be ener Stude beobachtete Verletzung der Homoskedastztät tolerert werden kann oder ncht. ach ener be Ryan (997, S. 6) mtgetelten Daumenregel besteht ken Grund zur Sorge, solange der Quotent aus der maxmalen und der mnmalen Fehlerstandardabwechung den Wert,5 ncht überstegt, während Quotenten ab dre auf jeden Fall nakzeptabel snd. Übertragen auf Fehlervaranzen snd also Werte ab neun als krtsch anzusehen. Ähnlch äußern sch auch Cohen et al. (003, S. 0) und Fox (997, S. 306f), de 0 als krtsches Verhältns zwschen der maxmalen und der mnmalen Fehlervaranz nennen. Um de Fehlervaranz für enen bestmmten X-Wert schätzen zu können, muss man natürlch mehrere Y- Werte unter deser Bedngung ermtteln. In ener Beobachtungsstude legen solche Replkatonen n der Regel ncht vor, doch kann man durch Zusammenfassen bzgl. des Prädktors zu verwertbaren Schätzungen von berechsspezfschen Fehlervaranzen kommen. Für de folgende Abbldung wurden fünf etwa glech stark besetzte GROESSE-Intervalle gebldet, zu denen jewels der mttlere GROESSE-Wert und de Standardabwechung der (enfachen) Resduen ermttelt wurden: Abbldung 4: Standardabwechungen der Resduen für 5 GROESSE-Intervalle (be = 59 Männern) ach dem Maxmalquotenten-Krterum kann man von ener akzeptablen Varanzhomogentät auszugehen: 9,7,39 6,6 Analog zum Vorgehen be der Regresson von GEWICHT auf GROESSE wurden auch be dem volkswrtschaftlchen Bespel geschätzte Standardabwechungen der (enfachen) Resduen für fünf Intervalle bzgl. der Prädktorvarablen ermttelt: De SPSS-Syntaxdate GgAgr.sps (zu fnden an der verabredeten Stelle) enthält de zum Erstellen der Abbldung und zum Ermtteln der ntervallspezfschen Fehlerstandardabwechungen erforderlchen SPSS-Kommandos. Während de aktuell betrachteten GROESE-Intervalle ene ähnlche Häufgket bestzen, wurden n Abschntt.7... zur Beurtelung der Lneartät Intervalle mt dentscher Brete benötgt. 40

41 Abbldung 5: Standardabwechungen der (enfachen) Resduen für 5 ER-Intervalle m volkswrtschaftlchen Bespel nach Kockläuner (988) Desmal st der Quotent aus der größten und der klensten Standardabwechung so extrem (deutlch größer als 3), dass nach der oben angegebenen Regel ene nakzeptable Verletzung der Homogentätsannahme festgestellt werden muss: 960,63 9,40 08, Score-Test von Breusch und Pagan Es snd verschedene Sgnfkanztests zur Beurtelung der Varanzhomogentät vorgeschlagen worden (sehe z.b. Backhaus et al. 008, S. 86; Cohen et al. 003, S. 33; Groß 003, S. 38; Fox 997, S. 30). En generelles Problem deser Verfahren st de n Abschntt..4 dskuterte Abhänggket von der Stchprobengröße. Trotz der Bedenken sollen exemplarsch zwe Verfahren vorgestellt werden: glech anschleßend der Score-Test von Breusch und Pagan (sehe z.b. Fox & Wesberg, 0, S. 36) und n Abschntt der Glejser-Test. Um den Score-Test von Breusch und Pagan n SPSS per Menüsystem oder Syntax nutzen zu können, müssen Se de R-Essentals für SPSS Statstcs samt ener mt SPSS kompatblen R-Verson nstalleren (sehe z.b. Baltes-Götz 03b). Anschleßend stehen neben der generellen Opton, R-Pakete und - Syntax auf de Varablen n enem SPSS-Datenblatt anzuwenden, etlche mt R mplementerte SPSS- Erweterungskommandos zur Verfügung, de auch n das Menüsystem ntegrert snd. Das Erweterungskommando zum Score-Test von Breusch und Pagan st verfügbar über den Menübefehl Analysen > Regresson > Resduums-Heteroskedastztätstest und verwendet de Funkton ncv.test aus dem R-Paket car. Im folgenden Dalog wrd de Beurtelung der Regresson von Gewcht auf Größe angefordert: 4

42 Wr erhalten en p-level von 0,48 und können de ullhypothese homogener Fehlervaranzen bebehalten: Be den oben beschrebenen volkswrtschaftlchen Daten (aus Kockläuner 988) zwngt hngegen en hochsgnfkantes Testergebns dazu, de Homogentäts-ullhypothese abzulehnen: Glejser-Test Wenn en Sgnfkanztest zur Prüfung der Varanzhomogentät gewünscht, aber der Breusch-Pagan - Test aus technschen Gründen ncht möglch st (R-Essentals - Paket ncht nstallert), kommt das mt SPSS- Bordmtteln lecht anwendbare Verfahren von Glejser (969) n Frage: Man lässt von der Regressonsprozedur de enfachen Resduen abspechern, erstellt ene neue Varable mt den Beträgen der enfachen Resduen und rechnet für dese Varable ene Regresson auf de Prädktoren des Modells. Be bestehender Varanzhomogentät sollte ken Regressonskoeffzent (außer dem konstanten Term) sgnfkant werden. Während be de Regresson von GEWICHT auf GROESSE (be = 59 Männern) ken sgnfkantes Anwachsen der absoluten Resduen mt dem Prädktor festgestellt wrd (p = 0,35), 4

43 resultert be den oben beschrebenen volkswrtschaftlchen Daten (nach Kockläuner 988) en hochsgnfkantes Regressonsgewcht (p < 0,00): Transformaton des Krterums zur Homogenserung der Fehlervaranzen Von ener lnearen Transformaton des Krterums können wr kene Stablserung heterogener Fehlervaranzen erwarten, wel hr Effekt auf de Resduen m Wesentlchen durch angepasste Parameterschätzungen kompensert wrd. Be der Suche nach ener geegneten nchtlnearen Transformaton des Krterums st zu beachten: Von der Transformaton st auch de Lneartätsannahme des Regressonsmodells betroffen: War de Lneartätsannahme vor der Transformaton erfüllt (d.h. E( Y ) 0 x,,.., ), kann se es anschleßend ncht mehr sen. Ebenso st de Gestalt der Resdualvertelung betroffen. Mt etwas Glück fndet man ene Transformaton, de sowohl de Homoskedastztät als auch de ormaltät der Resduen fördert (vgl. Abschntt.7.4.4). De Interpretaton der Regressonskoeffzenten wrd eventuell erschwert. Aus der nchtlnearen Transformaton der abhänggen Varablen resultert ene Bedeutungsveränderung für hre Ausprägungen. So rücken z.b. bem Logarthmeren hohe Werte näher zusammen. Wo vorher en großer, durch starke Enwrkung des Regressors zu überbrückender Untersched bestand, dffereren de transformerten Werte deutlch wenger, snd also hnschtlch der Aussage über den Merkmalsträger ähnlcher. Ene solche Bedeutungsverlagerung kann durchaus erwünscht sen und de Modellerung erlechtern. Es gbt vele Möglchketen zur Transformaton der Y - Realsatonen, de be unterschedlchen Heterogentätsmustern ndzert snd (sehe z.b. Draper & Smth (98, 37ff). Wr erläutern zwe Transformatonen: a) Logarthmus Verhält sch de Standardabwechung der Y -Varablen proportonal zu hrem Erwartungswert, Var( Y ) E( Y ),,..,, dann empfehlt sch ene Transformaton mt dem natürlchen Logarthmus, falls alle Y -Werte postv snd: Y ln( Y ) 43

44 b) Potenzeren mt Exponentenwahl gemäß Spread & Level Plot Aus der Stegung b der Regressonsgeraden zum Spread & Level - Plot (sehe Abschntt.7.3..) lässt sch ene Empfehlung für ene Fehlervaranz-stablserende Transformaton des Krterums ableten (sehe Fox 997, S. 30): Y Bede Verfahren werden auf de Daten aus der volkswrtschaftlchen Stude angewendet. Telt man de Stchprobe nach der emprschen BSP-Vertelung n 5 ungefähr glech stark besetzte Segmente auf und plottet de BSP-Telstchproben-Standardabwechungen gegen de BSP-Telstchproben-Mttelwerte, dann ergbt sch de folgende annähernd lneare Bezehung: Y b Abbldung 6: BSP-Standardabwechung versus BSP-Mttelwert für 5 Telstchproben Folglch kommt ene logarthmsche Transformaton n Betracht. Bem Spread & Level - Plot zegt sch en Stegungskoeffzent von 0,75 (n der Regresson der logarthmerten Beträge der ausgelassen-studentserten Resduen auf de logarthmerten Modellprognosen), Es resultert de folgenden Empfehlung zur Transformaton des Krterums: Y Y 0,75 Unter Verwendung des Konfdenzntervalls für den Stegungskoeffzenten aus der Spread & Level - Regresson legt der empfohlene Exponent für de Transformaton m folgenden Intervall: Y [0,05; 0,399] 0,5 Im Bespel haben de beden Empfehlungen (ln(y), Y ) ähnlche Effekte und führen zu transformerten Varablen mt ener Korrelaton von 0,99. Wr entscheden uns für de vertrautere, logarthmsche Transformaton und erstellen de neue Varable ln(bsp) (ame n SPSS: LBSP). 0,5 In Abschntt hatten wr ebenfalls grupperte Daten betrachtet, doch wurden dort Intervalle bzgl. des Prädktors gebldet, während wr nun Intervalle bzgl. des Krterums betrachten. 44

45 Zur Beurtelung des modfzerten Modells betrachten wr zunächst das Streudagramm von LBSP und ER: Abbldung 7: Regresson von LBSP auf ER Im Verglech zum Plot von BSP gegen ER st ene bessere Anpassung der Regressonsgeraden festzustellen. Des zegt sch auch m adjusterten R a von 0,70 für de Regresson von LBSP auf ER (Verglechswert aus der Regresson von BSP auf ER: 0,633): Im Breusch-Pagan - Test zur Varanzhomogentät (vgl. Abschntt ) zegt sch m Untersched zum Model für das ursprünglche Krterum kene Sgnfkanz, so dass de Homogentätsannahme für das modfzerte Modell akzeptert werden kann: Allerdngs snd dese freundlchen Ergebnsse noch ken kompletter Bewes für de Modellgültgket, so dass wr zur Beurtelung der Lneartätsannahme unter Verwendung des Dagramme-Subdalogs der Regressonsprozedur 45

46 de ausgelassen-studentserten Resduen gegen de standardserten Prognosewerte (also letztlch gegen den Regressor) plotten lassen: Abbldung 8: Ausgelassen-studentserte Resduen vs. prognostzerte Werte für de Regresson von LBSP auf ER Laut Kockläuner (988, S. 99) legen kene offenkundgen nchtlnearen Strukturen vor, sodass de Lneartätsannahme für das Modell mt dem logarthmerten Krterum akzeptert wäre. An deser Stelle sollte de Behandlung des volkswrtschaftlchen Bespels egentlch abgeschlossen sen. Es sollte ja nur dazu denen, möglche Maßnahmen zur Korrektur ener Varanzheterogentät zu demonstreren. Allerdngs fällt es mr schwer, Kockläuners Urtel zu Abbldung 8 zu telen. Mener Menung nach zegt sch her ene deutlche umgekehrt U-förmge Bezehung, so dass de Lneartätsannahme abzulehnen st: 46

47 Abbldung 9: Ausgel.-stud. Resduen vs. progn. Werte für de Regr. von LBSP auf ER, mt quadratscher Regressonsfunkton Ene nochmalge Inspekton von Abbldung 7 (Regresson von LBSP auf ER) lässt vermuten, dass de Regresson von quadratscher Gestalt st, so dass n der Regressonsglechung neben ER auch de quadrerte Varable ER := ER als Prädktor benötgt wrd. Allerdngs haben wr es nun mt ener multplen Regressonsglechung zu tun, de außerdem auch noch von spezeller (polynomscher) Bauart st. Da wr de Theore der multplen Regresson noch ncht kennen, vertagen wr de wetere Behandlung des volkswrtschaftlchen Bespels auf den Abschntt 4. über de polynomsche Regresson. Dort snd auch de (erfreulchen) Ergebnsse zur Varanzhomogentätsprüfung für das revderte Modell zu fnden. Im volkswrtschaftlchen Bespel hat das Logarthmeren zu ener verbesserten, wssenschaftlch relevanteren Krterumsvarablen geführt, de erfolgrecher modellert werden kann als de Ausgangsverson Robuste Inferenzstatstk trotz Heteroskedastztät In desem Abschntt geht es um statstsche Technken, welche de Heteroskedastztät ncht besetgen, aber ene fehlerhafte Inferenzstatstk verhndern können. Dese Technken gewnnen set enger Zet an Populartät und haben m Verglech zur Transformaton des Krterums (sehe Abschntt.7.3.3) oder zur WLS-Regresson (sehe Abschntt.7.3.5) den Vortel, dass de Struktur der Heteroskedastztät ncht bekannt sen muss Heteroskedastztäts-robuste Standardfehler Set geraumer Zet stehen Verfahren beret, de ene konsstente Schätzung der Kovaranzmatrx der OLS- Regressonskoeffzenten trotz Heteroskedastztät von belebger (unbekannter) Form ermöglchen (sehe Hayes & Ca 007; Long & Erwn 000). Be desen Verfahren werden de Regressonskoeffzenten we gewohnt per Klenst-Quadrat-Krterum geschätzt. Zur Schätzung der Kovaranzmatrx der OLS- Regressonskoeffzenten wrd hngegen ene Methode verwendet, de auch be Heteroskedastztät en konsstentes Verhalten zegt. Auf desem Heterogentäts-robusten Schätzergebns baseren Sgnfkanztests und Vertrauensntervalle. Long & Erwn (000) sprechen von der heteroscedastcty consstent co- 47

48 varance matrx (HCCM). Hayes & Ca (007) konzentreren sch auf das Vertelungsverhalten enes enzelnen Regressonskoeffzenten und verwenden den Begrff heteroskedastcty-consstent standard error (HCSE). Wetere, n der Lteratur gebräuchlche Bezechnungen snd: Sandwch-Schätzer (abgeletet von der mathematschen Struktur) Huber Whte -, Ecker Whte oder Ecker Huber Whte - Schätzer, womt de wchtgsten Entwckler der Technologe anerkannt werden (sehe Ecker 967, Huber 967, Whte 980) Für de unter dem amen HC0 bekannte ursprünglche Varante des Heteroskedastztäts-konsstenten Schätzers weß man nzwschen, dass se zwar asymptotsch konsstent st, be klenen Stchproben ( 00) aber unterschätzte Standardfehler und damt zu lberale Sgnfkanztests lefert (Long & Erwn 000). Von der Weterentwcklung HC3 snd auch be klenen Stchproben zuverlässge Ergebnsse zu erwarten, und de Varante HC4 wrd von Hayes & Ca (007, S. 7) be Anwesenhet von Fällen mt großen Hebelwerten empfohlen (vgl. Abschntte.7.. und 3..3 ). In SPSS wrd de Heteroskedastztäts-konsstente Schätzung der Standardfehler zu Regressonskoeffzenten n der Prozedur GELI unterstützt, wobe leder de Varante HC0 zum Ensatz kommt, de be klenen Stchproben ( 00) ncht zu empfehlen st. Man startet den Dalog zu GELI über den Menübefehl Analyseren > Verallgemenerte lneare Modelle > Verallgemenerte lneare Modelle Auf der Regsterkarte Typ des Modells wrd de Vorenstellung Lnear bebehalten: Wr analyseren das volkswrtschaftlche Modell (nach Kockläuner 988), das be allen Verfahren zur Homoskedastztätsdagnose negatv aufgefallen st und wählen daher auf der Regsterkarte Antwort de abhängge Varable BSP: Auf der Regsterkarte Prädktoren wählen wr das ER als Kovarate: 48

49 Auf der Regsterkarte Modell können aus den Enflussgrößen enfache und/oder komplexe Effekte (Wechselwrkungen) konstruert werden. In unserem Bespel kommt nur der Haupteffekt ER n Frage: Schleßlch und endlch wählen wr auf der Regsterkarte Schätzung für de Kovaranzmatrx den robusten Schätzer: Im Verglech zu den Ergebnssen der Regressonsprozedur für das Krterum BSP lefert GELI denselben Regressonskoeffzenten (604,0), aber enen deutlch größeren Standardfehler (6,6 statt.6): 49

50 Wer auch de HCSE-Varanten HC3 und HC4 nutzen möchte, kann das von Hayes & Ca entwckelte SPSS-Makro HCREG verwenden, das auf der folgenden Websete angeboten wrd: ach enem Doppelklck auf de herunter geladene Date hcreg.spd kann das Makro samt Integraton ns das Menüsystem nstallert werden: Dabe gelten sehr benutzerfreundlche Regeln: Es genügen normale Benutzerrechte. Das Makro kann be laufender SPSS-Stzung nstallert und anschleßend sofort benutzt werden. Be Bedarf startet SPSS nach enem Doppelklck auf hcreg.spd und öffnet den obgen Dalog. ach dem Installeren sollten Se ene Quttung we m folgenden Bespel erhalten: Solange der her angegebene Ordner exstert, blebt das benutzerdefnerte Dalogfeld nstallert (über de aktuelle SPSS-Stzung hnweg). Auf enem Pool-PC an der Unverstät Trer st de Installaton enes benutzerdefnerten Dalogfelds von räumlch und zetlch begrenzter Wrkung. Zunächst landet de Installaton auf enem enzelnen Pool-PC, kann sch also ncht auf andere Pool-PCs auswrken. Außerdem landet de Installaton n enem Tel des Wndows-Benutzerprofls, der bem Abmelden gelöscht wrd. Zur Lösung des Problems sollten Se vor der Installaton enes benutzerdefnerten SPSS-Dalogfelds ene benutzeregene Wndows- Umgebungsvarable defneren über Systemsteuerung > Benutzerkonten > Benutzerkonten > Egene Umgebungsvarablen ändern Verwenden Se für dese Umgebungsvarable 50

51 Lneare Regressonsanalyse mt SPSS den amen SPSS_CDIALOGS_PATH und als Inhalt den amen enes Ordners auf Ihrem persönlchen Laufwerk U:, das auf jedem Pool- PC verfügbar st, z.b. U:\Egene Dateen\SPSS\SPSS_CDIALOGS_PATH Wenn Se anschleßend en benutzerdefnertes Dalogfeld nstalleren, landet es m verenbarten Ordner und steht auf allen Pool-PCs zur Verfügung, z.b.: ach der beschrebenen Installaton lässt sch mt dem Menübefehl de folgende Dalogbox öffnen: Analyseren > Regresson > Lnear HCSE Wr fordern für de volkswrtschaftlchen Daten (nach Kockläuner 988) de Berechnung von Heteroskedastztäts-robusten Standardfehlern nach der Methode HC3 an und erhalten: HC Method 3 Crteron Varable bsp Model Ft: R-sq F df df p,6363 9,359, ,0000,0000 Heteroscedastcty-Consstent Regresson Results Coeff SE(HC) t P> t Constant 693,94,8934 3,7838,0000 ern 604,000 67,86 9,558,0000 5

52 Im Verglech zu den Ergebnssen der Regressonsprozedur für das Krterum BSP (sehe oben) lefert das Hayes/Ca - Makro denselben Regressonskoeffzenten, aber enen deutlch größeren Standardfehler (67,86 statt,6). Zwschen den HCSE-Verfahren HC0 (durch GELI berechnet, sehe oben) und HC3 besteht nur en gerngfügger Untersched (Stchprobengröße: = 0). Um de Überlegenhet der HCSE-Technk m Verglech zur Standardtechnk be Vorlegen von Heteroskedastztät zu überprüfen, wurde be der n Abschntt.7.3. beschrebenen Smulatonsstude auch de Berechnung von HC0-Standardfehlern über de Prozedur GELI enbezogen. De Entschedung für GELI machte ene komfortable Durchführung der Stude über das Output Management System (OMS) von SPSS möglch. Wegen der Stchprobengröße von = 50 kommt de Schwäche der HC0- Standardfehler be klenen Stchproben ncht zum Tragen. In der folgenden Tabelle st de Standardabwechung der Stegungskoeffzenten aus 000 Versuchen sowe der Mttelwert der 000 per HCSE-Technk geschätzten Standardfehler zum Stegungskoeffzenten zu sehen: Es zegt sch, dass der Standardfehler m Mttel recht präzse geschätzt wrd. Dementsprechend legt de -Fehlerrate mt 5,5 % sehr nahe am erwarteten Wert (5%) Bootstrappng In der amerkanschen Varante der Münchhausen-Geschchte schafft es der Held, sch an den egenen Stefelremen aus dem Sumpf zu zehen, und deses Verfahren lefert den amen für ene promnente statstsche Schätz- und Testmethodologe, de erstmals von Efron (98) ausformulert worden st. Man behandelt de Stchprobe als Populaton, ermttelt durch Zehen mt Zurücklegen zahlreche Sekundärstchproben (mndestens 000) mt derselben Größe we de Orgnal- bzw. Prmärstchprobe, wobe n der Regel etlche Fälle mehrfach n ener Sekundärstchprobe vertreten snd. Aus jeder Sekundärstchprobe wrd mt den üblchen Methoden (z.b. OLS) en Schätzer für den nteresserenden Parameter gewonnen, so dass man ene emprsche Stchprobenkennwertevertelung erhält. Dese ersetzt de theoretsche Stchprobenkennwertevertelung, de auf Modellannahmen basert. Aus der emprschen Stchprobenkennwertevertelung lassen sch Vertrauensntervalle und Testentschedungen konstrueren, de auch be ener Verletzung der Varanzhomogentät und/oder der ormaltät der Resduen gültg snd. Lange war de benötgte Rechenlestung en Hnderns für de Weterentwcklung und Anwendung der Bootstrap-Technologe, doch mttlerwele suchen de CPU-Hersteller nach relevanten Anwendungen für hre Ggahertz- und Multcore-Bolden. In folgenden Stuatonen st de vertelungsvoraussetzungsfree und sehr generell ensetzbare Ermttlung von Vertrauensntervallen zu Parameterschätzungen durch Bootstrap-Methoden von Interesse: Be grob verletzter Varanzhomogentäts- oder ormalvertelungsannahme snd de daraus abgeleteten Standardfehler potentell verzerrt de zugehörgen Tests unzuverlässg. Mt Hlfe der Bootstrap-Technk gelangt man n velen Fällen zu realstscheren Standardfehlern. Für manche Statstken lassen sch aus den Modellannahmen kene Standardfehler herleten. Das betrfft z.b. den Determnatonskoeffzenten m klassschen lnearen Modell mt fxerten Regressoren. 5

53 Damt ene Stchprobe als Pseudo-Populaton taugt, muss se repräsentatv sen. Außerdem setzt de klasssche Bootstrappng-Theore unabhängge Beobachtungen voraus, wobe an ener Verallgemenerung auf abhängge Beobachtungen ntensv gearbetet wrd. SPSS kann be velen Prozeduren das Erstellen von Bootstrap-Sekundärstchproben und de Zusammenfassung der Ergebnsse automatseren. Wenn ene Prozedur das Bootstrappng unterstützt, st en entsprechender Schalter n hrer Dalogbox vorhanden, z.b. be der lnearen Regresson. ach enem Klck auf den Schalter Bootstrap erschent der folgenden Dalog: Her aktvert man das Bootstrappng und wählt ene Anzahl von Sekundärstchproben (mndestens 000). En Startwert für den Pseudozufallszahlengenerator (Mersenne Twster) macht das Bootstrap-Ergebns reproduzerbar. Für de Vertrauensntervalle legt man des Konfdenznveau fest und wählt n der Regel de Bas corrected and accelerated - Methode. Mt den volkswrtschaftlchen Daten nach Kockläuner (988) erhalten wr folgende Ergebnsse für das Krterum BSP: Im Verglech zu den Ergebnssen der Regressonsprozedur lefert das Bootstrap-Verfahren denselben Regressonskoeffzenten, aber enen deutlch größeren Standardfehler (6,5 statt,6). Zudem zegt sch ene gute Überenstmmung mt dem Heteroskedastztäts-konsstenten Standardfehler (vgl. Abschntt ). Um de Überlegenhet der Bootstrap-Schätzung m Verglech zu Standardtechnk be Vorlegen von Heteroskedastztät zu überprüfen, wurde be der n Abschntt.7.3. beschrebenen Smulatonsstude auch de Berechnung von Bootstrap-Standardfehlern enbezogen. In der folgenden Tabelle st de Standardabwechung der Stegungskoeffzenten aus 000 Versuchen sowe der Mttelwert der 000 per Bootstrap-Technk geschätzten Standardfehler zum Stegungskoeffzenten zu sehen: 53

54 Es zegt sch, dass der Standardfehler m Mttel recht präzse geschätzt wrd. Dementsprechend legt de -Fehlerrate mt 5,5 % sehr nahe am erwarteten Wert (5%). Im Verglech zur Technk der Heteroskedastztäs-konsstenten Standardfehler (sehe Abschntt ) betet de Bootstrap-Technologe den Vortel, auch de ormalvertelungsannahme abzuschütteln WLS-Regresson Be der WLS-Regresson (Weghted Least Squares) versucht man zu enem neuen Modell mt homogenen Fehlervaranzen zu gelangen, ndem man be jeder Beobachtung de gesamte Regressonsglechung (Krterum, Regressor und Ordnatenabschntt) mt dem Kehrwert Var( der Fehlerstreuung aus dem ursprünglchen Modell multplzert. De resulterenden Parameterschätzungen snd erwartungstreu und effzent. Außerdem werden de Standardfehler zu den Regressonskoeffzenten erwartungstreu geschätzt (Long & Erwn 000). Vor allem be Beobachtungsstuden (m Untersched zu Studen mt geplanten Häufgketen der x - Ausprägungen) besteht das wesentlche Problem der WLS-Regresson m Schätzen der Gewchtungsfaktoren. In günstgen Fällen st für ene Gewchtungsvarable W bekannt, dass sch de Resdualvar- Var( ) anzen proportonal zu ener Potenz von W (also proportonal zu ) h W ) verhalten. Dann lassen sch de Fehlervaranzen homogenseren, ndem man bede Seten der Regressonsglechung durch Wenn z.b. für de Regressonsglechung glt: Y 0 X,,.., h W dvdert. Var( ) X,,.., (0) dann snd zur Varanzhomogenserung bede Seten durch X zu dvderen. Als Gewchtungsvarable fungert her X, und der Exponent h st, so dass er bem Radzeren gerade verschwndet. Bem Dvderen durch X resultert folgendes Modell: Im Verglech zur oben angegebenen allgemenen Form Y 0,,.., () X X X Var( ) konnten wr den Gewchtungsfaktor lecht verenfachen, wel der konstante Antel gekürzt werden darf. In der neuen Regressonsglechung Y trtt als Krterum, als Regressor und als Resduum auf. De Regressonskoeffzenten haben X X X hre üblchen Rollen getauscht, und de Fehlervaranzen m neuen Modell snd homogen: Var Var( ) X,,.., X X X Gute Darstellungen der WLS-Regresson fnden sch z.b. be Draper & Smth (98, S. 08ff) und be Ryan (997, S. 60ff). 54

55 Folglch kann man de Koeffzenten des neuen Modells mt der gewöhnlchen Klenst-Quadrat - Methode schätzen. Im Allgemenen führt der WLS-Lösungsansatz für en enfaches Regressonsmodell zu enem multplen Regressonsmodell (vgl. Abschntt ) mt den beden Regressoren und ohne Ordnatenabschntt. W h De Regresson mt Fehlervaranzhomogenserung durch ene Gewchtungsvarable mt geschätztem Exponenten st n SPSS als egene Prozedur realsert, errechbar über den Menübefehl, X W h Analyseren > Regresson > Gewchtsschätzung Um de WLS-Methode und das Verhalten der SPSS-Prozedur näher zu erkunden, führen wr ene Smulatonsstude passend zum eben dskuterten Bespel mt Y X, Var( ) X,,.., durch. Dazu werden n enem Datenblatt mt der geöffneten Datendate Kockl.sav de Varablen XS und YS durch de folgenden Kommandos ergänzt (zu fnden n der SPSS-Syntaxdate WLS-Sm.sps an der verabredeten Stelle): compute xs = unform(). compute ys = xs + normal(xs). Im Plot der ausgelassen-studentserten OLS-Resduen (Ordnary Least Squares) gegen de vorhergesagten Werte zegt sch en ausgeprägter Trchter: Abbldung 0: Ausgelassen-studentserte Resduen vs. vorhergesagte Werte für ene OLS-Regresson be Varanzheterogentät mt Var( ) X,,.., Auch das Testergebns nach Breusch und Pagan (vgl. Abschntt ) sprcht deutlch gegen de Homoskedastztätsannahme: 55

56 De mt folgender Dalogbox beauftragte WLS-Regressonsprozedur schätzt zunächst de optmale Potenz zur Gewchtungsvarablen und kommt dabe zum korrekten Ergebns : Log-Lkelhood-Werte b Exponent -3,000-9,48....,700-33,040,800-3,963,900-3,6,000-30,894 a,00-3,048,00-3,779,300-33,87,400-35,379,500-38,459,600-4,5,700-47, ,000-69,48 a. Der entsprechende Exponent wrd für de wetere Analyse ausgewählt, wel deser Wert den Wert der Log-Lkelhood-Funkton maxmert. b. Abhängge Varable: ys, Quellvarable: xs Anschleßend läuft der Algorthmus gemäß Formel () weter, d.h. de ursprünglche Regressonsglechung wrd durch XS dvdert: 56

57 In ener zur Probe gerechneten OLS-Regresson mt dem Krterum: und dem Regressor YS Y_W : XS C_W : erhält man als Ordnatenabschntt (sehe Glechung ()) exakt den geschätzten Stegungskoeffzenten aus der WLS-Ausgabe: XS Der Score-Test nach Breusch & Pagan (vgl. Abschntt ) plädert nun mt ener Überschretungswahrschenlchket von 0,775 für de Homoskedastztät: 57

58 Der Standardfehler zum Stegungskoeffzenten st n der WLS-Regresson nur ca. halb so groß we der korresponderende Standardfehler aus ener OLS-Regresson unter Vernachlässgung der Varanzheterogentät: Tatsächlch legt de WLS-Schätzung mt,0 näher am korrekten Wert,0 als de OLS-Schätzung (,0). Wenn man berets ene Varable mt geegneten Gewchten bestzt, kann man dese übrgens auch n der normalen SPSS-Regressonsprozedur zur WLS-Gewchtung verwenden. De eben vorgestellte WLS- Prozedur erlaubt n der Optonen-Subdalogbox en Spechern der der von hr ermttelten Gewchte: Wr kehren nun zurück zu dem n Abschntt vorgestellten volkswrtschaftlchen Bespel mt ausgeprägter Heteroskedastztäts-Problematk. Zwar zegt der Plot n Abbldung 5 ene monotone Zunahme der Fehlerstandardabwechung n Abhänggket vom Regressor ER, doch stört be der Suche nach ener möglchen Proportonaltätsbezehung Var( X h ),,.., de Tatsache, dass der Regressor als ehemalge Hauptkomponente z-standardsert st und folglch auch negatve Wert annmmt. Behebt man durch Adderen der Konstanten,5 deses Problem (neuer Varablenname: ERPLUS), dann schent de folgende Proportonaltät approxmatv zu gelten: Var( ) X,,.., Zu desem Schluss berechtgt der folgende Plot der Fehlervaranzen aus der Regresson von BSP auf ER gegen de Mttelwerte der verschobenen ER-Ausprägungen n den berets oben verwendeten, glechstark besetzten ER-Intervallen: 58

59 Abbldung : OLS-Resdualvaranzen vs. ERPLUS-Mttelwerte Be der SPSS-WLS-Prozedur mt dem verschobenen Regressor ERPLUS (= ER +,5) als Gewchtungsvarable endet de Suche nach dem optmalen Exponenten mt dem Wert,3: Es resulteren folgende WLS-Schätzergebnsse: Log-Lkelhood-Werte Exponent...., ,676, ,594,00-844,80,00-844,33, ,088, ,, ,364, ,85, ,

60 Standardabwechung der Resduen Lneare Regressonsanalyse mt SPSS Allerdngs zegen sch auch m WLS-Modell starke Unterschede zwschen den Resdual-Standardabwechungen n den berets oben betrachteten fünf ER-Intervallen: ,5 -,0-0,5 0,0 0,5,0,5,0 Mttelwerte n den 5 ER-Intervallen Abbldung : Standardabwechungen der (enfachen) WLS-Resduen für 5 ER-Intervalle Der Quotent aus der größten und der klensten Standardabwechung überschretet den krtschen Wert 3 (vgl. Abschntt ) deutlch: 64,8 5,6 5,69 Offenbar st m volkswrtschaftlchen Bespel de n Abschntt vorgestellte logarthmsche Transformaton des Krterums be der Homogenserung der Fehlervaranzen wet erfolgrecher als de WLS- Prozedur. Insgesamt st de WLS-Regresson nur dann zu empfehlen, wenn für ene Gewchtungsvarable der Effekt auf de Resdualvaranz plausbel begründet werden kann. De Resduen wurden mt der Prozedur zur lnearen Regresson ermttelt, wobe zur WLS-Gewchtung de per WLS- Prozedur gescherte Gewchtungsvarable zum Ensatz kam. 60

61 .7.4 ormalvertelung der Resduen Wr haben be den Untersuchungen zur Modellgültgket de Rehenfolge mt Bedacht gewählt, wel be verletzter Lneartät oder Varanzhomogentät ene Untersuchung der Resduen auf ormalvertelung ncht snnvoll st. Ebenso müssen Ausreßer (vgl. Abschntt 3..) vor der ormalvertelungsbeurtelung entfernt werden. Be Abwesenhet von Ausreßern haben Abwechungen von der Resdual-ormalvertelung oft kene graverenden Auswrkungen auf de Ergebnsse ener Regressonsanalyse (orušs 005, S. 3). Mt wachsender Stchprobengröße neutralsert de segensreche Wrkung des zentralen Grenzwertsatzes ene Störung der Inferenzstatstk durch Abwechungen von der ormalvertelung der Resduen (sehe z.b. Fahrmer et al. 007, S. 05). ach Bühner & Zegler (009, S. 674) st be Abwesenhet von Ausreßern (sehe Abschntt 3..) ab 00 Fällen ene Verletzung der ormalvertelung der Resduen wenger problematsch. Backhaus et al. (008, S. 90) rechnen schon ab enem Stchprobenumfang von = 40 mt ener Robusthet der Regressonsanalyse gegenüber Verletzungen der Fehlernormalvertelung Auswahl der zu prüfenden Resduen Mt der SPSS-Regressonsprozedur kann man per Dalogbox nur für de standardserten Resduen Dagramme zur ormaltätsbeurtelung anfordern: Dese snd jedoch auch be Gültgket aller Modellannahmen ncht perfekt varanzhomogen (vgl. Abschntt.7..) und damt auch zur Prüfung der ormaltätsvoraussetzung ncht perfekt geegnet. ach unseren bshergen Erfahrungen, wrken sch de theoretschen Mängel der standardserten Resduen n der Praxs kaum aus. Wer jedoch auf maxmale Präzson Wert legt und den Umgang mt SPSS-Syntax ncht scheut, kann sehr enfach das von der SPSS-Regressonsdalogbox über den Schalter Enfügen erzeugte REGRESSIO-Kommando so abändern, dass statt der standardserten Resduen (Varablenname ZRESID) de nach den Ausführungen auf Sete 3 zu bevorzugenden ausgelassen-studentserten Resduen untersucht werden (Varablenname SDRESID): REGRESSIO /MISSIG LISTWISE /STATISTICS COEFF OUTS R AOVA /CRITERIA=PI(.05) POUT(.0) /OORIGI /DEPEDET gewcht /METHOD=ETER groesse /RESIDUALS HIST(ZRESID) ORM(ZRESID). REGRESSIO /MISSIG LISTWISE /STATISTICS COEFF OUTS R AOVA /CRITERIA=PI(.05) POUT(.0) /OORIGI /DEPEDET gewcht /METHOD=ETER groesse /RESIDUALS HIST(SDRESID) ORM(SRESID). atürlch kann man de ausgelassen-studentserten Resduen auch per Regressons-Dalogbox als neue Varable spechern und dann mt der Prozedur zur exploratven Statstk (Menübefehl: Analyseren > Deskrptve Statstken > Exploratve Datenanalyse) auf ormaltät untersuchen. 6

62 .7.4. Graphsche Dagnosemethoden In der Regressons-Subdalogbox Dagramme kann en Hstogramm und en ormalvertelungsdagramm angefordert werden. De anschleßend vorgestellten Ergebnsse zu den ausgelassenstudentserten Resduen aus der Regresson von GEWICHT auf GROESSE (für = 59 Männer) wurden über en nach obgem Vorschlag modfzertes REGRESSIO-Kommando erzeugt. Indem wr anschleßend jewels alle Resduen n enem gemensamen Dagramm betrachten, überprüfen wr ene notwendge Bedngung. Wel de ormaltät der Fehlervertelung zu jedem realserten Wert des Regressors benötgt wrd, st de ormaltät der gemensamen Vertelung ken hnrechender Beleg für das Bestehen der Voraussetzung. Z.B. snd be enem dchotom-kategoralen Regressor we Geschlecht egentlch zwe bedngte Vertelungen auf ormaltät zu prüfen. Unter sehr exotschen Bedngungen könnten sch zwe abnorme Vertelungen zu ener gemensamen ormalvertelung kombneren. Be der Regresson von Gewcht auf Größe zegt das Hstogramm mt engezechneter ormalvertelungsdchte en akzeptables Ergebns: Abbldung 3: Hstogramm der ausgelassen-studentserten Resduen aus der Regresson von GEWICHT auf GROESSE (be = 59 Männern) Das ormalvertelungsdagramm kommt folgendermaßen zu Stande: SPSS berechnet zunächst zu jedem geschätzten Resduum r de kumulerte emprsche Vertelungsfunkton kev nach folgender Formel (Blom-Antelschätzung): rg( r ) 3 8 kev : 4 Dabe st rg(r ) der Rang von r n der Stchprobe. Außerdem wrd de kumulerte Standardnormal-Vertelungsfunkton an der Stelle r berechnet: ktv r x e : Wenn etwa be = 00 en Resduum r = -,3 den Rangplatz 0 ennmmt, d.h. genau 9 andere Resduen übertrfft, denn resultert dx 6

63 kev , De Standardnormalvertelung vertelt unterhalb von -,3 de Masse ktv,3 e x dx 0,0968 Snd de Resduen modellgemäß standardnormalvertelt, dann glt bs auf zufällge Stchprobenschwankungen: kev = ktv De geplotteten Wertepaare (kev, ktv ) sollten also annähernd auf ener Ursprungsgeraden mt Stegung Ens legen. Be der Interpretaton enes Wahrschenlchketsdagramms brauchen Se nur dese Regel zu kennen. Für unser Bespel erhalten wr en akzeptables Bld: Abbldung 4: Wahrschenlchketsplot zum Verglech der emprschen Vertelung der ausgelassen-studentserten Resduen mt der Standardnormalvertelung Wr können davon ausgehen, dass de Vertelung der Resduen ncht wesentlch von der ormalvertelung abwecht. ach Abschntt.7..3 folgen de ausgelassen-studentserten Resduen be gültgem Modell ener t- Vertelung mt - k - Frehetsgraden, so dass m Wahrschenlchketsplot statt der Standardnormalvertelung egentlch dese t-vertelung als Verglechsmaßstab denen müsste. Be ncht allzu klenen Stchproben ( 30) stmmen de beden Vertelungen allerdngs nahezu perfekt überen (Fox 997, S. 96) Inferenzstatstsche Dagnosemethoden Mt der Prozedur zur exploratven Datenanalyse können n SPSS auch formale Tests der ormaltätsannahme durchgeführt werden. Man lässt zunächst de gewünschten Resduen von der Regressonsprozedur als neue Varable spechern, wobe n der Regel de ausgelassen-studentserten Resduen zu bevorzugen snd. ach dem Start der Dalogbox zur exploratven Datenanalyse mt Analyseren > Deskrptve Statstk > Exploratve Datenanalyse 63

64 wrd der ormalvertelungstest n der Subdalogbox Dagramme angefordert: We es be der relatv großen Stchrobe zu erwarten war, wrd de ullhypothese der ormalvertelung von beden Tests (Kolmogorov-Smrnov-Test und Shapro-Wlk) abgelehnt: Be der Interpretaton enes ormalvertelungsanpassungstests st zu berückschtgen (vgl. Abschntt..4): De ormalvertelungsannahme st streng genommen fast mmer verletzt. Ob der Defekt zu enem sgnfkanten Testergebns führt, hängt wesentlch von der Stchprobengröße, aber auch von der Defektstärke und vom gewählten Sgnfkanztest ab. Wr bleben be der Enschätzung, dass m konkreten Fall de Gestalt der Resduenvertelung ken Rsko für de Valdtät der regressonsanalytschen Ergebnsse darstellt und stützen uns dabe: auf de graphschen Analysen auf den zentralen Grenzwertsatz Be = 33 sollten de Stchprobenvertelungen der geschätzten Regressonskoeffzenten auch ohne ormalvertelung der Resduen hnrechend gut der erwarteten t-vertelung entsprechen. Für de Regresson von GEWICHT auf GROESSE st nun noch de Annahme unabhängger Resduen zu beurtelen. In der Stchprobe befnden sch 33 Probanden, de zufällg und unabhängg vonenander aus ener Grundgesamthet gezogen wurden. Ene autoregressve Abhänggketsstruktur st aufgrund des querschnttlchen Untersuchungsplans (ohne serelle Anordnung der Fälle) praktsch ausgeschlossen. Wel de Stchrobe auch kene Cluster-Struktur bestzt, kann de Unabhänggketsannahme ohne Prüfung akzeptert werden. Damt steht ener Interpretaton der Test- und Schätzergebnsse für de Bespeldaten nchts wehr m Wege (sehe Abschntt.7..). In Abschntt 5 werden de spezellen Probleme und Methoden der Regressonsanalyse mt serell abhänggen Daten behandelt. 64

65 Box-Cox - Transformaton zur ormalserung der Resdualvertelung Be der Box-Cox - Transformaton (sehe z.b. Fox 997, S. 3f) erfolgt ene Transformaton des Krterums mt dem Zel, de Vertelung der Resduen zu normalseren. Es wrd en Exponent so bestmmt, dass de neue Krterumsvarable λ Y λ ln( Y ) für λ 0 für λ 0 zu ener Resdualvertelung mt möglchst großer Proflähnlchket zur ormalvertelung führt. Leder st de Schätzung von n SPSS nur auf Umwegen möglch. Wer sch ncht als Makro- Programmerer betätgen möchte, nstallert am besten de R-Essentals (sehe Baltes-Götz 03b) zu SPSS und nutzt das von John Fox (sehe Fox & Wesberg 0) erstellte car - Paket der freen Programmersprache R. Wer auch das benutzerdefnerte Dalogfeld RRegDagGraph von Hans Grüner nstallert, kann dverse von John Fox programmerte Dagnoseverfahren für Regressonsmodelle bequem über den Menübefehl anfordern. Analysen > Regresson > Regressonsdagnostk mt Grafk Wr betrachten das volkswrtschaftlche Modell n der ursprünglchen Form (Regresson von BSP auf ER), dessen Resduen schon als ausgeprägt heterogen aufgefallen snd (vgl. Abschntt.7.3.). Im Hauptdalog wrd auf gewohnte Wese das Modell spezfzert: Im Dagramme-Subdalog kann u.a. de Box-Cox - Transformaton angefordert werden: Hans Grüner stellt de Date RRegDagGraph.zp zur Erweterung des SPSS-Menüs her kostenlos zur Verfügung: We en benutzerdefnertes Dalogfeld zu nstalleren st, wurde an enem anderen Bespel n Abschntt beschreben. 65

66 Wr erhalten en Dagramm mt Schätzwert und 95% - Vertrauensntervall für : Im Vertrauensntervall [-0,09; 0,99] st auch der Wert ull enthalten, der für ene logarthmsche Transformaton steht, für de wr uns schon zur Fehlervaranzharmonserung entscheden haben (vgl. Abschntt.7.3.3). Der vom Spread & Level - Plot (vgl. Abschntt.7.3.3) vorgeschlagene Transformatonsexponent Y Y 0,5 legt knapp außerhalb des -Vertrauensntervalls. Im Hnblck auf de beden glechzetg anzustrebenden Zele Varanzhomogentät und ormaltät schent de logarthmsche Transformaton des Krterums ene gute Wahl zu sen. 66

67 .8 Stchprobenumfangsplanung Für enen geplanten F- oder t-test zur ungerchteten ullhypothese über den Stegungskoeffzenten oder für den Test zu ener gerchteten ullhypothese lässt sch H 0 : = 0 versus H : 0 H 0 : > 0 versus H 0 : < 0 zu ener bekannten (oder angenommenen) Effektstärke n der Populaton, welche letztlch über den Determnatonskoeffzenten (sehe Abschntt.5) defnert st und en akzeptertes -Fehlerrsko berechnen, welche Stchprobengröße benötgt wrd, um mt der gewünschten Wahrschenlchket (Teststärke) en sgnfkantes (den vorhandenen Effekt aufdeckendes) Ergebns zu erzelen. In der modernen Forschungsmethodeologe verschedener Fächer (sehe z.b. Ed et al 00, S. 9ff für de Psychologe oder Urban & Mayerl, S. 39ff für de Sozologe) st es selbstverständlch geworden, Effektstärken zu beachten und Stchprobenumfänge zu begründen. De Frma IBM SPSS unterstützt de Stchprobenumfangsplanung m Zusatzprogramm SamplePower. Wenn es ncht zur Verfügung steht, kann auch das exzellente Power-Analyse-Programm GPower 3. (Faul et al. 009) verwendet werden, das für MacOS und MS-Wndows kostenlos über folgende Websete zu bezehen st: Auf den Pool-PCs der Unverstät Trer unter dem Betrebssystem Wndows lässt sch GPower 3. über folgende Programmgruppe starten Start > Alle Programme > Wssenschaftlche Programme > GPower.8. Modell mt enem fxerten Regressor Wr bleben zunächst m mest verwendeten, z.b. der SPSS-Prozedur REGRESSIO zugrunde legenden, Modell mt enem fxerten Regressor und wählen nach dem GPower-Programmstart folgenden Aufgabentyp: Test famly: t-tests Statstcal test: Lnear Multple Regresson: Fxed model, sngle regresson coeffcent Type of power analyss: A pror Das von GPower 3. nach Cohen (988, S. 40) verwendete Effektstärkemaß f steht n folgender Bezehung zum Determnatonskoeffzenten n der Populaton (Antel der erklärten Krterumsvaranz), der mt notert werden soll: f Da wr kene konkrete Stchprobenumfangsplanung vornehmen, sondern GPower 3. erkunden, arbeten wr bespelhaft mt ener mttleren Effektstärke sensu Cohen (988, S. 79ff). De schon aus Abschntt.5 bekannte Tabelle mt Cohens ormwerten wrd der Bequemlchket halber her erneut präsentert und dabe um ene Spalte für den Effektstärkendex f erwetert: 67

68 Effektstärke n der Populaton erklärter Varanzantel Effektstärke klen 0,0 0,0 mttel 0,09 0,0 groß 0,5 0,33 Enem mttleren Effekt entsprcht be der bvaraten Regresson der Determnatonskoeffzent 0,09 bzw. der f - Wert 0,0. Be der von Cohen (988, S. 56) als Standardwert empfohlenen Power (Entdeckungswahrschenlchket) von 0,8 (-Fehler 0,) resultert für den (n der Regel wenger empfehlenswerten) zwesetgen Test en erforderlcher Stchprobenumfang von 8 Fällen: f Für enen ensetgen Test werden be ansonsten dentschen Bedngungen nur 64 Fälle benötgt. Wer den Untersched zwschen gerchteten und ungerchteten Hypothesen gnorert und mt dem be EDV-Programmen für de bvarate Regresson üblcherwese vorengestellten zwesetgen Test arbetet, muss also enen erhöhten Aufwand be der Datenerhebung betreben bzw. verlert (be dentschem Stchprobenumfang) n erheblchem Umfang an Teststärke..8. Modell mt enem stochastschen Regressor Werden de Algorthmen des bvaraten Regressonsmodells für enen fxerten Regressor auf Daten mt enem stochastschen Regressor angewendet, dann bleben de Schätzungen erwartungstreu und de Sgnfkanztests korrekt (vgl. Abschntt..3). Allerdngs führt n deser Stuaton de A-pror - Power-Analyse gemäß Abschntt.8. zu enem systematsch unterschätzten Stchprobenbedarf. Um des an enem Bespel zu demonstreren, wählen wr n GPower den folgenden Aufgabentyp: 68

69 Test famly: Exact Statstcal test: Lnear Multple Regresson: Random model Type of power analyss: A pror Zur Spezfkaton der Effektstärke st der Determnatonskoeffzent auf Populatonsebene unter der Alternatv- und unter der ullhypothese anzugeben. Wr verwenden analog zu Abschntt.8. folgende Werte: H : 0,09 Des st nach Cohen (988, S. 79ff; vgl. Tabelle n Abschntt.8.) ene mttlere Effektstärke n der bvaraten lnearen Regresson, wobe als Effektstärkebegrff desmal ncht f verwendet wrd, sondern. H 0 : 0,0 Be enem ensetgen Testproblem bzgl. des Determnatonskoeffzenten H 0 : = 0 vs. H : > 0 legt bzgl. des Stegungsparameters en zwesetges Testproblem H 0 : = 0 vs. H : 0 vor, wel postve und negatve Stegungsparameter den Determnatonskoeffzenten glechermaßen erhöhen. Um zu enem ensetgen Test zum veau = 0,05 bzgl. des Stegungsparameters zu gelangen, verdoppeln wr das -veau auf 0,0. Be ener gewünschten Power von 0,8 resultert ene Stchprobengröße von 67, de erwartungsgemäß den Wert 64 für das Modell mt enem fxerten Regressor (vgl. Abschntt.8.) lecht übertrfft: 69

70 Multple lneare Regresson Be der multplen Regresson wrd der smultane Enfluss von mehreren Regressoren auf en Krterum analysert. Da n den Sozal-, Wrtschafts- oder Geowssenschaften nur selten monokausale Phänomene zu untersuchen snd, st de multple Regressonsanalyse ene unverzchtbare Forschungsmethode und kann n der Regel ncht durch ene Sere von bvaraten Analysen ersetzt werden. Es fnden sch mt Lechtgket Systeme mt mehreren Regressoren, über de bvaraten Ergebnsse unvollständg oder rreführend nformeren: In Abschntt 4.3 wrd das bekannte Bespel mt dem bvaraten Scheneffekt der Storchenzahl (X) n schwedschen Landkresen auf de Geburtenrate (Y) aufgegrffen. ach Erweterung des Modells um den Regressor Industralserungsgrad (Z) verschwndet der sgnfkante Effekt von X. Bem so genannten Supressoreffekt (sehe Abschntt.7) erwest sch umgekehrt ene Varable n der multplen Regresson als bedeutsam, de praktsch kene bvarate Bezehung zum Krterum bestzt. Das sehr flexble Modell der multplen lnearen Regresson egnet sch für Merkmale mt folgender Skalenqualtät: Be der abhänggen Varablen wrd metrsches Skalennveau be möglchst stetger Vertelung vorausgesetzt. Be den unabhänggen Varablen wrd das metrsche und das kategorale Skalennveau unterstützt. Ene kategorale Varable mt w Ausprägungen wrd m Desgn durch (w - ) Kodervarablen repräsentert (sehe z.b. Cohen et al. 003, S. 30ff). Ordnale Regressoren müssen auf kategorales veau herabgestuft werden. Außerdem sollte de Vertelung der abhänggen Varablen vom Ideal der Stetgket ncht zu wet entfernt sen, also möglchst dcht legende Ausprägungen bestzen.. Bespel und Anforderung ener multplen lnearen Regresson n SPSS.. Enflussfaktoren für de Mortaltät n amerkanschen Städten Als Bespel betrachten wr ene Stude zum Enfluss von Luftschadstoffen, klmatschen Bedngungen und sozoökonomschen Faktoren auf de Mortaltät n amerkanschen Städten (sehe Dxon 99, S. 637f). Als Krterum (SPSS-Varablenname MORTAL) wrd de Anzahl der jährlchen Todesfälle pro Enwohner betrachtet. Sene Varanz soll durch folgende Regressoren aufgeklärt werden: Merkmal Mttlere jährlche ederschlagsmenge n Zoll Mttlere Anzahl abgeschlossener Schuljahre be Personen über 5 Jahre Prozentantel der ncht-weßen Bevölkerung Belastung der Luft mt Stckstoffoxyden (O x ) Belastung der Luft mt Schwefeldoxyd (SO ) Varablenname REGE BILDUG FARBIG OX SO Se fnden alle Varablen n der SPSS-Datendate Arpoll.sav an der m Vorwort verabredeten Stelle. Legt en ordnales oder nomnales veau vor, betet de logstsche Regresson wetgehend äquvalente Analysemöglchketen (sehe z.b. Baltes-Götz, B. 0). Ist de Annahme normalvertelter Resduen mt homogenen Varanzen unplausbel (z.b. be Zähldaten), dann kommt en verallgemenertes lneares Modell n Frage (sehe z.b. Baltes-Götz, B. 04b). 70

71 .. Anforderung ener multplen lnearen Regresson Wr fordern per Analyseren > Regresson > Lnear de Ergebnsse an, mt denen m weteren Verlauf von Abschntt de Grundzüge der multplen lnearen Regressonsanalyse erläutert werden sollen: Verlangen Se n der Statstken - Subdalogbox über de Vorenstellung hnausgehend noch Konfdenzntervalle, deskrptve Statstken, (sem-)partelle Korrelatonen und de Kollneartätsdagnose: Aufgrund der Anforderung von deskrptven Statstken erhalten wr u.a. de folgende Tabelle, de neben den Mttelwerten und Standardabwechungen der Varablen auch den be fallweser Behandlung fehlender Werte verblebenden Stchprobenumfang zegt: 7

72 Im Bespel snd de Daten komplett vorhanden, so dass be unvaraten Häufgketsanalysen für alle Varablen dentsche Stchprobenumfänge und Statstken resulteren würden. Fehlende Werte behandelt de Regressonsprozedur per Vorenstellung durch fallwesen Ausschluss, d.h. es verbleben nur de Fälle mt enem vollständgen Datensatz. Den so resulterenden Stchprobenumfang erfährt man aus der obgen Tabelle. Im Optonen-Subdalog der Regressonsprozedur werden zwe Alternatven zur fallwesen Behandlung fehlender Werte angeboten: Be der paarwesen Behandlung fehlender Werte nutzt man zum Schätzen der bvaraten Korrelatonen, de m Schätzalgorthmus der Regresson als Zwschenergebnsse Verwendung fnden, alle Fälle mt Werten be den jewels betelgten Varablen. Folglch baseren de enzelnen Schätzungen n der Korrelatonsmatrx m Allgemenen auf unterschedlchen Telstchproben. Des kann zu ener defekten (ndefnten) Korrelatonsmatrx führen, de unsnnge Regressonsergebnsse lefert (z.b. enen extrem hohen Determnatonskoeffzenten). Lässt man de fehlenden Werte durch de Mttelwerte der jewelgen Varablen ersetzen, resulteren verzerrte Schätzer für Varanzen, Korrelatonen und Regressonskoeffzenten. Von den dre Verfahren zur Behandlung fehlender Werte, de von der Regressonsprozedur angeboten werden, st der vorengestellte fallwese Ausschluss n den mesten Fällen das klenste Übel. Aber auch her kann es zu verzerrten Schätzungen der Regressonskoeffzenten kommen, wenn für das Muster fehlender Werte de MCAR-Bedngung (Mssng Completely At Random) ncht erfüllt st. In enem solchen kann man... de von SPSS unterstützte multple Imputaton ensetzen oder en Strukturglechungsanalyseprogramm verwenden, das de FIML-Schätzmethode geherrscht (Full Informaton Maxmum Lkelhood) Ene ausführlche Beschrebung der dversen Methoden zur Behandlung fehlender Werte st n Baltes- Götz (03c) zu fnden. 7

73 ach desen knappen Bemerkungen zum Problem fehlender Werte kehren wr zur Regressonsanalyse zurück. De aus dem obgen Anforderungsdalog resulterenden Schätz- und Testergebnsse zum Mortaltätsbespel dürfen vor ener Prüfung der Regressonsvoraussetzungen noch ncht nterpretert werden: In späteren Abschntten werden analog zum Vorgehen be der bvaraten Regresson wchtge Methoden zur Überprüfung der Modellvoraussetzungen dskutert. Be der Behandlung der multplen Regresson beschränken wr uns generell auf de normalen, nhomogenen Modelle (nklusve Achsenabschntt 0 ).. Modell und Annahmen Wr noteren das multple lneare Regressonsmodell mt dem Krterum Y und k unabhänggen Varablen X bs X k analog zum bvaraten Fall (vgl. Abschntt.). De be Fall realserten Regressorwerte X x,.., X k x gelten m Modell fxerter Regressoren als vorab geplant (vgl. Abschntt..). Über den Erwartungswert der zugehörgen Zufallsvarablen Y behauptet das Modell: E( Y ) 0 ~ (0, x... : Y E( Y ) ), Cov( ε) Be den unabhänggen Varablen wrd angenommen: k x k I k,.., Se snd fehlerfre gemessen. Ihre Ausprägungen resulteren ncht aus enem Zufallsexperment, sondern snd fxert. Folglch enthält das Regressonsmodell auch kene Vertelungsannahme zu den Regressoren. Über de Vertelungen der Zufallsvarablen und Y macht das Modell der lnearen Regresson de anschleßend dskuterten Annahmen. () 73

74 .. Lneartät Der Erwartungswert (Mttelwert) von Y für enen festen Wertevektor x,..., x ) hängt lnear von den Regressorwerten ab. Erhöht man z.b. konstant, so stegt der Mttelwert von Y um Enheten an. ( k x um ene Enhet und hält glechzetg de übrgen Regressoren Denkt man sch m Fall von zwe Regressoren X und X de x, x ) - Werte n der (x, x ) - Ebene enes ( dredmensonalen Koordnatensystems mt x -, x - und y-achse angeordnet, so legen de vom Modell behaupteten Mttelwerte der zugehörgen Y -Werte auf ener Ebene, welche de y-achse m Punkt 0 schnedet, n Rchtung der x -Achse de Stegung und n Rchtung der x -Achse de Stegung hat, z.b.: Y X 0 0 X Abbldung 5: Regressonsebene m Modell mt zwe Regressoren.. ormalvertelung und Varanzhomogentät der Resduen Aus der Defnton des Resduums zur Beobachtung mt der Regressor-Wertekombnaton x,..., x ) : Y E( Y ),,.., ( k folgt unmttelbar, dass den Erwartungswert ull bestzt. Um de Egenschaften von Schätz- und Testergebnssen m Regressonsmodell begründen zu können, wrd angenommen: vertre- De Resduen snd normalvertelt. Alle Resdualvertelungen bestzen deselbe Varanz, de m Modell durch den Parameter ten st...3 Unkorrelerthet der Resduen De Resdualvarablen snd unkorrelert. Ihre Kovaranzmatrx st ene Dagonalmatrx der Dmenson mt dem dentschen Entrag auf der Hauptdagonalen (für de als dentsch angenommenen Fehlervaranzen) und ullen an allen anderen Postonen (für de Kovaranzen). Wel de Resduen normalvertelt snd, folgt aus der Unkorrelerthet übrgens de stochastsche Unabhänggket. Zu möglchen Ursachen und zu den Konsequenzen ener verletzten Unabhänggketsannahme sehe Abschntt

75 75 Lneare Regressonsanalyse mt SPSS..4 Technsche Voraussetzungen In enem Modell mt k Regressoren muss größer als (k + ) sen, damt Schätzer und Sgnfkanztests berechnet werden können. De (k + ) Vektoren k k k x x x x x x x x x...,...,...,...,... müssen lnear unabhängg sen. Zur Vermedung von Multkollneartätsproblemen (sehe Abschntt 3.) wrd allerdngs ene weter gehende Egenständgket der Regressoren benötgt..3 Parameterschätzung Im Folgenden werden durch j x bzw. y (j =,.., k; =,.., ) de Werte der unabhänggen bzw. abhänggen Varablen n der Stchprobe sowe durch x,..., k x bzw. y de zugehörgen Stchprobenmttelwerte bezechnet. Aus den emprschen Daten werden Schätzer b 0, b,..., b k für 0,,..., k analog zu Abschntt.3 nach der Methode der klensten Quadrate so bestmmt, dass de Summe der quadrerten geschätzten Resduen (Abwechungen der Modellprognosen von den beobachteten Werten) mnmal wrd, wobe alle Beobachtungen mt glechem Gewcht engehen (OLS, Ordnary Least Squares): mn ))... ( (! 0 k k x b x b b y De Bestmmung der Schätzwerte erfolgt mt den Methoden der Dfferentalrechnung (ullsetzen der partellen Abletungen nach b 0, b,..., b k sowe Auflösen der entstehenden ormalglechungen). Be der multplen Regressonsrechnung bedent man sch mest der Matrxschrebwese, um zu überschaubaren Ausdrücken zu gelangen. Mt den Defntonen: k k k k b b b x x x x x x y y y.. :, :,... : 0 b X y erhält man als Klenstquadratschätzer b: X y b = (X X) - De Matrx X mt den Werten der Regressoren und ener führenden Enser-Spalte nennt man Desgnmatrx, wel hre Enträge (zumndest m klassschen Modell für fxerte Regressoren) als vom Versuchsleter festgelegt gelten. Für de Resdualvaranz wrd folgender Schätzer berechnet: ) ˆ ( : ˆ y - y k - = =

76 Unter der Lneartätsannahme snd de angegebenen Schätzer erwartungstreu. Snd außerdem de Varanzhomogentät und de Unabhänggket der Resduen gegeben, dann resulteren nach dem Satz von Gauß- Markov sogar BLUE-Schätzer (Best Lnear Unbased Estmators) (vgl. Abschntt.3). Ist außerdem de ormalvertelung der Resduen gegeben, dann können zu den Regressonskoeffzenten auch Konfdenzntervalle berechnet und Tests durchgeführt werden (sehe unten). In unserem Bespel, für das de Überprüfung der Voraussetzungen noch aussteht, erhalten wr de geschätzte Regressonsglechung (sehe Spalte mt den ncht standardserten Koeffzenten n der Koeffzenten-Tabelle): MORTAL = 998, ,3 SO + 0,085 OX +,658 REGE - 5,9 BILDUG + 3,06 FARBIG + Resduum Es zegt sch z.b., dass mt enem Jahr zusätzlcher Schulbldung be konstanten Werten für de anderen Regressoren ene Abnahme der Mortaltät um ca. 6 Todesfälle pro Enwohner verbunden st..4 Standardserte Regressonskoeffzenten Wel de Regressoren n der Regel verschedene Maßenheten bestzen, kann man hre Koeffzenten ncht drekt mtenander verglechen, um Aussagen über de relatve Enflussstärke zu gewnnen. In unserem Bespel st der Regressonskoeffzent zur Bldung (betragsmäßg) erheblch größer als der Koeffzent zur Schwefeldoxydbelastung (-5,9 gegen 0,3), wobe aber en drektes Urtel über de relatve Bedeutung der beden Regressoren unmöglch st. Um ene Verglechbarket der Regressonskoeffzenten herzustellen, ersetzt man alle metrschen Varablen (Krterum und Regressoren) durch standardserte Varanten (mt Mttelwert 0 und Varanz ): x j y x j s x X j j, mt s y y, mt s s Y X Y j : : x j x j y y De Koeffzenten aus der Regresson des standardserten Krterums auf de standardserten Regressoren werden n SPSS als Beta-Koeffzenten bezechnet, was uns en Bezechnungsproblem beschert, wel wr den grechschen Buchstaben Beta berets für de Populatonsparameter zu den unstandardserten Varablen verwenden. Wr behelfen uns mt dem folgenden Symbol für de Stchprobenschätzung des Beta- Koeffzenten zum Regressor X j : b ~ j Er steht n folgender Bezehung zum korresponderenden Regressonskoeffzenten b j für de unstandardserten Varablen: b j ~ b In unserem Bespel st für alle Regressoren de Berechnung enes standardserten Regressonskoeffzenten snnvoll, wel alle en metrsches Skalennveau bestzen. Es resultert de folgende geschätzte Regressonsglechung für de standardserten Varablen: j s s Y X j 76

77 MORTAL = 0,38 SO + 0,03 OX + 0,66 REGE - 0,6 BILDUG + 0,434 FARBIG + Resduum En konstanter Term st n deser Glechung ncht vorhanden, wel alle Varablen den Mttelwert ull haben. Be der Interpretaton der Beta-Koeffzenten kann man sch auf ene allen Prädktoren gemensame, statstsch verankerte Maßenhet stützen. Im Bespel zegt sch, dass mt dem Zuwachs der Bldungsvarablen um ene Standardabwechungsenhet (= 0,845) ene Abnahme der Mortaltät um das 0,6 - fache ener Standardabwechungsenhet (= 6,) verbunden st. Demgegenüber bewrkt de Stegerung der Schwefeldoxyd-Belastung um ene Standardabwechungsenhet m Krterum enen betragsmäßg deutlch stärkeren Effekt von 0,38 Standardabwechungsenheten. De Effekte der verschedenen Regressoren n ener Glechung können nun schenbar besser verglchen werden. Urban & Mayerl (0, S. 03ff) zwefeln allerdngs daran, dass standardserte Regressonskoeffzenten snnvoll zu nterpreteren snd. Se halten es für sehr gewagt, z.b. aus den Ergebnssen für de Mortaltät n amerkanschen Städten zu folgern, dass de ederschlagsmenge enen stärkeren Effekt hätte als de Bldung. Bem Standardseren werden reale Maßenheten (z.b. Bldungsjahre, Regenmenge) durch statstsche Maßenheten ersetzt, de von den Streuungsverhältnssen n ener Stchprobe bzw. Populaton abhängen. Dadurch wrd de Interpretaton der Koeffzenten ncht unbedngt erlechtert. Besonders krtsch st de Abhänggket der Beta-Koeffzenten von den Standardabwechungen der untersuchten Stchprobe bzw. Populaton, wenn Ergebnsse zum selben Regressor aus verschedenen Studen (und damt eventuell aus verschedenen Populatonen) verglchen werden. In deser Stuaton betrachtet man besser de Koeffzenten zu den unstandardserten Varablen. Aus desen Überlegungen folgt, dass man n enen Forschungsbercht bede Varanten der Regressonskoeffzenten aufnehmen sollte..5 Sgnfkanztests und Konfdenzntervalle.5. Quadratsummenzerlegung und globaler F-Test De totale Quadratsumme SQT (mt - Frehetsgraden): QST : = ( y = lässt sch auch m Modell der multplen lnearen Regresson addtv zerlegen n enen durch de Regressoren erklärten Antel QSR (mt k Frehetsgraden): QSR : = = - y) yˆ - y und de unerklärte Fehlerquadratsumme QSF (mt - k - Frehetsgraden): Im Modell der multplen lnearen Regresson lefern generell de Mttelwerte der Regressoren als Prognosewert den Mttelwert des Krterums: k y b 0 j Ene Auflösung nach b 0 lefert de folgende Schätzglechung: k b y 0 j b j x j b j x j 77

78 Es glt also: QSF : = y ˆ - y = y - y = yˆ - y + y - y ˆ = = = Unter der globalen ullhypothese st der Quotent H o : =... = k = 0 (3) F: = QSR k QSF k F-vertelt mt k Zählerfrehetsgraden sowe - k - ennerfrehetsgraden und erlaubt damt ene Beurtelung der ullhypothese. Für unser Bespel lefert SPSS n der AOVA-Tabelle den F-Wert,50 mt ener Überschretungswahrschenlchket klener 0,00. Falls de Prüfung der Voraussetzungen postv endet, kann de globale ullhypothese also verworfen werden..5. Sgnfkanztests zu den enzelnen Regressonskoeffzenten Zur Beurtelung der ungerchteten ullhypothese H o : j = 0 kann analog zum bvaraten Fall en t-test hergeletet werden. Ferner kann en Vertrauensntervall bestmmt werden. Unter den Annahmen der multplen Regresson glt für de Stchprobenvertelung von b j : bj ~ ( j X X ), jj Dabe st X X das j-te Hauptdagonalelement der Matrx X jj ˆ b j der Stchprobenvertelung von b j ergbt sch X. Als geschätzte Standardabwechung ˆ b j : ˆ X X jj SPSS präsentert dese Größe n der Spalte Standardfehler der Koeffzenten-Tabelle. In derselben Tabelle (sehe Spalte T) fndet sch auch das Stchprobenergebns zur folgenden Prüfgröße: b j t : = ˆ Se folgt unter der ullhypothese ( j = 0) ener t-vertelung mt k Frehetsgraden. In unserem Bespel, dessen Annahmen noch überprüft werden müssen, werden alle Regressoren mt Ausnahme der Stckstoffoxydbelastung vom zwesetgen t-test als sgnfkant beurtelt (sehe Tabelle Koeffzenten, Spalte Sgnfkanz). Leder fndet man n den mesten Lehrbüchern zur Regressonsanalyse ausschleßlch de gerade beschrebenen zwesetgen Hypothesen bzw. Sgnfkanztests zu den Regressonskoeffzenten. M.E. sollte n der b j 78

79 Regel zum Regressonskoeffzenten j aber en ensetger Test bevorzugt werden, z.b. mt dem Hypothesenpaar: H o : j 0 versus H : j > 0 De Unglechungen m Hypothesenpaar snd problemadäquat zu wählen, wobe de mutmaßlche Rchtung enes Effekts (z.b. von Luftverschmutzung auf Mortaltät) wohl n der Regel A-pror bekannt sen dürfte. Wer sch auf das Vorzechen enes Regressonskoeffzenten festlegt, wrd durch ene bessere Power bem ensetgen Sgnfkanztest belohnt: Wegen der Symmetre der t-vertelung kann de Überschretungswahrschenlchket enes ensetgen Tests durch Halberen der von SPSS ausschleßlch mtgetelten Überschretungswahrschenlchket des zwesetgen Tests berechnet werden. Da man bem ensetgen Testen nur enen ensetgen Ablehnungsberech verwendet, dessen Wahrschenlchket unter der ullhypothese maxmal 5% beträgt, hält de beschrebene Testprozedur das -veau en. De Wahrschenlchket, enen vorhandenen Effekt zu entdecken, st bem ensetgen Test größer. Dementsprechend wrd sch m Abschntt.9 zur Stchprobenumfangsplanung zegen, dass be der zwesetgen Testung mehr Fälle benötgt werden, um ene gewünschte Power zu erzelen. Für de Beschränkung auf den zwesetgen Test zu Regressonskoeffzenten werden gelegentlch folgende Argumente vorgebracht: Dese Praxs se üblch, und en ensetger Test könne als Täuschungsversuch ausgelegt werden. Der zwesetge Test se konservatver (vorschtger bem Verwerfen sener H 0 ). Bede Argumente snd aber m.e. weng überzeugend. Äquvalent zum Test für enen Regressonskoeffzenten j st übrgens der Test zur Partalkorrelaton zwschen Y und X j be Kontrolle der restlchen Prädktoren. In SPSS können Se de Partalkorrelaton, mt der wr uns n Abschntt.6 noch beschäftgen werden, samt Test über den Menübefehl Analyseren > Korrelaton > Partell anfordern, wobe Se desmal zwschen en- und zwesetger Testung wählen dürfen, z.b.: We nach obgen Überlegungen zu erwarten, st de von SPSS ausgegebene emprsche Überschretungswahrschenlchket 79

80 bem ensetgen Test genau halb so groß we de m Rahmen der Regressonsanalyse berechnete zwesetge Varante: 0,0936 0, Konfdenzntervalle zu den Regressonskoeffzenten We m bvaraten Fall lässt sch mt Hlfe des geschätzten Standardfehlers en Konfdenzntervall für j angeben. Folgendes Intervall [ b t ˆ ; t ˆ j - ; k b bj + ; k b j j ] ˆ b zu b j j (sehe Abschntt.5.) überdeckt be Gültgket aller Voraussetzungen mt ener Wahrschenlchket von (-) den wahren Parameter j. Dabe st t ; k das ( - /) - Quantl der t-vertelung mt k Frehetsgraden (= krtscher t-wert für das zwesetge Testen zum veau ). SPSS lefert de 95% - Vertrauensntervalle zu den Regressonsgewchten (aufgrund unserer Zusatzanforderung n der Statstken-Subdalogbox, sehe oben) n der Koeffzenten-Tabelle. Zum Regressonsgewcht der Bldungsvarablen erhalten wr z.b. das Intervall: [-30,66; -,558] Auch be der multplen lnearen Regresson glt, dass der zwesetge Sgnfkanztest zum Regressonskoeffzenten j bem -Fehlerrsko von 5% sene ullhypothese ( j = 0) genau dann verwrft, wenn das 95% - Vertrauensntervall zu j den Wert ull enthält. Passend zum ensetgen Test lässt sch auch en ensetges Konfdenzntervall konstrueren. Be H : > 0 resultert zu b das folgende rechtsetg offene ensetge Vertrauensntervall: b ˆ - t ; k b ; ) [ Wel das ensetge Vertrauensntervall den mesten Lesern enes Forschungsberchts weng bekannt sen dürfte, sollte man ggf. besser das konventonelle zwesetge Vertrauensntervall (als mutmaßlchen Aufenthaltsberech des Parameters) mt enem ensetgen Sgnfkanztest kombneren. j.5.4 Multples Testen Be der multplen Regresson werden mehrere Sgnfkanztests ausgeführt, so dass Überlegungen zur - Fehler-Kumulerung angebracht snd Schenbar geschützte t-tests zu den Regressonskoeffzenten Snd be ener multplen Regressonsanalyse alle Modellannahmen erfolgrech geprüft worden, kommen be den nun zulässgen Sgnfkanztests oft folgende Regeln zur Anwendung: 80

81 Zuerst st der globale F-Test durchzuführen (mest mt dem -Fehlerrsko von 5%). Kann de globale ullhypothese (sehe Formel (3)) verworfen werden, dann dürfen zu den enzelnen Regressoren t-tests auf dem 5% - veau durchgeführt werden. Cohen et al. (003, S. 87ff) sehen n deser Teststratege de erfolgreche Übertragung der von Sr Ronald Fsher für de enfaktorelle Varanzanalyse vorgeschlagenen geschützten t-tests auf de multple Regresson. Gemäß Fshers Idee dürfen be der enfaktorellen Varanzanalyse nach enem sgnfkanten F-Test zur globalen ullhypothese paarwese Enzelvergleche über t-tests auf dem 5% - veau durchgeführt werden. Allerdngs hält Fshers Vorschlag das multple veau ncht en, schützt also ncht wrksam vor ener -Fehler-Kumulerung (sehe z.b. Hsu 996). Dementsprechend kann n der multplen Regressonsanalyse der vorgeschaltete Globaltest ene -Fehler- Kumulerung be den t-tests zu den enzelnen Regressonsparametern ncht verhndern. Be Gültgket der globalen ullhypothese (alle Effekte snd glech ull) erfüllt der F-Test zwefellos ene Schutzfunkton, doch handelt es sch her um ene eher seltene Konstellaton. Zur weteren Illustraton des Problems soll an Stelle ener anstrengenden mathematschen Argumentaton von ener Smulatonsstude berchtet werden. Es legt das folgende wahre Modell zugrunde: Y 0 X X 3X 3 4 X 4 5X 5 6X 6 mt 0,7 und Wr betrachten de folgende Hypothesenfamle: H0 : H ( j ) : 0, j,...,6 0 j ach Konstrukton der künstlchen Populaton snd H 0 und () H 0 falsch, alle anderen ullhypothesen snd jedoch wahr. Es soll demonstrert werden, dass de folgende Teststratege zu ener erheblchen -Fehler- Kumulerung führt: F-Globaltest zum veau sgnfkant? en: Alle ullhypothesen bebehalten Ja: H 0 ablehnen, alle anderen Hypothesen mt dem üblchen t-test zum veau prüfen Mt dem folgenden SPSS-Programm, das Se n der Date LSDemo.sps an der verenbarten Stelle fnden (sehe Vorwort), wurde de Teststratege n 00 Expermenten durchgeführt: set seed = nput program. + loop # = to compute x = normal(). - compute y = 0.7 * x + normal(). - end case. + end loop. + end fle. end nput program. Wel es sch um künstlche Varablen handelt, verwenden wr trotz der Dskusson n Abschntt.5. her zwesetge Hypothesentests. 8

82 do repeat zuf = x to x6. compute zuf = normal(). end repeat. exe. reg dep = y /enter = x, x to x6. Lneare Regressonsanalyse mt SPSS Dabe wurde n 7 Expermenten mndestens ene wahre ullhypothese abgelehnt, z.b.: Wer ene -Fehler-Kumulerung vermeden wll, kann enen Test zum multplen veau für de Famle { H ( j ) : 0, j,..., 6 } durchführen, so dass glt: De Wahrschenlchket, be Durchführung aller 0 j Tests aus der Famle enen oder mehrere Fehler erster Art zu begehen, st klener als. Be Anwendung deser Teststratege st der vorgeschaltete Globaltest ncht erforderlch. Anschleßend werden zwe SPSS-Optonen für enen echten Test zum multplen veau beschreben, ohne ene Empfehlung für en solches Vorgehen auszusprechen. Maßnahmen gegen de -Fehler- Kumulerung führen be konstantem Stchprobenumfang zu ener reduzerten Power, also zu enem erhöhten Rsko für Fehler zweter Art. Offenbar snd be der üblchen Testpraxs zu multplen Regressonsmodellen zwe Fehler mt gegenläufger Wrkung betelgt: ach enem erfolgrechen Globaltest für de Regressoren k Enzeltests zum veau α durchzuführen, führt n der Regel zu ener α-fehlerkumulerung, wobe de Power der Hypothesentests proftert. De Enzeltests zu den Regressoren grundsätzlch zwesetg durchzuführen (vgl. Abschntt.5.), obwohl n der Regel A-pror - Hypothesen über de Wrkrchtung vorhanden sen dürften, reduzert den α-fehler und erhöht glechzetg den -Fehler. 8

83 .5.4. Multple Tests mt -Fehler-Kumulerungskontrolle Smultane Konfdenzntervalle Man kann mt der Prozedur MAOVA smultane Konfdenzntervalle berechnen lassen, wobe de Adjusterungsmethoden Bonferron und Scheffé zur Wahl stehen (sehe IBM SPSS 03, S. 995). Bem Bonferron-Verfahren wrd auf recht smple Wese dafür gesorgt, dass mt der gewünschten Wahrschenlchket (z.b. 0,95) alle k wahren Regressonsparameter m zugehörgen Konfdenzntervall legen. Man ermttelt ndvduelle Konfdenzntervalle gemäß Abschntt.5.3 zum Konfdenznveau ( α/k). De Wahrschenlchket für enen oder mehrere Parameter außerhalb des zugehörgen Intervalls st dann beschränkt durch k k Für jeden Regressonskoeffzenten j wrd de zwesetge ullhypothese ( ) H j 0 : j = 0 genau dann verwerfen, wenn sen smultan berechnetes Konfdenzntervall den Wert 0 ncht enthält. Das Verfahren hat zwe achtele, de sch negatv auf de Power der Hypothesentests auswrken: Verwendung ener sehr konservatven α-rskoabschätzung nach dem Bonferron-Prnzp Beschränkung auf zwesetge Tests Im Smulatonsbespel aus Abschntt.5.4. lefert das MAOVA-Kommando MAOVA y WITH x, x to x6 /CITERVAL= JOIT(0.95) UIVARIATE(BOFER). folgende Ergebnsse: Regresson analyss for WITHI CELLS error term --- Jont Unvarate,9500 BOFERROI confdence ntervals Dependent varable.. y COVARIATE B Beta Std. Err. t-value Sg. of t Lower -95% CL- Upper x, , ,6356 4,087,000,999,476 x,097355, ,435,6464,5 -,304,48969 x3 -, , ,664 -,6645,0 -,908,0683 x4, , ,7055,479,7 -,859,6684 x5, , ,9546,9034,37 -,3640,778 x6 -, , ,7566 -,64359,53 -,5989,3780 Be X wrd de ullhypothese (zu Recht) verworfen, be X 3 hngegen knapp bebehalten. Deses wünschenswerte Ergebns st natürlch zufallsabhängg und ncht be jeder (Smulatons)stude zu erwarten Bonferron-Holm - Adjusterung Das Bonferron-Holm Verfahren st enfacher anwendbar als de smultanen Konfdenzntervalle, erlaubt sowohl zwe- als auch ensetge Tests und st be ener klenen Anzahl von Regressoren auch recht effektv (sehe z.b. Sonnemann 98). Man ordnet de Tests zu den k Regressoren aufstegend nach den erzelten Überschretungswahrschenlchketen (p-levels) und geht dann so vor: 83

84 Der Test mt dem klensten p-level wrd zum veau k durchgeführt. Akzeptert er sene ullhypothese, dann stoppt das Verfahren, und alle ullhypothesen werden bebehalten. Verwrft der erste Test sene ullhypothese, wrd der nächste Test (mt dem nächst größeren p- Level) zum veau durchgeführt usw. k Sobald en Test sene ullhypothesen bebehält, stoppt das Verfahren, und alle weteren ullhypothesen werden ebenfalls bebehalten. Wenn de ersten k - Tests hre ullhypothese verwerfen, wrd der letzte Test zum veau durchgeführt. k (k ) Für de oben berchtete Realsaton der Smulatonsstude ergbt sch be desem Verfahren: De ullhypothese zu X wrd (zu Recht) verworfen: 0,05 0, , De ullhypothese zu X 3 wrd (ebenfalls zu Recht) akzeptert: 0,05 0,008 0,0 6 Damt werden auch de ullhypothesen zu den restlchen Regressoren akzeptert..6 Determnatonskoeffzenten Als Maß für de Erklärungslestung enes multplen Regressonsmodells wrd we m bvaraten Fall der Determnatonskoeffzent R verwendet (vgl. Abschntt.5): R : = = ( yˆ - y) ( y - y) QSR QST QST QSF QST De Stchprobenstatstk überschätzt den determnerten Varanzantel n der Populaton, wel de R - Defnton de n den Quadratsummen enthaltenen Frehetsgrade ncht berückschtgt. Man kann z.b. de Fehlerquadratsumme belebg nahe an den dealen Wert ull und damt R belebg nahe an den dealen Wert Ens brngen, ndem man de Anzahl der Regressoren n Relaton zum Stchprobenumfang hnrechend stegert, wobe dese Regressoren kenerle Zusammenhang mt dem Krterum aufwesen müssen. Um ene artfzelle Inflatonerung zu verhndern und zu enem unverzerrten Schätzwert zu gelangen, werden m adjusterten R a alle Quadratsummen durch de Anzahl der enthaltenen Frehetsgrade dvdert, so dass sch m Fall der multplen Regresson ergbt: Desem adjusterten gegeben werden. R a : k = = ( y e - y ) QSF k QST ( k QSF QST : Anzahl der Regres soren) R a sollte zur Beurtelung der Erklärungslestung enes Modells regelmäßg der Vorzug 84

85 SPSS lefert n der Tabelle Modellzusammenfassung für unser Mortaltäts-Bespel (k = 5, = 60) enen adjusterten R -Wert von 0,635, den wr der Übung halber nachrechnen wollen: a R a 76348, , ,635 Derart hohe Werte snd n den Geo-, Sozal- und Wrtschaftswssenschaften sehr selten. Es st fast als ddaktscher Fehler des Manuskrpts zu werten, dass nach dem bvaraten Gewcht-Größe - Bespel (vgl. Abschntt.5) auch das multvarate Mortaltätsbespel enen sehr großen Determnatonskoeffzenten bestzt, während de mesten Leser be den egenen Daten vermutlch mt deutlch kleneren Werten zufreden sen müssen (und dürfen). Zur Beschrebung von Populatons-Effektstärken von multplen Regressonsmodellen nennen Cohen et al. (003, S. 93; sehe auch Cohen 988, S. 43f) folgende Orenterungsgrößen für de Verhaltens- und Sozalwssenschaften: Effektstärke n der Populaton erklärter Varanzantel Effektstärkendex klen 0,0 0,0 mttel 0,3 0,5 groß 0,6 0,35 In der drtten Spalte befndet sch der zur Stchprobenumfangsplanung benötgte Effektstärkendex Abschntt.9). f f (vgl. Cohen et al. (003) nennen de Orenterungswerte für belebge multple Regressonsmodelle unabhängg von der Anzahl der Regressoren, merken aber an: These values should probably be adjusted upward by the researcher who ntends to use more than a few IVs (ndependent varables). Im Verglech zur bvaraten Regresson fallen de Effektstärken-Orenterungswerte für de multple lnearen Regresson etwas höher aus (vgl. Abschntt.5). We schon n Abschntt.5 erläutert wurde, denen de Effektstärken-Orenterungswerte zur Beschrebung von Modellen, ncht zur Bewertung. Das ncht-adjusterte R aus der normalen, nhomogenen Regresson (nklusve Achsenabschntt 0 ) st dentsch mt dem Quadrat der multplen Stchprobenkorrelaton zwschen dem Krterum und den Regressoren, und dese multple Korrelaton stmmt wederum mt der enfachen Korrelaton zwschen Krterum und Modellprognose überen..7 Phänomene der multplen Regresson und ndvduelle Erklärungsbeträge In desem Abschntt werden Phänomene behandelt, de be ener multplen Regressonsglechung m Untersched zu bvaraten Zusammenhangsanalysen auftreten und dabe unser Verständns von enem emprschen System verbessern können. Dabe beschränken wr uns auf de partelle Redundanz von Regressoren und Suppressonseffekte. Zwe verwandte Themen werden später behandelt: Multkollneartät (sehe Abschntt 3.) Kausale Fehlschlüssen durch vergessene Regressoren (sehe Abschntt 4.3) Schleßlch beschäftgen wr uns damt, we sch n ener multplen Regressonsglechung de Erklärungsbeträge der enzelnen Regressoren quantfzeren lassen. 85

86 .7. Partelle Redundanz Be ener multplen Regresson stellt sch de Frage nach den Beträgen der enzelnen Regressoren zur Erklärungslestung des Modells. Im eher seltenen Fall unkorrelerter Regressoren st das (ncht-adjusterte) R dentsch mt der Summe der quadrerten Enzelkorrelatonen r j der Regressoren mt dem Krterum: R Das folgende Pfaddagramm beschrebt en Modell mt zwe unkorrelerten Regressoren X und X, de bede enen drekten Effekt auf das Krterum Y ausüben: k r j j X Y X Abbldung 6: Modell mt unkorrelerten Regressoren Spezell n Beobachtungsstuden snd de Regressoren mest unterenander korrelert, so dass sch be zwe Exemplaren mt drekten Effekten auf das Krterum folgendes Pfadmodell ergbt: X Y X Abbldung 7: Modell mt zwe korrelerten Regressoren (partelle Redundanz) In deser Stuaton blebt das R der multplen Regresson hnter der Summe der quadrerten Enzelkorrelatonen zurück, wel de Erklärungslestungen der Regressoren partell redundant snd.. R k r j j Im Abschntt 3. über de Multkollneartät wrd ene Konstellaton mt hochgradger Redundanz behandelt, wobe en Regressor fast vollständg durch andere Regressoren erklärt werden kann und somt fast kene egenständge Informaton n das Desgn enbrngt. Be ener multplen Regressonsglechung mt dem Anspruch auf funktonale Modellerung enes emprschen Systems wrd man aus der (partelle) Redundanz enes Regressors Schlüsse auf sene kausale Rolle zehen (vgl. Abschntt 4.3)..7. Suppressoreffekt Im nteressanten (aber relatv seltenen) Fall ener Suppresson kann das R de Summe der bvaraten Determnatonskoeffzenten aber auch übertreffen: 86

87 R Des passert z.b. dann, wenn en Krterum Y sowe zwe Regressoren X und X folgendermaßen aus den beden latenten Varablen und hervorgehen: k r j j Y X X Abbldung 8: Bedngungshntergrund für enen Supressoreffekt n der Regresson von Y auf X und X Zwar enthält X kene Informaton über Y, doch st deser Regressor m Stande, den von stammenden störenden Antel n X zu unterdrücken. Be velen Regressonsmodellen (z.b. mt ener partellen Redundanz oder mt ener Suppresson) lefern de enfachen Krterumskorrelatonen wchtge Beträge zur Interpretaton, so dass se n kenem Ergebnsbercht fehlen sollten. Man erhält se von der SPSS-Regressonsprozedur be Anforderung der (sem)partellen Korrelatonen (vgl. Abschntt.). eben der Bequemlchket sprcht für dese Anforderungsmethode de Konsstenz mt der fallwesen Behandlung fehlender Werte durch de Regressonsprozedur. Be ener separaten Berechnung (z.b. per Analyseren > Korrelaton > Bvarat) mt paarweser Behandlung fehlender Werte st mt ener varablen Stchprobenzusammensetzung zu rechnen..7.3 Indvduelle Erklärungsbeträge der Regressoren.7.3. Quadrerte sempartelle Krterumskorrelatonen Zur Beurtelung des egenständgen Erklärungsbetrags enes Regressors X j betrachtet man den von hm bewrkten R Ansteg. Man erhält hn als Dfferenz der R Werte aus dem vollständgen und dem reduzerten Modell, wobe letzteres durch Strechen des zu beurtelenden Regressors entsteht. Deser R Ansteg st dentsch mt dem Quadrat der sempartellen Korrelaton des Krterums mt dem fraglchen Regressor, aus dem alle anderen Regressoren auspartalsert wurden. Be der sempartellen Korrelaton von Y und X wrd also zunächst von X de beste X -Prognose aufgrund der übrgen Regressoren (X, X 3,...) subtrahert. Deses Resduum wrd dann mt Y korrelert. Wel de m zuletzt beschrebenen Snn berengten Regressoren später nochmal auftreten, soll hre Defnton präzsert werden: Wenn man mt X (j) de Desgnmatrx ohne de Spalte zu X j bezechnet und mt ~ (j) den Parametervektor aus der Regresson von X j auf de restlchen Regressoren, dann kann man den j- ten berengten Regressor (j) so defneren: (j) := X j - X (j) ~ (j) SPSS lefert de (unquadrerten) semparellen Korrelatonen des Krterums mt den Regressoren aufgrund unserer Zusatzanforderung n der mt Tel beschrfteten Spalte der Koeffzenten-Tabelle: 87

88 Daraus lässt sch z.b. für den Regressor FARBIG en egenständger R Betrag von ca. 3,5% ermtteln: 0,367 0, R - Anstege aus ener Sere geschachtelter Modelle Sofern unter den Regressoren X, X,, X k ene kausale Ordnung derart besteht, dass ken Regressor X j enen Effekt auf enen anderen Regressor mt klenerem Index ausübt, dann kann trotz korrelerter Regressoren ene addtve R -Zerlegung über ene Sere von geschachtelten Modellen vorgenommen werden. Man startet mt enem Modell, das ledglch den Regressor mt der höchsten kausalen Prortät (also X ) enthält und nmmt sukzessve entlang der Kausaltätsordnung wetere Regressoren auf. De dabe festgestellten R -Zuwächse (von ull begnnend) werden dem jewels aufgenommenen Regressor als Erklärungslestung zugeschreben. De so über R -Anstege n sukzessve erweterten Modellen defnerten Indvdualbeträge der Regressoren adderen sch trvalerwese zum R des Komplettmodells. Selbstverständlch hängt de Höhe der so ermttelten Indvdualbeträge entschedend von der festgelegten kausalen Anordnung der Regressoren ab Quadrerte partelle Krterumskorrelatonen Be der Power-Analyse (sehe Abschntt.9) wrd als Maß für den ndvduellen Erklärungsbetrag enes Regressors X j sene quadrerte partelle Korrelaton mt dem Krterum (be statstscher Kontrolle der restlchen Regressoren) bevorzugt. Be der sempartellen Korrelaton enes Regressors X j mt dem Krterum Y werden de restlchen Regressoren nur aus X j, ncht jedoch aus dem Krterum auspartalsert. Be der partellen Korrelaton enes Regressors X j mt dem Krterum Y werden de restlchen Regressoren hngegen aus X j und Y auspartalsert. eben dem n Abschntt.7.3. defnerten Resduum δ (j) (X j berengt um de restlchen Regressoren) st be der partellen Krterumskorrelaton auch das um de anderen Regressoren berengte Krterum betelgt. Wenn man mt X (j) de Desgnmatrx des Modells ohne de Spalte zu X j bezechnet und mt (j) den Parametervektor aus der Regresson von Y auf den um X j reduzerten Prädktorensatz, dann stellt folgendes Resduum das berengte Krterum dar: (j) := Y - X (j) (j) De partelle Krterumskorrelaton zu X j st gerade de enfache Korrelaton von δ (j) und (j). Durch hr Quadrat erfährt man den von X j aufgeklärten Antel an demjengen Tel der Krterumsvaranz, den de anderen Regressoren übrg lassen. Den Populatonswert der quadrerten partellen Korrelaton enes Regressors X j mt dem Krterum bezechnet man auch als partelles Eta-Quadrat. Um de Stchprobenschätzungen der partellen Eta- Quadrate zu erhalten, muss man ncht unbedngt de von der SPSS-Prozedur zur lnearen Regresson auf Wunsch geleferten partellen Krterumskorrelatonen quadreren. Alternatv kann man nach dem folgenden Menübefehl Analyseren > Allgemenes lneares Modell > Unvarat 88

89 be der SPSS-Prozedur zum allgemenen lnearen Modell ene Regressonsanalyse anfordern und per Optonen-Schalter noch Schätzungen der Effektgröße ordern: Im Mortaltätsbespel erzelt z.b. der Regressor FARBIG en partelles Eta-Quadrat von 0,87: Deser Wert st dentsch mt der quadrerten partellen Korrelaton (sehe Tabelle n Abschntt.7.3.) 89

90 0,5354 0,87 und deutlch größer als de quadrerte sempartelle Korrelaton (0,35)..8 Überprüfung der Modellannahmen un wollen wr für das Modell zu den Mortaltätsdaten de Lneartäts-, de Homoskedastztäts- und de ormaltätsannahme überprüfen..8. Lneartät Be der enfachen Regresson haben wr den Plot der ausgelassen-studentserten Resduen gegen de prognostzerten Werte verwendet, um Verletzungen der Lneartätsannahme zu dagnostzeren. Im Modell der multplen Regresson st deses Instrument zu grob, wel wr für jeden enzelnen Regressor wssen möchten, ob sen egenständger Betrag m lnearen Snn erfolgt. Den solerten Effekt enes Regressors X j kann man theoretsch dadurch analyseren, dass man alle anderen Regressoren konstant hält und dann das Krterum für verschedene X j -Werte beobachtet. Allerdngs legen für jede konkrete Wertekombnaton der anderen Regressoren n der Regel nur sehr wenge X j - Beobachtungen vor, so dass de Fxerungstechnk ncht anwendbar st. Da man de restlchen Regressoren ncht konstant halten kann, kontrollert man se auf statstschem Wege, ndem man hren lnearen Effekt aus dem Krterum enersets und aus X j anderersets auspartalsert und anschleßend ene enfache Regresson der berengten Krterumsvarablen auf den berengten Regressor rechnet. De berengten Regressoren (j) haben wr schon n Abschntt.7.3. m Zusammenhang mt der sempartellen Krterumskorrelaton defnert, (j) := X j - X (j) ~ (j) und de berengten Krterumsvaranten wurden n Abschntt m Zusammenhang mt der partellen Krterumskorrelaton engeführt: (j) := Y - X (j) (j) Anhand des Streudagramms zu den Varablen (j) und (j) lässt sch de berengte Kovaraton von X j und Y beurtelen. En solches Streudagramm bezechnet man als partelles Regressonsdagramm, wel de restlchen Prädktoren aus Y und X j auspartalsert wurden. Es lässt sch übrgens zegen, dass der Regressonskoeffzent j aus dem egentlch nteresserenden multplen Regressonsmodell dentsch st mt dem Stegungskoeffzenten aus der enfachen Regresson von (j) auf (j). (sehe Kockläuner 988, S. 0). In SPSS werden de Partaldagramme n der Regressons-Subdalogbox Dagramme angefordert: Für unser Bespel erhalten wr: 90

91 Der Plot zur Anzahl der Bldungsjahre zegt am lnken Rand ene relatv schlechte Anpassung des lnearen Modells, wobe aber auch en Ausreßerproblem vorlegen könnte (vgl. Abschntt 3..). Be der folgenden Darstellung wurde der Punktauswahlmodus m SPSS-Dagrammedtor (zu aktveren mt dem Symbol ) dazu benutzt, um de Fallnummern der potentellen Ausreßer anzegen zu lassen: 9

92 Abbldung 9: Partaldagramm für BILDUG Be Aufnahme des quadratschen Terms BILDUG m Snne ener polynomschen Regressonsglechung (vgl. Abschntt 4.) verfehlt der zwesetge t-test knapp de Sgnfkanzgrenze: Be der endgültgen Entschedung über de Erweterung des Modells um enen quadratschen Term für de Bldung snd eventuell de Ergebnsse anderer Tests (z.b. auf Ausreßer oder enflussreche Fälle, sehe Abschntt 3..3) zu berückschtgen. cht zuletzt snd aber auch nhaltlche Überlegungen relevant. Wel wohl nur wenge Argumente dafür sprechen, dass sch ene besonders nedrge Bldung postv auf den Gesundhetszustand auswrkt, sollte man aus theoretscher Scht auf den quadratschen Term eher verzchten. Her erschent es trotz der Argumentaton n Abschntt.5. wenger snnvoll, den ensetgen Test (mt der größeren Po wer) zu verwenden. Zwar hat der geschätzte Regressonskoeffzent das erwartete negatve Vorzechen (für ene nach unten offene Parabel), doch resulterte dese Erwartung aus ener Inspekton der Daten. 9

93 .8. Homoskedastztät Zur graphschen Beurtelung der Homoskedastztät fordern wr enen Plot der ausgelassen-studentserten Resduen gegen de standardserten prognostzerten Werte an: Im Mortaltätsbespel ergeben sch dabe kene offenschtlchen Hnwese zu Ungunsten der Homoskedastztätsannahme: Abbldung 30: Plot der studentserten Resduen gegen de standardserten Prognosewerte m Mortaltätsbespel Der Spread & Level - Plot (vgl. Abschntt.7.3.) zegt praktsch kene Änderung der Varabltät n Abhänggket von der Modellprognose: 93

94 Abbldung 3: Plot der logarthmerten Beträge der ausgelassen-studentserten Resduen gegen de logarthmerten Modellprognosen m Mortaltätsbespel Der Breusch-Pagan-Test (vgl. Abschntt ) äußert kene Krtk an der Varanzhomogentät, und auch be der von Glejser vorgeschlagenen Regresson der Beträge der ncht-standardserten Resduen auf de Prädktoren des Modells (vgl. Abschntt ) fndet sch ken sgnfkantes Regressonsgewcht: Be deser klaren Befundlage können wr darauf verzchten, de Plots der ausgelassen-studentserten Resduen gegen de enzelnen Regressoren zu nspzeren..8.3 ormalvertelung Auch zur Beurtelung der ormaltät snd de ausgelassen-studentserten Resduen gut geegnet. In Abschntt.7.4. wrd beschreben, we man von der Regressonsprozedur per Syntax das Hstogramm und den Wahrschenlchketsplot für de ausgelassen-studentserten Resduen anfordert. Im Mortaltäts- Bespel zegen sch kene wesentlchen Abwechungen von der ormalvertelung: 94

95 Abbldung 3: Hstogramm zu den ausgelassen-studentserten Resduen m Mortaltätsbespel Abbldung 33: Wahrschenlchketsplot zum Verglech der emprschen Vertelung der ausgelassenstudentserten Resduen mt der Standardnormalvertelung m Mortaltätsbespel ach dem Abspechern der ausgelassen-studentserten Resduen als neue Varable kann hre Vertelung über de mt Analyseren > Deskrptve Statstk > Exploratve Datenanalyse zu startende Prozedur zur exploratven Datenanalyse auf ormaltät getestet werden (vgl. Abschntt.7.4.3). Im Bespel fnden sch kene sgnfkanten Abwechungen: 95

96 Im Verglech zur ormaltätsprüfung für de Resduen aus der Regresson von Gewcht auf Größe mt der Stchprobengröße = 59 (vgl. Abschntt.7.4.3) kommt uns her de relatv klene Stchprobe zu Gute. Be = 60 haben de ormaltätstests ene relatv gernge Power und sch daher großzügg. Be der größeren Stchprobe werden auch unerheblche Abwechungen von der ormalvertelung gnadenlos aufgedeckt..9 Power-Analyse Ene Power-Analyse kann vor der Datenerhebung oder nach der Hypothesenprüfung durchgeführt werden: Be der A-pror - Power-Analyse geht es um de mnmal erforderlche (und somt optmale) Stchprobengröße, de zur Aufdeckung enes Effekts mt festzulegender Stärke ene gewünschte Wahrschenlchket garantert. Be der Post-hoc - Power-Analyse wrd z.b. für verschedene hypothetsche Effektstärken ermttelt, mt welchen Artkulatonswahrschenlchketen se n der durchgeführten Stude ausgestattet waren. Bestand für ene Effektstärke ene angemessene Entdeckungswahrschenlchket (z.b. 0,95), de aber ungenutzt bleb, dann sprcht das Untersuchungsergebns gegen de Exstenz enes solchen oder enes noch stärkeren Effekts. Anschleßend werden bede Varanten unter Verwendung der schon n Abschntt.8 vorgestellten Software GPower 3. (Faul et al. 009) beschreben..9. Modell mt fxerten Regressoren.9.. Erforderlche Stchprobengröße für den globalen F-Test Her st de Effektstärke analog zum bvaraten Fall (sehe Abschntt.8) defnert durch: f Dabe steht für den Determnatonskoeffzenten n der Populaton. Für de Effektstärke vermuten wr enen mttleren Wert von f = 0,5 (vgl. Tabelle n Abschntt.6). Wählen Se n GPower 3. den folgenden Aufgabentyp: Test famly: Statstcal test: Type of power analyss: F-Tests Lnear mult. Regr.: Fxed model, R dev. from zero A pror Um be der Prüfung enes Modells mt 5 Regressoren n enem Test zum veau α = 0,05 ene Teststärke von 0,8 zu errechen, werden 9 Fälle benötgt: 96

97 .9.. Erforderlche Stchprobengröße für den t-test zu enem enzelnen Regressor Be der Prüfung enes Modells mt 5 Regressoren soll für enen enzelnen Regressor n enem zwe- oder ensetgen t-test zum -veau 0,05 für ene Teststärke von 0,8 der mnmal erforderlche Stchprobenumfang ermttelt werden. In Anlehnung an Cohen (988, S. 40ff) bezechnen wr mt J A YJA ene Menge, de genau den Regressor X j enthält ene Menge, de alle anderen Regressoren enthält de quadrerte partelle Korrelaton von X j mt Y, wobe aus X j und Y de lnearen Effekte der anderen Regressoren entfernt snd (vgl. Abschntt.7.3.3) De Effektstärke f j für enen enzelnen Regressors X j m Rahmen enes multplen Regressonsmodells lässt sch nach Cohen (988, S. 4) durch de quadrerte partelle Korrelaton zwschen X j und Y be Kontrolle der restlchen Regressoren ausdrücken: YJA f j YJA Wr nehmen für den (belebgen) Regressor X j ene quadrerte partelle Korrelaton YJA von 0, an, wobe de Effektstärke f j 0, resultert. Be senen Empfehlungswerten zur Beurtelung von Effektstärken n der multplen Regresson dfferenzert Cohen (988, S. 43) ncht zwschen dem für en komplettes Modell (vgl. Abschntt.9..) und der quadrerten partellen Korrelaton YJA für ene Telmenge J von Regressoren. Wr behandeln gerade den Spezalfall mt ener enelementgen Menge J und können dabe de Effektstärkentabelle aus Abschntt.6 verwenden. 97

98 Cohen (988) und GPower (sehe unten) bezechnen wssen, verwendet SPSS für den Schätzer zu Wählen Se n GPower 3. den folgenden Aufgabentyp: Test famly: Statstcal test: Type of power analyss: YJA als partelles R. We Se schon aus Abschntt YJA de Bezechnung partelles Eta-Quadrat. t-tests Lnear mult. Regr.: Fxed model, sngle regr. coeffcent A pror Be enem zwesetgen Test zum veau α = 0,05 werden 73 Fälle benötgt, um ene Teststärke von 0,8 zu errechen. Be enem ensetgen Test snd dazu ledglch 58 Fälle erforderlch:.9..3 Resulterende Power be gegebener Stchprobengröße Wr haben n Abschntt.9.. für den globalen F-Test be f 0,5 ; α = 0,05; Power = 0,8; 5 Regressoren enen Stchprobenbedarf von = 9 berechnet. In Abschntt.9.. wurde für den ensetgen t-test zu enem enzelnen Regressor be f j 0, ; α = 0,05; Power = 0,8; 5 Regressoren en Bedarf von = 58 Fällen berechnet. Wenn nun en Modell 5 Regressoren enthält, kommt es be den erforderlchen 5 Tests zu ener -Fehler - Kumulerung. Zunächst soll n ener Post-Hoc - Analyse ermttelt werden, welche Power bem t-test zu enem enzelnen Regressor vorlegt, wenn n ener Stude mt 5 Regressoren de Stchprobenumfangsempfehlung zum F- Test ( = 9) realsert wrd. Wählen Se n GPower 3. den folgenden Aufgabentyp: 98

99 Test famly: Statstcal test: Type of power analyss: t-tests Lnear mult. Regr.: Fxed model, sngle regr. coeffcent Post hoc: Compute acheved power Be ener Effektstärke von f j 0,, α = 0,05 und = 9 resultert ene Power von ca. 0,94: Für de m angedachten Projekt mt 5 Regressoren auszuführenden t-tests machen wr der Enfachhet halber de Unabhänggketsannahme, de zu ener vorschtg überhöhten Stchprobenbedarfsschätzung führt. Wenn für alle 5 Regressoren en Effekt der angenommenen Stärke besteht, beträgt de Wahrschenlchket für 5 korrekte Testausgänge: 0,94 5 0,73 Um de Wahrschenlchket für 5 korrekte Testausgänge z.b. auf 0,8 zu erhöhen, muss de Power p s für enen Enzeltest auf ca. 0,9564 verbessert werden: 5 s 0,8 p 0,8 Ene A-pror - GPower-Analyse ergbt, dass dazu 03 Fälle erforderlch snd. p s 0,.9. Modell mt stochastschen Regressoren Werden de Algorthmen des bvaraten Regressonsmodells für enen fxerten Regressor auf Daten mt enem stochastschen Regressor angewendet, dann bleben de Schätzungen erwartungstreu und de Sgnfkanztests korrekt (vgl. Abschntt..3). Allerdngs führt n deser Stuaton de A-pror - Power-Analyse gemäß Abschntt.9. zu enem lecht unterschätzten Stchprobenbedarf. Für de Power-Analyse zum globalen F-Test gbt es ene exakte Alternatve. In GPower st dazu der folgende Aufgabentyp zu wählen: 99

100 Test famly: Exact Statstcal test: Lnear Multple Regresson: Random model Type of power analyss: A pror Zur Spezfkaton der Effektstärke snd de Determnatonskoeffzenten auf Populatonsebene unter der Alternatv- und unter der ullhypothese anzugeben. Wr verwenden folgende Werte: H : 0,3 (mttlere Effektstärke sensu Cohen et al. (003, S. 93), vgl. Tabelle n Abschntt.6) H 0 : 0 Wr betrachten das folgende ensetge Testproblem zum Determnatonskoeffzenten : H 0 : = 0 vs. H : > 0 Be 5 Regressoren und ener gewünschten Power von 0,8 resultert ene Stchprobengröße von 95, de erwartungsgemäß den Wert 9 für das Modell mt fxerten Regressoren (vgl. Abschntt.9.) lecht übertrfft: 00

101 3 Gefahren für ene erfolgreche Modellerung In desem Abschntt behandeln wr Gefahren für ene erfolgreche Modellerung. Von ungewöhnlchen Fällen mt unangemessen starkem Enfluss auf de Ergebnsse kann jedes Regressonsmodell betroffen sen. Im Abschntt über de bvarate Regresson haben wr das Thema aus ddaktschen Gründen vermeden. Das Multkollneartätsproblem betrfft nur de multple Regresson. 3. Ungewöhnlche Fälle 3.. Ausreßer bzgl. der Resduen Als Ausreßer bzgl. der Resduen sollen Fälle mt (absolut gesehen) ungewöhnlch großen Resduen bezechnet werden, deren Verhalten also vom betrachteten Regressonsmodell sehr schlecht erklärt werden kann. Se müssen ndvduell analysert werden: Stellt sch en technscher Fehler be der Datenerhebung oder -erfassung als Ursache heraus, muss der Beobachtungswert korrgert oder elmnert werden. Fndet sch kene technsche Panne, st de Vorgehenswese problematsch, wel natürlch jede Form von Datenkosmetk streng verboten st. o Gelegentlch führt de Ausreßeranalyse zu ener verbesserten Modellspezfkaton, z.b. durch Aufnahme zusätzlcher Regressoren. o Wenn der auffällge Merkmalsträger ncht zu der relevanten Populaton gehört, sollte er ausgeschlossen werden. Be Gültgket des Modells folgen de ausgelassen-studentserte Resduen ener t-vertelung mt k Frehetsgraden (Fox & Wesberg 0, S. 87). Damt kann für jedes enzelne Resduum durch Verglech mt dem krtschen Wert t ; k der t-vertelung n enem zwesetgen Test geprüft werden, ob es sgnfkant von ull abwecht. Dabe st zu beachten, dass auch en gültges Modell enzelne Resduen mt großen Beträgen produzert. Für unser Mortaltätsbespel sollen de Tests zum veau = 0,0 durchgeführt werden, so dass sch be k = 5 und = 60 der krtsche Wert t 0,995; 53,67 ergbt, mt dem de Beträge der ausgelassen-studentserten Resduen zu verglechen snd. Zur Berechnung des krtschen t-wertes taugt das folgende SPSS- Kommando: compute tkrt = df.t(0.995, 53). Um per SPSS-Regressonsprozedur ene Lste der ausgelassen-studentserten Resduen mt Beträgen größer,5 zu erhalten, fordert man zunächst n der Statstken-Subdalogbox ene fallwese Dagnose an: Anschleßend lässt man sch n der Hauptdalogbox per Enfügen-Schalter de korresponderende Syntax erzeugen und fordert ausgelassen-studentserte Resduen an Stelle der standardserten an: 0

102 REGRESSIO /MISSIG LISTWISE /STATISTICS COEFF OUTS R AOVA /CRITERIA=PI(.05) POUT(.0) /OORIGI /DEPEDET mortal /METHOD=ETER regen bldung farbg nox so /CASEWISE PLOT(ZRESID) OUTLIERS(.5). REGRESSIO /MISSIG LISTWISE /STATISTICS COEFF OUTS R AOVA /CRITERIA=PI(.05) POUT(.0) /OORIGI /DEPEDET mortal /METHOD=ETER regen bldung farbg nox so /CASEWISE PLOT(SDRESID) OUTLIERS(.5). Es resultert folgende Lste mt zwe Werten außerhalb der Sgnfkanzgrenzen für enen enzelnen Test: Des stellt kene graverende Abwechung von der erwarteten Häufgket zufällger Sgnfkanzen be 60 Tests zum veau = 0,0 unter jewels gültger ullhypothese dar. Um zu ener genaueren Bewertung zu kommen, müssen wr uns um das Problem der multplen Sgnfkanztests kümmern, auf das wr be der Resduenbeurtelung treffen. Soll be unter gültger ullhypothese durchgeführten Tests de Wahrschenlchket für enen oder mehrere -Fehler unter 0,05 gehalten werden, betet sch de Bonferron-Adjusterung an. Fox & Wesberg (0, S. 95) schlagen dementsprechend vor, das p-level zum betragsmäßg größten ausgelassen-studentserten Resduum mt zu multplzeren und dann mt zu verglechen. Da wr von SPSS kene p-levels zu den ausgelassenstudentserten Resduen erhalten, wollen wr enen analog zu gebrauchenden krtschen t-wert ermtteln. Wr führen zur Resduenbeurtelung zwesetge Tests durch und wollen de Irrtumswahrschenlchket für enen oder mehrere Fehler unter 0,05 halten. t krt st also so zu bestmmen, dass für de Überschretungswahrschenlchket unter der ullhypothese glt: P ( t t 0 krt P ( t t 0 P ( t t 0 ) 0,05 krt krt ) 0,05 0,05 ) Damt st be 60 Tests als krtsche Grenze das 0, Quantl der t-vertelung zu bestmmen: 0,05 0, So ergbt sch für k = 5 und = 60 der krtsche Wert t 0, ; 53 3,544, den n unserer Stchprobe ken Resduum übertrfft. Damt snd vorläufg kene Maßnahmen zur Modellverbesserung bzw. zur eutralserung von Ausreßern erforderlch. Zur Berechnung des krtschen t-wertes taugt das folgende SPSS-Kommando: compute tkrt = df.t(0.995, 53). 0

103 Als alternatve Krteren zur Identfkaton von extremen Resduen kommen n Frage Betrag des ausgelassen-studentserten Resduums st größer 3 (Gordon 0, S. 366) Extremwertdagnose per Boxplot 3.. Ausreßer bzgl. der Regressoren Fälle mt extremen Werten be unabhänggen Varablen verfügen über enen starken Enfluss auf de Schätz- und Testergebnsse. Man sprcht her von ener starken Hebelwrkung. De m Abschntt.7.. m Zusammenhang mt der bvaraten Regresson beschrebenen zentrerten Hebelwerte snd analog auch be der multplen Regresson defnert. De von SPSS berechneten zentrerten Hebelwerte nehmen Werte m Intervall von 0 bs - / an. Andere Programme und vele Autoren (z.b. Fox & Wesberg 0, S. 96) verwenden ene lecht abwechende Hebel-Defnton, so dass en Werteberech von / bs resultert. Urban & Mayerl (0, S. 88) schlagen für de von SPSS berechneten zentrerten Hebelwerte als krtsche Schwellenwerte vor (k = Anzahl der Regressoren): k 3k be großen Stchproben be klenen Stchproben Über den Spechern-Dalog der SPSS-Regressonsprozedur kann man de zentrerten Hebel als neue Varable n de Arbetsdate schreben lassen: Im Spechern-Dalog werden auch de Mahalanobs-Dstanzen angeboten, de aus den zentrerten Hebelwerten durch Multplkaton mt dem Faktor ( - ) entstehen und folglch deselbe Informaton enthalten. Über das folgende REGRESSIO-Subkommando /RESIDUALS outlers(lever) 03

104 erhält man m Ausgabefenster ene Tabelle mt den 0 größten Hebelwerten. Her st das Ergebns für das Mortaltätsbespel zu sehen: Wenn wr de Mortaltäts-Stchrobe als klen ansehen ( = 60), resultert be k = 5 Regressoren en krtscher zentrerter Hebelwert von 5 60 Er wrd von zwe Fällen übertroffen. Ob dese Städte tatsächlch enen unangemessen starken Enfluss auf de Ergebnsse haben, soll m nächsten Abschntt über de so genannte Cook-Dstanz beurtelt werden. 0, Enflussreche Fälle Enflussreche Fälle snd dadurch gekennzechnet, dass se enen sehr hohen Enfluss auf den Vektor b mt den geschätzten Regressonskoeffzenten haben. Es kommen zwe Ursachen n Frage, de auch gemensam vorlegen können: Große Resduen (sehe Abschntt 3..) Starke Hebel (sehe Abschntt 3..) Der Gesamtenfluss enes Falls auf de Ergebnsse st m Wesentlchen en Produkt aus der Hebelwrkung und der absoluten Größe des Resduums. Wenn enge wenge Fälle das Gesamtergebns zu stark prägen, st Skepss angebracht. Eventuell wrd man de Stude mt ener verbesserten Desgnmatrx wederholen, n der bestmmte X-Werte-Konstellatonen mt anderen Häufgketen realsert snd. In der Cook-Dstanz wrd der Enfluss des -ten Falles folgendermaßen defnert: e~ ~ h D : ~, =,.., k h Dabe snd: ~ e h ~ das quadrerte studentserte Resduum sensu SPSS (vgl. Abschntt.7..), das z.b. be Fox & Wesberg (0) als standardsertes Resduum bezechnet wrd der Hebelwert sensu Fox & Wesberg (0), der sch aus dem von SPSS ermttelten zentreren Hebelwert durch Adderen von / ergbt (vgl. Abschntt.7..) De Cook-Dstanz enes Falles enthält m Wesentlchen en Produkt aus senem quadrerten studentserten Resduum und sener Hebelwrkung. 04

105 Unter gültgen Modellannahmen lässt sch für jeden Fall de Hypothese testen, dass er enen sgnfkanten Enfluss auf de Schätzung der Regressonsgewchte hat (vgl. Kockläuner, 988, S.85ff). Für unser Bespel lefert de Regressonsprozedur be Verwendung des Subkommandos /RESIDUALS outlers(cook) de folgende Tabelle mt den 0 größten Cook-Abständen und den zugehörgen F-Tests: Alle ullhypothesen können mt großer Scherhet bebehalten werden. Dese Schlussfolgerung wrd bestärkt be Anwendung der von Wesberg (985) angegebenen Regel, Fälle mt Cook-Abständen größer als enflussrech enzustufen. Andere Autoren (z.b. Gordon 00, S. 367) nennen allerdngs mt 4/ enen n der Regel deutlch kleneren Grenzwert. In unserem Bespel ergbt sch der Grenzwert 0,067, den 3 Fälle überschreten (Fallnummern 3, 37 und 8). Schleßt man dese Fälle aus, ändern sch de Regressonsgewchte deutlch, und der Regressor BILDUG verfehlt m zwesetgen Test knapp de Sgnfkanzgrenze: Es lohnt sch also, de enflussrechen Fälle zu untersuchen, z.b. durch Inspekton der partellen Regressonsdagramme: 05

106 Bem Regressor REGE drücken de krtschen Fälle den Koeffzenten von,39 auf,66: Bem Regressor BILDUG stegt der Betrag des Koeffzenten von,4 auf 5,9: We de Lsten extremer Ausreßer- bzw. Hebelwerte n den Abschntten 3.. bzw. 3.. belegen, wrken de dre enflussrechen Fälle (mt den ummern 3, 37 und 8) vor allem über betragsmäßg große Resduen. Im Idealfall kann en erwetertes Modell de ehemals enflussrechen Fälle besser erklären. Bem Fall 8 (Lancaster, Pennsylvana), der n Abschntt.8. Anlass war zu kurzen, aus theoretschen Gründen schnell weder verworfenen Überlegungen zu enem quadratschen Effekt von Bldung, könnte de gernge Enwohnerzahl (relatv ländlches Mleu) glechzetg für de relatv gernge Ausbldungsdauer und ene relatv gesunde Lebenswese sorgen. ach ener Erweterung des Modells um den Regressor Enwohnerzahl wrd Lancaster eventuell sene Rolle als enflussrecher Fall ablegen. Schleßlch soll noch das Wrken enflussrecher Fälle mt extremer Hebelwrkung demonstrert werden. Be ener bvaraten Regresson n ener Stchprobe mt 0 Fällen besteht ken Effekt des Regressors X auf das Krterum Y (p-level für : 0,7): Abbldung 34: Bvarate Regresson ohne Effekt En zusätzlcher Fall mt extremer (x, y) Kombnaton zeht de Regressonsgerade deutlch nach oben (p-level zu : 0,0): 06

107 Abbldung 35: Enzelfall mt starkem Enfluss auf b Für den krtschen Fall ergbt sch ene sehr große Cook-Dstanz: Er errecht der Fall en unauffällges ausgelassen-studentsertes Resduum von,83 und wrd daher ncht als Ausreßer klassfzert. Sen Hebelwert legt jedoch wet über der krtschen Schwelle (3/0 0,03): 07

108 3. Multkollneartät Starke lneare Abhänggketen zwschen den Regressoren verursachen be der Parameterschätzung große Standardfehler, n extremen Fällen auch numersche Probleme. In der folgenden Darstellung für den geschätzten Standardfehler ˆ zum Regressonskoeffzenten b j (vgl. Cohen et al. 003, S. 86) zegt sch, b j dass ene hohe quadrerte multple Korrelaton R j zwschen X j und den übrgen Regressoren den Standardfehler erhöht, was zu enem großen Konfdenzntervall und ener gerngen Power bem Hypothesentest führt: ˆ b j s s Y X j R j R k Y : ( y y ), = s s X j : ( x j x j = ) Folglch sollte R j möglchst nahe bem dealen Wert 0 und de so genannte Toleranz enes Regressors Tol j : Rj demzufolge möglchst nahe am dealen Wert legen. Als bedenklch gelten Toleranzwerte klener als 0,0. Urban & Mayerl (0, S. 3) empfehlen enen strengeren Grenzwert von 0,0 bs 0,5. SPSS berchtet de Toleranzwerte be entsprechender Anforderung n der Regressons-Subdalogbox Statstken: Im Mortaltätsbespel zegen sch beruhgend hohe Werte: 08

109 Den ebenfalls berchteten Kehrwert der Toleranz Lneare Regressonsanalyse mt SPSS VIF j : Tol j R bezechnet man verständlcherwese als Varanznflatonerungsfaktor (sehe obge Formel für j ˆ b j ). Während korrelerte Regressoren n Beobachtungsstuden ene alltäglche Aufgabenstellung der Datenanalyse darstellen, snd Toleranzprobleme eher als Schwäche n der Forschungsmethodk zu betrachten. Se treten z.b. dann auf, wenn n ene Regressonsglechung zwe Indkatoren derselben latenten Varablen aufgenommen werden, was mt künstlchen Daten demonstrert werden soll: X X Y X X Abbldung 36: Zwe äquvalente Indkatoren als Regressoren Das lnke Pfaddagramm beschrebt de Herkunft der beden Varablen X und X, de m rechten Pfaddagramm als Regressoren-Duo ageren. Wel es sch um äquvalente Indkatoren desselben Konstrukts handelt, resulteren rrterende Regressonsergebnsse mt enem hochsgnfkanten F-Test zur globalen ullhypothese, aber ohne sgnfkante t-tests zu den enzelnen Regressonskoeffzenten: In der Toleranz-Spalte der Koeffzenten-Tabelle wrd deutlch, worn das Problem besteht. 09

110 Als Enzelkämpfer errechen bede Regressoren ene günstge Bewertung, z.b.: Optmal st der skzzerten Stuaton allerdngs ene Strukturglechungsanalyse (vgl. Abschntt 4.4), de bede Indkatoren der latenten Varablen verwendet: X Y X Abbldung 37: Strukturglechungsmodell mt ener latenten Varablen Man vermedet Multkollneartäts- bzw. Redundanz-Probleme und stegert zudem de Präzson, wel der Regressonskoeffzent ohne Mnderung durch Messfehler geschätzt werden kann (vgl. Abschntt 4.4). Kommt der Aufwand ener Strukturglechungsanalyse ncht n Frage, kann man ersatzwese zunächst ene exploratve Faktorenanalyse mt den mutmaßlchen Indkatoren rechnen, geschätzte Faktorwerte als neue Varable abspechern und anschleßend n der Regressonsanalyse verwenden. 0

111 4 Spezelle Themen In desem Abschntt haben recht unterschedlche Themen enen vorläufgen Platz gefunden. 4. Polynomsche Regressonsmodelle Be unserem volkswrtschaftlchen Bespel (sehe Abschntt Fehler! Verwesquelle konnte ncht gefunden werden.) snd wr m Rahmen der Homogenserung der Fehlervaranzen (sehe Abschntt.7.3.3) zur damals noch unpassenden Zet an ene multple Regressonsglechung geraten, nämlch (mt Y LBSP und X ER): Y 0 X X Dese Glechung modellert enen kurvlnearen (quadratschen) Zusammenhang und belegt damt, dass lneare Regressonsmodelle kenesfalls auf Regressonsgeraden oder -ebenen beschränkt snd. Mt der engezechneten quadratschen Regressonsfunkton seht de bvarate Vertelung von LBSP und ER folgendermaßen aus: Abbldung 38: Regresson von LBSP auf ER Es handelt sch um ene multple Glechung mt den beden Regressoren X und X, wobe der zwete Regressor ene perfekte Funkton des ersten st. Des st ken Verstoß gegen de n Abschntt. genannte Voraussetzung lnear unabhängger Spalten der Desgnmatrx. Um komplexere Abhänggketsmuster zu modelleren, dürfen neben X und X auch noch Terme höherer Ordnung auftreten. Da auf der Regressorensete jewels en Polynom n X vorlegt, sprcht man von polynomschen Regressonsglechungen. Auf Besonderheten m Verglech zur normalen multplen Regresson trfft man z.b. be der Interpretaton der Regressonskoeffzenten. In unserem Modell kann man sch z.b. ncht vorstellen, der ER-Wert zu erhöhen und glechzetg den ER-Wert konstant zu halten. De n Abschntt aus ddaktschen Gründen zurückgehaltenen Ergebnsse zum quadratschen Modell für de Regresson von LBSP auf ER sollen nun nachgelefert werden:

112 In der Koeffzenten-Tabelle st vor allem der t-test zum Prädktor ER von Interesse. Er beantwortet de Frage, ob das quadratsche Modell m Verglech zum enfach-lnearen Modell ene sgnfkant bessere Varanzaufklärung lestet. Aufgrund der emprschen Überschretungswahrschenlchket von 0,06 st n unserem Bespel das quadratsche Modell zu bevorzugen. Das adjusterte R a stegt m Verglech zum enfach-lnearen Modell für das Krterum LBSP merklch, wennglech ncht überwältgend, von 0,70 auf 0,76. De ausgelassen-studentserten Resduen aus der Regresson von LBSP auf ER und ER verhalten sch m Plot gegen de vorhergesagten Werte wunschgemäß: Abbldung 39: Ausgel. stud. Resd. vs. progn. Werte aus der Regresson von LBSP auf ER und ER

113 Bs auf enen potentellen Ausreßer (sehe Abschntt 3..) bewegen sch alle Resduen mt homogener Varanz um de ulllage. Zur Varanzhomogentät der Resduen kommt weder vom Test nach Breusch-Pagan (sehe Abschntt ) noch vom Glejser-Test (sehe Abschntt ) ene krtsche Anmerkung: Im Hstogramm der ausgelassen-studentserten Resduen fnden sch kene ernsten Verletzungen der ormalvertelung: Zentreren und Multkollneartät be der polynomschen Regresson Im aktuellen Bespel st der Regressor ER als ehemalge Hauptkomponente z-standardsert und hat damt nsbesondere den Mttelwert 0. Infolgedessen fällt de Korrelaton zwschen ER und ER nedrg aus, und wr bleben von beunruhgenden Multkollneartätswerten verschont. Es wrd velfach empfohlen, n enem polynomschen Regressonsmodell den Regressor zur Vermedung von Multkollneartätsproblemen grundsätzlch zu zentreren. 3

114 Um enen Endruck vom Effekt der Zentrerung zu vermtteln, sollen smulerte Daten aus ener Populaton mt dem wahren Modell Y 0 X X betrachtet werden. Verwendet man den unzentrerten Prädktor und sen Quadrat, resulteren schlechte Toleranzwerte, und de Beurtelung des Parameters zum enfachen Regressor ledet unter enem großen Standardfehler: ach dem Zentreren zegt sch das erwartete Bld mt hohen Toleranzen und klenen Standardfehlern zu allen Parametern: Bem prmär relevanten Regressor X bleben allerdngs der geschätzte Regressonskoeffzent und dessen nferenzstatstsche Beurtelung (Standardfehler, Sgnfkanztest) völlg dentsch. Her wrd de Verklenerung des Standardfehlers durch den reduzerten Varanznflatonerungsfaktor komplett zu chte gemacht durch de Verklenerung der Standardabwechung des Regressors (vgl. Hayes 03, S. 87). Außerdem st zu beachten, dass sch de Bedeutung der Regressonskoeffzenten 0 und durch das Zentreren ändert, z.b.: ~ ~ ~ Y 0 ( X E( X )) ( X E( X )) ~ ~ ~ ~ 0 X E( X ) ( X E( X ) X E( X ) ) ~ ~ ~ ~ ~ ~ E( X ) E( X ) ( E( X )) X X 0 De Koeffzenten des ursprünglchen Modells stehen n folgenden Bezehungen zu den Koeffzenten des Modells für den zentrerten Regressor und sen Quadrat: ~ ~ ~ 0 0 E( X ) E( X ) ~ ~ E( X ) ~ De m Bespel zu beobachtende Verbesserung der nferenzstatstsche Beurtelung des zentrerten Regressors X st also ncht auf ene Redukton des Kollneartät zurückzuführen, sondern auf ene veränderte Bedeutung des Regressonskoeffzenten. 4

115 4. Alternatven zum smultanen Enschluss aller Regressoren 4.. Blockbldung De SPSS-Prozedur zur lnearen Regresson erlaubt ene sukzessve Modellerweterung um Blöcke von Regressoren, wobe mt enem F-Test beurtelt werden kann, ob der zuletzt enbezogene Block von Regressoren ene sgnfkante R -Verbesserung bewrkt hat. Man sprcht her auch von ener herarchschen Regressonsanalyse. Ene Blockbldung betet sch z.b. be den (W-) Kodervarablen zu enem kategoralen Regressor mt W Ausprägungen an. Zur Demonstraton verwenden wr en künstlches Bespel mt enem metrschen und enem 3-stufg - kategoralen Regressor, wobe m ersten Block der metrsche Regressor aufgenommen wrd: ach enem Mausklck auf ächste folgen n enem zweten Block de Kodervarablen zum nomnalskalerten Regressor: Um enen Sgnfkanztest zur R -Verbesserung durch de enzelnen Blöcke zu erhalten, aktvert man n der Statstken-Subdalogbox das Kontrollkästchen Änderung n R-Quadrat: 5

116 In der folgenden Tabelle erfahren wr, dass bede Blöcke ausgehend vom jewels berets vorhandenen Modell ene sgnfkante R -Verbesserung bewrkt haben: 4.. Automatsche Modellsuche Innerhalb enes Blocks, der auch alle Regressoren umfassen darf, kann man SPSS automatsch nach enem guten Modell suchen lassen. Es wrd schrttwese anhand von Sgnfkanztests entscheden, ob en Regressor aufgenommen oder entfernt werden soll, wobe dre Strategen zur Verfügung stehen: Vorwärts Ausgehend vom Modell ohne den fraglchen Block wrd Schrtt für Schrtt darüber entscheden, ob en (weterer) Regressor aus dem Block aufgenommen werden soll. Rückwärts Zunächst wrd der gesamte Block aufgenommen. Dann wrd Schrtt für Schrtt geprüft, ob en Regressor entfernt werden soll. Schrttwese Ausgehend vom Modell ohne den fraglchen Block wrd Schrtt für Schrtt darüber entscheden, ob en (weterer) Regressor aus dem Block aufgenommen werden soll. Außerdem wrd n jedem Schrtt geprüft, ob en vorhandener Regressor aus dem aktuellen Block mttlerwele überflüssg geworden st. In der Optonen-Subdalogbox kann man de Krteren für de Aufnahme bzw. für den Ausschluss enes Regressors wählen: 6

117 Gegen ene exploratve Modellsuche st nchts enzuwenden, solange der graverende Untersched zu ener Modellprüfung beachtet wrd. Betet man z.b. der schrttwese Modellsuche 00 Prädktoren an, de nchts als puren Zufall enthalten, so kann man bem Enschlusskrterum p = 0,05 en Modell mt ca. fünf sgnfkanten Regressonskoeffzenten erwarten: Anderersets st de automatsche Modellsuche aufgrund hrer Orenterung an der Sgnfkanzbeurtelung zu enzelnen Regressoren blnd für Blöcke von Regressoren, de nur gemensam stark snd. Zur Demonstraton verwenden wr en künstlches Bespel mt Suppressoreffekt (vgl. Abschntt.7.), wobe de schrttwese Prozedur mt den Standardenstellungen kenen Prädktor aufnmmt: Be der explzt angeordneten gemensamen Aufnahme erhalten Regressor und Suppressor en sgnfkantes Gewcht: Der beschrebene Fehler wäre be ener Rückwärts-Modellsuche ncht aufgetreten. Wer der Automatk ene Chance gbt, sollte also vorschtshalber vorwärts und rückwärts suchen lassen. Insgesamt kann man Urban & Maerl (0, S. ff) zustmmen, de nachdrücklch von der schrttwesen Regresson abraten. 7

118 4.3 Kausale Interpretaton von Regressonskoeffzenten Zur methodologsch anspruchsvollen Theore der kausalen Regressonsmodelle, de von Steyer (99) ausführlch behandelt wrd, snd n desem Manuskrpt nur enge kurze Anmerkungen möglch. Im folgenden Modell übt de Varable Z enen Effekt auf de Varablen X und Y aus, während X ohne Wrkung auf Y blebt: X x Z z Y Abbldung 40: Wrkungswese des wahren Regressors Z Der Enfachhet halber soll für alle Varablen en Mttelwert von 0 und ene Varanz von angenommen werden. In desem Fall st der Regressonskoeffzent x ebenso dentsch mt der Korrelaton von X und Z we der nverse Koeffzent aus der Regresson von Z auf X. Be der bvaraten Regresson von Y auf X trtt en Scheneffekt von X auf: Aus folgt wegen z x X Y * Abbldung 4: In desem Regressonsmodell fehlt der egentlch wrksame Regressor für de Regresson von Y auf X: Y z Z Z x * X X Y ( X ) z X z z x x x z mt * : Generell kann be der (multplen) Regressonsanalyse en Prädktor X en von ull verschedenes (und statstsch sgnfkantes) Regressonsgewcht auch ohne jeden kausalen Effekt erzelen, wenn er mt ener m Regressonsmodell fehlenden Varablen Z korrelert st, de enen kausalen Effekt auf das Krterum ausübt (omtted varable error, sehe z.b. Baltes-Götz 994, S. -4). En Bespel mt der eben beschrebenen Struktur st wethn bekannt: Beobachtungsenheten: schwedsche Landkrese X: Anzahl der Störche Z: Industralserungsgrad Y: Geburtenrate (der menschlchen Bewohner) Falls ene kausale Interpreterbarket der Regressonskoeffzenten methodologsch untermauert werden soll, snd be der Untersuchungsplanung und -auswertung über de obge Lste mt statstschen bzw. technschen Voraussetzungen (sehe Abschntte.. und.) hnaus zusätzlche Bedngungen zu erfüllen. In z 8

119 der Lteratur werden oft de beden folgenden Bedngungen für ene kausale Interpreterbarket der Regressonskoeffzenten genannt (z.b. be Lews-Beck 993, S. 8): Alle relevanten unabhänggen Varablen müssen enbezogen werden, so dass ken omtted varable error vorlegen kann. Im Storch-Bespel darf der Regressor Industralserungsgrad ncht weggelassen werden. Es dürfen kene rrelevante Varablen n de Regressonsglechung aufgenommen werden. Dese mndern de Präzson bem Schätzen (bretere Konfdenzntervalle) und Testen. Außerdem können se zu unverdentem Ruhm gelangen, wenn hr Regressonskoeffzent durch zufällge Stchprobenschwankungen sgnfkant wrd (erhöhte -Fehlerrate). Irrelevante Prädktoren kann man mt Hlfe von theoretschem Wssen oft vermeden. Wenn se (versuchswese) doch n das Regressonsmodell aufgenommen werden, schetern se hoffentlch an der Sgnfkanzgrenze, wenn alle relevanten Regressoren anwesend snd. De erste Bedngung sehr streng und weng praxsgerecht. Steyer (99) analysert, unter welchen Voraussetzungen relevante Varablen ohne Schaden für de kausale Interpreterbarket der Ergebnsse fehlen dürfen. Be der folgenden Konstellaton wrkt sch das Weglassen der Varablen Z trotz hres Effekts auf das Krterum und hrer Korrelaton mt dem Regressor X ncht krtsch aus: Z X Y Abbldung 4: Her wrkt Z als Medator Deses Modell besteht aus zwe Regressonsglechungen: Regresson von Y auf X und Z Regresson von Z auf X Z vermttelt als Medator den Effekt von X auf Y partell. Wrd Z weggelassen und nur de Regresson von Y auf X betrachtet, kann man zwar wenger gut verstehen, we X auf Y enwrkt, doch wrd der totale Effekt von X auf Y korrekt geschätzt. 4.4 Strukturglechungsmodelle Falls be stochastschen Regressoren (vgl. Abschntt..3) de Annahme fehlerfre gemessener X-Werte ncht haltbar st, lefert de Regressonsanalyse verzerrte Ergebnsse. Ene möglche Lösung stellen dann Strukturglechungsmodelle mt latenten Varablen dar, de von Programmen we AMOS, LISREL oder MPlus unterstützt werden. eben der Lösung des Messfehlerproblems durch latente Varablen haben Strukturglechungsmodelle noch enen weteren Vortel gegenüber Regressonsmodellen. Se erlauben de smultane Betrachtung 9

120 mehrerer Glechungen, wobe auch nonrekursve Glechungssysteme zugelassen snd, mt denen etwa de wechselsetge Beenflussung zweer Varablen modellert werden kann, z.b.: FAE AE,7 FAE AE,84,66,8 AE,5,46 MOTIVAT,93,85,87 MOTIVAT,73 MOTIVAT FMOT FMOT FAL FAL FUMW FUMW,93 ALAGE,53 ALAGE,70 UMWELT,6 UMWELT,96,73,83,79,63,39 ALAGE,44 UMWELT,,35,5,39 ERFOLG,68,87,90 FM FE -,35,8 ERFOLG,76 ERFOLG Abbldung 43: Strukturglechungsmodell mt latenten Varablen und wechselsetger Abhänggket Modell mt latenten Varablen verankert n den vergröberten manfesten Varablen (Ch-Quadrat =,867, df = 6, p =,640) Man kann selbstverständlch mehrere (unabhängg vonenander geschätzte) Regressonsglechungen zu enem sogenannten Pfadmodell kombneren, doch lassen sch auf dese Wese nur rekursve Modelle blden, de z.b. kene wechselsetgen Abhänggketen enthalten können. Mt Strukturglechungsmodellen st n der Regel der Anspruch verknüpft, über de bloße Untersuchung statstscher Zusammenhänge hnausgehend zu kausal nterpreterbaren Ergebnssen zu gelangen (sehe z.b. Jöreskog & Sörbom 989, S. ). Allerdngs st deser Anspruch durch de bloße Verwendung entsprechender Computerprogramme ncht zu realseren. Über das Arbeten mt dem von IBM/SPSS vertrebenen Strukturglechungsprogramm AMOS nformert en ZIMK-Manuskrpt, das auf dem Webserver der Unverstät Trer von der Startsete ( ausgehend folgendermaßen zu fnden: ZIMK (Rechenzentrum) > Servces für Studerende > EDV-Dokumentatonen > Statstk > Analyse von Strukturglechungsmodellen mt Amos FERF FERF 4.5 Verglech der Determnatonskoeffzenten von ncht geschachtelten Modellen Gelegentlch sollen zwe alternatve, ncht geschachtelte Regressorensätze hnschtlch hrer Erklärungslestung für dasselbe Krterum verglchen werden, z.b. be der Frage, ob de beruflche Bewährung von Bewerbern besser durch objektve Lestungstests oder durch Expertenurtele vorhergesagt werden kann. Für den Verglech von zwe aus derselben Stchprobe ermttelten Determnatonskoeffzenten, de jewels dentsch snd mt der quadrerten Korrelaton zwschen dem Krterum und der Modellprognose, schlagen Tabachnk & Fdell (007, S. 5f) den von Steger (980) beschrebenen Test zum Verglech von abhänggen Korrelatonen ( r versus r ) vor. YX YZ De fehlende Berückschtgung der beden Prädktorenzahlen wegt ncht allzu schwer, wel der Test ohnehn nur n großen Stchproben gültg st. Eventuell sollte man aber an Stelle der beden multplen Regressonskoeffzenten de Wurzeln der adjusterten Determnatonskoeffzenten verwenden. 0

121 5 Regresson mt serell abhänggen Daten De Inferenzstatstk n der üblchen OLS (Ordnary Least Squares) - Regressonsanalyse setzt u.a. voraus, dass de Modellresduen unkorrelert snd. Stammt jede Y -Beobachtung von enem egenständgen Merkmalsträger we n unserem Bespel mt der Regresson von GEWICHT auf GROESSE (sehe Abschntt.), wobe kenerle Bezehung zwschen den Merkmalsträgern besteht, dann kann de Unabhänggket der Resduen als geschert gelten. Gelegentlch möchte man jedoch z.b. regressve Bezehungen anhand zetlch geordneter Beobachtungen an enem enzgen Merkmalsträger untersuchen. Benachbarte Y -Varablen können dann modellfremde Enflüsse gemensam haben, so dass hre Resdualvarablen korreleren. Das wrkt sch folgendermaßen auf de OLS-Schätz- und Testergebnsse aus: De Schätzungen für de Regressonskoeffzenten bleben unverzerrt. Allerdngs verleren de Schätzungen hre Effzenz, de von der Varanzhomogentät und der Unabhänggket der Resduen garantert wrd (vgl. Abschntt.3). Serell abhängge Resduen führen also potentell zu ungenau geschätzten Regressonskoeffzenten. Spezell m typschen Fall ener postven Autokorrelaton der Resduen erhält man unterschätzte Standardfehler zu den Regressonskoeffzenten und damt ene erhöhte Fehlerrate erster Art (zu lberale Tests) Ene serelle Abhänggket der Krterumswerte stellt noch kene Verletzung der OLS-Voraussetzungen dar, wel sch de Unabhänggketsforderung auf de Resduen bezeht. Oft resultert ene serelle Abhänggket der Resduen aus enem fehlerhaften Modell (fehlende Regressoren oder falsche funktonale Form). 5. Bespel Als Bespel für de Regressonsanalyse mt serell abhänggen Daten betrachten wr enen von Durbn & Watson (95) berchteten Datensatz, der dre logarthmsch transformerte Zetrehen mt jährlch n England vorgenommenen Messungen aus dem Beobachtungszetraum von 870 bs 938 enthält: Alkoholverbrauch (Varablenname COSUMP) Pro-Kopf-Enkommen (Varablenname ICOME) Inflatonsberengter Presndex (Varablenname PRICE) Es soll versucht werden, den Alkoholverbrauch durch en lneares Regressonsmodell mt den unabhänggen Varablen Enkommen und Pres zu erklären. Dabe st zu befürchten, dass zahlreche m Modell ncht berückschtgte Enflüsse auf den Alkoholverbrauch n benachbarten Jahren relatv ähnlch ausgeprägt waren, so dass zwschen zetlch benachbarten Resduen Korrelatonen bestehen, de m OLS- Regressonsmodell verboten snd. Zunächst wollen wr uns enen optschen Endruck vom Verlauf der dre Zetrehen verschaffen. Dazu öffnen wr de SAV-Date mt den Bespeldaten und verenbaren nach dem Menübefehl Daten > Datum defneren n folgender Dalogbox ene neue Varable YEAR_ mt den Jahreszahlen ab 870: Se fnden de Daten an der m Vorwort genannten Stelle n der Date DW.sav.

122 Über den Menübefehl fordern wr m folgenden Dalog Analyseren > Vorhersage > Sequenzdagramme en Verlaufsdagramm mt den dre Varablen an: Abbldung 44: Verlauf der Zetrehen COSUMP, ICOME und PRICE

123 Wr wollen n desem Abschntt lernen, be der Analyse solcher Zetrehen de krtsche Voraussetzung unkorrelerter Resduen zu prüfen und gegebenenfalls de OLS-Regresson durch en adäquates Verfahren zu ersetzten. Bem bald vorzustellenden numerschen Durbn-Watson - Test (sehe Abschntt 5.) werden de enfachen (ncht-standardserten) Resduen ausgewertet. Dese bewegen sch be erfüllter Unabhänggketsannahme m Sequenzdagramm zufällg um de ull-lage, we es m folgenden Bespel mt künstlchen Daten (ohne serelle Abhänggket) zu sehen st: Abbldung 45: Sequenzdagramm mt OLS-Resduen be gültger Unabhänggketsannahme Be den Resduen zu der OLS-Regressonsglechung für de Durbn-Watson - Daten zegt sch en deutlch anderes Bld: Abbldung 46: Sequenzdagramm für de OLS-Resduen aus dem Durbn-Watson - Bespel Dese Resdualzetrehe schlängelt sch gemächlch um de ull-lage, d.h. jeder Wert legt relatv nahe be senem Vorgänger. Er kann folglch durch senen Vorgänger gut vorhergesagt werden, und wr erwarten enen hohen Wert für de so genannte Autokorrelaton erster Ordnung zwschen der Resdualzetrehe und hrer um enen Zettakt verschobenen Varante. Als Bezechnung verwenden wr en grechsches (Rho). Aus den Stchprobendaten wrd de erste Autokorrelaton folgendermaßen geschätzt: 3

124 4 Lneare Regressonsanalyse mt SPSS t t t t t e e e ˆ (4) Be der Analyse zetlch geordneter Daten st häufg ene ausgeprägt postve Resdual-Autokorrelaton erster Ordnung zu beobachten. egatve Resdual-Autokorrelatonen erster Ordnung snd eher selten. Besteht ene postve Autokorrelaton, bleben de OLS-Schätzer der Regressonskoeffzenten erwartungstreu, doch werden hre Standardfehler unterschätzt. Infolgedessen snd de Sgnfkanztests zu lberal und de Vertrauensntervalle zu klen. 5. Der Durbn-Watson-Test Wel zahlreche Abhänggketsstrukturen be den Resduen ener lnearen Regresson zu ener Autokorrelaton erster Ordnung führen, sollte dese Größe be der OLS-Regressonsanalyse mt zetlch (oder auch räumlch) geordneten Daten routnemäßg überprüft werden. Da wr de generelle Unkorrelerthet der Resduen voraussetzen müssen, st das Fehlen ener Autokorrelaton erster Ordnung nur ene notwendge, jedoch kene hnrechende Anwendungsvoraussetzung. Wel n der Regel ene postve Autokorrelaton zu erwarten st, sollte der Sgnfkanztest für de Autokorrelaton. Ordnung n folgender Wese ensetg durchgeführt werden: H 0 : 0 (De Autokorrelaton. Ordnung der Modellresduen st ncht postv.) versus H : 0 (De Autokorrelaton. Ordnung der Modellresduen st postv.) En für deses Testproblem geegnetes Verfahren wurde von Durbn &Watson (95) entwckelt. De DW-Prüfstatstk für ene Stchprobe der Größe st folgendermaßen defnert (vgl. Hartung 989): t t t t t e e e ) ( : DW Offenbar wrd de Statstk umso größer, je mehr sch t e von senem Vorgänger t e unterschedet. Durch Umformungen des DW-Koeffzenten wrd sene enge Bezehung zur Stchproben-Autokorrelaton erster Ordnung deutlch (vgl. Formel (4)): t t t t t t t t t t t t t t t t t t t t t t t t e e e e e e e e e e e e e e e e e e ˆ ) (

125 Für großes erhalten wr approxmatv: Lneare Regressonsanalyse mt SPSS ˆ Damt st klar, dass der Durbn-Watson-Koeffzent zwschen 0 und 4 varert: Wenn ˆ gegen geht, tendert DW gegen 0. Wenn ˆ gegen - geht, tendert DW gegen 4. Wenn ˆ gegen 0 geht, tendert DW gegen. In SPSS wrd der Durbn-Watson-Test n der Dalogbox Lneare Regresson: Statstken angefordert: Das Ergebns für de Regresson von COSUMP auf ICOME und PRICE: sprcht klar für ene postve Autokorrelaton. Ordnung. Zur Durchführung des Durbn-Watson-Tests müssen Tabellen herangezogen werden, de z.b. m Handbuch zum Zetrehenmodul der SPSS-Verson 3 (SPSS 004, Anhang A) enthalten snd. In SPSS- Handbüchern zu späteren Versonen fehlen dese Tabellen leder. Erfreulcherwese beten enge Web- Seten enen guten Ersatz, z.b. (abgerufen am ): Her werden Stchprobenumfänge von 6 bs 000 unterstützt. Her werden we m Handbuch zu SPSS 3 nur Stchprobenumfänge von 6 bs 00 unterstützt. Leder kann bem Dubn-Watson - Test ken krtscher Wert bestmmt werden, der durch Verglech mt ener emprsch ermttelten Prüfgröße zur Testentschedung führt. Es st ledglch möglch, ene untere (dl) und ene obere Schranke (du) für den krtschen Wert n Abhänggket von folgenden Bedngungen zu ermtteln: nhomogene versus homogene Regresson Stchprobengröße Prädktorenzahl k gewünschtes Sgnfkanznveau 5

126 Dann snd bem ensetgen Testproblem Lneare Regressonsanalyse mt SPSS H 0 : 0 versus H : 0 folgende Entschedungsregeln anzuwenden: DW-Wert Testentschedung DW dl H 0 ablehnen, d.h. postve Autokorrelaton dl < DW < du kene Entschedung möglch du DW H 0 bebehalten Auf der oben angegebenen Websete der amerkanschen Stanford-Unverstät ermtteln wr für unsere Stchprobengröße ( = 69) sowe Regressoren (ergbt K = 3 n der Stanford-Tabelle, de den Ordnatenabschntt enbezeht) und = 0,05 de folgenden Grenzwerte: dl =,55 und du =,670 Aufgrund unseres emprschen DW-Wertes von 0,49 wrd de ullhypothese deutlch verworfen. Wr gehen also davon aus, dass n den Modellresduen der OLS-Regresson ene Autokorrelaton erster Ordnung vorlegt, so dass de Voraussetzungen deses Verfahrens verletzt snd. In deser Stuaton snd u.a. de Sgnfkanzbeurtelungen zu den Regressonskoeffzenten verfälscht. Bem alternatven ensetgen Testproblem: H 0 : 0 versus H : 0 sowe bem zwesetgen Testproblem: H 0 : 0 versus H : 0 gelten andere Entschedungsregeln (sehe Hartung 989, S. 740f). Der Durbn-Watson-Test st ncht anwendbar, wenn zetversetzte Varanten der abhänggen Varablen als Regressoren verwendet werden (vgl. SPSS 004, S. 77). In Abschntt wrd mt dem Box-Ljung - Test ene Alternatve zum Durbn-Watson - Test vorgestellt, wobe kene externe Tabelle benötgt wrd, allerdngs de relatv komplexe SPSS-Prozedur zur ARIMA- Modellerung verwendet werden muss. 5.3 Regresson mt ntegrertem AR()-Modell für de Fehler 5.3. AR()-Prozess Um ene Autokorrelaton erster Ordnung n den Resduen explzt zu berückschtgen, formuleren wr für de abhängge Varable Y t zum Zetpunkt t das folgende Modell: Y X X... X t U 0 t t k kt t (5) U, (6) t U t t Es besteht aus enem normalen multplen Regressonsmodell (5), das um enen AR()-Fehlerprozess (6) erwetert wurde. Im Enzelnen bedeuten: 6

127 X j t Der j-te Regressor zum Zetpunkt t. U t Der Antel von Y t, der durch de Regressoren ncht erklärt werden kann. Der autoregressve Parameter erster Ordnung zum Fehlerprozess. Er st mt der ersten Autokorrelaton der (U t )-Zetrehe dentsch. t Für de Zetrehe ( t ) aus den Epslon-Resduen wrd angenommen, dass se en so genanntes weßes Rauschen blden. Man unterstellt unkorrelerte Varablen, de ene dentsche ormalvertelung mt Erwartungswert 0 bestzen. Für den AR()-Prozess (U t ) muss außerdem de Statonartät angenommen werden, was auf de folgende Forderung hnausläuft (vgl. Schlttgen & Stretberg 989, S. 00): < Das AR()-Modell st en enfacher Spezalfall des allgemenen ARIMA(p, d, q) - Modells (Autoregressve Integrated Movng Average) Regresson mt AR()-Fehlerprozess ach dem Menübefehl: Analyseren > Vorhersage > Modelle erstellen kann n der folgenden Dalogbox ene Regressonsanalyse mt AR()-Resdualmodell angefordert werden. Im Durbn-Watson-Bespel soll de abhängge Varable COUMP durch de unabhänggen Varablen ICOME und PRICE erklärt werden: Wr wählen ARIMA als Methode und legen nach enem Klck auf den Schalter Krteren de Struktur AR() für den Fehlerprozess fest: 7

128 Auf der Regsterkarte Statstk müssen wr das Kontrollkästchen Parameterschätzungen markeren, um Schätzungen für de Modellparameter zu erhalten: Auf der Regsterkarte Spechern sorgen wr dafür, dass de geschätzten t -Werte als zusätzlche Varable n de Arbetsdate geschreben werden: In den Ergebnssen zum Durbn-Watson - Bespel hält der autoregressve Parameter (knapp) de Statonartätsbedngung en ( ˆ 0,993 ) und überwndet sehr deutlch de Sgnfkanzgrenze: 8