Regressionsanalyse - Einführung in das Thema

Transkript

1 Regressionsanalyse - Einführung in das Thema Referent: Dr. Ralf Gutfleisch - AG Methodik Veranstaltung: Frühjahrstagung 2013 in Wolfsburg Datum: 18. März 2013

2 Strukturen-prüfende Verfahren Regressionsanalyse als ein Struktur-prüfendes Verfahren 1 (wie auch Varianzanalyse, Diskriminanzanalyse, Logistische Regression, Kontingenzanalyse ) Einsatz: Durchführung von Kausalanalysen (Ursache-Wirkung-Beziehung) Beispiel Landwirtschaft: Ernteertrag und die Auswirkungen von Wetter, Bodenbeschaffenheit und Düngemittel 1 Struktur-entdeckende Verfahren 2

3 Strukturen-prüfende Verfahren Ursache-Wirkung-Beziehung bla, bla, bla, bla, bla, bla, bla, bla, bla, bla bla, bla, bla, bla! bla, bla, bla, bla 3

4 Strukturen-prüfende Verfahren Voraussetzung: Hypothesenbildung Anwender/in muss im Vorhinein eine Vorstellung über die Kausalbeziehungen besitzen! Vermutung, welche Variablen auf andere Variablen einwirken Einteilung in abhängige (Y) und unabhängige (X) Variablen Alternativbezeichnungen Y abhängige Variable Regressand endogene Variable erklärte Variable Prognosevariable X 1,X 2, X 3 unabhängige Variable(n) Regressor(en) exogene Variable(n) erklärende Variable(n) Prädiktorvariable(n) 4

5 Strukturen-prüfende Verfahren wenn Hypothesenbildung abgeschlossen ist (abhängig/unabhängig), werden die Daten mit Hilfe multivariaten Analysemethoden überprüft Mit welchem Verfahren? Grundlegende Vorgehensweise Abhängige Variable (Y) Metrisches Skalenniveau Nominales Skalenniveau Unabhängige Variable (X) Metrisches Skalenniveau Regressionsanalyse Diskriminanzanalyse Logistische Regression Nominales Skalenniveau Varianzanalyse Kontingenzanalyse 5

6 Definition Regression Francis Galton engl. Wissenschaftler ( ) Untersuchungsgegenstand: Abhängigkeit der Körpergröße von Söhnen in Abhängigkeit von der Körpergröße ihrer Väter Ergebnis: Tendenz einer Rückkehr (=regress) zur durchschnittlichen Körpergröße feststellte die Söhne von extrem großen Vätern werden tendenziell weniger groß und die von extremen kleinen Vätern tendenziell weniger klein Kausalbeziehung (Ursache-Wirkung-Beziehung; Je-Desto-Beziehung) monokausal Beziehung (zwischen zwei Variablen) multikausale Beziehung (zwischen einer abhängigen und mehreren Unabhängigen) Spezialfall: Zeitreihenanalyse / Trendanalysen (Abhängigkeit einer Variablen von der Zeit) 6

7 Strukturen-prüfende Verfahren Auszug aus Orlis-Datenbank (Difu): Kommunaler Mietspiegel Entwicklung des privaten Pkw-Besitzes entlang neuer und bestehender Straßenbahnlinien Kundenzufriedenheit der Bürger mit verschiedenen Ämtern Auswirkungen des Fluglärms auf den Immobilienmarkt Auswirkungen von Abwanderung und Alterung auf die Nahversorgung Wahlbeteiligung und Sozialstatus Wanderungsgründe von Migranten 7

8 Unser Beispiel: Regressionsanalyse eine abhängige Variable eine oder mehrere unabhängige Variable(n) Y X 1, X 2. X j. X J Wahlbeteiligung Altersklassen, Haushaltsstruktur, Religion, Migrationshintergrund, Sozialstruktur Kausalbeziehung je höher das Alter, umso höher ist die Wahlbeteiligung je niedriger die soziale Status, umso niedriger ist die Wahlbeteiligung je höher der Anteil der katholischen Wähler, desto höher die Wahlbeteiligung Die Änderungen von Y sind die Wirkungen der Änderungen von X, d.h. ändert sich etwas bei X hat dies Auswirkungen auf Y Y = f (X 1, X 2. X j. X J ) Punkteverteilung in einem zweidimensionalen Koordinatensystem (Gerade) 8

9 Voraussetzungen Grundannahmen: Y = f (X 1, X 2. X j. X J ) Y lässt sich aber nie vollständig durch eine begrenzte Menge von beobachtbaren Variablen erklären In die Funktion wird eine Zufallsgröße u eingebaut (= stochastische Komponente) 1 die Größe u fasst die Vielzahl zufälliger Einflüsse statistisch zusammen wird als Störgröße bezeichnet Störgröße ist nicht beobachtbar, aber über die Residuen messbar 2 1 Stochastisches Modell der Regressionsanalyse 2 Residuen = Anteil der Variabilität, der durch ein gegebenes Modell nicht erklärt werden kann. Sie werden durch die Subtraktion der Modellschätzungen von den eigentlichen Daten berechnet. 9

10 Annahmen Durch das zu Grunde legen des stochastischen Modells, werden Annahmen getroffen, die bei der (linearen) Regressionsanalyse einzuhalten sind! Prämissen: Linearität in den Parametern Berücksichtigung aller relevanten Variablen Homoskedastizität Unabhängigkeit der Störgrößen keine lineare Abhängigkeit zwischen den unabhängigen Variablen Störgrößen sind normalverteilt 10

11 1. Annahme Prämisse Verletzung Konsequenzen Prüfung Linearität in den Parametern Nichtlinearität Verzerrung der Schätzwerte Betrachten des Punktediagramms Transformation in lineare Beziehung Backhaus et al (2005) Einsatz von Dummy-Variablen 11

12 2. Annahme Prämisse Verletzung Konsequenzen Prüfung Berücksichtigung aller relevanten Variablen zu geringe Anzahl Variablen zu hohe Anzahl Variablen Verzerrung der Schätzwerte Ineffizienz keine Korrelation zwischen den X und der Störgröße zu geringe Anzahl (underfitting): vernachlässigbar zu hohe Anzahl (overfitting) 1 : die Einflussvariable erscheint nicht signifikant Irrelevante Variablen erscheinen irrtümlich signifikant Wichtigkeit der Hypothese 1 Verfahrungswert: Vorsicht beim Wechsel des Vorzeichens bei signifikanten Koeffizienten 12

13 3. Annahme Prämisse Verletzung Konsequenzen Prüfung Homoskedastizität der Störgrößen Heteroskedastizität Ineffizienz der Schätzung Plott, Goldfeld/Quandt- Test oder Glesjer- Verfahren Störgröße darf nicht von X oder von der Reihenfolge der Beobachtungen abhängig sein Zunahme der Störgröße = Heteroskedastizität= z.b. Messfehler Backhaus et al (2005) 13

14 4. Annahme Prämisse Verletzung Konsequenzen Prüfung Unabhängigkeit der Störgrößen Autokorrelation Ineffizienz der Schätzung Plott, Durbin/Watson-Test Störgrößen müssen unkorreliert sein Abweichungen von der Regressionsgeraden müssen zufällig sein Abhängig von Vorwerten = Autokorrelation= z.b. Messfehler in Zeitreihen Backhaus et al (2005) (Werte liegen nahe beieinander) (Werte liegen weit auseinander) 14

15 5. Annahme Prämisse Verletzung Konsequen zen Keine lineare Abhängigkeit zwischen X Multikollinearität Verminderte Präzision der Schätzwerte Prüfung Prüfung der Korrelation von X X müssen unkorreliert sein Gewisse Korrelationen werden zwischen den unabhängigen Variablen immer bestehen Mit zunehmender Multikollinearität werden die Schätzungen der Regressionsparameter immer unzuverlässiger Lösung: Entfernung wenig wichtiger Variablen, Transformation oder Ersetzung durch Faktoren Wichtigkeit der Hypothese Backhaus et al (2005) 15

16 6. Annahme Prämisse Verletzung Konsequenzen Prüfung Störgrößen sind normalverteilt Keine Normalverteilung Ungültigkeit des Signifikanztest (F-/t- Test) Histogramm Keine Durchführung der Tests Ist die Anzahl der Beobachtungen groß genug, sind die Signifikanztests unabhängig von der Verteilung der Störgrößen gültig Backhaus et al (2005) 16

17 Annahmen Durch Annahmen nicht abschrecken lassen: Aufgrund der Vielzahl der Annahmen, die der Regressionsanalyse zugrunde liegt, mag deren Anwendbarkeit sehr eingeschränkt erscheinen. Das ist aber nicht der Fall. Die Regressionsanalyse ist recht unempfindlich gegenüber kleineren Verletzungen der vorherigen Annahmen und bildet ein äußerst flexibles und vielseitig anwendbares Analyseverfahren (Backhaus et al. 2005). Lassen Sie uns rechnen! 17

18 Vielen Dank! Dr. Ralf Gutfleisch Bürgeramt, Statistik und Wahlen Zeil 3, Frankfurt am Main Telefon: +49 (0) , Fax: +49 (0) Lorum ipsum dolar lorum ipsum dolar lorum ipsum dolar

19 Methodische Schrittabfolge Modellformulierung (in einer linearen Regressionsbeziehung) Hypothese Schätzung der Regressionsfunktion Regressionsfunktion, Residualgröße, Zielfunktion Prüfung Regressionsfunktion Bestimmtheitsmaß (R 2 ), F-Statistik, Standardfehler Regressionskoeffizienten t-wert, Beta-Wert Modellprämissen Linearität/Nichtlinearität, Störgröße, Regressoren, Heteroskedaszidität, Nicht-Normalverteilung 19

20 Unterschied zur Korrelationsanalyse Korrelation misst die Stärke der Zusammenhänge keine Ursachen - Wirkung - Beziehung Verwechselungsgefahr: r 2 = quadrierter Korrelationskoeffizient R 2 = Bestimmtheitsmaß Regressionsanalyse Wirkungsbeziehungen zwischen abhängigen und unabhängigen Variablen beschreibt und erklärt die Art von Zusammenhängen Prüfung komplexer Hypothesen- und Prognosesysteme (wenn-dann-beziehungen) 20