6.1 Grundbegriffe und historischer Hintergrund

Transkript

1 Kapitel 6 Regression 61 Grundbegriffe und historischer Hintergrund Bedeutung der Regression: Eines der am häufigsten verwendeten statistischen Verfahren Vielfache Anwendung in den Sozialwissenschaften Grundidee der Interpretation bleibt in verwandter Weise bei vielen allgemeineren Modellen erhalten, die hier nicht betrachtet werden (können) Motivation: Wir betrachten zunächst zwei metrische Variablen X und Y Der Korrelationskoeffizient nach Bravais-Pearson misst die Stärke des linearen Zusammenhangs zwischen X und Y, beantwortet also die Frage Wie gut lassen sich Ausprägungen (x i, y i ), i = 1,, n durch eine Gerade beschreiben? Die Regression geht nun einen Schritt weiter: Wie sieht die am besten passende Gerade aus? Analyse und Beschreibung des Zusammenhangs Zusätzliches Ziel: Prognose, dh gegeben sei ein Punkt x Wo liegt im Durchschnitt das dazugehörige y? (zb x Erwerbsarbeit in Stunden einer neuen Person, wieviel Hausarbeit in Stunden ist zu erwarten?) Elastizität: Wie stark wirkt sich eine Änderung von X um eine Einheit auf Y aus? (Wird die Erwerbsarbeit um eine Stunde reduziert, wieviel mehr Hausarbeit ist zu erwarten?) Die Regression ist ein erster Schritt in die etwas höhere Statistik Fast alle gängigen elaborierten Verfahren sind im weiteren Sinne Regressionsmodelle (allerdings oft nicht linear) Viele Grundideen zur Interpretation gelten in verwandter Form auch für andere Regressionsmodelle 119

2 Grundbegriffe und historischer Hintergrund Bei der Regressionsanalyse wird die Symmetrie des Zusammenhangs ia aufgegeben, dh nun wird ein gerichteter Zusammenhang der Form X Y betrachtet Bezeichnungen: X unabhängige Variable exogene Variable erklärende Variable Prädiktor Stimulus Einflußgröße Kovariable Y abhängige Variable endogene Variable zu erklärende Variable Prädiktand Response Historischer Hintergrund: Ende des 19 Jahrhunderts beschäftigte sich Francis Galton ( ) mit Fragen der Vererbung, insbesondere der Frage, wie bestimmte Eigenschaften der Eltern auf die Nachkommen übertragen werden Beispiel: Zusammenhang zwischen Körpergröße der Eltern und Körpergröße der Kinder Kreuztabelle zwischen der Körpergröße von 928 erwachsenen Kindern und der Durchschnittsgröße ihrer 205 Elternpaare (gemessen in Zoll): Größe der Kinder Größe der Eltern Gesamt Gesamt Zugehöriges Streudiagramm: Galton machte folgende Beobachtung:

3 Kapitel 6 Regression 121 Bildet man zeilenweise die Durchschnittsgrößen der Kinder, so liegen diese annähernd auf einer Geraden mit Steigung 2/3 Eine Steigung kleiner als Eins ließ Galton schlussfolgern, dass Kinder besonders großer Eltern tendenziell kleiner sind als ihre Eltern und umgekehrt Kinder kleiner Eltern tendenziell größer In jedem Fall besteht eine Tendenz zum Populationsmittelwert Galton sprach von Regression (Rückkehr) zum Mittelwert Im Folgenden: Präzisierung und Erweiterung dieser Form der Zusammenhangsanalyse 62 Lineare Einfachregression: Grundmodell und Kleinste- Quadrate-Prinzip Idee: Versuche, Y als einfache Funktion f von X zu beschreiben: Y f(x) Einfachste Möglichkeit: f linear, also Y a + b X Für die beobachteten Datenpunkte soll also für jedes i = 1,, n gelten y i a + b x i Normalerweise besteht kein perfekter linearer Zusammenhang, so dass ein unerklärter Rest ε i in die Modellgleichung mit aufgenommen wird (In Statistik 2 werden wir ε i als zufälligen Fehler interpretieren): y i = a + b x i + ε i Dies ist das Modell der linearen Einfachregression a und b sind unbekannte Größen, die sogenannten Regressionsparameter, die anhand der Daten bestimmt werden müssen Bestimme â, ˆb so, dass der unerklärte Rest möglichst klein wird, dh so, dass die gesamte quadratische Differenz zur sich ergebenden Gerade ŷ i = â + ˆb x i minimal wird Dh minimiere das Kleinste Quadrate (KQ) Kriterium bezüglich â und ˆb (y i â ˆbx i ) 2

4 Lineare Einfachregression: Grundmodell und Kleinste-Quadrate-Prinzip y i ŷ i 2 ˆε i x i ˆε 2 i y 2 1 ˆε i g 2 εˆ 2 { εˆ 3 { εˆ 4 εˆ 1 { εˆ 2 ε3 ˆ g εˆ 1 1 x Definition: Gegeben seien zwei metrische Merkmale X und Y und das Modell der linearen Einfachregression y i = a + bx i + ε i, i = 1,, n Dann bestimme man â und ˆb so, dass mit ˆε i := y i ŷ i = y i (â + ˆbx i ) das Kleinste-Quadrate-Kriterium ˆε i 2

5 Kapitel 6 Regression 123 minimal wird Die optimalen Werte â und ˆb heißen KQ-Schätzungen, ˆε i bezeichnet das i-te (geschätzte) Residuum Bemerkungen: Durch das Quadrieren tragen sowohl positive als auch negative Abweichungen von der Regressionsgeraden zum KQ-Kriterium bei Das Quadrieren bewirkt außerdem, dass große Abweichungen überproportional stark berücksichtigt werden Die KQ-Schätzer sind in diesem Sinne ausreißeranfällig Satz: Für die KQ-Schätzer gilt (x i x)(y i ȳ) i) ˆb Cov(X, Y ) = = s 2 (x i x) 2 X ii) â = ȳ ˆb x, iii) n ˆε i = 0 = ϱ X,Y s Y s X, Bemerkungen: Hat man standardisierte Variablen X und Y (gilt also s X = s Y = 1), so ist ˆb genau ρ X,Y Die mittlere Abweichung von der Regressionsgeraden ist Null Diese Eigenschaft kann auch verwendet werden, um die korrekte Berechnung der KQ-Schätzer zu überprüfen Basierend auf den Schätzern â und ˆb kann der Wert der abhängigen Variablen Y auch für neue, unbeobachtete Werte der Kovariablen X berechnet werden: ŷ(x) = â + ˆbx In den Ingenieurwissenschaften heißt die geschätzte Gerade ŷ(x) Ausgleichsgerade Interpretation der Regressionsgeraden: y } ˆb 1 { â x

6 Lineare Einfachregression: Grundmodell und Kleinste-Quadrate-Prinzip â ist der Achsenabschnitt, also der Wert der Gerade, der zu x = 0 gehört Er lässt sich oft als glqq Grundniveau interpretieren ˆb ist die Steigung (Elastizität): Um wieviel erhöht sich y bei einer Steigerung von x um eine Einheit? y (Punkt auf der Gerade) ist der Prognosewert zu x Fiktives Ökonomisches Beispiel zur Klärung: Kaffeeverkauf auf drei Flohmärkten X Anzahl verkaufter Tassen Kaffee Y zugehöriger Gewinn (Preis Verhandlungssache) Man bestimme die Regressionsgerade und interpretiere die erhaltenen KQ-Schätzungen! Welcher Gewinn ist bei zwölf verkauften Tassen zu erwarten? i x i y i y i ȳ x i x (x i x) x = 10 ȳ = 10 = 0 = 0 ˆb = (x i x)(y i ȳ) = (x i x) 2 0 ( 1) ( 5) 2 = = 21 Mit der Erhöhung der Menge X um eine Einheit erhöht sich der Gewinn Y um 21 Einheiten, also ist ˆb so etwas wie der durchschnittliche Gewinn pro Tasse â = ȳ ˆb x = = 11 Grundlevel, Gewinn bei 0 Tassen, Fixkosten (zb Standgebühr) Vohergesagte Werte (ŷ = â + ˆbx) und Residuen (y ŷ): ŷ 1 = = 10 ˆε 1 = 1 ŷ 2 = = 205 ˆε 2 = 05 ŷ 3 = = 05 ˆε 3 = 05 Zur Kontrolle: ˆɛ 1 + ˆɛ 2 + ˆɛ 3 = 0 Prognose: x = 12 = ŷ = â + ˆb x = = 142

7 Kapitel 6 Regression Modellanpassung: Bestimmtheitsmaß und Residualplots Wie gut lässt sich die abhängige Variable Y durch die Kovariable X erklären? Wie gut passt der lineare Zusammenhang zwischen X und Y? PRE-Ansatz: Modell 1: Vorhersage von Y ohne X Prognostiziere für jede Beobachtung den Mittelwertȳ Dabei gemachter Gesamtfehler: SQT := (y i ȳ) 2 (Gesamtstreuung / Gesamtvariation der y i : sum of squares total ) Modell 2: Vorhersage von Y mit X Vorhersage basierend auf den KQ-Schätzern: Dabei gemachter Gesamtfehler: ŷ i = â + ˆb x i SQR := (ŷ i y i ) 2 (Residualstreuung / Residualvariation: sum of squared residuals ) Die Differenz SQE := SQT SQR nennt man die durch das Regressionsmodel erklärte Streuung ( sum of squares explained ) Man kann zeigen, dass gilt SQE = (ŷ i ȳ) 2 Streuungszerlegung: SQT = SQR + SQE (analog zur Streuungszerlegung bei gruppierten Daten)

8 Modellanpassung: Bestimmtheitsmaß und Residualplots Bestimmtheitsmaß: Der PRE-Ansatz liefert das Gütekriterium SQT SQR SQT = SQE SQT Diese Größe bezeichnet man als Bestimmtheitsmaß In der Tat gilt (nach etwas längerer Rechnung): SQE SQT = R2 XY dh dies ist genau das Bestimmtheitsmaß aus Definition (511) Es gibt also drei Arten, R 2 XY zu verstehen: 1 über den Korrelationskoeffizienten R 2 XY = (ρ(x, Y ))2 (vgl (511)), 2 als PRE-Maß gemäß obiger Herleitung, oder 3 als Verhältnis der durch die Regression erklärten Variation und der Gesamtvariation In der Tat gibt RXY 2 beschreiben lässt also tatsächlich an, wie gut sich der Zusammenhang durch die Gerade Eigenschaften: Es gilt: 0 RXY 2 1 RXY 2 = 0: Es wird keine Streuung erklärt, dh es gibt keinen (linearen) Zusammenhang zwischen X und Y RXY 2 = 1: Die Streuung wird vollständig erklärt Alle Beobachtungen liegen tatsächlich auf einer Geraden Residualplots Eine wichtige optische Möglichkeit, die Anpassung zu beurteilen, beruht auf dem Studium der geschätzten Residuen ˆε i Sie sollen unsystematisch um 0 streuen Zeigt sich eine Systematik, so war der lineare Ansatz unangemessen, und es ist größte Vorsicht bei der Interpretation geboten

9 Kapitel 6 Regression Linearisierende Transformationen: Sehr häufig wirkt die Variable X nicht direkt linear auf die Variable Y (Streudiagramm anschauen!) Akzeptanz Redezeit in Minuten sehr hohe/sehr niedrige Werte ungünstig; analog Herzinfarktrisiko und Proteinaufnahme Umsatz Zeit zyklische Wirkung (insb X Zeit, Y zb Umsatz Speiseeis) Ertrag Erstes Gossensches Gesetz: Abnehmender Grenznutzen Aufwand oder: Engelsches Gesetz: Aufwendungen für Lebensmittel in Abhängigkeit vom Einkommen Aggression Provokation Schwellenwertmodell Häufige Anwendung in der Epidemiologie (Belastung Wirkung) Viele (nicht alle) der auf den ersten Blick nichtlinearen Modelle lassen sich durch geeignete

10 Multiple lineare Regression Variablentransformationen in die lineare Regressionsrechnung einbetten Entscheidend ist, dass das Wirken der Parameter linear ist! Der Ansatz g(y i ) = a + b h(x i ) + ε i lässt sich auch völlig analog mit dem KQ-Prinzip behandeln: Definiere dazu die Merkmale Y = g(y ) und X = h(x) und betrachte y i = a + b x i + ε i b bzw ˆb geben dann allerdings nicht direkt die Stärke der Elastizität von Y bezüglich X an, sondern die von Y bezüglich X Eine geeignete Interpretation erhält man über den Ansatz: b = Y Änderung in Y = X Änderung in X So lassen sich auch die oben dargestellten Situationen mit linearen Regressionstechniken { 0 X τ lösen Man wählt etwa X = X 2, X = sin(x), X = ln X oder X = X τ X > τ mit bekanntem Schwellenwert τ Entscheidend ist die Linearität in den Parametern a und b Der Ansatz ist kein lineares Regressionsmodell Sehr häufiger Ansatz: (abflachender Einfluss von X) y i = a + b 2 x i + ε i Y = a + b ln X + ε Hier kann b wie folgt interpretiert werden: Erhöht man einen Wert von X um p Prozent, so erhöht sich der entsprechende Y -Wert etwa um b p Prozent, denn Y = b X = = b (ln((1 + p) x) ln(x)) = b (ln(1 + p) + ln(x) ln(x)) = b ln(1 + p) b p, falls p klein Echte nichtlineare Modelle ergeben sich aus der Theorie der generalisierten linearen Modelle, die insbesondere auch für kategoriales oder ordinales Y geeignet sind 64 Multiple lineare Regression Verallgemeinerung der linearen Einfachregression: Betrachte mehrere unabhängige metrische Variablen X 1, X 2,, X p gemeinsam, da typischerweise ja kein monokausaler Zusammenhang vorliegt

11 Kapitel 6 Regression 129 Modellgleichung: y = a + b 1 x 1i + b 2 x 2i + + b p x pi + ε i Dabei bezeichnet x i1 den für die i-te Beobachtung beobachteten Wert der Variablen X 1, x i2 den Wert der Variablen X 2, usw Interpretation: Die Interpretation von a und b 1,, b p erfolgt analog zu oben, insbesondere ist b j die Änderung in Y, wenn X j um eine Einheit vergrößert wird und alle anderen Größen gleich bleiben ( ceteris paribus Effekt ) Üblich ist allerdings eine andere Notation für die Regressionskoeffizienten: a β 0, b 1 β 1, b p β p, KQ-Prinzip: Die Schätzung von β 0, β 1,, β p erfolgt wieder über das KQ-Prinzip: Bestimme ˆβ 0, ˆβ 1, ˆβ 2,, ˆβ p so, dass mit ˆε i = y i ŷ i := y i ( ˆβ 0 + ˆβ 1 x 1i + ˆβ 2 x 2i + + ˆβ p x pi ) der Ausdruck minimal wird ˆε 2 i Die Schätzungen ˆβ 0, ˆβ 1,, ˆβ p sind nur mit Matrizenrechnung einfach darzustellen und insbesondere nur noch schwierig von Hand zu berechnen Analog zur linearen Einfachregression lässt sich ein Bestimmtheits- Bestimmtheitsmaß: maß R 2 = SQE SQT über die Streuungszerlegung definieren In der multiplen Regression verwendet man allerdings meistens das korrigierte Bestimmtheitsmaß R 2 := 1 n 1 n p 1 (1 R2 ) das die Anzahl der in das Modell mit einbezogenen Variablen mit berücksichtigt Das übliche R 2 steigt auch durch das Einführen irrelevanter Variablen an

12 Nominale Einflussgrößen SPSS-Output einer multiplen Regression: Coefficients a Unstandardized Coefficients Model B Std Error t Sig 1 (Constant) ˆβ0 ˆσ 0 T 0 p-wert X 1 ˆβ1 ˆσ 1 T 1 X 2 ˆβ2 ˆσ 2 T 2 X p ˆβp ˆσ p T p a Dependent Variable: Y Im Rahmen von Statistik 1 sind nur die ersten beiden Spalten relevant Anmerkung: SPSS gibt auch noch die standardisierten Koeffizienten aus, das sind die Schätzer, wenn man die Variablen vorher standardisiert Bei der linearen Einfachregression findet man hier den Korrelationskoeffizienten von Bravais Pearson wieder 65 Nominale Einflussgrößen 651 Dichotome Kovariable Bisher wurden Y, X 1, X 2,, X p als metrisch vorausgesetzt Ähnlich wie für Korrelationskoeffizienten können dichotome Variablen, sofern sie mit 0 und 1 kodiert sind, ebenfalls als Einflussgrößen zugelassen werden können Die zugehörigen Koeffizienten geben dann an, um wieviel sich Y ceteris paribus erhöht, wenn die entsprechende Kovariable den Wert 1 statt 0 hat Beispiel: Einfluss von Arbeitszeit und Geschlecht auf das Einkommen y i = β 0 + β 1 x 1i + β 2 x 2i + ε i mit X 1 = { 1 männlich 0 weiblich X 2 = (vertragliche) Arbeitszeit Y = Einkommen Interpretation: Die geschätzte Gerade für die Männer lautet: ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i

13 Kapitel 6 Regression 131 Für die Frauen hingegen gilt ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i = ˆβ 0 + ˆβ 2 x 2i y } ˆβ { β2 ˆ 1 ˆβ 0 { x 2 Um ˆβ 1 verschobene Geraden β 0 Grundlevel, β 2 durchschnittlicher Stundenlohn, β 1 Zusatzeffekt des Geschlechts auf Grundlevel Unterschiede im Stundenlohn zwischen Männern und Frauen können durch Interaktionseffekte berücksichtigt werden 652 Interaktionseffekte Wechselwirkung zwischen Kovariablen lassen sich durch den Einbezug des Produkts als zusätzliche Kovariable modellieren y i = β 0 + β 1 x 1i + β 2 x 2i + β 3 x 1i x 2i } {{ } = x 3i + ε i β 3 gibt den Interaktions- oder Wechselwirkungseffekt an Dieser lässt sich insbesondere bei dichotomen Kovariablen einfach interpretieren Fortsetzung des Beispiels: Form Die geschätzte Regressionsgerade hat bei den Männern die und bei den Frauen die Form ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i + ˆβ 3 1 x 2i = ˆβ 0 + ˆβ 1 + ( ˆβ 2 + ˆβ 3 ) x 2i ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i + ˆβ 3 0 x 2i = ˆβ 0 + ˆβ 2 x 2i

14 Nominale Einflussgrößen y 1 ˆβ 2 + ˆβ 3 ˆβ2 + ˆβ 3 Stundenlohn der Männer 1 β 0 + β 1 { } ˆβ2 ˆβ 2 Stundenlohn der Frauen 1 β 0 { x 2 ˆβ 1 ist der Unterschied im Grundlevel, ˆβ 3 der Unterschied in der Steigung 653 Dummykodierung Betrachten wir nun ein nominales Merkmal X mit q Kategorien, zb Parteipräferenz 1 CDU/CSU oder FDP X = 2 SPD oder Grüne 3 Sonstige Man darf X nicht einfach mit Werten 1 bis 3 besetzen, da es sich um ein nominales Merkmal handelt Idee: mache aus der einen Variable mit k (hier 3) Ausprägungen k 1 (hier 2) Variablen mit den Ausprägungen ja/nein ( ˆ=0/1) Diese Dummyvariablen dürfen dann in der Regression verwendet werden { 1 CDU/CSU oder FDP X 1 = 0 andere { 1 SPD, Grüne X 2 = 0 andere Beachte, durch die Ausprägungen von X 1 und X 2 sind alle möglichen Ausprägungen von X vollständig beschrieben: Beispiel zur Interpretation: Y : Score auf Autoritarismusskala X bzw X 1, X 2 : Parteienpräferenz X 3 : Einkommen X Text X 1 X 2 1 CDU/CSU, FDP SPD, Grüne Sonstige 0 0

15 Kapitel 6 Regression 133 y i = β 0 + β 1 x 1i + β 2 x 2i + β 3 x 3i + ε i β 0 : Grundniveau β 1 : ceteris paribus Effekt (Erhöhung des Grundniveaus) von CDU/CSU und FDP β 2 : ceteris paribus Effekt (Erhöhung des Grundniveaus) von SPD und Grünen β 3 : ceteris paribus Effekt des Einkommens 66 Varianzanalyse Ist ein nominales Merkmal X mit insgesamt k verschiedenen Ausprägungen die einzige unabhängige Variable, so führt die Regressionsanalyse mit den entsprechenden k 1 Dummyvariablen auf die sogenannte (einfaktorielle) Varianzanalyse Als Schätzwert ŷ i ergibt sich für jede Einheit i genau der Mittelwert aller Werte y i, die zu Einheiten l gehören, die dieselben Ausprägungen bei dem Merkmal X, also den zugehörigen Dummyvariablen X 1,, X k 1, haben Dh man bildet k Gruppen bezüglich X, und ŷ i ist der Mittelwert der Gruppe, zu der i gehört Beispiel: Y X Autoritarismusscore Parteienpräferenz X 1 CDU/CSU oder FDP, X 2 SPD oder Grün, X 3 Sonstiges Ist zb x i = 1, dh Einheit i ist CDU/CSU- oder FDP-Anhänger, dann ergibt sich ŷ i als Mittelwert des Scores aller CDU/CSU oder FDP Anhänger Typische Beispiele aus der Psychologie: verschiedene Treatments / Schulungsmaßnahmen / Reize Die Streuungszerlegung (y i ȳ) 2 = (ŷ i ȳ) 2 + (y i ŷ i ) 2 der linearen Regression vereinfacht sich in diesem Fall und hat eine ganz charakteristische Form: Indiziert man die Beobachtungen um und betrachtet die k Gruppen, so hat man in der j-ten Gruppe n j Beobachtungen y 1j, y 2j,, y nj j und den Gruppenmittelwert ȳ j Damit erhält man: n k j (y ij ȳ) 2 = j=1 k n j (ȳ j ȳ) 2 + j=1 n k j (y ij ȳ j ) 2 j=1

16 Varianzanalyse Dies ist genau die Streuungszerlegung aus Kapitel 321 Das zugehörige Bestimmtheitsmaß wird üblicherweise mit η 2 bezeichnet: η 2 = SQE SQT = k n j (ȳ j ȳ) 2 j=1 n j k (y ij ȳ j ) 2 j=1 η 2 und η = η 2 werden als Maße für Zusammenhang zwischen einer metrischen Variable und einer nominalen Variable verwendet Hier wurde eine Sichtweise gewählt, die die Varianzanalyse als Spezialfall der Regressionsanalyse sieht Oft (insb in der Psychologie) wird die Varianzanalyse auch als eigenständiges Konzept begriffen und wesentlich ausführlicher behandelt