5.4.2 Kovarianz und Korrelation

Transkript

1 Zusammenhangsanalyse bivariater quasi-stetiger Merkmale Kovarianz und Korrelation Wie misst man den Zusammenhang zwischen metrischen Merkmalen? Betrachte den Mittelpunkt der Daten ( x, ȳ) und dazu konkordante/diskordante Paare. Eine Beobachtung i mit Ausprägung (x i, y i ) ist konkordant zu ( x, ȳ), spricht also für einen gleichgerichteten Zusammenhang wenn x i > x und y i > ȳ oder also zusammengefasst wenn x i < x und y i < ȳ (x i x) (y i ȳ) > 0. diskordant zu ( x, ȳ), spricht also für einen gegengerichteten Zusammenhang, wenn Zusammenhang wenn x i < x und y i > ȳ oder also zusammengefasst wenn x i > x und y i < ȳ (x i x) (y i ȳ) < 0. Wegen des metrischen Skalenniveaus sind auch die Abstände interpretierbar. (x i x) (y i ȳ) gibt also sozusagen die Stärke der Konkordanz bzw. Diskordanz an. (x i x)(y i ȳ) ist positiv, wenn große (kleine) X-Werte mit großen (kleinen) Y - Werten einhergehen (gleichgerichteter Zusammenhang). (x i x)(y i ȳ) ist negativ, wenn große (kleine) X-Werte mit kleinen (großen) Y - Werten einhergehen (gegengerichteter Zusammenhang). = Definiere als Zusammenhangsmaß die durchschnittliche Konkordanz/Diskordanz Definition: Gegeben sei ein bivariates Merkmal (X, Y ) mit metrisch skalierten Variablen X und Y mit s 2 X > 0 und s2 Y > 0. Dann heißen Cov(X, Y ) := 1 n (empirische) Kovarianz von X und Y, (x i x) (y i ȳ)

2 Kapitel 5. Analyse von Zusammenhängen 103 ϱ(x, Y ) := (x i x) (y i ȳ) n (x i x) 2 n (y i ȳ) 2 (empirischer) Korrelationskoeffizient nach Bravais und Pearson von X und Y, und Bestimmtheitsmaß von X und Y. R 2 XY := (ϱ(x, Y )) 2 (5.11) Bemerkungen: Die Kovarianz Cov(X, Y ) ist nicht maßstabsunabhängig. Wird beispielsweise X in DM statt in Euro gemessen, so gilt Cov( X, Y ) 2 Cov(X, Y ). Das Teilen durch die Standardabweichungen normiert die Kovarianz und macht sie maßstabsunabhängig. 1 n (x i x) s 2 X (y i ȳ) s 2 Y = ϱ(x, Y ) Also ist der Korrelationskoeffizient die durchschnittliche standardisierte Konkordanzstärke. Die empirische Kovarianz ist eine Verallgemeinerung der empirischen Varianz. Die Kovarianz eines Merkmals mit sich selbst ist genau die empirische Varianz: Cov(X, X) = 1 n = 1 n (x i x) (x i x) (x i x) 2 = s 2 x Man sieht hier auch, dass die Größe der Kovarianz für sich genommen schlecht/unanschaulich zu interpretieren ist. Für den Korrelationskoeffizienten hingegen gilt: und insbesondere ρ(x, X) = 1. 1 ϱ(x, Y ) 1. Viele der (un)angenehmen Eigenschaften der Varianz (z.b. Ausreißerempfindlichkeit) gelten in analoger Weise. Es gilt auch ein Verschiebungssatz: Cov(X, Y ) = 1 n x i y i xȳ

3 Zusammenhangsanalyse bivariater quasi-stetiger Merkmale und damit Zur Erinnerung: ϱ(x, Y ) = x i y i n x ȳ. n x 2 i n x2 n yi 2 n ȳ2 s X = 1 n x 2 i x 2. Beispiel: Zunächst inhaltsleere Zahlenbeispiele, zur Interpretation später. Gegeben seien die Datenpaare Es gilt: x = 30 und ȳ = 120, sowie x i y i n x2 i = 4678 yi 2 = n x iy i = n = 5 Basierend auf diesen Hilfsgrößen berechnet sich die Korrelationskoeffizient gemäß Verschiebungssatz als ϱ(x, Y ) = n x iy i n x ȳ n x2 i n x2 n y2 i n ȳ2 = Gegeben seien die Datenpaare Es gilt: x = 20 und ȳ = und damit x i y i x i y i Cov(X, Y ) = 1 n xi y i xȳ = ( ) = Für den Korrelationskoeffizienten ergibt sich damit ebenfalls ϱ(x, Y ) = 0! = 0

4 Kapitel 5. Analyse von Zusammenhängen 105 Bemerkungen: Es gilt ϱ = 1, genau dann wenn Y = ax + b mit a 0, d.h. X und Y stehen in einem perfekten linearen Zusammenhang. Ist ϱ = 0 (und äquivalent dazu Cov(X, Y )), so nennt man X und Y unkorreliert. Es besteht dann keinerlei linearer Zusammenhang. Die Betonung der Linearität des Zusammenhangs ist wesentlich. Es kann durchaus sein, dass sogar ein perfekter, aber eben nichtlinearer (sondern z.b. quadratischer) Zusammenhang besteht und ϱ(x, Y ) = 0 gilt. Allgemein zeigt ϱ und R 2 die Stärke eines linearen Zusammenhangs an, also wie gut sich die Datenpaare (x 1, y 1 ),..., (x n, y n ) durch eine Gerade beschreiben lassen. Insgesamt kann der Wert des Korrelationskoeffizienten folgendermaßen interpretiert werden: ϱ XY 0: kein (linearer) Zusammenhang. ϱ XY > 0: positive Korrelation, gleichgerichteter (linearer) Zusammenhang. ϱ XY < 0: negative Korrelation, gegengerichteter (linearer) Zusammenhang. ϱ XY 0.5: schwache Korrelation. 0.5 < ϱ XY 0.8: mittlere Korrelation. ϱ XY > 0.8: starke Korrelation.

5 Zusammenhangsanalyse bivariater quasi-stetiger Merkmale R 2 ist ein PRE-Maß, das misst, welchen Anteil der gesamten Variation sich durch einen linearen Zusammenhang beschreiben lässt. (Näheres dazu im Abschnitt über die Regression.) Die Zusammenhangsmaße sind invariant gegenüber Vertauschen von Y und X messen also insbesondere keine gerichteten Zusammenhänge: ϱ(x, Y ) = ϱ(y, X) R XY = R Y X Im Gegensatz zur Kovarianz sind ϱ(x, Y ) und RXY 2 invariant gegenüber streng monoton steigenden linearen Transformationen. Genauer gilt mit X := a X + b und Ỹ := c Y + d ϱ( X, Ỹ ) = ϱ(x, Y ) falls a c > 0 und ϱ( X, Ỹ ) = ϱ(x, Y ) falls a c < 0. Die Korrelation ist also sozusagen maßstabsunabhängig. Es spielt zum Beispiel für die Stärke des Zusammenhangs zwischen Erwerbsarbeit und Hausarbeit spielt es keine Rolle, ob man die Zeit in Minuten, Stunden oder Tagen misst. Beispiel: Mietspiegel Beispiele aus Jann (2002) S.87ff Arbeitsstunden und Erwerbseinkommen: moderater positiver Zusammenhang. Arbeitsstunden und Haushalt: moderater negativer Zusammenhang. Vertragliche und geleistete Wochenarbeitsstunden: hoch positiv korreliert (Punkte liegen sehr nahe an bester Gerade ).

6 Kapitel 5. Analyse von Zusammenhängen Weitere Korrelationskoeffizienten Anwendung des Korrelationskoeffizienten nach Bravais-Pearson auf dichotome nominale Merkmale Liegen dichotome nominale Merkmale, d.h. Merkmale mit nur zwei ungeordneten Ausprägungen vor (z.b. ja/nein), und kodiert man die Ausprägung mit 0 und 1, so kann man die Formel des Korrelationskoeffizienten nach Bravais-Pearson sinnvoll anwenden. Man erhält den sogenannten Punkt-Korrelationskoeffizienten, der identisch zu Φ aus (5.10) ist. Im Fall einer dichotomen und einer metrischen Variablen ergibt sich bei Anwendung des Korrelationskoeffizienten nach Bravais-Pearson die sogenannte Punkt-biseriale Korrelation. (vgl. etwa Jann (2002, S.90f) oder Wagschal (1999, Kap 10.8).) Rangkorrelationskoeffizient nach Spearman Wir betrachten ein bivariates Merkmal (X, Y ), wobei X und Y nur ordinalskaliert sind, aber viele unterschiedlichen Ausprägungen besitzen. Der Korrelationskoeffizient von Bravais-Pearson darf nicht verwendet werden, da hier die Abstände nicht interpretierbar sind. ( x, ȳ) wären willkürliche Zahlen, ebenso (x i x), (y i ȳ). Natürliche Skala für ordinale Daten soll die Ordnung widerspiegeln Ränge betrachten und diese als intervallskaliert (d.h. insbes. als gleichabständig) betrachten (nicht unumstritten!). Liegen keine Bindungen vor, dann rechnet man statt mit (x i, y i ),...,n mit (rg(x i ), rg(y i )) i = 1,..., n. Dabei ist rg(x i ) = j : x i = x (j), d.h. der Rang rg(x i ) ist die Nummer, die x i in der geordneten Urliste x (1) x (2)... x (n) einnimmt (analog für rg(y i )). Beispiel: x i rg(x i ) Liegen sogenannte Bindungen vor, d.h. haben mehrere Einheiten dieselbe Ausprägung der Variablen X oder der Variablen Y, so nimmt man den Durchschnittswert der in Frage kommenden Ränge (Achtung: etwas anderer Begriff der Bindung als in Kapitel 5.3). Beispiel: x i Rang 1 3 oder 4 3 oder rg(x i ) Wende nun den Korrelationskoeffizienten nach Bravais-Pearson auf die Rangdaten an.

7 Zusammenhangsanalyse bivariater quasi-stetiger Merkmale Definition: ( ) 2 n + 1 rg(x i ) rg(y i ) n 2 ϱ S,XY := n ( ) 2 n + 1 ( n + 1 (rg(x i )) 2 n (rg(y i )) 2 2 n 2 heißt (empirischer) Rangkorrelationskoeffizient nach Spearman. Bemerkungen: Liegen keine Bindungen vor, so gilt wobei d i := rg(x i ) rg(y i ). 6 d 2 i ϱ S,XY = 1 n(n 2 1). Wichtig für Interpretation: Da ϱ S,XY sich aus der Anwendung von ϱ XY auf Rangdaten ergibt, behalten die entsprechenden Bemerkungen zum Bravais-Pearson-Korrelationskoeffizienten auf die Ränge bezogen ihre Gültigkeit. Insbesondere gilt 1 ϱ S,XY 1 und ϱ S,XY ist analog zu interpretieren. Im Gegensatz zum Korrelationskoeffizienten von Bravais-Pearson misst der Rangkorrelationskoeffizient nicht nur lineare, sondern allgemeiner monotone Zusammenhänge. Die Anwendung der Rangtransformation bewirkt in gewisser Weise eine Linearisierung monotoner Zusammenhänge. Die Bildung von Rängen ist unempfindlich gegenüber Ausreißern, so dass auch der Rangkorrelationskoeffizient ausreißerresistent ist. ) 2 Beispiel: (fiktiv, Zahlen aus Jann, 2002/2005) Zwei Gutachter sollen das autoritäre Verhalten von 5 Gruppenmitgliedern vergleichen, indem sie Scores auf einer Skala zwischen 0 und 100 vergeben. Dies ist ein typischer Fall einer Ordinalskala; die Abstände sind nicht direkt interpretierbar, sondern nur die Reihenfolge! Man berechne den Rangkorrelationskoeffizienten nach Spearman für die Merkmale X und Y mit X Einstufung durch Gutachter 1 Y Einstufung durch Gutachter 2 Person i X: Gutachter Y : Gutachter rg(x i ) rg(y i )

8 Kapitel 5. Analyse von Zusammenhängen 109 ϱ S,XY = = ( ) 2 n + 1 rg(x i ) rg(y i ) n 2 n ( ) 2 n + 1 ( n + 1 (rg(x i )) 2 n (rg(y i )) 2 2 n 2 ( ) 5 ( ) ( ( 5+1 = )2 ) 2 2 )2 Bemerkung: Analog zur punkt-biserialen Korrelation gibt es auch eine biseriale Rangkorrelation zur Beschreibung des Zusammenhangs zwischen einer dichotomen nominalen und einer quasi-stetigen ordinalen Variable (vgl. Wagschal, 1999, Kap 10.7).

9 Kapitel 6 Regression 6.1 Grundbegriffe und historischer Hintergrund Bedeutung der Regression: Eines der am häufigsten verwendeten statistischen Verfahren. Vielfache Anwendung in den Sozialwissenschaften. Grundidee der Interpretation bleibt in verwandter Weise bei vielen allgemeineren Modellen erhalten, die hier nicht betrachtet werden (können). Motivation: Wir betrachten zunächst zwei metrische Variablen X und Y. Der Korrelationskoeffizient nach Bravais-Pearson misst die Stärke des linearen Zusammenhangs zwischen X und Y, beantwortet also die Frage Wie gut lassen sich Ausprägungen (x i, y i ), i = 1,..., n durch eine Gerade beschreiben? Die Regression geht nun einen Schritt weiter: Wie sieht die am besten passende Gerade aus? Analyse und Beschreibung des Zusammenhangs. Zusätzliche Ziele: Prognose: gegeben sei ein Punkt x. Wo liegt dem Modell nach das dazugehörige ŷ? (z.b. x Erwerbsarbeit in Stunden einer neuen Person, wieviel Hausarbeit in Stunden ist zu erwarten?) Elastizität: Wie stark wirkt sich eine Änderung von X um eine Einheit auf Y aus? (Wird die Erwerbsarbeit um eine Stunde reduziert, wieviel mehr Hausarbeit ist zu erwarten?) Die Regression ist ein erster Schritt in die etwas höhere Statistik. Fast alle gängigen Verfahren sind im weiteren Sinne Regressionsmodelle (allerdings oft nicht linear). Viele Grundideen zur Interpretation gelten in verwandter Form auch für andere Regressionsmodelle. 110

10 Kapitel 6. Regression 111 Bei der Regressionsanalyse wird die Symmetrie des Zusammenhangs i.a. aufgegeben, d.h. nun wird ein gerichteter Zusammenhang der Form X Y betrachtet. Bezeichnungen: X unabhängige Variable exogene Variable erklärende Variable Stimulus Einflußgröße Prädiktor Kovariable Y abhängige Variable endogene Variable zu erklärende Variable Response Zielgröße 6.2 Lineare Einfachregression: Grundmodell und Kleinste- Quadrate-Prinzip Idee: Versuche, Y als einfache Funktion f von X zu beschreiben: Einfachste Möglichkeit: f linear, also Y f(x). Y a + b X. Für die beobachteten Datenpunkte soll also für jedes i = 1,..., n gelten y i a + b x i Normalerweise besteht kein perfekter linearer Zusammenhang, so dass ein unerklärter Rest ε i in die Modellgleichung mit aufgenommen wird (In Statistik 2 werden wir ε i als zufälligen Fehler interpretieren): y i = a + b x i + ε i. Dies ist das Modell der linearen Einfachregression. a und b sind unbekannte Größen, die sogenannten Regressionsparameter, die anhand der Daten bestimmt werden müssen. Bestimme â, ˆb so, dass alle Abweichungen der Daten von der Gerade möglichst klein werden, d.h. so, dass die Summe der quadratischen Differenzen zwischen den Punkten y i und der Gerade ŷ i = â + ˆb x i minimal wird. D.h. minimiere das Kleinste Quadrate (KQ) Kriterium (y i â ˆbx i ) 2 bezüglich â und ˆb.

11 Lineare Einfachregression: Grundmodell und Kleinste-Quadrate-Prinzip Definition: Gegeben seien zwei metrische Merkmale X und Y und das Modell der linearen Einfachregression y i = a + bx i + ε i, i = 1,..., n. Dann bestimme man â und ˆb so, dass mit ˆε i := y i ŷ i = y i (â + ˆbx i ) das Kleinste-Quadrate-Kriterium minimal wird. Die optimalen Werte â und ˆb heißen KQ-Schätzungen, ˆε i bezeichnet das i-te (geschätzte) Residuum. ˆε 2 i Bemerkungen: Durch das Quadrieren tragen sowohl positive als auch negative Abweichungen von der Regressionsgeraden zum KQ-Kriterium bei. Das Quadrieren bewirkt außerdem, dass große Abweichungen überproportional stark berücksichtigt werden. Die KQ-Schätzer sind in diesem Sinne ausreißeranfällig. Satz: Für die KQ-Schätzer gilt (x i x)(y i ȳ) i) ˆb Cov(X, Y ) = = s 2 (x i x) 2 X ii) â = ȳ ˆb x, iii) n ˆε i = 0. = ϱ X,Y s Y s X, Bemerkungen: Hat man standardisierte Variablen X und Y (gilt also s X = s Y = 1), so ist ˆb genau ρ X,Y. Die mittlere Abweichung von der Regressionsgeraden ist Null. Diese Eigenschaft kann auch verwendet werden, um die korrekte Berechnung der KQ-Schätzer zu überprüfen. Basierend auf den Schätzern â und ˆb kann der Wert der abhängigen Variablen Y auch für neue, unbeobachtete Werte der Kovariablen X berechnet werden (Prognose): ŷ = â + ˆbx.

12 Kapitel 6. Regression 113 Interpretation der Regressionsgeraden: â ist der Achsenabschnitt, also der Wert der Gerade, der zu x = 0 gehört. Er lässt sich oft als Grundniveau interpretieren. ˆb ist die Steigung (Elastizität): Um wieviel erhöht sich y bei einer Steigerung von x um eine Einheit? ŷ (Punkt auf der Gerade) ist der Prognosewert zu x. Fiktives Ökonomisches Beispiel zur Klärung: Kaffeeverkauf auf drei Flohmärkten X Anzahl verkaufter Tassen Kaffee Y zugehöriger Gewinn (Preis Verhandlungssache) Man bestimme die Regressionsgerade und interpretiere die erhaltenen KQ-Schätzungen! Welcher Gewinn ist bei zwölf verkauften Tassen zu erwarten? i x i y i y i ȳ x i x (x i x) x = 10 ȳ = 10 = 0 = 0 ˆb = (x i x)(y i ȳ) = (x i x) 2 0 ( 1) ( 5) 2 = = 2.1 Mit der Erhöhung der Menge X um eine Einheit erhöht sich der Gewinn Y um 2.1 Einheiten, also ist ˆb so etwas wie der durchschnittliche Gewinn pro Tasse. â = ȳ ˆb x = = 11 Grundlevel, Gewinn bei 0 Tassen, Fixkosten (z.b. Standgebühr) Vohergesagte Werte ŷ i = â + ˆbx i und Residuen ˆε i = y i ŷ i : ŷ 1 = = 10 ˆε 1 = 1 ŷ 2 = = 20.5 ˆε 2 = 0.5 ŷ 3 = = 0.5 ˆε 3 = 0.5 Zur Kontrolle: ˆɛ 1 + ˆɛ 2 + ˆɛ 3 = 0 Prognose: x = 12 = ŷ = â + ˆb x = = 14.2

13 Modellanpassung: Bestimmtheitsmaß und Residualplots 6.3 Modellanpassung: Bestimmtheitsmaß und Residualplots Wie gut lässt sich die abhängige Variable Y durch die Kovariable X erklären? Wie gut passt der lineare Zusammenhang zwischen X und Y? PRE-Ansatz: Modell 1: Vorhersage von Y ohne X. Prognostiziere für jede Beobachtung den Mittelwertȳ Dabei gemachter Gesamtfehler: SQT := (y i ȳ) 2 (Gesamtstreuung / Gesamtvariation der y i : sum of squares total ). Modell 2: Vorhersage von Y mit X. Vorhersage basierend auf den KQ-Schätzern: Dabei gemachter Gesamtfehler: ŷ i = â + ˆb x i SQR := (ŷ i y i ) 2 (Residualstreuung / Residualvariation: sum of squared residuals ). Die Differenz SQE := SQT SQR nennt man die durch das Regressionsmodel erklärte Streuung ( sum of squares explained ). Man kann zeigen, dass gilt SQE = (ŷ i ȳ) 2. Streuungszerlegung: SQT = SQR + SQE (analog zur Streuungszerlegung bei gruppierten Daten).

14 Kapitel 6. Regression 115 Bestimmtheitsmaß: Der PRE-Ansatz liefert das Gütekriterium SQT SQR SQT = SQE SQT. Diese Größe bezeichnet man als Bestimmtheitsmaß. In der Tat gilt (nach etwas längerer Rechnung): SQE SQT = R2 XY d.h. dies ist genau das Bestimmtheitsmaß aus Definition (5.11). Es gibt also drei Arten, R 2 XY R 2 XY zu verstehen: 1. über den Korrelationskoeffizienten R 2 XY = (ρ(x, Y ))2 (vgl. (5.11)), 2. als PRE-Maß gemäß obiger Herleitung, oder 3. als Verhältnis der durch die Regression erklärten Variation und der Gesamtvariation. gibt also an, wie gut sich der Zusammenhang durch die Gerade beschreiben lässt. Eigenschaften: Es gilt: 0 RXY 2 1. RXY 2 = 0: Es wird keine Streuung erklärt, d.h. es gibt keinen (linearen) Zusammenhang zwischen X und Y. RXY 2 = 1: Die Streuung wird vollständig erklärt. Alle Beobachtungen liegen tatsächlich auf einer Geraden. Residualplots Eine wichtige optische Möglichkeit, die Anpassung zu beurteilen, beruht auf dem Studium der geschätzten Residuen ˆε i. Sie sollen unsystematisch um 0 streuen Zeigt sich eine Systematik, so war der lineare Ansatz unangemessen, und es ist größte Vorsicht bei der Interpretation geboten!

15 Modellanpassung: Bestimmtheitsmaß und Residualplots Linearisierende Transformationen: Sehr häufig wirkt die Variable X nicht direkt linear auf die Variable Y (Streudiagramm anschauen!). Akzeptanz Redezeit in Minuten sehr hohe/sehr niedrige Werte ungünstig; analog Herzinfarktrisiko und Proteinaufnahme Umsatz Zeit zyklische Wirkung (insb. X Zeit, Y z.b. Umsatz Speiseeis) Ertrag Erstes Gossensches Gesetz: Abnehmender Grenznutzen Aufwand oder: Engelsches Gesetz: Aufwendungen für Lebensmittel in Abhängigkeit vom Einkommen Aggression Provokation Schwellenwertmodell Häufige Anwendung in der Epidemiologie (Belastung Wirkung) Viele (nicht alle) der auf den ersten Blick nichtlinearen Modelle lassen sich durch geeignete

16 Kapitel 6. Regression 117 Variablentransformationen in die lineare Regressionsrechnung einbetten. Entscheidend ist, dass das Wirken der Parameter linear ist!. Der Ansatz g(y i ) = a + b h(x i ) + ε i lässt sich auch völlig analog mit dem KQ-Prinzip behandeln: Definiere dazu die Merkmale Y = g(y ) und X = h(x) und betrachte y i = a + b x i + ε i b bzw. ˆb geben dann allerdings nicht direkt die Stärke der Elastizität von Y bezüglich X an, sondern die von Y bezüglich X. Eine geeignete Interpretation erhält man über den Ansatz: b = Y Änderung in Y = X Änderung in X So lassen sich auch die oben dargestellten Situationen mit linearen Regressionstechniken { lösen. Man wählt etwa X = X 2, X = sin(x), X = ln X oder X 0 X τ = X τ X > τ mit bekanntem Schwellenwert τ. Entscheidend ist die Linearität in den Parametern a und b. Im Gegensatz dazu ist der Ansatz kein lineares Regressionsmodell. y i = a + b 2 x i + ε i Echte nichtlineare Modelle ergeben sich aus der Theorie der generalisierten linearen Modelle, die insbesondere auch für kategoriales oder ordinales Y geeignet sind. 6.4 Multiple lineare Regression Verallgemeinerung der linearen Einfachregression: Betrachte mehrere unabhängige metrische Variablen X 1, X 2,..., X p gemeinsam, da typischerweise ja kein monokausaler Zusammenhang vorliegt. Modellgleichung: y = a + b 1 x 1i + b 2 x 2i b p x pi + ε i. Dabei bezeichnet x i1 den für die i-te Beobachtung beobachteten Wert der Variablen X 1, x i2 den Wert der Variablen X 2, usw.

17 Multiple lineare Regression Interpretation: Die Interpretation von a und b 1,..., b p erfolgt analog zu oben, insbesondere ist b j die Änderung in Y, wenn X j um eine Einheit vergrößert wird und alle anderen Größen gleich bleiben ( ceteris paribus Effekt ). Üblich ist allerdings eine andere Notation für die Regressionskoeffizienten: a β 0, b 1 β 1,. b p β p, KQ-Prinzip: Die Schätzung von β 0, β 1,..., β p erfolgt wieder über das KQ-Prinzip: Bestimme ˆβ 0, ˆβ 1, ˆβ 2,..., ˆβ p so, dass mit der Ausdruck minimal wird. ˆε i = y i ŷ i := y i ( ˆβ 0 + ˆβ 1 x 1i + ˆβ 2 x 2i ˆβ p x pi ) Die Schätzungen ˆβ 0, ˆβ 1,..., ˆβ p sind nur mit Matrizenrechnung einfach darzustellen und insbesondere nur noch schwierig von Hand zu berechnen. ˆε 2 i Bestimmtheitsmaß: Analog zur linearen Einfachregression lässt sich ein Bestimmtheitsmaß R 2 = SQE SQT über die Streuungszerlegung definieren. In der multiplen Regression verwendet man allerdings meistens das korrigierte Bestimmtheitsmaß R 2 := 1 n 1 n p 1 (1 R2 ) das die Anzahl der in das Modell mit einbezogenen Variablen mit berücksichtigt. Das übliche R 2 steigt auch durch das Einführen irrelevanter Variablen an. SPSS-Output einer multiplen Regression: Coefficients a Unstandardized Coefficients Model B Std. Error t Sig. 1 (Constant) ˆβ0 ˆσ 0 T 0 p-wert X 1 ˆβ1 ˆσ 1 T 1 X 2 ˆβ2 ˆσ 2 T X p ˆβp ˆσ p T p a Dependent Variable: Y

18 Kapitel 6. Regression 119 Im Rahmen von Statistik 1 ist nur die Spalte B mit den unstandardisierten Koeffizienten ˆβ 0, ˆβ 1, ˆβ 2,..., ˆβ p relevant. Anmerkung: SPSS gibt auch noch die standardisierten Koeffizienten aus, das sind die Schätzer, wenn man die Variablen vorher standardisiert. Bei der linearen Einfachregression findet man hier den Korrelationskoeffizienten von Bravais Pearson wieder. 6.5 Nominale Einflussgrößen Dichotome Kovariable Bisher wurden Y, X 1, X 2,..., X p als metrisch vorausgesetzt. Ähnlich wie für Korrelationskoeffizienten können dichotome Variablen, sofern sie mit 0 und 1 kodiert sind, ebenfalls als Einflussgrößen zugelassen werden können. Die zugehörigen Koeffizienten geben dann an, um wieviel sich Y ceteris paribus erhöht, wenn die entsprechende Kovariable den Wert 1 statt 0 hat. Beispiel: mit Einfluss von Arbeitszeit und Geschlecht auf das Einkommen. y i = β 0 + β 1 x 1i + β 2 x 2i + ε i Interpretation: Für die Frauen hingegen gilt X 1 = { 1 männlich 0 weiblich X 2 = (vertragliche) Arbeitszeit Y = Einkommen Die geschätzte Gerade für die Männer lautet: ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i. ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i = ˆβ 0 + ˆβ 2 x 2i y } ˆβ { β2 ˆ 1 ˆβ 0 { x 2

19 Nominale Einflussgrößen Interaktionseffekte Wechselwirkung zwischen Kovariablen lassen sich durch den Einbezug des Produkts als zusätzliche Kovariable modellieren y i = β 0 + β 1 x 1i + β 2 x 2i + β 3 x 1i x 2i + ε i β 3 gibt den Interaktions- oder Wechselwirkungseffekt an. Dieser lässt sich insbesondere bei dichotomen Kovariablen einfach interpretieren. Fortsetzung des Beispiels: Form Die geschätzte Regressionsgerade hat bei den Männern die und bei den Frauen die Form ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i + ˆβ 3 1 x 2i = ˆβ 0 + ˆβ 1 + ( ˆβ 2 + ˆβ 3 ) x 2i ŷ i = ˆβ 0 + ˆβ ˆβ 2 x 2i + ˆβ 3 0 x 2i = ˆβ 0 + ˆβ 2 x 2i. y 1 ˆβ 2 + ˆβ 3 ˆβ2 + ˆβ 3 Stundenlohn der Männer 1 ˆβ 1 { } ˆβ2 ˆβ 2 Stundenlohn der Frauen 1 ˆβ 0 { x 2 ˆβ 1 ist der Unterschied im Grundlevel, ˆβ 3 der Unterschied in der Steigung Dummykodierung Betrachten wir nun ein nominales Merkmal X mit q Kategorien, z.b. Parteipräferenz 1 CDU/CSU oder FDP X = 2 SPD oder Grüne 3 Sonstige

20 Kapitel 6. Regression 121 Man darf X nicht einfach mit Werten 1 bis 3 besetzen, da es sich um ein nominales Merkmal handelt. Idee: mache aus der einen Variable mit k (hier 3) Ausprägungen k 1 (hier 2) Variablen mit den Ausprägungen ja/nein ( ˆ=0/1). Diese Dummyvariablen dürfen dann in der Regression verwendet werden. { 1 CDU/CSU oder FDP X 1 = 0 andere { 1 SPD oder Grüne X 2 = 0 andere Beachte, durch die Ausprägungen von X 1 und X 2 sind alle möglichen Ausprägungen von X vollständig beschrieben: Beispiel zur Interpretation: Y : Score auf Autoritarismusskala X bzw. X 1, X 2 : Parteienpräferenz X 3 : Einkommen X Text X 1 X 2 1 CDU/CSU, FDP SPD, Grüne Sonstige 0 0 y i = β 0 + β 1 x 1i + β 2 x 2i + β 3 x 3i + ε i β 0 : Grundniveau β 1 : ceteris paribus Effekt (Erhöhung des Grundniveaus) von CDU/CSU oder FDP β 2 : ceteris paribus Effekt (Erhöhung des Grundniveaus) von SPD oder Grünen β 3 : ceteris paribus Effekt des Einkommens 6.6 Varianzanalyse Ist ein nominales Merkmal X mit insgesamt k verschiedenen Ausprägungen die einzige unabhängige Variable, so führt die Regressionsanalyse mit den entsprechenden k 1 Dummyvariablen auf die sogenannte (einfaktorielle) Varianzanalyse. Als Schätzwert ŷ i ergibt sich für jede Einheit i genau der Mittelwert aller Werte y i, die zu Einheiten l gehören, die dieselben Ausprägungen bei dem Merkmal X, also den

21 Varianzanalyse zugehörigen Dummyvariablen X 1,..., X k 1, haben. D.h. man bildet k Gruppen bezüglich X, und ŷ i ist der Mittelwert der Gruppe, zu der i gehört. Beispiel: Y X Autoritarismusscore Parteienpräferenz X 1 CDU/CSU oder FDP, X 2 SPD oder Grüne, X 3 Sonstiges Ist z.b. x i = 1, d.h. Einheit i ist CDU/CSU- oder FDP-Anhänger, dann ergibt sich ŷ i als Mittelwert des Scores aller CDU/CSU oder FDP Anhänger Die Streuungszerlegung (y i ȳ) 2 = (ŷ i ȳ) 2 + (y i ŷ i ) 2 der linearen Regression vereinfacht sich in diesem Fall und hat eine ganz charakteristische Form: Indiziert man die Beobachtungen um und betrachtet die k Gruppen, so hat man in der j-ten Gruppe n j Beobachtungen y 1j, y 2j,..., y nj j und den Gruppenmittelwert ȳ j. Damit erhält man: n k j (y ij ȳ) 2 = j=1 k n j (ȳ j ȳ) 2 + j=1 n k j (y ij ȳ j ) 2. j=1 Dies ist genau die Streuungszerlegung aus Kapitel Das zugehörige Bestimmtheitsmaß wird üblicherweise mit η 2 bezeichnet: η 2 = SQE SQT = k n j (ȳ j ȳ) 2 j=1 n j. k (y ij ȳ j ) 2 j=1 η 2 und η = η 2 werden auch als Maße für den Zusammenhang zwischen einer metrischen Variable und einer nominalen Variable verwendet. Mehr dazu in Statistik II...