Regression ein kleiner Rückblick. Methodenseminar Dozent: Uwe Altmann Alexandra Kuhn, Melanie Spate

Transkript

1 Regression ein kleiner Rückblick Methodenseminar Dozent: Uwe Altmann Alexandra Kuhn, Melanie Spate

2 Gliederung 1. Stochastische Abhängigkeit 2. Definition Zufallsvariable 3. Kennwerte 3.1 für 1 Zufallsvariable 3.2 für 2 Zufallsvariablen 4. Regression 4.1 Anwendung und Ziele 4.2 Residuum 4.3 wichtige Kennwerte 4.4 Arten von Regressionen - Einfache, Zweifache und Multiple Lineare Regression Andere Parametrisierung - Bedingte lineare Regression 5. Determinationskoeffizient 6. Populations- und Stichprobenschreibweise 7. Wer gewinnt die goldene Regressionsnadel?

3 1.Stochastische Abhängigkeit Stochastische Abhängigkeit Regressive Abhängigkeit Lineare Abhängigkeit

4 1.Stochastische Abhängigkeit Warum könnten solche Abhängigkeiten wichtig sein?

5 2. Zufallsvariablen ordnen jedem Ereignis des Zufallsexperiments einen Wert zu Werte: Zahlen, Mengen können stochastisch abhängig oder unabhängig sein - Kennwerte: 1.) Erwartungswert 2.) Varianz 3.) Standardabweichung 4.) Kovarianz 5.) Korrelation

6 3. Kennwerte Kovarianz Varianz Korrelation Erwartungswert

7 3.1 Kennwerte für 1 Zufallsvariable Erwartungswert E(X): = theoretischer Mittel- oder Durchschnittswert Charakterisiert Lage einer Zufallsvariable Mit Wahrscheinlichkeiten gewichtete Summe der Werte xi der Zufallsvariable X Formel:

8 3.1 Kennwerte für 1 Zufallsvariable Varianz Var(X): Kennzahl für die Streubreite der Verteilung einer Zufallsvariable Erwartungswert der quadrierten Abweichungsvariable X E(X) Kann nur positiv sein Standardabweichung Std(X): = Positive Quadratwurzel der Varianz mittlerer absoluter Abweichung

9 3.2 Kennwerte für 2 Zufallsvariablen Kovarianz Cov(X,Y): Kennwert über Stärke des Zusammenhangs 2er Zufallsvariablen Erwartungswert des Produktes der beiden Abweichungsvariablen Formel: Positive Kovariation Bei positiver Abweichung X von E(X), erfolgt positive Abweichung Y von E(Y) Negative Kovariation Bei positiver Abweichung X von E(X), erfolgt negative Abweichung Y von E(Y) Unkorreliertheit wenn Cov(X,Y) = 0 Spezialfall: X = Y entspricht Varianz

10 3.2 Kennwerte für 2 Zufallsvariablen Korrelation Kor (X,Y): Kennwert für Stärke des Zusammenhangs 2er Zufallsvariablen Entspricht standardisierter Kovarianz Formel: Wertebereich: 1 bis -1

11 4. Regression 4.1 Anwendung und Ziele Regression E(Y X) des Regressanden Y (interessierende Variable) auf den Regressor X (erklärende Variable) = eine Zufallsvariable, deren Werte die bedingten Erwartungswerte E (Y X =x) sind

12 4. Regression 4.1 Anwendung und Ziele Aussagen über Regressionen sind der Kern von: einfachen Regressionsanalysen multiplen Regressionsanalysen Varianzanalysen Strukturgleichungsmodellen Faktoranalysen

13 4. Regression 4.1 Anwendung und Ziele Ziele Aussagen über den Zusammenhang von den bedingten Erwartungswerten E(Y X = x) einer Variablen Y - und den Werten einer anderen Variablen (einfache Regression) - oder von mehreren Variablen (multiple Regression) Aussagen über Stärke der regressiven Abhängigkeit (z.b. durch Determinationskoeffizienten)

14 4. Regression 4.2 Das Residuum nicht durch die Regression determinierte Komponente von Y Abweichung der Zufallsvariablen Y von der Regression E (Y X) Residuum =Y E(Y X)

15 4. Regression 4.2 Eigenschaften des Residuums

16 4.3. Wichtige Kennwerte für Regressionen Bedingter Erwartungswert E(Y X = x): = theoretischer Mittelwert der Zufallsvariablen Y unter der Bedingung, dass die Zufallsvariable X den Wert x annimmt Gewichtung erfolgt mit bedingten Wahrscheinlichkeiten Formel:

17 4.3. Wichtige Kennwerte für Regressionen Bedingte Varianz/ Standardabweichung: Kennwert für die Streuung der Verteilung einer Zufallsvariablen, gegeben einer Bedingung Formel: Bedingte Varianzfunktion Var(Y X), deren Werte ist die bedingte Varianz Var(Y X = x)

18 4.3. Wichtige Kennwerte für Regressionen Bedingte Kovarianz: = Maß für die Stärke des Zusammenhangs 2er Zufallsvariablen, gegeben einer Bedingung Bsp.: Wie hängen Gewicht (Y1) und Körpergröße (Y2) zusammen, vorausgesetzt man ist ein Mann (X)? Bedingte Korrelation: Bedingte standardisierte Kovarianz Bedingte Korrelationsfunktion Kor(Y1,Y2 X), deren Werte ist die bedingte Korrelation Kor(Y1,Y2 X = x)

19 4.4. Arten von Regressionen

20 Einfache lineare Regression Y linear regressiv abhängig von X Die bedingten Erwartungswerte von Y lägen für jeden Wert X = x auf dieser Graden α0 = Ordinatenabschnitt α1 = Steigung der Regressionsgraden Spezialfall α1 = 0 regressive Unabhängigkeit X = dichotom immer lineare Regression

21 Bsp.: Erwartungswert der Körpergröße für Männer und Frauen

22 Zweifache lineare Regression Hinzunahme eines zweiten Regressors Z Vorhersage von Y durch 2 Prädiktoren Bsp.: IQ (Y) hängt linear ab von IQ der Eltern (X) und deren Einkommen (Z) ab Besonders von Interesse: verschwindet ein Zusammenhang unter Berücksichtigung eines 2. Prädiktors?

23 Zweifache lineare Regression β1, β2 = partielle Regressionskoeffizienten Partiell regressive Abhängigkeit/ Unabhängigkeit Y ist partiell regressiv unabhängig von X gegeben Z, wenn der Regressionskoeffizient für X in der Regression E(Y X,Z) = 0 bei vorher bestehender linearen Abhängigkeit in der Regression E(Y X) Bsp.: Zusammenhang zwischen Anzahl Schuhe (Y) und Größe (X), unter Berücksichtigung eines 2. Prädiktors Geschlecht (Z) verschwindet linearer Zusammenhang zwischen Y und X Y ist partiell regressiv unabhängig von X gegeben Z Y ist partiell regressiv abhängig von Z gegeben X

24 Multiple lineare Regression Verallgemeinerung Zweifache Regression für m Prädiktoren Regressionsparameter geben regressive Abhängigkeit von Y und Xm bei konstanter Ausprägung der anderen Prädiktoren

25 Parametrisierung Vielfältige Darstellungen von Regressionen möglich Parametrisierung = Wahl der Gleichung Interpretation der Regressionskoeffizienten können sich ändern Werte der Regression ändern sich nicht!!! Saturierte Parametrisierung = Regressionsgleichung, deren Werte immer die bedingten Erwartungswerte sind Anzahl geschätzter Parameter = Anzahl bedingten Erwartungswerte

26 Bsp. für mögliche Parametrisierung: Zellenmittelwertemodell Voraussetzung: Regressor X kann nur n verschiedene Werte x1,,xn annehmen Einführung Indikatorvariablen Ii = Dummy - Variable Geben mit dem Wert 1 an, ob X den Wert xi annimmt, alle anderen Indikatorvariablen I nehmen dann den Wert 0 an Sind Funktionen von X Enthalten alle zusammen selbe Information wie X E(Y X) = E(Y I1,,In)

27 Bsp. für mögliche Parametrisierung: Zellenmittelwertemodell Saturiertes Zellenmittelwertemodell: α entspricht bedingten Erwartungswerten, d.h. α1 = E(Y X = x1) Zellenmittelwerte Bsp.: 4 Indikatorvariablen I1, I2,I3,I4 I1 = IQ junge Männer, im Mittel 112 I2 = IQ ältere Männer, im Mittel 105 I3 = IQ junge Frauen, im Mittel 115 I4 = IQ ältere Frauen, im Mittel 102 E(Y X) := α1 I1 + α2 I2 + α3 I3 + α4 I4 E(Y X = x1) = 112 x x x x 0

28 4. Regression 4.4 Bedingte Lineare Regression Was ist eine Kovariate? Variable Z, die sowohl mit X als auch mit Y in Zusammenhang steht Kann Zusammenhang zwischen X und Y verfälschen

29 4. Regression 4.4 Bedingte Lineare Regression Modifikation des Zusammenhangs zwischen X und Y durch Z? Z als Kovariate? Konstanthaltung von Z schauen uns die bedingten Regressionen von Y auf X bei gegebenen Wert z von Z an wie ist nun der Zusammenhang zwischen X und Y?

30 4. Regression 4.4 Bedingte Lineare Regression Ordinatenabschnittsfunktion Modifikatorfunktion

31 4. Regression 4.4 Bedingte Lineare Regression

32 4. Regression 4.4 Bedingte Lineare Regression ANOVA Gruppenvergleiche ANCOVA Hinzufügen einer Kovariaten Ziel: Einflüsse dieser Kovariaten auszublenden und Effekt der Kovariaten statistisch nachweisen

33 5.Determinationskoeffizient Entspricht dem durch X erklärten Varianzanteil von Y Bsp. Wie viel Varianz des Berufserfolgs (Y) wird durch die Körpergröße (X) erklärt?

34 5.Determinationskoeffizient Wertebereich zwischen 0 und 1 Bei Annehmen des Werts 0 keine Varianz von Y durch X erklärt Y ist regressiv unabhängig von X Bei Annehmen des Werts 1 Varianz von Y völlig durch X erklärt

35 5.Determinationskoeffizient addiert sich mit der Fehlervarianz zu eins auf

36 6. Populations- vs. Stichprobenschreibweise - können Regression in Stichprobe berechnen - Regression in Population eher von Interesse - Ziel: von Regressionsgleichung der Stichprobe auf Regressionsgleichung/ regressiven Zusammenhang in der Population zu schließen Populationsmodell wahre Regression von Y auf X E(Y X):= α0+ α1 X Stichprobenmodell Bei N aus Population: Abweichung der Regressionsparameter ŷ = a + b X

37 7. Quiz- Wer gewinnt die goldene Regressionsnadel? 1. Welche Arten der Abhängigkeit gibt es? 2. Wenn etwas linear abhängig ist, ist es dann auch regressiv abhängig? Und umgekehrt? 3. Wie definiert man Regression? 4. Was ist eine saturierte Parametrisierung? 5. Was ist Ziel der Regression? 6. In welchen Anwendungen sind Regressionen enthalten? 7. Wie funktioniert das Prinzip der Indikatorvariablen? 8. Bei welcher Art von Regression(en) kommt eine dritte Variable hinzu und warum? 9. Wie lautet die Moderatorfunktion? Was ist eine Kovariate? 10. Was ist der Determinationskoeffizient? Wie ist er definiert?

38 Quelle R. Steyer: Wahrscheinlichkeit und Regression, Kap. 4 7, 9, 10, 12,