30. März Ruhr-Universität Bochum. Methodenlehre II, SS Prof. Dr. Holger Dette

Transkript

1 Ruhr-Universität Bochum 30. März / 46

2 Methodenlehre II NA 3/73 Telefon: Internet: Vorlesung: Montag, Uhr, HGA 10 Thema: Das allgemeine lineare Modell und seine Anwendungen in der Psychologie 2 / 46

3 Statistik-Team Übung: Dienstag, Uhr, HGA 30 Tobias Kley: Tutorium: SPSS Lars Kuchinke: GAFO 04/615 Mo Uhr GAFO 04/615 Mo Uhr Marco Grabemann: GA 1/128 Mo Uhr GAFO 04/271 Fr Uhr Cäcilia Werschmann: cilly GAFO 04/615 Fr Uhr Igor Ivanov: 3 / 46

4 Das allgemeine lineare Modell: Ein mathematisches Modell - viele statistische Verfahren Inhaltsverzeichnis am Beispiel des t-tests 2. Das lineare Regressionsmodell, multiple Regression und Korrelation 3. Das allgemeine lineare Modell 4 / 46

5 Literatur A. Aron, E.N. Aron, E.J. Coups, Statistics for Psychology, 5th Edition, Pearson Prentice Hall J. Bortz, Statistik, 6. Auflage, Springer M. Rudolf, J. Müller, Multivariate Verfahren, Hogrefe P. Zöfel, Statistik für Psychologen, Pearson Studium 5 / 46

6 schließenden Statistik 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 6 / 46

7 7 / 46

8 1.1 Beispiel: Intelligenzquotient Fragestellung: Haben (15-jährige) Kinder aus Bochum einen höheren Intelligenzquotienten als 100? 10 Kinder (zufällig ausgewählt) machen einen IQ-Test Daten: y 1,..., y 10 i y i i y i Hypothese (IQ der Kinder ist niedriger als 100): H 0 : µ 100 Alternative (IQ ist höher als 100): H 1 : µ > 100 Dabei ist µ der (unbekannte) Erwartungswert der Gesamtpopulation der (15-jährigen) Kinder aus Bochum 8 / 46

9 Prinzip der Auf Grund der y 1,..., y 10 sollen Aussagen über das Merkmal der Grundgesamtheit getroffen werden. Zum Beispiel Wie groß ist µ (Schätzung)? Kann man ein Intervall bestimmen, in dem µ liegt (Konfidenzintervall)? Gilt H 0 : µ 100 (IQ ist nicht höher) oder gilt H 1 : µ > 100 (IQ ist höher)? (statistischer Test) 9 / 46

10 Grundlegende Schwierigkeit: µ ist der Erwartungswert der Population der 15-jährigen Kinder Auf Basis der soll auf die Grundgesamtheit geschlossen werden Fehler, Unsicherheiten sind möglich! Beispiel: zufällig wählen wir 5 hochbegabte Kinder (IQ 130) für die aus. Vermutlich wird dadurch µ überschätzt! Ziel der : Quantifizierung der Unsicherheit, z. B. mit welcher Wahrscheinlichkeit macht ein statistischer Test einen Fehler, falls (aufgrund von Daten) für H 1 (IQ ist höher als 100) entschieden wird, obwohl in Wirklichkeit H 0 gilt? Notwendig für diese Quantifizierung: Mathematische Modellannahmen 10 / 46

11 Zusätzliche Modellannahme: Normalverteilung Allgemein gängige Annahme: Intelligenz in einer bestimmten Altersgruppe der Bevölkerung ist normalverteilt ( 1 ϕ(x) = exp 1 2πσ 2 2 (x µ ) σ )2 µ : Erwartungswert σ 2 : Varianz Deutung: Ist Y der IQ eines zufällig aus der Population ausgewählten Individuums, so gilt P(a Y b) = b a ϕ(x)dx Diese Modellannahme sollte man stets rechtfertigen (wie man das machen kann, sehen wir später) 11 / 46

12 Interpretation der Wahrscheinlichkeiten: a b Die Wahrscheinlichkeit, dass eine Beobachtung zwischen den Werten a und b liegt, entspricht der Fläche unter der Kurve im Intervall [a, b]. In Formeln: P(a Y b) = b a ϕ(x)dx 12 / 46

13 Verschiedene Normalverteilungen N(µ, σ 2 ) Dichten der Normalverteilung mit verschiedenen Parametern N(0,0.707) N(0,1) N(1,1.25) N(2,2) µ: Erwartungswert σ 2 : Varianz Beachte: unter jeder Kurve ist die Fläche genau 1 13 / 46

14 Motivation der Modellannahme der Normalverteilung 14 / 46

15 Zusätzliche Modellannahme: Normalverteilung Mathematisches Modell (hier n = 10): y 1,..., y n sind Realisierungen von Zufallsvariablen Y i = µ + ε i, i = 1,..., m yi: IQ-Messung für i-tes Kind (Realisation der Zufallsvariablen Y i) µ: (unbekannter) Erwartungswert der Population (hier der 15-jährigen Kinder aus Bochum) ε1,..., ε n: unabhängige Zufallsvariable, normalverteilt mit Erwartungswert 0 und Varianz σ 2. Interpretation: Messfehler, genetische Variabilität, Tagesform... Mathematische Statistik z. B. Maximum Likelihood (in diesem Beispiel auch der gesunde Menschenverstand) liefert Schätzer für µ: ˆµ = y = 1 n y i = n Wie genau ist diese Schätzung? Wie sehr streut diese Schätzung? i=1 15 / 46

16 Zusätzliche Modellannahme: Normalverteilung Maß für die Genauigkeit: Varianz (je kleiner die Varianz, desto genauer die Schätzung) Mathematische Statistik (Methodenlehre I): die Varianz des Schätzers ˆµ ist: Beachte: Var(ˆµ) = σ2 n Je größer der numfang n, desto kleiner die Varianz von ˆµ. D.h. desto genauer ist die Schätzung. Für die Beurteilung der Genauigkeit muss man die Varianz σ 2 der Population kennen. Mathematische Statistik: Schätzung für den Parameter σ 2 ˆσ 2 = 1 n 1 n (y i y ) 2 = i=1 ˆσ 2 µ = ˆσ2 n = / 46

17 Zusätzliche Modellannahme: Normalverteilung Oft wird der Schätzer zusammen mit dem Standardfehler angegeben ˆµ = ˆµ + ˆσ µ = ˆµ ˆσ µ = ˆσ µ = ˆσ ˆσ n = 2 n = ist der Standardfehler des Schätzers ˆµ (Schätzung für Streuung des arithmetischen Mittels) ˆσ = ist die aus den Daten geschätzte Standardabweichung (Schätzung für die Streuung einer einzelnen Beobachtung) Deutung: Vor der Datenerhebung ist ˆµ zufällig. Falls die Normalverteilungsannahme korrekt ist, ist auch ˆµ normalverteilt mit: - Erwartungswert µ - Varianz σ2 n 17 / 46

18 Dichte Verschiedene Normalverteilungen Y1 ~ N(104.1, 28.32) (Y1 + Y2) 2 ~ N(104.1, 28.32/2) 10 ( Yi) 10 ~ N(104.1, 2.832) i= x 18 / 46

19 1.2 Schätzverfahren (Erwartungswert einer Population unter Normalverteilungsannahme) Daten y 1,..., y n () mit Erwartungswert µ Rechtfertigung der Unabhängigkeits- und Normalverteilungsannahme ˆµ = 1 n n i=1 y i Schätzung für den Erwartungswert µ der Population ˆσ 2 = 1 n 1 n i=1 (y i y ) 2 Schätzung für die Varianz der Population (ˆσ Schätzung für die Standardabweichung) ˆσ 2 µ = ˆσ2 n Schätzung für die Varianz von ˆµ Schätzung für den Standardfehler von ˆµ : ˆσ µ = ˆσ 2 n = ˆσ n 19 / 46

20 SPSS-Output: die Schätzer für die Daten aus Beispiel 1.1 (Intelligenzquotient) Deskriptive Statistik N Mittelwert Standardabweichung Varianz Intelligenzquotient Gültige Werte (Listenweise) Statistik Statistik Standardfehler Statistik Statistik 104,10 1,683 5,322 28,322 ˆµ = 104.1(Mittelwert) ˆσ µ = 1.683(Standardfehler) ˆσ 2 = (empirische Varianz) ˆσ = 5.322(Standardabweichung) 20 / 46

21 Beachte: ˆµ = 1 n n i=1 y i ; ˆσ 2 = 1 n 1 n ˆσ (y i y ) 2 2 ; ˆσ µ = n i=1 hängen von den Daten y 1,..., y n ab (sind also vor Datenerhebung zufällig) (ˆµ a ˆσ µ, ˆµ + a ˆσ µ ) ist (vor der Datenerhebung) ein zufälliges Intervall, das mit einer bestimmten Wahrscheinlichkeit den Erwartungswert µ enthält a 0 = Wahrscheinlichkeit 0 a = Wahrscheinlichkeit 1 Gesucht: zufälliges Intervall, das den unbekannten Erwartungswert mit einer vorgegebenen Wahrscheinlichkeit enthält: Konfidenzintervall 21 / 46

22 Das Konfidenzintervall Gebe eine Wahrscheinlichkeit 1 α vor (z. B. 1 α = 95%) Bestimme a so, dass das zufällige Intervall (ˆµ a ˆσ µ, ˆµ + a ˆσ µ ) den Parameter µ mit Wahrscheinlichkeit 1 α enthält. Mathematische Statistik liefert a = t n 1,1 α 2 (1 α 2 )-Quantil der t-verteilung mit n 1 Freiheitsgraden Diese Werte sind tabelliert oder durch Software verfügbar. Das Intervall I = ( ˆµ t n 1,1 α 2 ˆσ µ, ˆµ + t n 1,1 α 2 ˆσ µ ) heißt (1 α) Konfidenzintervall für µ. 22 / 46

23 Verschiedene t-verteilungen Dichten der t Verteilung mit verschiedenen Freiheitsgraden t 100 t 4 t f n (t) = 1 πn Γ((n + 1)/2) Γ(n/2) ) (n+1)/2 (1 + t2 n 23 / 46

24 Das Quantil der t-verteilung mit n Freiheitsgraden Dichte der t4 -Verteilung t 4, 0.95 = P(T 4 t 4,0.95 ) = t4,0.95 f 4 (t)dt = / 46

25 Beispiel 1.3 (Fortsetzung von Beispiel 1.1) Berechnung eines 90% Konfidenzintervalls für µ n = 10, ˆµ = 104.1, ˆσ 2 = α = 10% (aus Tabelle bzw. Software) t9,0.95 = % Konfidenzintervall für µ = (101.02, ) Beachte: Ein (1 α)-konfidenzintervall ist ein zufälliges Intervall, das den (unbekannten) Erwartungswert mit Wahrscheinlichkeit 1 α enthält. Die Aussage das Intervall (101.02, ) enthält den unbekannten Erwartungswert der Population mit Wahrscheinlichkeit 90% hat keinen Sinn! 25 / 46

26 Erklärung des Begriffs zufälliges Intervall durch ein fiktives Experiment Annahme: das Experiment (Untersuchung des IQ von 10 Kindern) kann N mal (unabhängig) wiederholt werden (z. B mal) jeweils 10 Daten liefern ein (1 α)-konfidenzintervall (z. B. 95 % Konfidenzintervall) Datensatz 1 Konfidenzintervall I 1 Datensatz 2 Konfidenzintervall I 2. Datensatz N Konfidenzintervall I N ca. (1 α) N (z. B. 95% 1000 = 950) Intervalle enthalten den (unbekannten) Erwartungswert µ der Population 26 / 46

27 1.4 Konfidenzbereich für den Erwartungswert einer Population unter Normalverteilungsannahme Daten y 1,..., y n () mit Erwartungswert µ Rechtfertigung der Unabhängigkeits- und Normalverteilungsannahme Bestimme das t n 1,1 α 2 Quantil der t-verteilung mit n 1 Freiheitsgraden (aus Tabelle oder Software) Das Intervall (ˆµ t n 1,1 α 2 ˆσ µ, ˆµ + t n 1,1 α 2 ˆσ µ) ist ein (1 α) Konfidenzintervall für µ In vielen Softwarepaketen erhält man direkt das Konfidenzintervall als Ausgabe (z. B. in SPSS) 27 / 46

28 SPSS-Output: Konfidenzintervall für die Daten aus Beispiel 1.1 (Intelligenzquotient) Test bei einer Sichprobe Testwert = % Konfidenzintervall der Differenz T df Sig. (2-seitig) Mittlere Differenz Untere Obere Intelligenzquotient 2,436 9,038 4,100 1,02 7,18 Beachte: SPSS liefert nur ein Konfidenzintervall für die Differenz µ 100 = 90% Konfidenzintervall für den Erwartungswert µ (101.02, ) 28 / 46

29 29 / 46

30 Beispiel 1.5 (Fortsetzung von Beispiel 1.1) Frage: Ist der IQ der Kinder aus Bochum höher als 100? H 0 : µ 100 H 1 : µ > 100 H 0 nennt man Nullhypothese und H 1 heißt Alternative. Intuitiv würde man für H 1 entscheiden, falls der Mittelwert der ˆµ = 1 10 y i 10 groß ist Beachte: ˆµ ändert sich, falls man die Daten anders skaliert! i=1 Besser: entscheide für H 1, falls ˆµ groß im Verhältnis zu dem Standardfehler ˆσ µ ist (Invarianz bzgl. unterschiedlicher Skalierungen) 30 / 46

31 Die Nullhypothese H 0 : µ 100 wird abgelehnt falls Fragen: T = ˆµ 100 ˆσ µ > c Wie legt man den kritischen Wert c fest? Bei dem Verfahren können 2 Fehler auftreten Fehler erster Art: Die Nullhypothese H0 wird abgelehnt, obwohl H 0 in Wirklichkeit stimmt (d. h. der IQ ist nicht höher als 100) Fehler zweiter Art: Die Nullhypothese H0 wird nicht abgelehnt, obwohl in Wirklichkeit die Alternative H 1 zutrifft (d. h. der IQ ist höher als 100) Ziel: kleine Wahrscheinlichkeiten für Fehler erster und zweiter Art 31 / 46

32 Grundlegendes Prinzip der Testtheorie Der kritische Wert c wird festgelegt, indem man eine maximal tolerierbare Wahrscheinlichkeit α für einen Fehler erster Art vorgibt (α-fehler)! Diese Wahrscheinlichkeit heißt Niveau des Tests. Damit hat man keine Kontrolle über die Wahrscheinlichkeit eines Fehlers zweiter Art (β-fehler) Z. B. soll die Wahrscheinlichkeit für Fehler erster Art maximal α = 5% = 0.05 sein. = (mathematische Statistik, Tabelle, Software) n = 10, c = t n 1,1 α = t 9,0.95 = T = ˆµ = = > ˆσ µ D. h. die Nullhypothese H 0 : µ 100 wird zum Niveau α = 5% zu Gunsten der Alternative H 1 : µ > 100 verworfen (signifikantes Ergebnis zum Niveau 5 %) 32 / 46

33 Erklärung des Begriffs Niveau durch ein fiktives Experiment Annahme: Das Experiment (Untersuchung des IQ von 10 Kindern) kann N mal (unabhängig) wiederholt werden (z. B mal) jeweils 10 Daten liefern ein Ergebnis für den Test zum Niveau α (z.b. Niveau 5 %) Datensatz 1 Testergebnis 1 Datensatz 2 Testergebnis 2. Datensatz N Testergebnis N Falls die Nullhypothese H 0 : µ 100 wahr ist, so wird maximal in ca. αn (z. B. 5% 1000 = 50) Fällen für die Alternative H 1 : µ > 100 entschieden. 33 / 46

34 Fehler erster und zweiter Art in der Population gilt H 0 H 1 Entscheidung auf- richtige β-fehler grund der Stich- H 0 Entscheidung probe zugunsten richtige von: H 1 α-fehler Entscheidung Beachte: Die Wahrscheinlichkeiten für α-fehler und β-fehler verändern sich gegenläufig. Bei festem Niveau (Wahrscheinlichkeit für α-fehler) kann die Wahrscheinlichkeit für einen β-fehler durch Vergrößerung des numfangs verkleinert werden. Bei festem numfang wird nur der Fehler erster Art kontrolliert. 34 / 46

35 Die Verteilung von T falls µ = 100 ist Dichte der t9 -Verteilung p Wert α = 5 % t 9, 0.95 = T n = Kritischer Wert: t n 1,0.95 = (H 0 wird verworfen, falls T größer als der kritische Wert ist) Blaue Fläche: Niveau (α) Rote Fläche: p-wert: Wahrscheinlichkeit einen Wert größer als zu beobachten: P(T > 2.436) = Beachte: Ist der p-wert < α (wie in diesem Beispiel) dann wird H 0 abgelehnt (signifikantes Ergebnis) 35 / 46

36 Testverfahren für den Erwartungswert einer unter Normalverteilungsannahme 1.6 Einstichproben t-test für rechtsseitige Hypothesen Hypothesen: H 0 : µ µ 0 ; Hypothese) H 1 : µ > µ 0 (rechtsseitige Daten y 1,..., y n () mit Erwartungswert µ Rechtfertigung der Unabhängigkeits- und Normalverteilungsannahme H 0 wird zum Niveau α verworfen, falls T = ˆµ µ 0 ˆσ µ > t n 1,1 α gilt, bzw. falls der p-wert < α ist. ˆµ: Schätzer für µ; ˆσ µ : Schätzer für den Standardfehler von ˆµ 36 / 46

37 Vertauschen der Hypothesen 1.7 Einstichproben t-test für linksseitige Hypothesen Hypothesen: H 0 : µ µ 0 ; H 1 : µ < µ 0 (linksseitige Hypothese) Daten y 1,..., y n () mit Erwartungswert µ Rechtfertigung der Unabhängigkeits- und Normalverteilungsannahme H 0 wird zum Niveau α verworfen, falls T = ˆµ µ 0 ˆσ µ < t n 1,1 α = t n 1,α gilt, bzw. falls der p-wert < α ist. ˆµ: Schätzer für µ; ˆσ µ : Schätzer für den Standardfehler von ˆµ 37 / 46

38 Tests für zweiseitige Hypothesen 1.8 Einstichproben t-test für zweiseitige Hypothesen Hypothesen: H 0 : µ = µ 0 ; H 1 : µ µ 0 (zweiseitige Hypothese) Daten y 1,..., y n () mit Erwartungswert µ Rechtfertigung der Unabhängigkeits- und Normalverteilungsannahme H 0 wird zum Niveau α verworfen, falls T = ˆµ µ 0 > t n 1,1 α/2 ˆσ µ gilt, bzw. falls der p-wert kleiner als α ist. ˆµ: Schätzer für µ; ˆσ µ : Schätzer für den Standardfehler von ˆµ 38 / 46

39 Die Verteilung von T, falls µ = 100 ist p Wert α = 2,5 % Dichte der t9 -Verteilung α = 2,5 % p Wert -T n = t 9, = t 9, = T n = Blaue Fläche: Niveau α; Rote Fläche: p-wert (Wahrscheinlichkeit einen Wert zu beobachten, dessen Betrag größer als ist P( T > 2.436) = Beachte: Ist der p-wert < α (wie in diesem Beispiel), dann wird H 0 abgelehnt! 39 / 46

40 SPSS-Output bei Anwendung des t-tests auf die Daten aus Beispiel 1.1 (Intelligenzquotient) Test bei einer Sichprobe Testwert = % Konfidenzintervall der Differenz T df Sig. (2-seitig) Mittlere Differenz Untere Obere Intelligenzquotient 2,436 9,038 4,100 1,02 7,18 Beachte: SPSS liefert nur den p-wert für den zweiseitigen t-test aus Beispiel 1.8! Den p-wert für den einseitigen Test erhält man als 0.038/2 = / 46

41 Beispiel: t-test für den Vergleich von zwei verbundenen n Eine der wichtigsten Anwendungen der in 1.6, 1.7 und 1.8 vorgestellten Verfahren besteht in dem Vergleich von verbundenen n (vorher - nachher Untersuchungen) Beispiel: Untersuchung der Einstellungen von 9 Jungen gegenüber neutralen Personen vor und nach einem Frustrationserlebnis (Sündenbockfunktion). VPn Einstell- vorher ung nachher / 46

42 Prinzip: Differenzenbildung Prinzip: Falls kein Unterschied zwischen den Einstellungen vor und nach dem Frustrationserlebnis besteht sollten die Differenzen (nachher - vorher) klein sein. Durch Differenzenbildung (nachher - vorher) erhält man die Daten 1,..., 9 Rechtfertigung der Voraussetzungen für den t-test aus 1.8 für diese Daten. Wende den t-test für eine auf die Daten 1,..., 9 an und teste die Hypothesen H 0 : µ = 0, H 1 : µ 0 Wegen T = = 3.27 > 2.31 = t 8,0.975 besteht zum Niveau α = 0.05 ein signifikanter Unterschied. 42 / 46

43 SPSS Output: t-test für gepaarte n Paaren 1 vorher nachher Statistik bei gepaarten n Mittelwert 33,44 30,78 N 9 9 3,358 3,346 Standardfehler des Mittelwertes 1,119 1,115 Korrelationen bei gepaarten n N Korrelation Signifikanz Paaren 1 vorher & nachher 9,733,025 Test bei gepaarten n Gepaarte Differenzen Mittelwert Standardabweichung Standardabweichung Standardfehler des Mittelwertes 95% Konfidenzintervall der Differenz Untere Obere Paaren 1 vorher - nachher 2,667 2,449,816,784 4,550 Test bei gepaarten n Sig. T df (2-seitig) Paaren 1 vorher - nachher 3,266 8, / 46

44 1.9 Bemerkungen (zu den statistischen Verfahren 1.2, 1.4, 1.6, 1.7, 1.8) Mathematische Statistik unter der Normalverteilungsannahme sind alle hier vorgestellten Verfahren optimal Die Normalverteilungsannahme kann (und sollte) man rechtfertigen. Mögliche Verfahren sind: statistische Tests für die Hypothese H 0 : Y 1,..., Y n normalverteilt In SPSS üblich sind - Kolmogorov-Smirnov-Test - Shapiro-Wilk Test Explorative Verfahren. In SPSS üblich: QQ-Plot Besteht die Normalverteilungsannahme diese Überprüfung nicht, so sind z. B. nichtparametrische Verfahren anzuwenden. 44 / 46

45 SPSS Output: QQ-Plot für die Daten aus Beispiel Q-Q-Diagramm von Normal von Intelligenzquotient Erwarteter Wert von Normal Beobachteter Wert 45 / 46

46 Der QQ-Plot Unter der Modellannahme gilt: die Größen Y i sind normalverteilt mit Erwartungswert µ und Varianz σ 2 Der QQ-Plot vergleicht grafisch die empirischen Quantile der Daten y 1,..., y n mit den Quantilen der Normalverteilung mit Erwartungswert ˆµ und Varianz ˆσ 2. (1) 1/n-Quantil der y 1,... y n = kleinste der Beobachtungen y (1) (in Beispiel 1.1 ist y (1) = 97) (1 1/2)/n-Quantil der Normalverteilung mit Erwartungswert ˆµ und Varianz ˆσ 2 = (im Beispiel 1.1 ist z (1) = = 95.37) (2) 2/n-Quantil der y 1,..., y n = zweitkleinste der Beobachtungen y (2) (in Beispiel 1.1 ist y (2) = 98) (2 1/2)/n-Quantil der Normalverteilung mit Erwartungswert ˆµ und Varianz ˆσ 2 = (in Beispiel 1.1 ist z (2) = = 98.57) (3) usw. Der QQ-Plot ist das Streudiagramm der Daten (y (1), z (1) ),..., (y (n), z (n) ) In in vielen Fällen enthält dieses Diagramm noch die Winkelhalbierende des entsprechenden Quadranten. 46 / 46