Methodenlehre II, SoSe 2015

Ruhr-Universität Bochum 4. Juni 2015 1 / 282

Methodenlehre II Prof. Dr. NA 3/73 Telefon: 0234 322 8284 Email: holger.dette@rub.de Internet: http://www.ruhr-uni-bochum.de/mathematik3/ http://www.ruhr-uni-bochum.de/mathematik3/dette.html Vorlesung:Montag, 8.30 10.00 Uhr, HGA 10 Thema: Das allgemeine lineare Modell und seine Anwendungen in der Psychologie 2 / 282

Statistik-Team Übung: Dienstag, 12.15 13.15 Uhr, HZ0 70 Ria Van Hecke; Ria.VanHecke@rub.de Tutorium: SPSS Maxi Gödel:: Mo 10:00-12:00 in GAFO 02/365 Mo 12:00-14:00 in GAFO 03/974 Pia Brinkhaus: Di 10:00-12:00 in UFO 01/06 Ricarda Weiland: Mo 14:00-16:00 in GAFO 02/368 Di 08:00-10:00 in GAFO 02/368 Phillip Ozimek: Do 14:00-16:00 in GAFO 03/901 Malte Kobelt: Do 14:00-16:00 in GAFO 03/974 3 / 282

E-Learning Zur Unterstützung von Vorlesung und Übung gibt es einen Blackboardkurs: Kurs-ID: 112131-ss15 Kursbezeichnung: Statistische Methodenlehre II Passwort: mlehre2. Dort gibt es: Folien zu Vorlesung und Übung, Übungsaufgaben und Tests, mit denen Bonuspunkte für die Klausur erzielt werden können und (zum Semesterende) eine Probeklausur. 4 / 282

Das allgemeine lineare Modell: Ein mathematisches Modell - viele statistische Verfahren Inhaltsverzeichnis am Beispiel des t-tests 2. Das lineare smodell, multiple Korrelation 3. Das allgemeine lineare Modell 5 / 282

Literatur A. Aron, E.N. Aron, E.J. Coups, Statistics for Psychology, 5th Edition, Pearson Prentice Hall J. Bortz, Statistik, 6. Auflage, Springer M. Rudolf, J. Müller, Multivariate Verfahren, Hogrefe P. Zöfel, Statistik für Psychologen, Pearson Studium 6 / 282

schließenden Statistik 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 7 / 282

1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.1 Schätzer und Konfidenzintervalle 1.4 Einfaktorielle Varianzanalyse 8 / 282

keitsverteilungen und all dem drum herum beschäftigt. Meistens waren dabei die Parameter der Verteilungen bekannt und man konnte unmittelbar loslegen; alles ja mehr oder weniger kein Problem. Aber ohne Euch enttäuschen zu wollen, müssen wir leider mitteilen, dass bei praktischen Anwendungen die Parameter der Wahrscheinlichkeitsverteilungen jedoch eher selten bekannt sind. In solch einer Situation kann man mit der beurteilenden Statistik - aufbauend auf der beschreibenden Statistik und der Wahrscheinlichkeits- Beurteilende Statistik " U8ER. PliS LJoUfl.J WiR. WAS /.JiSSHJ: (JI.!!) Wil<. HI/BEI.! ljin,zom 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse f:rjf()liltioij it, 'KüoCSCHwsr G.iGEA/S(j{ltfrEN J)'( fi{,e#./sci(i/ PT!/..) J)ff( <1 X GROM l>6lj Af,rTHEi" i.x)'- 1 gemeinsam mit Herrn Dr. Romberg. (Oestreich & Romberg, 2012) 9 / 282

1.1 Beispiel: Intelligenzquotient Fragestellung: Haben (15-jährige) Kinder aus Bochum einen höheren Intelligenzquotienten als 100? 10 Kinder (zufällig ausgewählt) machen einen IQ-Test Daten: y 1,..., y 10 Stichprobe i 1 2 3 4 5 y i 104 98 106 99 110 i 6 7 8 9 10 y i 107 100 97 108 112 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Hypothese (IQ der Kinder ist niedriger als 100): H 0 : µ 100 Alternative (IQ ist höher als 100): H 1 : µ > 100 Dabei ist µ der (unbekannte) Erwartungswert der Gesamtpopulation der (15-jährigen) Kinder aus Bochum 10 / 282

Prinzip der Auf Grund der Stichprobe y 1,..., y 10 sollen Aussagen über das Merkmal der Grundgesamtheit getroffen werden. Zum Beispiel Wie groß ist µ (Schätzung)? Kann man ein Intervall bestimmen, in dem µ liegt (Konfidenzintervall)? Gilt 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse H 0 : µ 100 (IQ ist nicht höher) oder gilt H 1 : µ > 100 (IQ ist höher)? (statistischer Test) 11 / 282

Grundlegende Schwierigkeit: µ ist der Erwartungswert der Population der 15-jährigen Kinder Auf Basis der Stichprobe soll auf die Grundgesamtheit geschlossen werden Fehler, Unsicherheiten sind möglich! Beispiel: zufällig wählen wir 5 hochbegabte Kinder (IQ 130) für die Stichprobe aus. Vermutlich wird dadurch µ überschätzt! 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Ziel der : Quantifizierung der Unsicherheit, z. B. mit welcher Wahrscheinlichkeit macht ein statistischer Test einen Fehler, falls (aufgrund von Daten) für H 1 (IQ ist höher als 100) entschieden wird, obwohl in Wirklichkeit H 0 gilt? Notwendig für diese Quantifizierung: Mathematische Modellannahmen 12 / 282

Zusätzliche Modellannahme: Normalverteilung Allgemein gängige Annahme: Intelligenz in einer bestimmten Altersgruppe der Bevölkerung ist normalverteilt ( 1 ϕ(x) = exp 1 2πσ 2 2 (x µ ) σ )2 µ : Erwartungswert σ 2 : Varianz 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Deutung: Ist Y der IQ eines zufällig aus der Population ausgewählten Individuums, so gilt P(a Y b) = b a ϕ(x)dx Diese Modellannahme sollte man stets rechtfertigen (wie man das machen kann, sehen wir später) 13 / 282

Interpretation der Wahrscheinlichkeiten: 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse a b Die Wahrscheinlichkeit, dass eine Beobachtung zwischen den Werten a und b liegt, entspricht der Fläche unter der Kurve im Intervall [a, b]. In Formeln: P(a Y b) = b a ϕ(x)dx 14 / 282

Verschiedene Normalverteilungen N(µ, σ 2 ) 0.0 0.1 0.2 0.3 0.4 0.5 Dichten der Normalverteilung mit verschiedenen Parametern N(0,0.707) N(0,1) N(1,1.25) N(2,2) 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse -4-2 0 2 4 6 µ: Erwartungswert σ 2 : Varianz Beachte: unter jeder Kurve ist die Fläche genau 1 15 / 282

Motivation der Modellannahme der Normalverteilung 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 16 / 282

Zusätzliche Modellannahme: Normalverteilung Mathematisches Modell (hier n = 10): y 1,..., y n sind Realisierungen von Zufallsvariablen Y i = µ + ε i, i = 1,..., n yi: IQ-Messung für i-tes Kind (Realisation der Zufallsvariablen Y i) µ: (unbekannter) Erwartungswert der Population (hier der 15-jährigen Kinder aus Bochum) ε1,..., ε n: unabhängige Zufallsvariable, normalverteilt mit Erwartungswert 0 und Varianz σ 2. Interpretation: Messfehler, genetische Variabilität, Tagesform... Mathematische Statistik z. B. Maximum Likelihood (in diesem Beispiel auch der gesunde Menschenverstand) liefert Schätzer für µ: ˆµ = y = 1 n y i = 104.1 n Wie genau ist diese Schätzung? Wie sehr streut diese Schätzung? i=1 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 17 / 282

Zusätzliche Modellannahme: Normalverteilung Maß für die Genauigkeit: Varianz (je kleiner die Varianz, desto genauer die Schätzung) Mathematische Statistik (Methodenlehre I): die Varianz des Schätzers ˆµ ist: Beachte: Var(ˆµ) = σ2 n Je größer der Stichprobenumfang n, desto kleiner die Varianz von ˆµ. D.h. desto genauer ist die Schätzung. Für die Beurteilung der Genauigkeit muss man die Varianz σ 2 der Population kennen. Mathematische Statistik: Schätzung für den Parameter σ 2 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse ˆσ 2 = 1 n 1 n (y i y ) 2 = 28.32 i=1 ˆσ 2 µ = ˆσ2 n = 2.832 18 / 282

Zusätzliche Modellannahme: Normalverteilung Oft wird der Schätzer zusammen mit dem Standardfehler angegeben ˆµ = 104.1 ˆµ + ˆσ µ = 105.78 ˆµ ˆσ µ = 102.42 ˆσ µ = ˆσ ˆσ n = 2 n = 1.683 ist der Standardfehler des Schätzers ˆµ (Schätzung für Streuung des arithmetischen Mittels) ˆσ = 5.322 ist die aus den Daten geschätzte Standardabweichung (Schätzung für die Streuung einer einzelnen Beobachtung) Deutung: Vor der Datenerhebung ist ˆµ zufällig. Falls die Normalverteilungsannahme korrekt ist, ist auch ˆµ normalverteilt mit: 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse - Erwartungswert µ - Varianz σ2 n 19 / 282

Dichte 0.00 0.02 0.04 0.06 0.08 0.10 0.12 0.14 Verschiedene Normalverteilungen Y1 ~ N(104.1, 28.32) (Y1 + Y2) 2 ~ N(104.1, 28.32/2) 10 ( Yi) 10 ~ N(104.1, 2.832) i=1 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 40 60 80 100 120 140 160 x 20 / 282

1.2 Schätzverfahren (Erwartungswert einer Population unter Normalverteilungsannahme) Daten y 1,..., y n (Stichprobe) mit Erwartungswert µ Rechtfertigung der Unabhängigkeits- und Normalverteilungsannahme ˆµ = 1 n n i=1 y i Schätzung für den Erwartungswert µ der Population 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse ˆσ 2 = 1 n 1 n i=1 (y i y ) 2 Schätzung für die Varianz der Population (ˆσ Schätzung für die Standardabweichung) ˆσ 2 µ = ˆσ2 n Schätzung für die Varianz von ˆµ Schätzung für den Standardfehler von ˆµ : ˆσ µ = ˆσ 2 n = ˆσ n 21 / 282

SPSS-Output: die Schätzer für die Daten aus Beispiel 1.1 (Intelligenzquotient) 1.1 Schätzer und Deskriptive Statistik Konfidenzintervalle 1.2 t-test für eine Intelligenzquotient Gültige Werte (Listenweise) N Statistik 10 10 Mittelwert Standardabweichung Varianz Statistik Standardfehler Statistik Statistik 104,10 1,683 5,322 28,322 Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse ˆµ = 104.1(Mittelwert) ˆσ µ = 1.683(Standardfehler) ˆσ 2 = 28.322(empirische Varianz) ˆσ = 5.322(Standardabweichung) 22 / 282

R-Output: die Schätzer für die Daten aus Beispiel 1.1 (Intelligenzquotient) 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe V1 median 105.0000000 mean 104.1000000 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse SE. mean 1.6829207 CI. mean.0.95 3.8070312 var 28.3222222 std. dev 5.3218627 coef. var 0.0511226 23 / 282

Beachte: ˆµ = 1 n n i=1 y i ; ˆσ 2 = 1 n 1 n ˆσ (y i y ) 2 2 ; ˆσ µ = n i=1 hängen von den Daten y 1,..., y n ab (sind also vor Datenerhebung zufällig) (ˆµ a ˆσ µ, ˆµ + a ˆσ µ ) ist (vor der Datenerhebung) ein zufälliges Intervall, das mit einer bestimmten Wahrscheinlichkeit den Erwartungswert µ enthält 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse a 0 = Wahrscheinlichkeit 0 a = Wahrscheinlichkeit 1 Gesucht: zufälliges Intervall, das den unbekannten Erwartungswert mit einer vorgegebenen Wahrscheinlichkeit enthält: Konfidenzintervall 24 / 282

Das Konfidenzintervall Gebe eine Wahrscheinlichkeit 1 α vor (z. B. 1 α = 95%) Bestimme a so, dass das zufällige Intervall (ˆµ a ˆσ µ, ˆµ + a ˆσ µ ) den Parameter µ mit Wahrscheinlichkeit 1 α enthält. Mathematische Statistik liefert 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse a = t n 1,1 α 2 (1 α 2 )-Quantil der t-verteilung mit n 1 Freiheitsgraden Diese Werte sind tabelliert oder durch Software verfügbar. Das Intervall I = ( ˆµ t n 1,1 α 2 ˆσ µ, ˆµ + t n 1,1 α 2 ˆσ µ ) heißt (1 α) Konfidenzintervall für µ. 25 / 282

Verschiedene t-verteilungen Dichten der t Verteilung mit verschiedenen Freiheitsgraden 0.0 0.1 0.2 0.3 0.4 t 100 t 4 t 1 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse -4-2 0 2 4 f n (t) = 1 πn Γ((n + 1)/2) Γ(n/2) ) (n+1)/2 (1 + t2 n 26 / 282

Das Quantil der t-verteilung mit n Freiheitsgraden Dichte der t4 -Verteilung 1.1 Schätzer und Konfidenzintervalle 0.0 0.1 0.2 0.3 0.4 0.95 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse t 4, 0.95 = 2.132-4 -2 0 2 4 P(T 4 t 4,0.95 ) = t4,0.95 f 4 (t)dt = 0.95 27 / 282

Beispiel 1.3 (Fortsetzung von Beispiel 1.1) Berechnung eines 90% Konfidenzintervalls für µ n = 10, ˆµ = 104.1, ˆσ 2 = 28.32 α = 10% (aus Tabelle bzw. Software) t9,0.95 = 1.833 90% Konfidenzintervall für µ = (101.02, 107.18) Beachte: Ein (1 α)-konfidenzintervall ist ein zufälliges Intervall, das den (unbekannten) Erwartungswert mit Wahrscheinlichkeit 1 α enthält. Die Aussage das Intervall (101.02, 107.18) enthält den unbekannten Erwartungswert der Population mit Wahrscheinlichkeit 90% hat keinen Sinn! 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 28 / 282

Erklärung des Begriffs zufälliges Intervall durch ein fiktives Experiment Annahme: das Experiment (Untersuchung des IQ von 10 Kindern) kann N mal (unabhängig) wiederholt werden (z. B. 1000 mal) jeweils 10 Daten liefern ein (1 α)-konfidenzintervall (z. B. 95 % Konfidenzintervall) Datensatz 1 Konfidenzintervall I 1 Datensatz 2 Konfidenzintervall I 2 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse. Datensatz N Konfidenzintervall I N ca. (1 α) N (z. B. 95% 1000 = 950) Intervalle enthalten den (unbekannten) Erwartungswert µ der Population 29 / 282

1.4 Konfidenzbereich für den Erwartungswert einer Population unter Normalverteilungsannahme Daten y 1,..., y n (Stichprobe) mit Erwartungswert µ Rechtfertigung der Unabhängigkeits- und Normalverteilungsannahme Bestimme das t n 1,1 α 2 Quantil der t-verteilung mit n 1 Freiheitsgraden (aus Tabelle oder Software) Das Intervall 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse (ˆµ t n 1,1 α 2 ˆσ µ, ˆµ + t n 1,1 α 2 ˆσ µ) ist ein (1 α) Konfidenzintervall für µ In vielen Softwarepaketen erhält man direkt das Konfidenzintervall als Ausgabe (z. B. in SPSS) 30 / 282

SPSS-Output: Konfidenzintervall für die Daten aus Beispiel 1.1 (Intelligenzquotient) Test bei einer Sichprobe Testwert = 100 90% Konfidenzintervall der Differenz T df Sig. (2-seitig) Mittlere Differenz Untere Obere Intelligenzquotient 2,436 9,038 4,100 1,02 7,18 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Beachte: SPSS liefert nur ein Konfidenzintervall für die Differenz µ 100 = 90% Konfidenzintervall für den Erwartungswert µ (101.02, 107.18) 31 / 282

R-Output: Konfidenzintervall für die Daten aus Beispiel 1.1 (Intelligenzquotient) One Sample t- test 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme data : IQ t = 2.4362, df = 9, p- value = 0.0376 alternative hypothesis : true mean is not equal to 100 1.4 Einfaktorielle Varianzanalyse 90 percent confidence interval : 101.015 107.185 sample estimates : mean of x 104.1 32 / 282

1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.2 t-test für eine Stichprobe 1.4 Einfaktorielle Varianzanalyse 33 / 282

Beispiel 1.5 (Fortsetzung von Beispiel 1.1) Frage: Ist der IQ der Kinder aus Bochum höher als 100? H 0 : µ 100 H 1 : µ > 100 H 0 nennt man Nullhypothese und H 1 heißt Alternative. Intuitiv würde man für H 1 entscheiden, falls der Mittelwert der Stichprobe ˆµ = 1 10 y i 10 groß ist Beachte: ˆµ ändert sich, falls man die Daten anders skaliert! i=1 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Besser: entscheide für H 1, falls ˆµ groß im Verhältnis zu dem Standardfehler ˆσ µ ist (Invarianz bzgl. unterschiedlicher Skalierungen) 34 / 282

Die Nullhypothese H 0 : µ 100 wird abgelehnt falls Fragen: T = ˆµ 100 ˆσ µ > c Wie legt man den kritischen Wert c fest? Bei dem Verfahren können 2 Fehler auftreten 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Fehler erster Art: Die Nullhypothese H0 wird abgelehnt, obwohl H 0 in Wirklichkeit stimmt (d. h. der IQ ist nicht höher als 100) Fehler zweiter Art: Die Nullhypothese H0 wird nicht abgelehnt, obwohl in Wirklichkeit die Alternative H 1 zutrifft (d. h. der IQ ist höher als 100) Ziel: kleine Wahrscheinlichkeiten für Fehler erster und zweiter Art 35 / 282

Grundlegendes Prinzip der Testtheorie Der kritische Wert c wird festgelegt, indem man eine maximal tolerierbare Wahrscheinlichkeit α für einen Fehler erster Art vorgibt (α-fehler)! Diese Wahrscheinlichkeit heißt Niveau des Tests. Damit hat man keine Kontrolle über die Wahrscheinlichkeit eines Fehlers zweiter Art (β-fehler) Z. B. soll die Wahrscheinlichkeit für Fehler erster Art maximal α = 5% = 0.05 sein. 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse = (mathematische Statistik, Tabelle, Software) n = 10, c = t n 1,1 α = t 9,0.95 = 1.833 T = ˆµ 100 104.1 100 = = 2.436 > 1.833 ˆσ µ 2.832 D. h. die Nullhypothese H 0 : µ 100 wird zum Niveau α = 5% zu Gunsten der Alternative H 1 : µ > 100 verworfen (signifikantes Ergebnis zum Niveau 5 %) 36 / 282

Erklärung des Begriffs Niveau durch ein fiktives Experiment Annahme: Das Experiment (Untersuchung des IQ von 10 Kindern) kann N mal (unabhängig) wiederholt werden (z. B. 1000 mal) jeweils 10 Daten liefern ein Ergebnis für den Test zum Niveau α (z.b. Niveau 5 %) Datensatz 1 Testergebnis 1 Datensatz 2 Testergebnis 2 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse. Datensatz N Testergebnis N Falls die Nullhypothese H 0 : µ 100 wahr ist, so wird maximal in ca. αn (z. B. 5% 1000 = 50) Fällen für die Alternative H 1 : µ > 100 entschieden. 37 / 282

Fehler erster und zweiter Art Beachte: in der Population gilt H 0 H 1 Entscheidung auf- richtige β-fehler grund der Stich- H 0 Entscheidung probe zugunsten richtige von: H 1 α-fehler Entscheidung 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Die Wahrscheinlichkeiten für α-fehler und β-fehler verändern sich gegenläufig. Bei festem Niveau (Wahrscheinlichkeit für α-fehler) kann die Wahrscheinlichkeit für einen β-fehler durch Vergrößerung des Stichprobenumfangs verkleinert werden. Bei festem Stichprobenumfang wird nur der Fehler erster Art kontrolliert. 38 / 282

Die Verteilung von T falls µ = 100 ist. 0.0 0.1 0.2 0.3 0.4 Dichte der t9 -Verteilung α = 5 % p Wert 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse t 9, 0.95 = 1.833 T n = 2.436-3 -2-1 0 1 2 3 Kritischer Wert: t n 1,0.95 = 1.833 (H 0 wird verworfen, falls T größer als der kritische Wert ist) Blaue Fläche: Niveau (α) Rote Fläche: p-wert: Wahrscheinlichkeit einen Wert größer als 2.436 zu beobachten: P(T > 2.436) = 0.0188 Beachte: Ist der p-wert < α (wie in diesem Beispiel) dann wird H 0 abgelehnt (signifikantes Ergebnis) 39 / 282

Testverfahren für den Erwartungswert einer Stichprobe unter Normalverteilungsannahme 1.6 Einstichproben t-test für rechtsseitige Hypothesen Hypothesen: H 0 : µ µ 0 ; Hypothese) H 1 : µ > µ 0 (rechtsseitige Daten y 1,..., y n (Stichprobe) mit Erwartungswert µ Rechtfertigung der Unabhängigkeits- und Normalverteilungsannahme H 0 wird zum Niveau α verworfen, falls 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse T = ˆµ µ 0 ˆσ µ > t n 1,1 α gilt, bzw. falls der p-wert < α ist. ˆµ: Schätzer für µ; ˆσ µ : Schätzer für den Standardfehler von ˆµ 40 / 282

Vertauschen der Hypothesen 1.7 Einstichproben t-test für linksseitige Hypothesen Hypothesen: H 0 : µ µ 0 ; Hypothese) H 1 : µ < µ 0 (linksseitige Daten y 1,..., y n (Stichprobe) mit Erwartungswert µ Rechtfertigung der Unabhängigkeits- und Normalverteilungsannahme H 0 wird zum Niveau α verworfen, falls 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse T = ˆµ µ 0 ˆσ µ < t n 1,1 α = t n 1,α gilt, bzw. falls der p-wert < α ist. ˆµ: Schätzer für µ; ˆσ µ : Schätzer für den Standardfehler von ˆµ 41 / 282

Tests für zweiseitige Hypothesen 1.8 Einstichproben t-test für zweiseitige Hypothesen Hypothesen: H 0 : µ = µ 0 ; Hypothese) H 1 : µ µ 0 (zweiseitige Daten y 1,..., y n (Stichprobe) mit Erwartungswert µ Rechtfertigung der Unabhängigkeits- und Normalverteilungsannahme H 0 wird zum Niveau α verworfen, falls 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse T = ˆµ µ 0 > t n 1,1 α/2 ˆσ µ gilt, bzw. falls der p-wert kleiner als α ist. ˆµ: Schätzer für µ; ˆσ µ : Schätzer für den Standardfehler von ˆµ 42 / 282

Die Verteilung von T, falls µ = 100 ist. Dichte der t9 -Verteilung 0.0 0.1 0.2 0.3 0.4 p Wert α = 2,5 % α = 2,5 % p Wert 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse -T n = -2.436 t 9, 0.025 = -2.262 t 9, 0.975 = 2.262 T n = 2.436-3 -2-1 0 1 2 3 Blaue Fläche: Niveau α; Rote Fläche: p-wert (Wahrscheinlichkeit einen Wert zu beobachten, dessen Betrag größer als 2.436 ist P( T > 2.436) = 0.038 Beachte: Ist der p-wert < α (wie in diesem Beispiel), dann wird H 0 abgelehnt! 43 / 282

SPSS-Output bei Anwendung des t-tests auf die Daten aus Beispiel 1.1 (Intelligenzquotient) Test bei einer Sichprobe Testwert = 100 90% Konfidenzintervall der Differenz T df Sig. (2-seitig) Mittlere Differenz Untere Obere Intelligenzquotient 2,436 9,038 4,100 1,02 7,18 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Beachte: SPSS liefert nur den p-wert für den zweiseitigen t-test aus Beispiel 1.8! Den p-wert für den einseitigen Test erhält man als 0.038/2 = 0.019. 44 / 282

R-Output bei Anwendung des t-tests auf die Daten aus Beispiel 1.1 (Intelligenzquotient) One Sample t- test 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme data : IQ t = 2.4362, df = 9, p- value = 0.0376 1.4 Einfaktorielle Varianzanalyse alternative hypothesis : true mean is not equal to 100 90 percent confidence interval : 101.015 107.185 sample estimates : mean of x 104.1 45 / 282

Beispiel: t-test für den Vergleich von zwei verbundenen Stichproben Eine der wichtigsten Anwendungen der in 1.6, 1.7 und 1.8 vorgestellten Verfahren besteht in dem Vergleich von verbundenen Stichproben (vorher - nachher Untersuchungen) Beispiel: Untersuchung der Einstellungen von 9 Jungen gegenüber neutralen Personen vor und nach einem Frustrationserlebnis (Sündenbockfunktion). 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse VPn 1 2 3 4 5 6 7 8 9 Einstell- vorher 38 32 33 28 29 37 35 35 34 ung nachher 33 28 34 26 27 31 32 36 30-5 -4 1-2 -2-6 -3 1-4 46 / 282

Prinzip: Differenzenbildung Prinzip: Falls kein Unterschied zwischen den Einstellungen vor und nach dem Frustrationserlebnis besteht sollten die Differenzen (nachher - vorher) klein sein. Durch Differenzenbildung (nachher - vorher) erhält man die Daten 1,..., 9 Rechtfertigung der Voraussetzungen für den t-test aus 1.8 für diese Daten. Wende den t-test für eine Stichprobe auf die Daten 1,..., 9 an und teste die Hypothesen 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse H 0 : µ = 0, H 1 : µ 0 Wegen T = 2.667 0.816 = 3.27 > 2.31 = t 8,0.975 besteht zum Niveau α = 0.05 ein signifikanter Unterschied. 47 / 282

SPSS-Output: t-test für gepaarte Stichproben Statistik bei gepaarten Stichproben Mittelwert N Standardabweichung Standardfehler des Mittelwertes Paaren 1 vorher nachher 33,44 30,78 9 9 3,358 3,346 1,119 1,115 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe Korrelationen bei gepaarten Stichproben N Korrelation Signifikanz Paaren 1 vorher & nachher 9,733,025 Test bei gepaarten Stichproben 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Gepaarte Differenzen Mittelwert Standardabweichung Standardfehler des Mittelwertes 95% Konfidenzintervall der Differenz Untere Obere Paaren 1 vorher - nachher 2,667 2,449,816,784 4,550 Test bei gepaarten Stichproben Sig. T df (2-seitig) Paaren 1 vorher - nachher 3,266 8,011 48 / 282

R-Output: t-test für gepaarte Stichproben Mittelwert Standardabweichung SA des Mittelwerts vorher 33.44444 3.35824 1.119413 nachher 30.77778 3.34581 1.115270 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe data : One Sample t- test Differenzen 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse t = 3.266, df = 8, p- value = 0.01142 alternative hypothesis : true mean is not equal to 0 95 percent confidence interval : 0.7838222 4.5495112 sample estimates : mean of x 2.666667 49 / 282

1.9 Bemerkungen (zu den statistischen Verfahren 1.2, 1.4, 1.6, 1.7, 1.8) Mathematische Statistik unter der Normalverteilungsannahme sind alle hier vorgestellten Verfahren optimal Die Normalverteilungsannahme kann (und sollte) man rechtfertigen. Mögliche Verfahren sind: statistische Tests für die Hypothese H 0 : Y 1,..., Y n normalverteilt 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse In SPSS üblich sind - Kolmogorov-Smirnov-Test - Shapiro-Wilk Test Explorative Verfahren. In SPSS üblich: QQ-Plot Besteht die Normalverteilungsannahme diese Überprüfung nicht, so sind z. B. nichtparametrische Verfahren anzuwenden. 50 / 282

SPSS Output: QQ-Plot für die Daten aus Beispiel 1.1 115 Q-Q-Diagramm von Normal von Intelligenzquotient 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Erwarteter Wert von Normal 110 105 100 95 95 100 105 110 115 Beobachteter Wert 51 / 282

R Output: QQ-Plot für die Daten aus Beispiel 1.1 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Erwarteter Wert 95 100 105 110 Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 100 105 110 Beobachteter Wert 52 / 282

Der QQ-Plot Unter der Modellannahme gilt: die Größen Y i sind normalverteilt mit Erwartungswert µ und Varianz σ 2 Der QQ-Plot vergleicht grafisch die empirischen Quantile der Daten y 1,..., y n mit den Quantilen der Normalverteilung mit Erwartungswert ˆµ und Varianz ˆσ 2. (1) 1/n-Quantil der Stichprobe y 1,... y n = kleinste der Beobachtungen y (1) (in Beispiel 1.1 ist y (1) = 97) (1 1/2)/n-Quantil der Normalverteilung mit Erwartungswert ˆµ und Varianz ˆσ 2 = (im Beispiel 1.1 ist z (1) = 104.1 1.64 5.32 = 95.37) 1 (2) 2/n-Quantil der Stichprobe y 1,..., y n = zweitkleinste der Beobachtungen y (2) (in Beispiel 1.1 ist y (2) = 98) (2 1/2)/n-Quantil der Normalverteilung mit Erwartungswert ˆµ und Varianz ˆσ 2 = (in Beispiel 1.1 ist z (2) = 104.1 1.04 5.32 = 98.57) (3) usw. Der QQ-Plot ist das Streudiagramm der Daten 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse (y (1), z (1) ),..., (y (n), z (n) ) In in vielen Fällen enthält dieses Diagramm noch die Winkelhalbierende des entsprechenden Quadranten. 1 http://www.wiso.uni-hamburg.de/uploads/media/normtab_01.pdf 53 / 282

1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 54 / 282

1.10 Beispiel: Erkennen von Zahlenreihen Studierende der Fachrichtungen Mathematik (M) und Psychologie (P) machen einen Zahlengedächtnistest 1.1 Schätzer und Konfidenzintervalle Wie viele Ziffern können sich maximal gemerkt werden Wiedergabe in Original und umgekehrter Reihenfolge 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Daten (P. Zöfel: Statistik für Psychologen) M 14 14 15 12 13 19 17 13 P 13 14 13 12 16 16 10 16 M 14 17 15 13 16 13 P Frage: Haben Studierende der Mathematik ein besseres Zahlengedächtnis als Studierende der Psychologie? 55 / 282

Mathematisches Modell (n 1 = 14, n 2 = 8) Y ij := µ i + ε ij ; j = 1,..., n i ; i = 1, 2 Y ij : Ergebnis der j-ten Versuchsperson in Gruppe i (Mathematik: i = 1, Psychologie i = 2) µ i : unbekannter Erwartungswert in der Population i (Mathematik: i = 1, Psychologie: i = 2) ε ij : Messfehler, Tagesform... 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse n i : Stichprobenumfang in Gruppe i Normalverteilungs- und Unabhängigkeitsannahme in jeder Gruppe (i = 1, 2) liegt eine Normalverteilung mit Erwartungswert µ i und Varianz σi 2 vor in jeder Gruppe sind die Beobachtungen unabhängig unabhängige Stichproben 56 / 282

Schätzer Schätzer werden wie in 1.2 für jede Gruppe durchgeführt Mathematiker (i = 1): ˆµ 1 = y 1 = 1 n1 n 1 j=1 y 1j = 14.64 ˆσ 2 1 = 1 n 1 1 n 1 j=1 (y 1j y 1 ) 2 = 3.94 ˆσ µ1 = Psychologen (i = 2): ˆµ 2 = y 2 = 1 n 2 n 2 y 2j = 13.75 ˆσ 2 2 = 1 n 2 1 n 2 j=1 j=1 (y 2j y 2 ) 2 = 4.79 ˆσ µ2 = ˆσ 2 1 n 1 = 0.53 ˆσ 2 2 n 2 = 0.77 Auch Konfidenzbereiche werden gruppenweise bestimmt z. B. ist unter Normalverteilungsannahme (ˆµ1 t n1 1,1 α 2 ˆσ µ 1, ˆµ 1 + t n1 1,1 α 2 ˆσ µ 1 ) 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse ein 90% Konfidenzintervall für µ 1. Für das spezielle Datenbeispiel ergibt sich [n 1 = 14, α = 10%, t 13,0.95 = 1.77 (aus Tabelle)] (13.70, 15.58) als 90% Konfidenzintervall für µ 1 57 / 282

SPSS-Output für die Daten aus Beispiel 1.10 Schätzer für die Parameter in den einzelnen Gruppen Gemerkte Zahlen Studienfach Mittelwert Varianz Mathematik 14,64 3,940 Psychologie 13,75 4,786 Insgesamt 14,32 4,227 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Beachte: SPSS liefert hier die Schätzer für Erwartungswert und Varianz der einzelnen Gruppen SPSS liefert außerdem Schätzer für Erwartungswert und Varianz der gesamten Stichprobe 58 / 282

R-Output für die Daten aus Beispiel 1.10 1.1 Schätzer und Konfidenzintervalle Schätzer für die Parameter in den einzelnen Gruppen Mittelwert Varianz Mathematik 14.64286 3.939560 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Psychologie 13.75000 4.785714 Insgesamt 14.31818 4.227273 59 / 282

Tests zum Vergleich der Erwartungswerte Nullhypothese: Zahlengedächtnis der Psychologiestudenten ist nicht schlechter als das der Mathematikstudenten H 0 : µ 1 µ 2 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Alternative: Zahlengedächtnis der Mathematikstudenten ist besser als das der Psychologiestudenten H 1 : µ 1 > µ 2 Rezept: Verwerfe die Nullhypothese H 0 zu Gunsten der Alternative H 1, falls die Differenz y 1 y 2 der Schätzer für die Erwartungswerte groß ist. 60 / 282

Rezept im Fall von Varianzhomogenität, d. h. (σ 2 1 = σ 2 2) Verwerfe H 0 zu Gunsten von H 1, falls y 1 y 2 groß ist. Normiere diese Größe mit einem Schätzer für die Standardfehler der Mittelwertdifferenz: ˆσµ1 µ 2 = ( 1 n 1 + 1 n 2 )ˆσ 2 ˆσ 2 1 = n 1 +n 2 2 {(n1 1)ˆσ2 1 + (n 2 1)ˆσ 2}: 2 Schätzer für Varianz (die in beiden Gruppen dieselbe ist) Entscheide für die Alternative H 1 : µ 1 > µ 2, falls 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse T n1,n 2 = y 1 y 2 ˆσ µ1 µ 2 > t n1+n 2 2,1 α gilt. Dabei ist t n1+n 2 2,1 α das (1 α)-quantil der t-verteilung mit n 1 + n 2 2 Freiheitsgraden Im Beispiel ergibt sich für einen Test zum Niveau α = 5% ˆσ 2 = 4.24, t 20,0.95 = 1.725 = T 14,8 = 0.979 d. h. die Hypothese H 0 kann nicht verworfen werden. 61 / 282

Testverfahren für die Erwartungswerte von zwei Stichproben unter Normalverteilungsannahme 1.11(a) Einseitiger t-test für zwei unabhängige Stichproben (rechtsseitige Hypothese) Daten y 11,..., y 1n1 (Gruppe 1; Erwartungswert µ 1 ; Varianz σ1 2) y 21,..., y 2n2 (Gruppe 2; Erwartungswert µ 2 ; Varianz σ2 2) Rechtfertigung der Voraussetzungen Unabhängigkeit in und zwischen den Gruppen Normalverteilungsannahme (in beiden Gruppen) Varianzhomogenität, d. h. σ 2 1 = σ 2 2 Die Hypothese H 0 : µ 1 µ 2 wird zu Gunsten der Alternative H 1 : µ 1 > µ 2 verworfen, falls 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse T n1,n 2 = y 1 y 2 > t n1+n ˆσ 2 2,1 α µ1 µ 2 gilt, bzw. der p-wert < α ist. ˆσ µ1 µ 2 = ( 1 n 1 + 1 n 2 )ˆσ 2 ist der Schätzer für den Standardfehler der Mittelwertdifferenz. 62 / 282

1.11(b) Einseitiger t-test für zwei unabhängige Stichproben (linksseitige Hypothese) Daten y 11,..., y 1n1 (Gruppe 1; Erwartungswert µ 1 ; Varianz σ1 2) y 21,..., y 2n2 (Gruppe 2; Erwartungswert µ 2 ; Varianz σ2 2) Rechtfertigung der Voraussetzungen Unabhängigkeit in und zwischen den Gruppen Normalverteilungsannahme (in beiden Gruppen) Varianzhomogenität, d. h. σ 2 1 = σ 2 2 Die Hypothese H 0 : µ 1 µ 2 wird zu Gunsten der Alternative H 1 : µ 1 < µ 2 verworfen, falls 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse T n1,n 2 = y 1 y 2 < t n1+n ˆσ 2 2,1 α = t n1+n 2 2,α µ1 µ 2 gilt, bzw. der p-wert < α ist. ˆσ µ1 µ 2 = ( 1 n 1 + 1 n 2 )ˆσ 2 ist der Schätzer für den Standardfehler der Mittelwertdifferenz. 63 / 282

1.11(c) t-test für zwei unabhängige Stichproben (zweiseitige Hypothesen) Daten y 11,..., y 1n1 (Gruppe 1; Erwartungswert µ 1 ; Varianz σ1 2) y 21,..., y 2n2 (Gruppe 2; Erwartungswert µ 2 ; Varianz σ2 2) Rechtfertigung der Voraussetzungen Unabhängigkeit in und zwischen den Gruppen Normalverteilungsannahme (in beiden Gruppen) Varianzhomogenität, d. h. σ 2 1 = σ 2 2 Die Nullhypothese H 0 : µ 1 = µ 2 (kein Unterschied der Erwartungswerte in beiden Gruppen) wird zu Gunsten der Alternative H 1 : µ 1 µ 2 verworfen, falls 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse T n1,n 2 = y 1 y 2 ˆσ µ1 µ 2 > t n1+n 2 2,1 α 2 gilt, bzw. der p-wert < α ist. ˆσ µ1 µ 2 = ( 1 n 1 + 1 n 2 )ˆσ 2 ist der Schätzer für den Standardfehler der Mittelwertdifferenz. 64 / 282

Bemerkung zur Varianzhomogenität Ist die Annahme der Varianzhomogenität nicht erfüllt, so σ 2 1 = σ 2 2 wird die vorgegebene Wahrscheinlichkeit für einen α-fehler nicht eingehalten (der Test hält sein Niveau nicht) 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse ist die Wahrscheinlichkeit für einen β-fehler größer von Interesse ist daher auch ein Test für die Hypothesen H 0 : σ 2 1 = σ 2 2 H 1 : σ 2 1 σ 2 2 und ein Verfahren, das ohne die Annahme der Varianzhomogenität auskommt. 65 / 282

Rezept (für Test auf Varianzhomogenität) Die Nullhypothese H 0 : σ1 2 = σ2 2 gilt genau dann, wenn F = σ2 1 σ 2 2 = 1 Schätze den Quotienten der beiden Varianzen, durch F n1 1,n 2 1 = ˆσ2 1 ˆσ 2 2 = 1 n1 n 1 1 1 n 2 1 j=1 (y 1j y 1 ) 2 n2 j=1 (y 2j y 2 ) 2 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Die Nullhypothese H 0 wird zu Gunsten der Alternative H 1 : σ1 2 σ2 2 verworfen, falls gilt F n1 1,n 2 1 > c 2 oder F n1 1,n 2 1 < c 1 Die kritischen Werte c 1 und c 2 werden so festgelegt, dass die Wahrscheinlichkeit für einen Fehler erster Art maximal α ist! 66 / 282

1.12 F -Test für den Vergleich von zwei Stichprobenvarianzen Teststatistik Die Nullhypothese F n1 1,n 2 1 = ˆσ2 1 ˆσ 2 2 H 0 : σ 2 1 = σ 2 2 (die Varianzen sind gleich) wird zu Gunsten der Alternative H 1 : σ 2 1 σ 2 2 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse verworfen, falls mindestens eine der Ungleichungen F n1 1,n 2 1 < F n1 1,n 2 1, α 2 erfüllt ist F n1 1,n 2 1 > F n1 1,n 2 1,1 α 2 F n1 1,n 2 1,β bezeichnet das β-quantil der F -Verteilung mit (n 1 1, n 2 1) Freiheitsgraden 67 / 282

Verschiedene F -Verteilungen Dichten der F Verteilung mit verschiedenen Freiheitsgraden 0.0 0.2 0.4 0.6 0.8 1.0 F 2, 10 F 4, 4 F 10, 1 F 20, 20 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 0 1 2 3 4 5 f m,n (x) = m+n Γ( 2 ) ( m ) m 2 x m 2 1 Γ( m 2 )Γ( n 2 ) 2 (1 + m m+n n x) 2 (x 0) 68 / 282

Das Quantil der F -Verteilung mit (n 1, n 2 ) Freiheitsgraden Dichte der F4, 4 -Verteilung 1.1 Schätzer und Konfidenzintervalle 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.9 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse F 4, 4; 0.9 = 4.107 0 1 2 3 4 5 P(F 4,4, F 4,4,0.9 ) = F4,4,0.9 f m,n (x) dx = 0.90 69 / 282

Der F -Test auf Varianzhomogenität für die Daten aus Beispiel 1.10 (n 1 = 14, n 2 = 8) ˆσ 2 1 = 3.94 ˆσ2 2 = 4.79 F 13,7 = 0.823 Für das Niveau α = 10% erhält man F 13,7,0.05 = 0.3531 F 13,7,0.95 = 3.5503 und damit kann die Nullhypothese zum Niveau 10% nicht verworfen werden 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Beachte: Oft wird der Test 1.12 verwendet, um die Voraussetzungen für den t-test zu überprüfen In diesem Fall wählt man oft ein größeres Niveau ( kleinere Wahrscheinlichkeit für β-fehler) Der Gesamttest (erst F -Test, falls H0 nicht verworfen wird, dann t-test) hat nicht das Niveau α. Was macht man, falls F -Test H 0 verwirft? 70 / 282

1.13(a) t-test für zwei unabhängige Stichproben mit nicht notwendig gleichen Varianzen (Welch-Test) Daten y 11,..., y 1n1 (Gruppe 1; Erwartungswert µ 1 ; Varianz σ1 2) y 21,..., y 2n2 (Gruppe 2; Erwartungswert µ 2 ; Varianz σ2 2) Rechtfertigung der Voraussetzungen Unabhängigkeit in und zwischen den Gruppen Normalverteilungsannahme (in beiden Gruppen) Varianzen in den Gruppen sind nicht notwendig gleich Teststatistik Dabei ist T W n 1,n 2 = y 1 y 2 ˆτ ˆτ = ˆτ 2 = ˆσ 2 1 n 1 + ˆσ2 2 n 2 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse die Schätzung für den Standardfehler von y 1 y 2 71 / 282

1.13(b) t-test für zwei unabhängige Stichproben mit nicht notwendig gleichen Varianzen (Welch-Test) Die Nullhypothese H 0 : µ 1 µ 2 (Erwartungswert der ersten Population nicht größer als der der Zweiten) wird zu Gunsten der Alternative 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse falls H 1 : µ 1 > µ 2 Tn W 1,n 2 > tˆf,1 α gilt, bzw. der p-wert < α ist. Dabei bezeichnet ˆf = (ˆσ2 µ 1 + ˆσ 2 µ 2 ) 2 ˆσ 4 µ 1 n 1 1 + ˆσ4 µ 2 n 2 1 die geschätzten Freiheitsgrade der t-verteilung. 72 / 282

1.13(c) t-test für zwei unabhängige Stichproben mit nicht notwendig gleichen Varianzen (Welch-Test) Die Nullhypothese H 0 : µ 1 µ 2 (Erwartungswert der ersten Population nicht kleiner als der der Zweiten) wird zu Gunsten der Alternative 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme verworfen, falls H 1 : µ 1 < µ 2 1.4 Einfaktorielle Varianzanalyse T W n 1,n 2 < tˆf,α = tˆf,1 α gilt, bzw. der p-wert < α ist. Dabei bezeichnet ˆf = (ˆσ2 µ 1 + ˆσ 2 µ 2 ) 2 ˆσ 4 µ 1 n 1 1 + ˆσ4 µ 2 n 2 1 die geschätzten Freiheitsgrade der t-verteilung. 73 / 282

1.13(d) t-test für zwei unabhängige Stichproben mit nicht notwendig gleichen Varianzen (Welch-Test) Die Nullhypothese H 0 : µ 1 = µ 2 (kein Unterschied der Erwartungswerte in beiden Gruppen) wird zu Gunsten der Alternative H 1 : µ 1 µ 2 (es besteht ein Unterschied) verworfen, falls 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse T W n 1,n 2 > tˆf,1 α 2 gilt, bzw. der p-wert < α ist. Dabei bezeichnet ˆf = (ˆσ2 µ 1 + ˆσ 2 µ 2 ) 2 ˆσ 4 µ 1 n 1 1 + ˆσ4 µ 2 n 2 1 die geschätzten Freiheitsgrade der t-verteilung. 74 / 282

Bemerkung: t-test oder Welch-Test? Sind die Voraussetzungen für den t-test erfüllt (Normalverteilung, Unabhängigkeit, Varianzhomogenität), so ist dieses Verfahren optimal, d. h. dieser Test minimiert unter allen Tests zum Niveau α die Wahrscheinlichkeit für einen β-fehler. Ist die Voraussetzungen der Varianzhomogenität beim t-test nicht erfüllt, so wird die vorgegebene Wahrscheinlichkeit für einen α-fehler nicht eingehalten. 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Der Welch-Test ist eine Näherungslösung, d. h. die Wahrscheinlichkeit für einen α-fehler ist nur näherungsweise α. Der Welch-Test hat im Fall der Varianzhomogenität eine größere Wahrscheinlichkeit für einen β-fehler als der t-test. 75 / 282

SPSS-Output für die Daten aus Beispiel 1.10 Test bei unabhängigen Stichproben Levene-Test der Varianzgleichheit T-Test für die Mittelwertgleichheit Gemerkte Zahlen Gemerkte Zahlen Varianzen sind gleich Varianzen sind nicht gleich Varianzen sind gleich Varianzen sind nicht gleich F,103 Signifikanz,752 T,979,952 Test bei unabhängigen Stichproben Mittlere Differenz,893,893 Standardfehler der Differenz df 20 13,523 Sig. (2-seitig),339,358 T-Test für die Mittelwertgleichheit 95% Konfidenzintervall der Differenz,912,938 Untere -1,010-1,125 Obere 2,796 2,911 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Beachte: SPSS liefert nicht den in 1.12 dargestellten F -Test auf Varianzhomogenität sondern ein robustes Verfahren (Levene-Test) SPSS liefert nur einen p-wert für den zweiseitigen t-test aus Beispiel 1.11(c) bzw. zweiseitigen Welch-Test aus Beispiel 1.13(d) SPSS liefert ein Konfidenzintervall für die Differenz µ 1 µ 2 = 95% Konfidenzintervall für die Differenz der Erwartungswerte (unter der Annahme gleicher Varianzen) ( 1.01, 2.796) 76 / 282

R-Output für die Daten aus Beispiel 1.10 Levene s Test for Homogeneity of Variance ( center = mean ) Df F value Pr(>F) group 1 0.103 0.7516 20 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Two Sample t- test data : values by ind t = 0.9789, df = 20, p- value = 0.3393 alternative hypothesis : true difference in means is not equal to 0 95 percent confidence interval : -1.009852 2.795566 sample estimates : mean in group M mean in group P 14.64286 13.75000 77 / 282

1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 1.4 Einfaktorielle Varianzanalyse 78 / 282

1.14 Beispiel: Fortsetzung von Beispiel 1.10 An dem Zahlengedächtnistest (vgl. Beispiel 1.10) nehmen auch noch 7 Studierende der Geisteswissenschaften (G) teil. M 14 14 15 12 13 19 17 13 P 13 14 13 12 16 16 10 16 G 11 13 13 10 13 12 13 - M 14 17 15 13 16 13 - - P - - - - - - - - G - - - - - - - - 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Frage: Existieren Unterschiede hinsichtlich des Zahlengedächtnisses zwischen dem Studierenden der Psychologie, Mathematik und Geisteswissenschaften? 79 / 282

Mathematisches Modell (n 1 = 14, n 2 = 8, n 3 = 7) Y ij := µ i + ε ij ; j = 1,..., n i ; i = 1, 2, 3 Y ij : Ergebnis der j-ten Versuchsperson in Gruppe i (Mathematik: i = 1, Psychologie: i = 2, Geisteswissenschaften: i = 3) µ i : unbekannter Erwartungswert in der Population i (Mathematik: i = 1, Psychologie: i = 2, Geisteswissenschaften: i = 3) ε ij : Störgrößen (Erwartungswert 0 und Varianz σ 2 ) 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Normalverteilungs und Unabhängigkeitsannahme in jeder Gruppe (i = 1, 2, 3) liegt eine Normalverteilung mit Erwartungswert µ i vor in jeder Gruppe sind die Beobachtungen unabhängig unabhängige Stichproben Nullhypothese H 0 : µ 1 = µ 2 = µ 3 80 / 282

Schätzer und Konfidenzbereiche Schätzer für Erwartungswert und Varianz werden in den einzelnen Gruppen durchgeführt Beispiel: y i ˆσ i 2 ˆσ µi n i Mathematik (i = 1) 14.64 3.94 0.53 14 Psychologie (i = 2) 13.75 4.79 0.60 8 Geisteswissenschaften (i = 3) 12.14 1.48 0.46 7 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse ˆµ 1 = 14.64 ist Schätzer für den Erwartungswert der Mathematiker Beachte: t 6,0.95 = 1.943, ˆµ 3 + ˆσ µ3 t 6,0.95 = 13.03 ˆµ 3 ˆσ µ3 t 6,0.95 = 11.25, also ist das Intervall [11.25, 13.03] ein 90% Konfidenzintervall für den Erwartungswert der Geisteswissenschaftler 81 / 282

SPSS-Output Gemerkte Zahlen Studienfach Mittelwert Varianz Standardfehler des Mittelwertes N Mathematik 14,64 3,940,530 14 Psychologie 13,75 4,786,773 8 Geisteswissenschaften 12,14 1,476,459 7 Insgesamt 13,79 4,384,389 29 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 82 / 282

R-Output 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe Mittelwert Varianz SF des Mittelwerts N Mathematik 14.64286 3.939560 0.5304688 14 Psychologie 13.75000 4.785714 0.7734431 8 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Geisteswissenschaften 12.14286 1.476190 0.4592215 7 Insgesamt 13.79310 4.384236 0.3888195 29 83 / 282

Prinzip der Varianzanalyse Ziel: Test für die Hypothese es bestehen keine Unterschiede zwischen den Gruppen H 0 : µ 1 = µ 2 = µ 3 Idee: Bestimme die Streuung der Daten: Mittelwert aus allen Daten: y = 1 n n 3 i wobei n = n 1 + n 2 + n 3 = 29 die Gesamtzahl der Beobachtungen bezeichnet. Varianz (n = n1 + n 2 + n 3) i=1 j=1 y ij 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 1 n 1 n 3 i (y ij y ) 2 i=1 und versuche Unterschiede in der Merkfähigkeit aufgrund der Gruppenzugehörigkeit durch eine Zerlegung der Streuung bzgl. der Gruppen zu erklären! j=1 84 / 282

Prinzip der Varianzanalyse Zerlegung der Summe der Quadrate Häufig verwendete Abkürzungen: SS Sum of squares; SAQ Summe der Abweichungsquadrate Summe der Quadrate innerhalb der Gruppen (within groups) und SS R = n 3 i (y ij y i ) 2 i=1 y i = 1 n i j=1 n i y ij den Mittelwert aus den Beobachtungen der Gruppe i bezeichnet. Summe der Quadrate zwischen den Gruppen (between groups) j=1 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse SS M = 3 n i(y i y ) 2 i=1 85 / 282

Prinzip der Varianzanalyse Zerlege die Summe der Quadrate in eine durch das Modell erklärte Summe (Varianz zwischen den Gruppen) und eine Summe von Quadraten der nicht erklärten Varianz (Varianz innerhalb der Gruppen) SS T = = 3 n i (y ij y ) 2 i=1 j=1 }{{} Gesamtvarianz (Total) 3 n i i=1 j=1 (y ij y i ) 2 }{{} Gesamtvarianz innerhalb der Gruppen + 3 n i (y i y ) 2 i=1 }{{} Varianz zwischen den Gruppen 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 86 / 282

F -Test für die Hypothese H 0 : µ 1 = µ 2 = µ 3 (gleiche Erwartungswerte in den drei Gruppen) Vergleiche die Varianz zwischen den Gruppen mit der Varianz innerhalb der Gruppen F = 1 3 1 1 3 29 3 i=1 3 i=1 n i(y i y ) 2 ni j=1 (y ij y i ) 2 Falls F groß ist, wird die Nullhypothese H 0 abgelehnt. Mathematische Statistik Test zum Niveau α verwirft die Nullhypothese H 0, falls 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse F > F 2,26,1 α gilt (Vergleich mit dem (1 α)-quantil der F -Verteilung mit (2, 26) Freiheitsgraden), bzw. falls der zugehörige p-wert des Tests kleiner als α ist. 87 / 282

Beispiel 1.15 (Fortsetzung von Beispiel 1.14) Frage: besteht ein Unterschied zwischen den Studierenden der Fächer Psychologie, Mathematik und Geisteswissenschaften bzgl. des Zahlengedächtnisses Genauer: Besteht ein Unterschied zwischen den Erwartungswerten der drei Gruppen: H 0 : µ 1 = µ 2 = µ 3 n 1 = 14, n 2 = 8, n 3 = 7; α = 5% F 2,26,0.95 = 3.37 ˆF = SS M/2 SS R /26 = 14.6 = 4.06 > 3.37 3.6 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse D. h. die Hypothese: H 0 : µ 1 = µ 2 = µ 3 wird zum Niveau 5% abgelehnt. In anderen Worten: zwischen den Studierenden der verschiedenen Fächer besteht ein Unterschied Beachte: In vielen Fällen ist man an der Frage interessiert, zwischen welchen Gruppen ein Unterschied besteht. Diese Frage beantwortet der F -Test nicht! 88 / 282

F -Verteilung Dichte 0.0 0.2 0.4 0.6 0.8 1.0 Dichte der F 2,26 Verteilung F 2,26,0.95 = 3.37 F^ = 4.06 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 0 1 2 3 4 5 http://eswf.uni-koeln.de/glossar/surfstat/fvert.htm x 89 / 282

F -Verteilung Dichte der F 2,26 Verteilung (Zoom) Dichte 0.00 0.05 0.10 0.15 α = 5% p Wert 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse F 2,26,0.95 = 3.37 F^ = 4.06 2.5 3.0 3.5 4.0 4.5 5.0 x Blaue Fläche: Niveau des Tests Rote Fläche: p-wert (Wahrscheinlichkeit, dass ein Wert größer als ˆF = 4.06 beobachtet wird) 90 / 282

Varianzanalysetabelle (k bezeichnet die Anzahl der Gruppen) Variabilität Sum of Squares df SS/df F zwischen SS M k 1 SS M /(k 1) innerhalb SS R n k SS R /(n k) gesamt SS T n 1 SS T /(n 1) SS M k 1 / SS R n k 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Beispiel (Zahlengedächtnis) Variabilität Sum of Squares df SS/df F zwischen 29.2 2 14.6 4.06 innerhalb 93.6 26 3.6 gesamt 122.8 28 91 / 282

SPSS-Output 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe Gemerkte Zahlen Quadratsumme df Zwischen den Gruppen Innerhalb der Gruppen Gesamt 29,187 93,571 122,759 2 26 28 Mittel der Quadrate 14,594 3,599 F 4,055 Signifikanz,029 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 92 / 282

R-Output 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe Df Sum Sq Mean Sq F value Pr(>F) ind 2 29.19 14.594 4.055 0.0293 * Residuals 26 93.57 3.599 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse --- Signif. codes : 0 *** 0.001 ** 0.01 * 0.05. 0.1 1 93 / 282

Beispiel 1.16 (Fortsetzung von Beispiel 1.15) Bei signifikantem Ergebnis der Varianzanalyse (d. h. die Hypothese gleicher Erwartungswerte wird abgelehnt) stellt sich die Frage: Welche Gruppe ist maßgeblich für die Signifikanz verantwortlich? Lösungsvorschlag: paarweise Vergleiche! Gruppe 1 - Gruppe 2; H 12 : µ 1 = µ 2 Gruppe 1 - Gruppe 3; H 13 : µ 1 = µ 3 Gruppe 2 - Gruppe 3; H 23 : µ 2 = µ 3 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Jeder Vergleich wird mit dem Zwei-Stichproben-t-Test (vgl. 1.11(b)) durchgeführt. Dabei ist zu beachten, dass das Gesamtverfahren: Verwerfe die Hypothese H 0 : µ 1 = µ 2 = µ 3, falls mindestens ein Paarvergleich signifikant ist das Niveau α einhält. Die t-tests für die paarweisen Vergleiche sind mit Niveau α/3 durchzuführen. Man dividiert durch 3, da 3 paarweise Vergleiche durchgeführt werden (Bonferroni-Methode) 94 / 282

Paarweise Vergleiche (α = 5%): Zwei-Stichproben t-test-statistik für den Vergleich von Gruppe i mit Gruppe j: T i,j = Y i Y j ˆσ ij ( 1 ˆσ ij 2 = + 1 )( 1 ) n i n j n i + n j 2 {(n i 1)ˆσ i 2 + (n j 1)ˆσ j 2 } i j T i,j n i n j t ni +n j 2,1 α /2 p-wert signifikant 1 2 0.98 14 8 2.61 0.339 nein 1 3 3.04 14 7 2.62 0.007 ja 2 3 1.72 8 7 2.74 0.109 nein Beachte: Die paarweisen Vergleiche werden zum Niveau α = α/3 = 5%/3 = 0.0167 durchgeführt ( 3 Vergleiche). Mit dieser Methode kann man zum Niveau 5% einen signifikanten Unterschied zwischen den Gruppen feststellen. Bonferroni-Methode ist konservativ (d. h. das wirkliche Niveau des Verfahrens wird unterschätzt). Ist die Anzahl der Paarvergleiche groß, so ist dieses Verfahren nicht zu empfehlen. 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 95 / 282

Post-Hoc-Test Bonferroni in SPSS Verwendet andere Schätzung für den Standardfehler der Differenz der Mittelwerte aus Gruppe i und j: ( 1 σ ij 2 = + 1 ) ( ) 1 3 (n k 1)ˆσ k 2 n i n j n 3 An Stelle der Quantile der t-verteilung mit n i + n j 2 Freiheitsgraden müssen dann die Quantile der t-verteilung mit n 3 Freiheitsgraden verwendet werden (n = n 1 + n 2 + n 3 ) k=1 Das Niveau für die Paarvergleiche muss dann wieder durch die Anzahl der Vergleiche dividiert werden (im Beispiel α/3) Adjustierung der p-werte erfolgt durch Multiplikation der p-werte aus den Paarvergleichen mit der Anzahl der Vergleiche. Z. B. 0.894 = 3 P( T 12 > 0.893/0.841) Dabei berechnet sich die Wahrscheinlichkeit mit einer t-verteilung mit 26 = 29 3 Freiheitsgraden. 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 96 / 282

SPSS-Output paarweise Vergleiche mit der Bonferroni-Methode Mehrfachvergleiche Gemerkte Zahlen Bonferroni 95%-Konfidenzintervall (I) Studienfach (J) Studienfach Mittlere Differenz (I-J) Standardfehler Signifikanz Untergrenze Obergrenze Mathematik Psychologie,893,841,894-1,26 3,04 Geisteswissenschaften 2,500 *,878,026,25 4,75 Psychologie Mathematik -,893,841,894-3,04 1,26 Geisteswissenschaften 1,607,982,341 -,91 4,12 Geisteswissenschaften Mathematik -2,500 *,878,026-4,75 -,25 Psychologie -1,607,982,341-4,12,91 *. Die Differenz der Mittelwerte ist auf dem Niveau 0.05 signifikant. 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 97 / 282

R-Output paarweise Vergleiche mit der Bonferroni-Methode 1.1 Schätzer und Konfidenzintervalle Pairwise comparisons using t tests with pooled SD 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse data : MPG and group 1 2 2 0.894-3 0.026 0.341 P value adjustment method : bonferroni 98 / 282

Scheffé-Methode (α = 5%) Für den Vergleich der Gruppe i mit j betrachte: 3 1 d s (i, j) = 29 3 SS R F 2,26,0.95 ( 1 + 1 ) n i n j 2 = 26 93.6 3.37( 1 + 1 1 ) = 4.93 + 1 n i n j n i n j 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse und vergleiche diese Größe mit Mittelwertdifferenz y i y j Ergebnis (Niveau 5%) i j y i y j d s (i, j) Ergebnis 1 2 0.89 2.18 kein sign. Unterschied 1 3 2.5 2.28 y 1 sign. größer als y 3 2 3 1.61 2.55 kein sign. Unterschied 99 / 282

Einige Bemerkungen zur Scheffé-Methode: Die Scheffé-Methode garantiert, dass die Wahrscheinlichkeit eines α-fehlers für jeden beliebigen a-posteriori durchgeführten Einzelvergleichstests nicht größer ist als der α-fehler des F -Tests Kurz: Die Signifikanzaussagen gelten simultan für ALLE Paarvergleiche mit dem Gesamtniveau α 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Die Scheffé-Methode ist ein konservatives Verfahren Die Wahrscheinlichkeit eines α-fehlers ist eher kleiner als das vorgegebene Niveau Man entscheidet tendenziell eher zu oft für H0 100 / 282

SPSS-Output paarweise Vergleiche mit der Scheffé-Methode Mehrfachvergleiche Gemerkte Zahlen Scheffé-Prozedur 95%-Konfidenzintervall (I) Studienfach (J) Studienfach Mittlere Differenz (I-J) Standardfehler Signifikanz Untergrenze Obergrenze Mathematik Psychologie,893,841,576-1,29 3,08 Geisteswissenschaften 2,500 *,878,029,22 4,78 Psychologie Mathematik -,893,841,576-3,08 1,29 Geisteswissenschaften 1,607,982,279 -,94 4,16 Geisteswissenschaften Mathematik -2,500 *,878,029-4,78 -,22 Psychologie -1,607,982,279-4,16,94 *. Die Differenz der Mittelwerte ist auf dem Niveau 0.05 signifikant. 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse 101 / 282

R-Output paarweise Vergleiche mit der Scheffé-Methode Scheffe Test for values 1.1 Schätzer und Konfidenzintervalle Mean Square Error : 3.598901 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme ind, means 1.4 Einfaktorielle Varianzanalyse values std r Min Max G 12.14286 1.214986 7 10 13 M 14.64286 1.984833 14 12 19 P 13.75000 2.187628 8 10 16 alpha : 0.05 ; Df Error : 26 Critical Value of F: 3.369016 102 / 282

1.17 Einfaktorielle Varianzanalyse (zum Vergleich von k unabhängigen Stichproben) Modellannahmen und Hypothese Daten (n = k i=1 n i) y 11,..., y 1n1 (Gruppe 1, Erwartungswert µ 1 ; Varianz σ 2 1 )... y k1,..., y knk (Gruppe k, Erwartungswert µ k ; Varianz σk 2) 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Nullhypothese: es besteht kein Unterschied zwischen den Erwartungswerten der einzelnen Gruppen: H 0 : µ 1 = µ 2 =... = µ k Rechtfertigung der Voraussetzungen Unabhängigkeit zwischen den Gruppen Unabhängigkeit innerhalb der Gruppen Normalverteilungsannahme Varianzhomogenität: σ 2 1 = σ 2 2 =... = σ 2 k 103 / 282

F-Test für die einfaktorielle Varianzanalyse (zum Vergleich von k unabhängigen Stichproben) Die Hypothese H 0 : µ 1 = µ 2 =... = µ k gleicher Erwartungswert in allen Gruppen wird verworfen, falls Dabei ist: F = 1 k 1 SS M 1 n k SS R SS M = > F k 1,n k,1 α k n i (y i y ) 2 i=1 (sum of squares between groups) 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse SS R = k n i (y ij y i ) 2 i=1 j=1 (sum of squares within groups) und F k 1,n k,1 α das (1 α)-quantil der F -Verteilung mit (k 1, n k) Freiheitsgraden 104 / 282

1.18 Paarweise Vergleich mit der Scheffé-Methode (Notation wie in 1.15) Wird die Nullhypothese H 0 : µ 1 = µ 2 =... = µ k abgelehnt, so kann mit der Scheffé-Methode festgestellt werden welche Gruppen für die Signifikanz verantwortlich sind! dazu bestimmt man die Größen (n = k i=1 n i) k 1 d s (i, j) = n k SS R F k 1,n k,1 α ( 1 + 1 ) n i n j Ist y i y j größer (bzw. kleiner) als d s (i, j) (bzw. als d s (i, j)) so ist y i signifikant größer (bzw. kleiner) als y j Beachte: insgesamt k(k 1) Vergleiche 2 die Scheffé-Methode hält simultan das Niveau α es ist möglich, das F -Test H0 ablehnt, aber keiner der paarweisen Vergleiche signifikant ist! 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Andere Verfahren (z. B. in SPSS implementiert): Tukey-Methode, Duncan Test 105 / 282

1.19 Levene-Test auf Varianzhomogenität von k unabhängigen Stichproben Modellannahmen und Hypothese Daten (n = k i=1 n i) y 11,..., y 1n1 (Gruppe 1, Erwartungswert µ 1 ; Varianz σ 2 1 )... y k1,..., y knk (Gruppe k, Erwartungswert µ k ; Varianz σk 2) 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Nullhypothese: es liegt Varianzhomogenität vor, d. h. H 0 : σ1 2 = σ2 2 =... = σk 2 Rechtfertigung der Voraussetzungen Unabhängigkeit zwischen den Gruppen Unabhängigkeit innerhalb der Gruppen Normalverteilungsannahme 106 / 282

Levene-Test auf Varianzhomogenität von k unabhängigen Stichproben Die Hypothese der Varianzhomogenität wird verworfen, falls F = 1 k 1 1 k n k i=1 H 0 : σ 2 1 = σ 2 2 =... = σ 2 k k i=1 n i(x i x ) 2 ni j=1 (x ij x i ) 2 > F k 1,n k,1 α Dabei ist: n = n1 +... + n k der Gesamtstichprobenumfang x i = 1 ni xij, x n i j=1 = 1 k ni n i=1 j=1 xij xij = y ij y i Fk 1,n k,1 α das (1 α)-quantil der F -Verteilung mit (k 1, n k) Freiheitsgraden. Beachte: Der Test ist robust bzgl. der Normalverteilungsannahme. Der Test hält nur näherungsweise das Niveau α. 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Alternativer Test: Bartlett Test 107 / 282

SPSS-Output Gemerkte Zahlen 1.3 Zweistichprobenprobleme Levene- Statistik 1,214 df1 2 df2 26 Test der Homogenität der Varianzen Signifikanz,313 ONEWAY ANOVA 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.4 Einfaktorielle Varianzanalyse Gemerkte Zahlen Quadratsumme df Zwischen den Gruppen Innerhalb der Gruppen Gesamt 29,187 93,571 122,759 2 26 28 Mittel der Quadrate 14,594 3,599 F 4,055 Signifikanz,029 108 / 282

R-Output Levene s Test for Homogeneity of Variance ( center = mean ) Df F value Pr(>F) group 2 1.2137 0.3134 26 1.1 Schätzer und Konfidenzintervalle 1.2 t-test für eine Stichprobe 1.3 Zweistichprobenprobleme 1.4 Einfaktorielle Varianzanalyse Df Sum Sq Mean Sq F value Pr(>F) ind 2 29.19 14.594 4.055 0.0293 * Residuals 26 93.57 3.599 --- Signif. codes : 0 *** 0.001 ** 0.01 * 0.05. 0.1 1 109 / 282

multiple 2.2 Lineare 2.3 Multiple 2.2 Lineare 110 / 282

2.2 Lineare 111 / 282

2.1 Beispiel: Arbeitsmotivation Untersuchung zur Motivation am Arbeitsplatz in einem Chemie-Konzern 25 Personen werden zufällig ausgewählt und verschiedene Variablen gemessen. y: Motivation (Einschätzung durch Experten) x: Leistungsstreben (Fragebogen) Frage: Besteht ein Zusammenhang zwischen der Variablen Motivation und der Variablen Leistungsstreben Beachte: Es werden auch noch weitere Variablen gemessen (Ehrgeiz, Kreativität, Hierarchie, Lohn, Arbeitsbedingungen, Lernpotential, Vielfalt, Anspruch) 2.2 Lineare 112 / 282

Daten x 20 30 15 39 5 6 12 0 35 y 32 14 12 27 20 13 17 8 22 x 8 34 26 32 26 12 36 27 26 y 19 25 23 17 22 19 27 26 20 x 13 19 25 30 18 21 11 y 11 24 19 19 22 24 17 2.2 Lineare 113 / 282

2.2 Der Korrelationskoeffizient von Pearson Daten (x 1, y 1 ),..., (x n, y n ) Maß für die (lineare) Abhängigkeit zwischen x und y: Korrelationskoeffizient von Pearson n r = r X,Y = s2 x,y i=1 = (x i x )(y i y ) s x,x s n y,y i=1 (x i x ) 2 n i=1 (y i y ) 2 Dabei ist: x = 1 n xi : Mittelwert der Daten xi n i=1 y = 1 n yi : Mittelwert der Daten yi n i=1 2.2 Lineare s 2 x,x = 1 n 1 n i=1 (xi x )2 : Varianz der Daten x i s 2 y,y = 1 n 1 n i=1 (yi y )2 : Varianz der Daten y i s 2 x,y = 1 n 1 n i=1 (xi x )(yi y ) : Kovarianz zwischen den Daten x i, y i 114 / 282

2.3 Eigenschaften des Korrelationskoeffizienten (1) 1 r 1 (2) r = 1 genau dann, wenn ein exakter linearer Zusammenhang y i = b 0 + b 1 x i mit b 1 > 0 besteht (ohne Störgrößen). (3) r = 1 genau dann, wenn ein exakter linearer Zusammenhang y i = b 0 + b 1 x i mit b 1 < 0 besteht (ohne Störgrößen). (4) Der Korrelationskoeffizient ist invariant bzgl. linearer Transformationen, d. h. } x i = a 0 + a 1 x i i = 1,..., n r ỹ i = c 0 + c 1 y i i = 1,..., n X,Ỹ = r X,Y 2.2 Lineare (5) Der Korrelationskoeffizient von Pearson ist ein deskriptives Maß für den linearen Zusammenhang in der Stichprobe (x 1, y 1 ),..., (x n, y n ) 115 / 282

2.4 Beispiel: Korrelationskoeffizient für die Daten aus Beispiel 2.1 Variablen x: Leistungsstreben y: Motivation Korrelationskoeffizient von Pearson r = 0.5592 Fragen: Wie genau ist diese Schätzung? Ist die Korrelation von 0 verschieden (Unkorreliertheit zwischen den Merkmalen Leistungsstreben und Motivation)? 2.2 Lineare 116 / 282

2.5 Signifikanztest für Korrelation (x 1, y 1 ),..., (x n, y n ) ist eine Stichprobe (unabhängige Beobachtungen) aus einer (bivariat) normalverteilten Grundgesamtheit ρ bezeichne die Korrelation des Merkmals X mit dem Merkmal Y einer Population; fünfter Modellparameter neben µ x, µ y, σ 2 x und σ 2 y. Ein Test zum Niveau α für die Hypothese die Merkmale sind unkorreliert H 0 : ρ = 0 lehnt die Nullhypothese zu Gunsten der Alternative H 1 : ρ 0 ab, falls n 2 r > t n 2,1 α 1 r 2 2 2.2 Lineare gilt. 117 / 282

2.6(a) Beispiel: Arbeitsmotivation (Fortsetzung von Beispiel 2.1) n = 25; r = 0.5592; t 23,0.975 = 2.0687 n 2 r = 3.2355 > 2.0687 1 r 2 Die Nullhypothese H 0 : ρ = 0 (keine Korrelation zwischen den Merkmalen) wird zum Niveau 5% verworfen. 2.2 Lineare p-wert: 0.0037 118 / 282

SPSS Output für Korrelationskoeffizient Motivation Leistungsstreben Korrelation nach Pearson Signifikanz (2-seitig) N Korrelation nach Pearson Signifikanz (2-seitig) N Motivation Korrelationen 1,000,004 **. Die Korrelation ist auf dem Niveau von 0,01 (2-seitig) signifikant. 25 Leistungsstreben,559 **,004 25 25,559 ** 1,000 25 2.2 Lineare 119 / 282

R-Output für Korrelationskoeffizient Motivation Leistungsstreben Motivation 1.00 0.56 Leistungsstreben 0.56 1.00 2.2 Lineare n= 25 P Motivation Leistungsstreben Motivation 0.0037 Leistungsstreben 0.0037 120 / 282

2.7 Konfidenzintervall für Korrelation ρ: Korrelation zwischen Merkmal x und Merkmal y einer Population (x 1, y 1 ),..., (x n, y n ): Stichprobe (unabhängige Beobachtungen) aus einer (bivariat) normalverteilten Grundgesamtheit Mathematische Statistik: r ist näherungsweise (d. h. bei großem Stichprobenumfang) normalverteilt mit Erwartungswert ρ und Varianz γ 2 = Var(r) (1 ρ2 ) 2 (1 α)-konfidenzintervall für den Korrelationskoeffizienten ( r ˆγz1 α, r + ˆγz ) 2 1 α 2 n 2.2 Lineare Hier bezeichnet ˆγ = (1 r 2 ) n einen Schätzer für die Standardabweichung von r und z 1 α das (1 α 2 2 ) Quantil der Standardnormalverteilung (Tabelle, Software) 121 / 282

2.6(b) Beispiel: Arbeitsmotivation (Fortsetzung von Beispiel 2.1) n = 25; r = 0.5592 z 0.95 = 1.6449, ˆγ = 0.1328 90% Konfidenzintervall für den Korrelationskoeffizient [0.2739, 0.7541] 2.2 Lineare 122 / 282

2.8 Hinweise zur Interpretation von Korrelationen Annahme: Man hat eine signifikante Korrelation zwischen den Variablen x und y gefunden Folgende Interpretationen sind möglich (1) x beeinflusst y kausal (2) y beeinflusst x kausal (3) x und y werden von weiteren Variablen kausal beeinflusst (4) x und y beeinflussen sich wechselseitig kausal Die Korrelation zwischen zwei Variablen ist eine notwendige aber keine hinreichende Voraussetzung für einen kausalen Zusammenhang Der Korrelationskoeffizient gibt keine Information, welche der vier Interpretationen zutrifft (in vielen Fällen wird das der Typ (3) sein) Korrelationen sollten ohne Zusatzinformation nicht interpretiert werden! 2.2 Lineare 123 / 282

Beispiel Annahme: Man hat eine signifikante Korrelation zwischen den Merkmalen Ehrlichkeit und Häufigkeit des Kirchgangs gefunden Folgende Interpretationen sind möglich Die in der Kirche vermittelten Werte haben einen positiven Einfluss auf das Merkmal Ehrlichkeit. Ehrliche Menschen fühlen sich durch die in der Kirche vermittelten Inhalte eher angesprochen und gehen aus diesem Grund häufiger zur Kirche. Die allgemeine familiäre und außerfamiliäre Sozialisation beeinflusst beide Merkmale. 2.2 Lineare 124 / 282

2.2 Lineare 2.2 Lineare 125 / 282

2.9 Beispiel: Fortsetzung von Beispiel 2.1 Untersuchung zur Motivation am Arbeitsplatz in einem Chemie-Konzern 25 Personen werden zufällig ausgewählt und verschiedene Variablen gemessen. y: Motivation (Einschätzung durch Experten) x: Leistungsstreben (Fragebogen) 2.2 Lineare Kann man y aus x vorhersagen? 126 / 282

Streudiagramm für die Daten aus Beispiel 2.9 35 30 2.2 Lineare Motivation 25 20 15 10 5 0 10 20 30 40 Leistungsstreben 127 / 282

2.9 Beispiel: Fortsetzung von Beispiel 2.1 Untersuchung zur Motivation am Arbeitsplatz in einem Chemie-Konzern 25 Personen werden zufällig ausgewählt und verschiedene Variablen gemessen. y: Motivation (Einschätzung durch Experten) x: Leistungsstreben (Fragebogen) Frage: Besteht ein funktionaler Zusammenhang zwischen der Variablen Motivation und der Prädiktorvariablen Leistungsstreben (Kann man y aus x vorhersagen?) Genauer: Gesucht ist Funktion f, die aus der Prädiktorvariablen Leistungsstreben (x) eine Vorhersage für die abhängige Variable (y) Motivation liefert: 2.2 Lineare Motivation = f(leistungsbereitschaft) Beachte: Es werden auch noch weitere Variablen gemessen (Ehrgeiz, Kreativität, Hierarchie, Lohn, Arbeitsbedingungen, Lernpotential, Vielfalt, Anspruch) 128 / 282

Ausgangslage: Von Interesse ist der Zusammenhang zwischen verschiedenen Variablen. Im einfachsten Fall betrachtet man, wie im Beispiel der Arbeitsmotivation, den Zusammenhang zwischen zwei Variablen. Daten: (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) Annahme: Es existiert ein kausaler Zusammenhang der Form y = f (x) zwischen der abhängigen Variablen y und der Prädiktorvariablen x. Weitere Annahme: Die Funktion f hat eine bestimmte Form. Beispiele: Lineare (der Zusammenhang ist also durch eine Gerade beschreibbar): y = b 0 + b 1x Quadratische (der Zusammenhang ist also durch eine Parabel beschreibbar): y = b 0 + b 1x + b 2x 2 usw. Beachte: Der Zusammenhang ist in der Regel nicht exakt zu beobachten. Mathematisches Modell Y = b 0 + b 1 x + ε 2.2 Lineare Dabei bezeichnet ε eine zufällige Störgröße. Diese Modell bezeichnet man als Lineare. 129 / 282

2.10 Das Modell der linearen Daten (x 1, y 1 ),..., (x n, y n ) y i ist Realisation einer Zufallsvariablen Y i (unter der Bedingung x i ). Für den Zusammenhang zwischen den Variablen Y i und x i gilt: 2.2 Lineare Y i = b 0 + b 1 x i + ε i i = 1,..., n ε i bezeichnet hier eine zufällige Störung und es wird angenommen, dass die Störungen unabhängig und normalverteilt sind mit Erwartungswert 0 und Varianz σ 2 > 0 Deutung: Es wird ein linearer Zusammenhang zwischen x und y postuliert, der noch zufälligen Störungen unterliegt. 130 / 282

Idee der Schätzung bei (linearer) Daten (x 1, y 1 ), (x 2, y 2 ),..., (x n, y n ) Annahme: Es existiert ein linearer Zusammenhang Y = b 0 + b 1 x + ε Gesucht: Diejenige Gerade, die den Zusammenhang zwischen Y und x am besten beschreibt. Idee: Bestimme die Gerade so, dass die Summe der quadratischen (vertikalen) Abstände zwischen den y-koordinaten der Datenpunkte und den entsprechenden Punkten auf der geschätzten Geraden minimal wird Methode der kleinsten Quadrate 2.2 Lineare 131 / 282

y y Beispiel: Verschiedene Geraden mit senkrechten Abständen zu den Daten 2.2 Lineare 5 10 15 20 25 30 35 y=0.2x+5 5 10 15 20 25 30 35 y=0.5x+10 0 10 20 30 40 x 0 10 20 30 40 x 132 / 282

Beispiel: Verschiedene Geraden mit senkrechten Abständen zu den Daten: die Lösung durch die Methode der kleinsten Quadrate 2.2 Lineare y 5 10 15 20 25 30 35 y=0.292x+13.816 0 10 20 30 40 x 133 / 282

2.11 Die Methode der kleinsten Quadrate Bestimme die Gerade so, dass die Summe der quadrierten senkrechten Abstände zwischen Gerade und Daten minimal wird Datum an der Stelle xi : y i Wert der Geraden an der Stelle xi : b 0 + b 1x i Differenz: yi (b 0 + b 1x i) Minimiere h(b 0, b 1 ) = n ( i=1 yi (b 0 + b 1 x i ) ) 2 bzgl. der Wahl der Parameter b 0 und b 1. Lösung dieses Extremwertproblems liefert Schätzer für Achsenabschnitt und Steigung der Geraden: 2.2 Lineare ˆb 1 = n i=1 (x i x )(y i y ) n i=1 (x i x ) 2, ˆb0 = y ˆb 1 x x = 1 n xi: Mittelwert der Prädiktorvariablen n i=1 y = 1 n yi: Mittelwert der abhängigen Variablen n i=1 134 / 282

Beispiel Arbeitsmotivation: Streudiagramm und sgerade für die Daten aus Beispiel 2.1 35 Motivation 30 25 20 2.2 Lineare 15 10 R-Quadrat linear = 0,313 5 0 10 20 Leistungsstreben 30 40 Schätzer: ˆb 0 = 13.82, ˆb 1 = 0.29 Fragen: Wie genau sind diese Schätzungen? Besteht ein (signifikanter) Einfluss des Leistungsstrebens auf die Motivation H 0 : b 1 = 0 Wie gut beschreibt das lineare smodell die Situation? 135 / 282

Die Genauigkeit der Schätzer für die Parameter Beachte: Vor der Datenerhebung sind ˆb 0 und ˆb 1 zufällig. Mathematische Statistik (allgemeines lineares Modell) liefert Schätzer für die Varianzen von ˆb 0 und ˆb 1 Schätzer für die Varianz von ˆb 0 : ŝ 2 b 0 Schätzer für die Varianz von ˆb 1 : ŝ 2 b 1 Dabei bezeichnet S 2 y x = 1 n 2 = S2 y x n = S2 y x n n i=1 x 2 i n i=1 (x i x ) 2 1 n n (y i (ˆb 0 + ˆb 1 x i )) 2. i=1 1 n i=1 (x i x ) 2 2.2 Lineare die Residualvarianz (Schätzer für die Varianz der Störgrößen) Je größer der Stichprobenumfang n, desto genauer sind die Schätzungen! 136 / 282

Fortsetzung von Beispiel 2.1: Schätzer für die Daten der Arbeitsmotivation Schätzer für die Parameter ˆb 0 = 13.82 ˆb 1 = 0.292 S 2 y x = 22.737 2.2 Lineare Schätzer für die Varianz von ˆb 0 und ˆb 1 ŝ 2 b 0 = 4.5158 ŝ 2 b 1 = 0.0081 Standardfehler von ˆb 0 und ˆb 1 ŝ b0 = 4.5158 = 2.125 ŝ b1 = 0.0081 = 0.09 137 / 282

SPSS Output: Schätzer und Standardabweichungen bei linearer in Beispiel 2.1 2.2 Lineare Modell 1 (Konstante) Leistungsstreben a. Abhängige Variable: Motivation Koeffizienten a Standardisierte Nicht standardisierte Koeffizienten Koeffizienten B Standardfehler Beta T Signifikanz 13,816 2,125 6,501,000,292,090,559 3,235,004 138 / 282

R-Output: Schätzer und Standardabweichungen bei linearer in Beispiel 2.1 Call : lm( formula = y x) Residuals : Min 1Q Median 3Q Max -8.5766-2.5679 0.5915 2.8481 12.3437 2.2 Lineare Coefficients : Estimate Std. Error t value Pr ( > t ) ( Intercept ) 13.81572 2.12504 6.501 1.24e -06 *** x 0.29203 0.09026 3.235 0.00365 ** --- Signif. codes : 0 *** 0.001 ** 0.01 * 0.05. 0.1 1 139 / 282

2.12 Konfidenzintervalle bei linearer Modellannahme: lineare Y i = b 0 + b 1 x i + ε i (i = 1,..., n) Rechtfertigung der Normalverteilungs- und Unabhängigkeitsannahme für ε 1,..., ε n Bestimmung der Schätzer ŝ 2 b 0 und ŝ 2 b 1 für die Varianzen von ˆb 0 und ˆb 1. Damit ist dann = (ˆb 0 t n 2,1 α 2 ŝb 0, ˆb 0 + t n 2,1 α 2 ŝb 0 ) ein (1 α)-konfidenzintervall für b 0 und 2.2 Lineare = (ˆb 1 t n 2,1 α 2 ŝb 1, ˆb 1 + t n 2,1 α 2 ŝb 1 ) ein (1 α)-konfidenzintervall für b 1. Hier ist t n 2,1 α das (1 α 2 2 )-Quantil der t-verteilung mit n 2 Freiheitsgraden (tabelliert oder mit Software verfügbar) 140 / 282

2.13 Beispiel: Konfidenzbereiche im Beispiel 2.1 (Arbeitsmotivation) n = 25, t 23,0.975 = 2.0687 Für das Beispiel der Arbeitsmotivation (vgl. Beispiel 2.1) ergibt sich als 95% Konfidenzintervall für b 0 :[9.420, 18.212] b 1 :[0.105, 0.479] 2.2 Lineare Frage: Besteht ein (signifikanter) Einfluss der Prädiktorvariablen x auf die abhängige Variable Y? Mathematische Formulierung: H 0 : b 1 = 0 141 / 282

SPSS Output: Konfidenzintervalle bei linearer in Beispiel 2.1 Modell 1 (Konstante) Leistungsstreben a. Abhängige Variable: Motivation Nicht standardisierte Koeffizienten Standardisierte Koeffizienten B Standardfehler Beta T Signifikanz 13,816 2,125 6,501,000,292,090 Koeffizienten a,559 3,235,004 95%-Konfidenzintervall für B Untergrenze Obergrenze 9,420 18,212,105,479 2.2 Lineare 142 / 282

R-Output: Konfidenzintervalle bei linearer in Beispiel 2.1 Call : lm( formula = y x) Residuals : Min 1Q Median 3Q Max -8.5766-2.5679 0.5915 2.8481 12.3437 2.2 Lineare Coefficients : Estimate Std. Error t value Pr ( > t ) ( Intercept ) 13.81572 2.12504 6.501 1.24e -06 *** x 0.29203 0.09026 3.235 0.00365 ** --- Signif. codes : 0 *** 0.001 ** 0.01 * 0.05. 0.1 1 143 / 282

2.14 F -Test für die Hypothese H 0 : b 1 = 0 Modellannahme: lineare Y i = b 0 + b 1 x i + ε i (i = 1,..., n) Rechtfertigung der Normalverteilungs- und Unabhängigkeitsannahme für ε 1,..., ε n Hypothesen H 0 : b 1 = 0, H 1 : b 1 = 0 Die Nullhypothese H 0 : b 1 = 0 wird zu Gunsten der Alternative H 1 : b 1 0 verworfen, falls 2.2 Lineare gilt F n = S2 reg S 2 y x = 1 1 1 n 2 n i=1 (y (ˆb 0 + ˆb 1 x i )) 2 n i=1 (y i (ˆb 0 + ˆb 1 x i )) 2 > F 1;n 2,1 α F 1;n 2,1 α bezeichnet das (1 α)-quantil der F -Verteilung mit (1, n 2) Freiheitsgraden 144 / 282

Motivation des F -Tests: Zerlegung der Varianz n (y i y ) 2 = i=1 } {{ } Gesamtvarianz Bezeichnungen: n (y i (ˆb 0 + ˆbx i )) 2 + i=1 } {{ } Residualvarianz S 2 reg = 1 1 n (y (ˆb 0 + ˆb 1 x i )) 2 i=1 n (y (ˆb 0 + ˆb 1 x i )) 2 i=1 } {{ } Varianz der heißt Varianz der (diese hat 1 Freiheitsgrad) und S 2 y x = 1 n 2 n (y i (ˆb 0 + ˆb 1 x i )) 2. i=1 ist die Residualvarianz (diese hat n 2 Freiheitsgrade). Andere Interpretationen: - Schätzung für die Varianz der Größen ε i - durch das lineare smodell nicht erklärbare Varianz 2.2 Lineare 145 / 282

Motivation des F -Tests: Zerlegung der Varianz n (y i y ) 2 = i=1 } {{ } Gesamtvarianz Beachte: n (y i (ˆb 0 + ˆbx i )) 2 + i=1 } {{ } Residualvarianz = (n 2) S 2 y x + S2 reg n (y (ˆb 0 + ˆb 1 x i )) 2 i=1 } {{ } Varianz der 2.2 Lineare Bei dem F -Test für die Hypothese H 0 : b 1 = 0 bildet man den Quotienten aus der Varianz der der Residualvarianz Man untersucht also das Verhältnis zwischen erklärbarer und nicht erklärbarer Varianz. 146 / 282

2.15 Varianzanalyse (ANOVA; analysis of variance) Art der Freiheits- Quadrat- F -Quotient Abweichung grade (df ) summe schätzer 1 n i=1 (y ŷ i ) 2 F n = S 2 reg/s 2 y x 2.2 Lineare Fehler n 2 n i=1 (y i ŷ i ) 2 Total n 1 n i=1 (y i y ) 2 Bezeichnung: ŷ i = ˆb 0 + ˆb 1 x i Vorhersage an der Stelle x i 147 / 282

SPSS Output: F -Test bei linearer in Beispiel 2.1 Modell 1 Residuen Gesamt Quadratsumme 238,015 522,945 760,960 a. Einflußvariablen : (Konstante), Leistungsstreben b. Abhängige Variable: Motivation df 1 23 24 Mittel der Quadrate 238,015 22,737 F 10,468 ANOVA b Signifikanz,004 a 2.2 Lineare Beachte: F 25 = 10.468, F 1,23,0.95 = 4.2793 Da F 25 = 10.468 > 4.2793 wird die Nullhypothese H 0 : b 1 = 0 zu Gunsten der Alternative H 1 : b 1 0 zum Niveau 5% verworfen (p-wert: 0.004) 148 / 282

R-Output: F -Test bei linearer in Beispiel 2.1 Analysis of Variance Table Response : y Df Sum Sq Mean Sq F value Pr(>F) x 1 238.01 238.015 10.468 0.003655 ** Residuals 23 522.95 22.737 --- 2.2 Lineare Signif. codes : 0 *** 0.001 ** 0.01 * 0.05. 0.1 1 Beachte: F 25 = 10.468, F 1,23,0.95 = 4.2793 Da F 25 = 10.468 > 4.2793 wird die Nullhypothese H 0 : b 1 = 0 zu Gunsten der Alternative H 1 : b 1 0 zum Niveau 5% verworfen (p-wert: 0.004) 149 / 282

Modellgüte: wie geeignet ist das Modell für die Beschreibung der Daten Maß für Modellanpassung: Residualvarianz (Summe der quadrierte Abstände von der sgerade): Beachte: S 2 y x S 2 y x = 1 n 2 n i=1 ( ) 2 y i (ˆb 0 + ˆb 1 x i ) ist ein Schätzer für die Varianz der Messfehler Je kleiner Sy x 2, desto besser ist das (lineare) smodell Streuung der Daten ohne die Information, dass ein lineares Modell vorliegt: n (y i y ) 2 i=1 Man untersucht welchen Anteil der Streuung n i=1 (y i y ) 2 man durch das lineare Modell erklären kann. 2.2 Lineare 150 / 282

Varianzzerlegung: ein extremes Beispiel y 40 40 Abhängige Variable 30 20 30 20 2.2 Lineare 10 10 0 5 10 15 20 Unabhängige Variable 0 5 10 15 20 x Beachte: Die Grafik zeigt eine extreme Situation. Die Streuung der Daten ist durch das lineare smodell zu 100% erklärbar! n i=1 (y i y ) 2 = n i=1 (y (ˆb 0 + ˆb 1 x i )) 2 Residualvarianz (durch das lineare smodell nicht erklärbare Varianz) = 0 151 / 282

2.16 Beispiel: Arbeitsmotivation (Fortsetzung von Beispiel 2.1): 25 i=1 25 i=1 R 2 = (y i y ) 2 = 760.96 (y (ˆb 0 + ˆb 1 x i )) 2 = 238.04 25 i=1 (y (ˆb 0 + ˆb 1 x i )) 2 25 i=1 (y i y ) 2 = 0.313 d. h. 31.3% der Varianz der Variablen Motivation können durch die Prädiktorvariable Leistungsstreben erklärt werden. 2.2 Lineare 152 / 282

2.17 Modellgüte: das Bestimmtheitsmaß Die Größe n R 2 i=1 = 1 (y i (ˆb 0 + ˆb 1 x i )) 2 n i=1 n i=1 (y = (y (ˆb 0 + ˆb 1 x i )) 2 i y ) 2 n i=1 (y y i ) 2 ist ein Maß für die Güte der heißt Bestimmtheitsmaß. Beachte: Man kann zeigen, dass R 2 genau das Quadrat der Korrelation ist. 2.2 Lineare Je besser das Modell ist, desto kleiner ist die Residualvarianz, bzw. desto größer R 2! Das Bestimmtheitsmaß R 2 liegt immer zwischen 0 und 1 153 / 282

Zusammenhang zwischen Bestimmtheitsmaß und F -Test Ist F n die Statistik für den F -Test aus 2.14 und R 2 das Bestimmtheitsmaß, dann gilt: R 2 = 1 n 2 F n 1 + 1 n 2 F n In anderen Worten: die Statistik F n des F -Test aus 2.5 kann aus dem Bestimmtheitsmaß berechnet werden (und umgekehrt) Im Beispiel des Zusammenhangs zwischen Motivation und Leistungsstreben ist 2.2 Lineare F n = 10.468 = R 2 = 10.468 23 1 + 10.468 23 = 0.313 Ca. 31.3% der Variation der Variablen Motivation können durch die Variable Leistungsstreben erklärt werden. 154 / 282

Vorhersagen: es gibt zwei unterschiedliche 2.18 Vorhersage für den Wert der Geraden an einer Stelle x Schätzung für den Wert der Geraden y(x) = b 0 + b 1 x an der Stelle x: ŷ(x) = ˆb 0 + ˆb 1 x (1 α)-konfidenzintervall für y(x) (ŷ(x) t n 2;1 α 2 ŝ y(x), ŷ(x) + t n 2;1 α 2 ŝ y(x)) 2.2 Lineare wobei ŝ 2 y(x) = S2 y x ( 1 n + (x x ) 2 n i=1 (x i x ) 2 ) den Schätzer für die Varianz von Ŷ (x) bezeichnet 155 / 282

Vorhersagen: es gibt zwei unterschiedliche 2.19 Vorhersage für eine neue Beobachtung an einer Stelle x Schätzer für eine neue Beobachtung Ỹ (x) = b 0 + b 1 x + ε an der Stelle x: ŷ(x) = ˆb 0 + ˆb 1 x (1 α)-konfidenzintervall für y(x) wobei (ŷ(x) t n 2;1 α 2 s y(x), ŷ(x) + t n 2;1 α 2 s y(x)) s 2 y(x) = S2 y x (1 + 1 n + (x x ) 2 n i=1 (x i x ) 2 ) 2.2 Lineare den Schätzer für die Varianz von ŷ(x) + ε bezeichnet. Beachte: Diese Varianz wird bei wachsendem Stichprobenumfang nicht beliebig klein! 156 / 282

2.20 Beispiel: Fortsetzung von Beispiel 2.1 (1) Gesucht ist ein 90% Konfidenzintervall für den Wert der Geraden an der Stelle x = 16 t23,0.95 = 1.714, S 2 y x = 22.737, ŝ2 y(x) = 1.116, ŷ(16) = ˆb 0 + 16ˆb 1 = 18.49 Das 90% Konfidenzintervall für den Wert der Geraden an der Stelle 16 ist gegeben durch [16.677, 20.299] (2) Gesucht ist ein 90% Konfidenzintervall für eine neue Beobachtung der Stelle x = 16 t23,0.95 = 1.714, S 2 y x = 22.737, ŝ2 ỹ(x) = 23.85, ŷ(16) = ˆb 0 + 16ˆb 1 = 18.49 Das 90% Konfidenzintervall für eine neue Beobachtung an der Stelle 16 ist gegeben durch 2.2 Lineare [10.118, 26.859] 157 / 282

SPSS Output: Vorhersagen bei linearer in Beispiel 2.1 (schwierig) 2.2 Lineare 158 / 282

SPSS Output: Konfidenzintervalle für Vorhersagen bei linearer in Beispiel 2.1 35 30 25 16.0 2.2 Lineare Motivation 20 15 10 5 0 10 20 30 40 Leistungsstreben 159 / 282

2.21 Residuenanalyse Unter der Modellannahme des linearen smodells gilt: die Größen ε i = Y i b 0 b 1 x i sind unabhängig und normalverteilt mit Erwartungswert 0 und Varianz σ 2 > 0. Das bedeutet, dass diese Eigenschaften auch näherungsweise für die Residuen ˆε i = y i ˆb 0 ˆb 1 x i erfüllt sein sollte, falls die Modellannahme zutrifft. Residuenanalyse ist ein deskriptives Verfahren für die Überprüfung der Annahmen an ε 1,..., ε n mit 4 Teilschritten (oft werden auch nicht alle gemacht): A: Das Streudiagramm der Daten mit der slinie B: Ein Streudiagramm der Residuen gegen die vorhergesagten Werte C: Normalverteilungs-QQ-Plot der Residuen D: Histogramm der Residuen mit angepasster Normalverteilungsdichte 2.2 Lineare 160 / 282

Residuenanalyse bei erfüllten Voraussetzungen Abhängige Variable 8 6 4 2 0 A Residuum 1.0 0.5 0.0 0.5 1.0 B 2.2 Lineare 2 2 1 0 1 2 1.5 0 2 4 6 1.0 Unabhängige Variable C 1.0 Vorhergesagter Wert D Empirische Quantile 0.5 0.0 0.5 1.0 f(residuum) 0.8 0.6 0.4 0.2 1.5 2 1 0 1 2 Theoretische Quantile der Standardnormalvert. 0.0 1.5 1.0 0.5 0.0 0.5 1.0 1.5 Residuum 161 / 282

Residuenanalyse bei Abweichungen von der Normalverteilung (Ausreißer) Abhängige Variable Empirische Quantile 20 10 0 10 20 15 10 5 0 5 10 A 2 1 0 1 2 Unabhängige Variable C 2 1 0 1 2 Theoretische Quantile der Standardnormalvert. Residuum f(residuum) 20 15 10 5 0 5 10 0.15 0.10 0.05 0.00 B 0 2 4 6 8 Vorhergesagter Wert D 15 10 5 0 5 10 15 20 Residuum 2.2 Lineare 162 / 282

Residuenanalyse bei Stratifizierung Beachte: verschiedene Untergruppen (Strata) können ebenfalls zu Abweichungen von den Modellannahmen führen. Für die Strata können dann unterschiedliche sgleichungen gelten. Abhängige Variable 15 10 5 0 5 10 10 A 2 1 0 1 2 Unabhängige Variable C Residuum 10 5 0 5 10 0.15 B 2 0 2 4 6 Vorhergesagter Wert D 2.2 Lineare Empirische Quantile 5 0 5 f(residuum) 0.10 0.05 10 2 1 0 1 2 Theoretische Quantile der Standardnormalvert. 0.00 10 5 0 5 10 Residuum 163 / 282

Residuenanalyse bei falscher Modellannahme Abhängige Variable Empirische Quantile A 40 20 0 20 40 60 2 1 0 1 2 Unabhängige Variable C 10 0 10 20 2 1 0 1 2 Theoretische Quantile der Standardnormalvert. Residuum f(residuum) B 10 0 10 20 30 20 10 0 10 20 30 40 Vorhergesagter Wert D 0.05 0.04 0.03 0.02 0.01 0.00 30 20 10 0 10 20 Residuum 2.2 Lineare Statt des linearen Modells wäre ein Polynom 3. Grades die bessere Annahme für die Beschreibung des funktionalen Zusammenhangs! 164 / 282

Residuenanalyse bei ungleichen Varianzen (Heteroskedastizität) Abhängige Variable Empirische Quantile 20 10 0 10 20 30 40 30 20 10 0 10 20 30 40 A 2 1 0 1 2 Unabhängige Variable C 2 1 0 1 2 Theoretische Quantile der Standardnormalvert. Residuum f(residuum) 30 20 10 0 10 20 30 40 0.10 0.08 0.06 0.04 0.02 0.00 B 2 0 2 4 6 Vorhergesagter Wert D 40 20 0 20 Residuum 2.2 Lineare 165 / 282

SPSS Output: Residuenanalyse in Beispiel 2.1 35 30 Motivation 25 20 15 2.2 Lineare 10 R-Quadrat linear = 0,313 5 0 10 20 30 40 Leistungsstreben Streudiagramm und geschätzte sgerade im Beispiel der Arbeitsmotivation 166 / 282

R-Output für Residuenanalyse Motivation 10 20 30 2.2 Lineare 0 10 20 30 40 Leistungsstreben QQ-Plot im Beispiel der Arbeitsmotivation 167 / 282

SPSS Output: Residuenanalyse in Beispiel 2.1 3,00000 2,00000 Standardized Residual 1,00000,00000 2.2 Lineare -1,00000-2,00000-2,00000-1,00000,00000 1,00000 2,00000 Standardized Predicted Value Streudiagramm der Residuen gegen die vorhergesagten Werte im Beispiel der Arbeitsmotivation 168 / 282

R-Output: Residuenanalyse in Beispiel 2.1 Residuals vs Fitted Residuals 10 0 5 10 19 1 2 2.2 Lineare 14 16 18 20 22 24 Fitted values lm(y ~ x) Streudiagramm und geschätzte sgerade im Beispiel der Arbeitsmotivation 169 / 282

SPSS Output für Residuenanalyse 2 Q-Q-Diagramm von Normal von Standardized Residual 2.2 Lineare Erwarteter Wert von Normal 1 0-1 -2-2 -1 0 1 2 3 Beobachteter Wert QQ-Plot im Beispiel der Arbeitsmotivation 170 / 282

R-Output: Residuenanalyse in Beispiel 2.1 Standardized residuals 2 0 1 2 3 Normal Q Q 1 19 2 2 1 0 1 2 2.2 Lineare Theoretical Quantiles lm(y ~ x) Streudiagramm der Residuen gegen die vorhergesagten Werte im Beispiel der Arbeitsmotivation 171 / 282

Korrelation und lineare Es besteht ein enger Zusammenhang zwischen linearer und Korrelation Ist ˆb 1 die Schätzung im linearen smodell und r der Korrelationskoeffizient von Pearson, dann gilt: n i=1 r = (x i x ) 2 n i=1 (y i y ˆb ) 2 1 2.2 Lineare Ist R 2 das Bestimmtheitsmaß und r der Korrelationskoeffizient von Pearson, dann gilt: r 2 = R 2 172 / 282

2.2 Lineare 173 / 282

2.22 Beispiel: Arbeitsmotivation mit mehreren Prädiktoren y: Motivation (Einschätzung der Arbeitsmotivation durch Experten) Prädiktoren: Eigenschaften x 1 : Ehrgeiz (Fragebogen) x 2 : Kreativität (Fragebogen) x 3 : Leistungsstreben (Fragebogen) Prädiktoren: Rahmenbedingungen x 4 : Hierarchie (Position in der Hierarchie des Unternehmens) x 5 : Lohn (Bruttolohn pro Monat) 2.2 Lineare x 6 : Arbeitsbedingungen (Zeitsouveränität, Kommunikationsstruktur usw.) Prädiktoren: Inhalte der Tätigkeit x 7 : Lernpotential (Lernpotential der Tätigkeit) x 8 : Vielfalt (Vielfalt an Teiltätigkeiten) x 9 : Anspruch (Komplexität der Tätigkeit) 174 / 282

Daten i y x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 1 32 36 30 20 20 3100 34 29 69 66 2 14 30 11 30 7 2600 39 16 47 36 3 12 19 15 15 8 3200 42 13 32 17 4 27 42 16 39 13 2500 43 15 63 49 5 20 14 22 5 22 3700 42 29 38 62 6 13 12 16 6 11 2600 36 17 39 51 7 17 17 20 12 11 2500 41 18 44 55 8 8 4 5 0 16 3800 23 9 31 33 9 22 32 20 35 20 3500 25 21 40 55 10 19 15 13 8 13 3100 29 21 57 56 11 25 38 5 34 21 3600 59 27 53 67 12 23 24 6 26 9 2600 45 31 54 62 2.2 Lineare 175 / 282

Daten i y x 1 x 2 x 3 x 4 x 5 x 6 x 7 x 8 x 9 13 17 28 11 32 10 2600 30 7 45 26 14 22 36 4 26 16 2500 52 23 56 64 15 19 18 26 12 6 2500 40 17 54 55 16 27 40 27 36 12 2500 42 29 44 62 17 26 30 28 27 18 3000 38 34 43 64 18 20 27 11 26 10 2600 35 19 46 55 19 11 18 23 13 11 2800 42 18 31 43 20 24 32 18 19 15 2700 48 23 51 53 21 19 33 9 25 6 2400 38 23 37 65 22 19 33 22 30 5 2600 36 30 39 39 23 22 27 28 18 17 4000 45 23 52 54 24 24 30 32 21 11 2700 44 20 41 47 25 17 37 8 11 2 2300 32 20 44 41 2.2 Lineare 176 / 282

2.23 Das Modell der multiplen linearen Daten (x 1, y 1 ),..., (x n, y n ) Es gibt k unabhängige Variablen: x i = (x 1i,..., x ki ) y i ist Realisation einer Zufallsvariablen Y i (unter der Bedingung x i ). Für den Zusammenhang zwischen der Variablen Y i und dem Vektor x i gilt (im Beispiel ist k = 9): Y i = b 0 + b 1 x 1i + b 2 x 2i +... + b k x ki + ε i k = b 0 + b j x ji + ε i. j=1 2.2 Lineare ε i bezeichnet hier eine zufällige Störung und es wird angenommen, dass die Störungen ε 1,..., ε n unabhängig und normalverteilt sind mit Erwartungswert 0 und Varianz σ 2 > 0. Deutung: Es wird ein linearer Zusammenhang zwischen x und Y postuliert, der noch zufälligen Störungen unterliegt. 177 / 282

2.24 Schätzung bei multipler linearer Methode der kleinsten Quadrate: Minimiere n (y i b 0 b 1 x 1i... b k x ki ) 2 i=1 bzgl. der Wahl von b 0,..., b k Mathematische Statistik (allgemeines lineares Modell) liefert Schätzer ˆb 0, ˆb 1,..., ˆb k für die Parameter b 0,..., b k (Formeln sind kompliziert) Schätzer für die Varianz der Messfehler 2.2 Lineare S 2 y x = 1 n k 1 n (y i ˆb 0 ˆb 1 x 1i... ˆb k x ki ) 2 i=1 178 / 282

Streudiagramm bei multipler linearer (k = 2) sfläche: ŷ(x) = 3.24 + 4.5x 1 + 5.27x 2. 40 30 20 10 2.2 Lineare Y 0 10 20 30 5 0 5 3 2 1 0 1 2 3 4 X 1 X 2 179 / 282

Fortsetzung von Beispiel 2.22: Schätzer im multiplen linearen smodell Ergebnisse für die Schätzer im multiplen linearen smodell ˆb 0 = 3.842 ˆb1 = 0.193 ˆb 2 = 0.153 ˆb3 = 0.049 ˆb 4 = 0.246 ˆb 5 = 0.000 ˆb 6 = 0.031 ˆb 7 = 0.165 ˆb 8 = 0.206 ˆb9 = 0.053 Fragen: Wie genau sind diese Schätzungen? Besteht ein (signifikanter) Einfluss der unabhängigen Merkmale auf die Motivation H 0 : b 1 = 0 H 0 : b 2 = 0 Wie gut beschreibt das multiple lineare smodell die Situation?. 2.2 Lineare 180 / 282

Genauigkeit der Schätzung bei multipler linearer Schätzer ŝ b0,..., ŝ bk für die Standardfehler von ˆb 0,..., ˆb k sind verfügbar (Allgemeines lineares Modell Formeln kompliziert) Anmerkung: Für wachsenden Stichprobenumfang konvergieren die Schätzer ŝ bj gegen 0 je größer der Stichprobenumfang, desto genauer die Schätzungen Damit erhält man Konfidenzintervalle für b 0,..., b k, z. B. 2.2 Lineare (ˆb 0 t n k 1,1 α 2 ŝ b0, ˆb 0 + t n k 1,1 α 2 ŝ b0 ) ist (1 α)-konfidenzintervall für b 0. 181 / 282

Fortsetzung von Beispiel 2.22: Schätzer für den Standardfehler der Schätzer im multiplen linearen smodell Ergebnisse für den Standardfehler der Schätzer im multiplen linearen smodell 2.2 Lineare ŝ b0 = 5.052 ŝ b1 = 0.081 ŝ b2 = 0.049 ŝ b3 = 0.065 ŝ b4 = 0.148 ŝ b5 = 0.001 ŝ b6 = 0.054 ŝ b7 = 0.098 ŝ b8 = 0.052 ŝ b9 = 0.058 Wegen t 15,0.975 = 2.1314 ist [ 0.089, 0.188] ein 95%-Konfidenzintervall für den Parameter b 3. Man beachte: 0.049 + 2.1314 0.065 0.188) n = 25; k = 9 n k 1 = 15 182 / 282

2.25 Konfidenzintervalle für multiple lineare Modellannahme: multiple lineare Y i = b 0 + k b j x ji + ε i (i = 1,..., n) j=1 Rechtfertigung der Normalverteilungs- und Unabhängigkeitsannahme Schätzer ŝ bj für den Standardfehler von ˆb j = (ˆb j t n k 1,1 α 2 ŝb j, ˆb j + t n k 1,1 α 2 ŝb j ) ist ein (1 α)-konfidenzintervall für b j (j = 0,..., k) ; (1 α 2 2 )-Quantil der t-verteilung mit n k 1 Freiheitsgraden (Tabelle oder Software) t n k 1,1 α Anmerkung: Für wachsenden Stichprobenumfang konvergieren die Schätzer ŝ bj gegen 0 je größer der Stichprobenumfang, desto kleiner die Konfidenzintervalle 2.2 Lineare 183 / 282

2.26 Beispiel: Konfidenzintervalle für die Parameter in Beispiel 2.22 (Arbeitsmotivation) ˆb j Merkmal Schätzung ŝ bj Konfidenzintervall ˆb 0-3.842 5.052 [-14.609, 6.926] ˆb 1 Ehrgeiz 0.193 0.081 [0.020, 0.365] ˆb 2 Kreativität 0.153 0.049 [0.049, 0.258] ˆb 3 Leistungsstreben 0.049 0.065 [-0.089, 0.188] ˆb 4 Hierarchie 0.246 0.148 [-0.069, 0.561] ˆb 5 Lohn 0.000 0.001 [-0.004, 0.002] ˆb 6 Arbeitsbdg. -0.031 0.054 [-0.147, 0.085] ˆb 7 Lernpotential 0.165 0.098 [-0.044, 0.373] ˆb 8 Vielfalt 0.206 0.052 [0.095, 0.316] ˆb 9 Anspruch 0.053 0.058 [-0.070, 0.177] 2.2 Lineare 184 / 282

SPSS Output: Schätzer, Standardabweichung und Konfidenzintervalle im Beispiel 2.22 (Arbeitsmotivation mit mehreren Prädiktoren) Modell 1 (Konstante) x1 x2 x3 x4 x5 x6 x7 x8 x9 a. Abhängige Variable: Y Nicht standardisierte Koeffizienten B -3,842,193,153,049,246,000 -,031,165,206,053 Standard fehler 5,052,081,049,065,148,001,054,098,052,058 Standardisierte Koeffizienten Beta,337,234,095,235 -,077 -,045,199,354,124 T -,760 2,381 3,127,761 1,664 -,589 -,576 1,683 3,973,920 Koeffizienten a Signifi kanz,459,031,007,458,117,564,573,113,001,372 95%-Konfidenzintervall für B Untergrenze -14,609,020,049 -,089 -,069 -,004 -,147 -,044,095 -,070 Obergrenze 6,926,365,258,188,561,002,085,373,316,177 2.2 Lineare 185 / 282

R-Output: Schätzer, Standardabweichung und Konfidenzintervalle im Beispiel 2.22 (Arbeitsmotivation mit mehreren Prädiktoren) Call : lm( formula = y x1 + x2 + x3 + x4 + x5 + x6 + x7 + x8 + x9) 2.2 Lineare Residuals : Min 1Q Median 3Q Max -3.5333-0.7878-0.0144 0.8352 2.9391 Coefficients : Estimate Std. Error t value Pr ( > t ) ( Intercept ) -3.8418391 5.0517520-0.760 0.45875 x1 0.1927225 0.0809357 2.381 0.03094 * x2 0.1533724 0.0490456 3.127 0.00692 ** x3 0.0493953 0.0648797 0.761 0.45826 186 / 282

2.27 Vorhersage der multiplen linearen Modellannahme: multiple lineare Y i = b 0 + k b j x ji + ε i (i = 1,..., n) j=1 Rechtfertigung der Normalverteilungs- und Unabhängigkeitsannahme Vorhersage für den Wert der multiplen an der Stelle x = (x 1,..., x k ) (im Beispiel ist k = 9) ŷ(x) = ˆb 0 + k j=1 ˆb j x j 2.2 Lineare In Beispiel 2.22 ergibt sich z. B. als Vorhersage der multiplen linearen an der Stelle x 1 = 21, x 2 = 30, x 3 = 15, x 4 = 11, x 5 = 2900, x 6 = 41, x 7 = 25, x 8 = 55, x 9 = 54 der Wert ŷ(x) = 22.717 187 / 282

Vorhersage der multiplen linearen Beachte: Wie in Abschnitt 2.18 und 2.19 gibt es zwei Vorhersagen: Vorhersage für den Wert der multiplen an der Stelle x = (x 1,..., x k ) (im Beispiel ist k = 9) Vorhersage für den Wert einer neuen Beobachtung an der Stelle x = (x 1,..., x k ) (im Beispiel ist k = 9) Für beide Vorhersagen kann man den Standardfehler bestimmen (Formeln kompliziert) und Konfidenzbereiche angeben (vgl. Abschnitt 2.18 und 2.19 für den Fall k = 1 ) 2.2 Lineare 188 / 282

SPSS Output: Vorhersage bei der multiplen linearen (schwierig) 2.2 Lineare Beispiel: Schätzung für den Wert der Ebene an der Stelle x = (18, 23, 13, 11, 2800, 42, 18, 31, 43) : 14.348 Schätzung für eine weitere Beobachtung an der Stelle x = (18, 23, 13, 11, 2800, 42, 18, 31, 43) : 14.348 189 / 282

SPSS Output: Konfidenzintervalle für Vorhersagen bei multipler linearer 2.2 Lineare Konfidenzintervall für den Wert der Ebene an der Stelle x = (18, 23, 13, 11, 2800, 42, 18, 31, 43) : [12.399, 16.297] Konfidenzintervall für eine weitere Beobachtung an der Stelle x = (18, 23, 13, 11, 2800, 42, 18, 31, 43) : [9.870, 18.826] 190 / 282

2.28 Bestimmtheitsmaß bei multipler linearer Modellvorhersage: ŷ i = ˆb 0 + ˆb 1 x 1i +... ˆb k x ki = ˆb 0 + k ˆb j x ji j=1 Residuum ˆε i = y i ŷ i = y i (ˆb 0 + k j=1 ˆb j x ji ) Beachte: Die Werte der abhängigen Variable zerfallen in Modellvorhersage (ŷ) und Residuum (ˆε), d. h. y i = ŷ i + ˆε i i = 1,..., n 2.2 Lineare Die Güte der Modellanpassung wird (wieder) durch das Bestimmtheitsmaß R 2 beschrieben (Anteil erklärter Varianz) n R 2 i=1 = 1 (y i ŷ i ) 2 n n i=1 (y i y = i=1 (y ŷ i ) 2 ) 2 n i=1 (y i y. ) 2 191 / 282

Beispiel: Das Bestimmtheitsmaß für das Beispiel 2.22 (Arbeitsmotivation) In Beispiel 2.22 ist n = 25; k = 9 n i=1 (y i ŷ i ) 2 = 53.651 n i=1 (y i y ) 2 = 760.96 R 2 = 1 53.651 760.96 = 92.95 2.2 Lineare D. h. 92.95% der Varianz der Variablen Motivation werden durch das multiple lineare smodell erklärt. 192 / 282

2.29 Statistische Tests bei der multiplen linearen. Zwei wichtige Fragestellungen: Frage A: Hat mindestens eine der Prädiktorvariablen x 1,..., x k einen Einfluss auf die abhängige Variable y (Gesamttest auf Signifikanz). Mathematische Formulierung der Hypothese: Nullhypothese: Alternative: H 0 : b j = 0 für alle j {1, 2,..., k} H 1 : b j 0 für mindestens ein j {1, 2,..., k} 2.2 Lineare Frage B: Hat die Prädiktorvariable x j (z. B. Ehrgeiz) einen Einfluss auf die abhängige Variable y. Mathematische Formulierung der Hypothese: Nullhypothese: H 0 : b j = 0 Alternative: H 1 : b j 0 193 / 282

2.29(A) Gesamttest auf Signifikanz Nullhypothese: H 0 : b j = 0 für alle j {1, 2,..., k} Alternative: H 1 : b j 0 für mindestens ein j {1, 2,..., k} (1) Bestimme S 2 reg = 1 k n (y ŷ i) 2 i=1 die Varianz der, und S 2 y x = 1 n k 1 n (y i ŷ i) 2 i=1 2.2 Lineare die Residualvarianz Beachte: Man geht genau wie im linearen smodell vor! 194 / 282

2.29(A) Gesamttest auf Signifikanz (2) H 0 wird zu Gunsten der Alternative H 1 verworfen, falls F n = S2 reg S 2 y x > F k;n k 1;1 α gilt (oder der entsprechende p-wert kleiner als α ist). Dabei bezeichnet F k;n k 1;1 α das (1 α)-quantil der F -Verteilung mit (k, n k 1) Freiheitsgraden. 2.2 Lineare Beachte: Wird H 0 durch diesen Test verworfen, dann bleibt aber noch unklar, welches der Merkmale signifikant ist. 195 / 282

2.29(B) Tests für die Signifikanz einzelner Merkmale Nullhypothese: H 0 : b j = 0 Alternative: H 1 : b j 0 Die Nullhypothese H 0 wird zu Gunsten der Alternative H 1 verworfen, falls ˆb j T n = > t n k 1;1 α 2 ŝ bj 2.2 Lineare gilt (oder der entsprechende p-wert kleiner als α ist). Dabei ist tn k 1;1 α 2 das (1 α )-Quantil der t-verteilung mit 2 n k 1 Freiheitsgraden ŝbj der Standardfehler von ˆb j Beachte: Werden mehrere Hypothesen getestet, ist das Niveau entsprechend anzupassen (vgl. Abschnitt 2.18). 196 / 282

2.30(A) Test auf Signifikanz im multiplen smodell in Beispiel 2.22 Frage: Hat eine der 9 Prädiktorvariablen einen Einfluss auf die abhängige Variable? Mathematische Hypothesen: H 0 : b j = 0 für alle j = 1,..., 9 H 1 : b j 0 für mindestens ein j {1,..., 9} 2.2 Lineare F n = 21.972, F 9,15,0.95 = 2.5876 Da F n > 21.972 > 2.5876 ist, wird die Nullhypothese zum Niveau 5% verworfen. 197 / 282

2.30(B) Beispiel: Test auf Signifikanz eines Merkmals im multiplen linearen smodell in Beispiel 2.22 Frage: Hat die Prädiktorvariable Ehrgeiz (x 1 ) einen Einfluss auf die abhängige Variable Motivation Signifikanz des skoeffizienten b 1 )? Mathematische Hypothesen: H 0 : b 1 = 0; H 1 : b 1 0 ˆb 1 = 0.193, ŝ b1 = 0.081, t 25 10,0.975 = 2.13 2.2 Lineare T 25 = 2.381 Da T 25 = 2.381 > 2.13 wird die Nullhypothese H 0 zu Gunsten der Alternative H 1 : b 1 0 verworfen (zum Niveau 5%) 198 / 282

SPSS Output: Der Test 2.29(A) für das Beispiel 2.22 (Arbeitsmotivation) ANOVA b 2.2 Lineare Modell 1 Residuen Gesamt Quadratsumme 707,309 53,651 760,960 df 24 Mittel der Quadrate a. Einflußvariablen : (Konstante), x9, x5, x2, x3, x6, x8, x7, x4, x1 9 15 78,590 3,577 F 21,972 Signifikanz,000 a b. Abhängige Variable: Y 199 / 282

SPSS Output: Der Test 2.29(B) für das Beispiel 2.22 (Arbeitsmotivation) Koeffizienten a Modell 1 (Konstante) x1 x2 x3 x4 x5 x6 x7 x8 x9 a. Abhängige Variable: Y Nicht standardisierte Koeffizienten B -3,842,193,153,049,246,000 -,031,165,206,053 Standard fehler 5,052,081,049,065,148,001,054,098,052,058 Standardisierte Koeffizienten Beta,337,234,095,235 -,077 -,045,199,354,124 T -,760 2,381 3,127,761 1,664 -,589 -,576 1,683 3,973,920 Signifi kanz,459,031,007,458,117,564,573,113,001,372 95%-Konfidenzintervall für B Untergrenze -14,609,020,049 -,089 -,069 -,004 -,147 -,044,095 -,070 Obergrenze 6,926,365,258,188,561,002,085,373,316,177 2.2 Lineare 200 / 282

R-Output: Der Test 2.29(B) für das Beispiel 2.22 (Arbeitsmotivation) Call : lm( formula = y x1 + x2 + x3 + x4 + x5 + x6 + x7 + x8 + x9) Residuals : Min 1Q Median 3Q Max -3.5333-0.7878-0.0144 0.8352 2.9391 2.2 Lineare Coefficients : Estimate Std. Error t value Pr ( > t ) ( Intercept ) -3.8418391 5.0517520-0.760 0.45875 x1 0.1927225 0.0809357 2.381 0.03094 * x2 0.1533724 0.0490456 3.127 0.00692 ** x3 0.0493953 0.0648797 0.761 0.45826 x4 0.2460051 0.1478258 1.664 0.11683 201 / 282

Residual standard error : 1.891 on 15 degrees of freedom Multiple R- squared : 0.9295, Adjusted R- squared : 0.8872 F- statistic : 21.97 on 9 and 15 DF, p- value : 4.492e -07 2.5 % 97.5 % ( Intercept ) -14.609393640 6.925715428 x1 0.020212256 0.365232828 x2 0.048834252 0.257910529 x3-0.088892612 0.187683168 x4-0.069078063 0.561088342 2.2 Lineare x5-0.004075849 0.002310442 x6-0.147429821 0.084663199 x7-0.043845720 0.373328278 x8 0.095304292 0.315917155 x9-0.070255862 0.177024655 202 / 282

2.2 Lineare 203 / 282

2.31 Das Problem der Multikollinearität Beispiel: Betrachte in dem Beispiel der Arbeitsmarktmotivation ein multiples lineares smodell mit 3 Prädiktorvariablen Y i = b 0 + b 1 x 1i + b 2 x 2i + b 3 x 3i + ε i i = 1,..., 25 (Y : Motivation, x 1 : Ehrgeiz, x 2 : Kreativität, x 3 : Leistungsstreben) Schätzer für die Modellparameter i ˆb i ŝ bi p-wert 0 5.54 2.62 1 0.39 0.14 0.008 2 0.23 0.09 0.020 3 0.001 0.12 0.994 Bestimmtheitsmaß R 2 = 0.7861 2.2 Lineare Beachte: Nur für den Koeffizient b 3 (Leistungsstreben) kann keine Signifikanz (zum Niveau 5%) nachgewiesen werden. 204 / 282

Korrelationsmatrix für die Prädiktoren Motivation Ehrgeiz Kreativität Leistungsstreben Motivation 1 Ehrgeiz.71 1 Kreativität.38.05 1 Leistungsstreben.56.82* -.02 1 Beachte: Der Test 2.5 liefert eine signifikante Korrelation (zum Niveau 1%) zwischen den Variablen Leistungsstreben und Ehrgeiz (SPSS) 2.2 Lineare 205 / 282

Beachte: Es gibt eine signifikante Korrelation zwischen den Variablen Leistungsstreben und Ehrgeiz Beide Variablen tragen weitgehend identische Information. Im Beispiel ist die Variable Leistungsstreben redundant und wird nicht für die Vorhersage der abhängigen Variablen Motivation benötigt. Die Variable Ehrgeiz ist stärker mit der Variablen Motivation korreliert als die Variable Leistungsstreben (aus diesem Grund ist der entsprechende Koeffizient auch signifikant). Für die Bestimmtheitsmaße in den multiplen linearen smodellen mit drei bzw. zwei Variablen erhält man 2.2 Lineare R 2 = 0.786179 für Modell mit den Prädiktoren x 1, x 2, x 3 R 2 = 0.786178 für Modell mit den Prädiktoren x 1, x 2 206 / 282

SPSS Output: Multikollinearität; Schätzer im Modell mit 3 Parametern Modell B 1 (Konstante) 5,539 x1,393 x2,225 x3,001 a. Abhängige Variable: Y Nicht standardisierte Koeffizienten Standard fehler 2,618,135,089,123 Standardisierte Koeffizienten Beta Koeffizienten a,688,343,002 T 2,116 2,913 2,528,008 Signifi kanz,046,008,020,994 95%-Konfidenzintervall für B Untergrenze Obergrenze,095 10,983,112,674,040,410 -,255,257 2.2 Lineare 207 / 282

R-Output: Multikollinearität; Schätzer im Modell mit 3 Parametern Call : lm( formula = y x1 + x2 + x3) Residuals : Min 1Q Median 3Q Max -6.7996-1.5635-0.2354 1.8129 6.6490 2.2 Lineare Coefficients : Estimate Std. Error t value Pr ( > t ) ( Intercept ) 5.538618 2.617828 2.116 0.04649 * x1 0.393239 0.135012 2.913 0.00832 ** x2 0.224767 0.088899 2.528 0.01954 * x3 0.001002 0.123169 0.008 0.99359 --- 208 / 282

SPSS Output: Multikollinearität; Korrelationsmatrix Y x1 x2 x3 Korrelation nach Pearson Signifikanz (2-seitig) N Korrelation nach Pearson Signifikanz (2-seitig) N Korrelation nach Pearson Signifikanz (2-seitig) N Korrelation nach Pearson Signifikanz (2-seitig) N Y 1,000,000 25,379,061,004 25 x1,708 **,000,053,802,000 Korrelationen 25 x2 1,000,939 25 x3,559 ** 25 25 25 25,708 ** 1,000,053,818 ** 25,802 25,000 25 -,016,939 25 25 25 25,559 **,818 ** -,016 1,000 **. Die Korrelation ist auf dem Niveau von 0,01 (2-seitig) signifikant.,379,061,004 25 2.2 Lineare 209 / 282

R-Output: Multikollinearität; Korrelationsmatrix Y x1 x2 x3 Y 1.00 0.71 0.38 0.56 x1 0.71 1.00 0.05 0.82 x2 0.38 0.05 1.00-0.02 x3 0.56 0.82-0.02 1.00 2.2 Lineare n= 25 P Y x1 x2 x3 Y 0.0000 0.0613 0.0037 x1 0.0000 0.8025 0.0000 x2 0.0613 0.8025 0.9388 x3 0.0037 0.0000 0.9388 210 / 282

2.32 Das Problem der Beispiel: Betrachte in dem Beispiel 2.22 der Arbeitsmarktmotivation ein multiples lineares smodell mit 3 anderen Prädiktorvariablen Y i = b 0 + b 4 x 4i + b 5 x 5i + b 6 x 6i + ε i i = 1,..., 25 (Y : Motivation, x 4 : Hierarchie, x 5 : Lohn, x 6 : Arbeitsbedingungen) Schätzungen für die Modellparameter i ˆbi ŝ bi p-wert 0 25.08 8.40 0.007 4 0.88 0.26 0.002 5-0.01 0.003 0.016 6 0.13 0.12 0.308 2.2 Lineare 211 / 282

Korrelationsmatrix für die Variablen Motivation, Hierarchie, Lohn und Arbeitsbedingungen Motivation Hierarchie Lohn Arbeitsbedingungen Motivation 1 Hierarchie.42* 1 Lohn -.04.72** 1 Arbeitsbedingungen.35.16 -.06 1 2.2 Lineare Beachte: Zwischen der Prädiktorvariablen Lohn (x 5 ) und der abhängigen Variablen Motivation liegt keine signifikante Korrelation vor. Dennoch bekommt diese Variable im multiplen smodell ein signifikantes Gewicht; d. h. die Hypothese H 0 : b 5 = 0 wird zum Niveau 5% verworfen (p-wert: 0.016). Man spricht von einem Suppressionseffekt. 212 / 282

Grund für diesen scheinbaren Widerspruch: Korrelationen sind bivariate Maße für (zwischen zwei Merkmalen). Das Modell der multiplen untersucht aber den Zusammenhang zwischen der Variablen Motivation und dem (3-dimensionalen) Prädiktor (x 4, x 5, x 6 ): Motivation ist stark mit der Variablen Hierarchie korreliert. Lohn ist ebenfalls stark mit der Variablen Hierarchie korreliert. Prädiktorvariable Lohn wird in der multiplen linearen benötigt, um unerwünschte Varianzanteile der Variablen Hierarchie zu kompensieren. 2.2 Lineare Bestimmtheitsmaße für verschiedene Modelle R 2 = 0.664282 für Modell mit x 4, x 5, x 6 R 2 = 0.509720 für Modell mit x 4, x 6 213 / 282

SPSS Output: ; Schätzer im Modell mit 4 Parametern Modell 1 (Konstante) x4,884 x5 -,007 x6,125 a. Abhängige Variable: Y Nicht standardisierte Koeffizienten Standardisierte Koeffizienten Standard B fehler Beta T Signifikanz 25,076 8,398 2,986,007,257,003,120 Koeffizienten a,843 -,632,179 3,444-2,612 1,045,002,016,308 95%-Konfidenzintervall für B Untergrenze Obergrenze 7,612 42,539,350 1,419 -,013 -,001 -,124,375 2.2 Lineare 214 / 282

R-Output: ; Schätzer im Modell mit 4 Parametern Call : lm( formula = y x4 + x5 + x6) Residuals : Min 1Q Median 3Q Max -8.656-2.823 1.351 3.262 7.574 2.2 Lineare Coefficients : Estimate Std. Error t value Pr ( > t ) ( Intercept ) 25.075612 8.397555 2.986 0.00704 ** x4 0.884461 0.256842 3.444 0.00244 ** x5-0.007291 0.002792-2.612 0.01630 * x6 0.125417 0.120023 1.045 0.30793 --- 215 / 282

SPSS Output: ; Schätzung der Korrelationsmatrix Y x4 x5 x6 Korrelation nach Pearson Signifikanz (2-seitig) N Korrelation nach Pearson Signifikanz (2-seitig) N Korrelation nach Pearson Signifikanz (2-seitig) N Korrelation nach Pearson Signifikanz (2-seitig) N Y 1,000,037 25 -,038,856 25,354,082 25 x4,419 *,037 25,717 **,000,163,435 Korrelationen 25 25 x5 1,000 25 -,060,777 25 x6 25 25 25 25,419 * 1,000,717 **,163 *. Die Korrelation ist auf dem Niveau von 0,05 (2-seitig) signifikant. **. Die Korrelation ist auf dem Niveau von 0,01 (2-seitig) signifikant. -,038,856,000 25,354,082,435 25 -,060,777 25 1,000 25 2.2 Lineare 216 / 282

R-Output: ; Schätzung der Korrelationsmatrix Y x4 x5 x6 Y 1.00 0.42-0.04 0.35 x4 0.42 1.00 0.72 0.16 x5-0.04 0.72 1.00-0.06 x6 0.35 0.16-0.06 1.00 2.2 Lineare n= 25 P Y x4 x5 x6 Y 0.0369 0.8562 0.0823 x4 0.0369 0.0000 0.4352 x5 0.8562 0.0000 0.7774 217 / 282

2.2 Lineare 218 / 282

2.33 Merkmalselektionsverfahren Ziel: Mit möglichst wenig Prädiktorvariablen eine gute Vorhersage der abhängigen Variablen zu erzielen. Prinzip: Untersuche wie sich durch Weglassen einzelner Variablen das Bestimmtheitsmaß R 2 verändert. Typische Selektionsprozeduren: Rückwärtsverfahren Vorwärtsverfahren Schrittweise Verfahren 2.2 Lineare Beachte: Es handelt sich um explorative Verfahren, die hauptsächlich der Modellbildung dienen (Interpretation nicht einfach). 219 / 282

2.34 Das Rückwärtsverfahren Betrachte das vollständige Modell (mit allen Prädiktorvariablen) und berechne das Bestimmtheitsmaß R 2. Entferne sukzessive diejenigen Variablen, die zu dem geringsten Rückgang des Bestimmtheitsmaßes führen würden. Das Verfahren wird abgebrochen, falls sich bei dem Entfernen einer Variablen das Bestimmtheitsmaß signifikant verkleinert. 2.2 Lineare 220 / 282

2.35 Beispiel: Variablenselektion mit dem Rückwärtsverfahren (vgl. Beispiel 2.22) Schritt Prädiktorvariablen t-wert Ausgeschlossene Variablen R 2 1 Ehrgeiz 2.38.929 Kreativität 3.13 Leistungsstreben.76 Hierarchie 1.66 Lohn -.59 Arbeitsbedingungen -.58 Lernpotential 1.68 Vielfalt 3.97 Anspruch.92 2.2 Lineare 2 Ehrgeiz 2.38 Arbeitsbedingungen.928 Kreativität 3.28 Leistungsstreben.79 Hierarchie 1.66 Lohn -.57 Lernpotential 1.66 Vielfalt 4.04 Anspruch.91 221 / 282

Beispiel: Rückwärtsverfahren - Fortsetzung Schritt Prädiktorvariablen t-wert Ausgeschlossene Variablen R 2 3 Ehrgeiz 2.54 Arbeitsbedingungen.926 Kreativität 3.43 Lohn Leistungsstreben.88 Hierarchie 2.11 Lernpotential 1.59 Vielfalt 4.17 Anspruch 1.35 4 Ehrgeiz 5.40 Arbeitsbedingungen.923 Kreativität 3.38 Lohn Hierarchie 2.31 Leistungsstreben Lernpotential 1.55 Vielfalt 4.12 Anspruch 1.31 2.2 Lineare 5 Ehrgeiz 5.18 Arbeitsbedingungen.916 Kreativität 3.16 Lohn Hierarchie 2.84 Leistungsstreben Lernpotential 3.31 Anspruch Vielfalt 5.04 222 / 282

SPSS Output: Rückwärtsverfahren im Beispiel der Arbeitsmotivation Aufgenommene/Entfernte Variablen b Entfernte Modell Aufgenommene Variablen Variablen Methode 1 x9, x5, x2, x3, x6, x8, x7, x4,. Eingeben 2. x6 Rückwärts (Kriterium: Wahrscheinlichkeit von F-Wert für Ausschluß >=,100). 3. x5 Rückwärts (Kriterium: Wahrscheinlichkeit von F-Wert für Ausschluß >=,100). 4. x3 Rückwärts (Kriterium: Wahrscheinlichkeit von F-Wert für Ausschluß >=,100). 5. x9 Rückwärts (Kriterium: Wahrscheinlichkeit von F-Wert für Ausschluß >=,100). a. Alle gewünschten Variablen wurden aufgenommen. b. Abhängige Variable: Y 2.2 Lineare 223 / 282

SPSS Output: Rückwärtsverfahren im Beispiel der Arbeitsmotivation Modellzusammenfassung Änderungsstatistiken Modell R R-Quadrat Korrigiertes R-Quadrat Standardfehler des Schätzers Änderung in R-Quadrat Änderung in F df1 df2 Änderung in Signifikanz von F 1,964 a,929,887 1,891,929 21,972 9 15,000 2,963 b,928,892 1,851 -,002,332 1 15,573 3,963 c,926,896 1,814 -,001,327 1 16,575 4,961 d,923,897 1,803 -,003,783 1 17,389 5,957 e,916,894 1,837 -,007 1,713 1 18,207 a. Einflußvariablen : (Konstante), x9, x5, x2, x3, x6, x8, x7, x4, x1 b. Einflußvariablen : (Konstante), x9, x5, x2, x3, x8, x7, x4, x1 c. Einflußvariablen : (Konstante), x9, x2, x3, x8, x7, x4, x1 d. Einflußvariablen : (Konstante), x9, x2, x8, x7, x4, x1 e. Einflußvariablen : (Konstante), x2, x8, x7, x4, x1 2.2 Lineare 224 / 282

SPSS Output: Rückwärtsverfahren im Beispiel der Arbeitsmotivation: ANOVA Modell 1 2 3 4 5 Residuen Gesamt Residuen Gesamt Residuen Gesamt Residuen Gesamt Residuen Gesamt Quadratsumme 707,309 53,651 760,960 706,120 54,840 760,960 705,000 55,960 760,960 702,422 58,538 760,960 696,852 64,108 760,960 df 15 24 8 16 24 7 17 24 6 18 24 5 19 24 Mittel der Quadrate 78,590 3,577 88,265 3,427 100,714 3,292 117,070 3,252 139,370 3,374 a. Einflußvariablen : (Konstante), x9, x5, x2, x3, x6, x8, x7, x4, x1 b. Einflußvariablen : (Konstante), x9, x5, x2, x3, x8, x7, x4, x1 c. Einflußvariablen : (Konstante), x9, x2, x3, x8, x7, x4, x1 d. Einflußvariablen : (Konstante), x9, x2, x8, x7, x4, x1 e. Einflußvariablen : (Konstante), x2, x8, x7, x4, x1 f. Abhängige Variable: Y 9 F 21,972 25,752 30,596 35,999 41,306 ANOVA f Signifikanz,000 a,000 b,000 c,000 d,000 e 2.2 Lineare 225 / 282

SPSS Output: Rückwärtsverfahren im Beispiel der Arbeitsmotivation: Koeffizienten Modell 1 (Konstante) 2 3 x1 x2 x3 x4 x5 x6 x7 x8 x9 (Konstante) x1 x2 x3 x4 x5 x7 x8 x9 (Konstante) x1 x2 x3 x4,193,153,049,246,000 -,031,165,206,053-4,737,187,157,050,240,000,157,205,052-7,154,193,159,055,172 a. Abhängige Variable: Y Nicht standardisierte Koeffizienten Standardisierte Koeffizienten B Standardfehler Beta T Signifikanz -3,842 5,052 -,760,459,081,049,065,148,001,054,098,052,058 4,706,079,048,063,144,001,095,051,057 2,027,076,046,062,081,337,234,095,235 -,077 -,045,199,354,124,326,239,096,228 -,073,190,352,121,338,244,105,164 2,381 3,127,761 1,664 -,589 -,576 1,683 3,973,920-1,007 2,376 3,285,790 1,660 -,572 1,655 4,040,914-3,529 2,540 3,431,885 2,113 Koeffizienten a,031,007,458,117,564,573,113,001,372,329,030,005,441,116,575,117,001,374,003,021,003,389,050 95%-Konfidenzintervall für B Untergrenze -14,609,020,049 -,089 -,069 -,004 -,147 -,044,095 -,070-14,713,020,056 -,084 -,066 -,004 -,044,097 -,068-11,431,033,061 -,076,000 Obergrenze 6,926,365,258,188,561,002,085,373,316,177 5,238,353,258,185,545,002,358,312,172-2,877,354,258,185,344 2.2 Lineare 226 / 282

2.36 Das Vorwärtsverfahren Bestimme diejenige Prädiktorvariable, die mit der abhängigen Variablen am stärksten korreliert ist und berechne das Bestimmtheitsmaß R 2. Ist R 2 signifikant, wird diese Variable in das Modell aufgenommen. Füge sukzessive diejenigen Variablen zu dem Modell hinzu, die zu dem größten Anstieg des Bestimmtheitsmaßes führen. Das Verfahren bricht ab, falls sich bei Hinzunahme einer neuen Variablen das Bestimmtheitsmaß R 2 nicht signifikant vergrößert. 2.2 Lineare 227 / 282

SPSS Output: Vorwärtsverfahren im Beispiel der Arbeitsmotivation Aufgenommene Variablen Entfernte Variablen Modell Methode 1 x1. Vorwährts- (Kriterium: Wahrscheinlichkeit von F-Wert für Aufnahme <=,050) 2 Vorwährts- (Kriterium: Wahrscheinlichkeit x9. von F-Wert für Aufnahme <=,050) 3 x2. Vorwährts- (Kriterium: Wahrscheinlichkeit von F-Wert für Aufnahme <=,050) 4 Vorwährts- (Kriterium: Wahrscheinlichkeit x8. von F-Wert für Aufnahme <=,050) 5 x4. Vorwährts- (Kriterium: Wahrscheinlichkeit von F-Wert für Aufnahme <=,050) a. Abhängige Variable: Y Aufgenommene/Entfernte Variablen a 2.2 Lineare 228 / 282

SPSS Output: Vorwärtsverfahren im Beispiel der Arbeitsmotivation Modellzusammenfassung Änderungsstatistiken Modell R R-Quadrat Korrigiertes R-Quadrat Standardfehler des Schätzers Änderung in R-Quadrat Änderung in F df1 df2 Änderung in Signifikanz von F 1,708 a,501,479 4,065,501 23,059 1 23,000 2,863 b,744,721 2,973,244 20,980 1 22,000 3,906 c,820,795 2,552,076 8,876 1 21,007 4,944 d,891,869 2,039,070 12,879 1 20,002 5,955 e,913,890 1,869,022 4,810 1 19,041 a. Einflußvariablen : (Konstante), x1 b. Einflußvariablen : (Konstante), x1, x9 c. Einflußvariablen : (Konstante), x1, x9, x2 d. Einflußvariablen : (Konstante), x1, x9, x2, x8 e. Einflußvariablen : (Konstante), x1, x9, x2, x8, x4 2.2 Lineare 229 / 282

SPSS Output: Vorwärtsverfahren im Beispiel der Arbeitsmotivation: ANOVA Modell 1 2 3 4 5 Residuen Gesamt Residuen Gesamt Residuen Gesamt Residuen Gesamt Residuen Gesamt Quadrat summe 380,968 379,992 760,960 566,456 194,504 760,960 624,244 136,716 760,960 677,797 83,163 760,960 694,596 66,364 760,960 df 23 24 2 22 24 3 21 24 4 20 24 5 19 24 Mittel der Quadrate 380,968 16,521 283,228 8,841 208,081 6,510 169,449 4,158 138,919 3,493 a. Einflußvariablen : (Konstante), x1 b. Einflußvariablen : (Konstante), x1, x9 c. Einflußvariablen : (Konstante), x1, x9, x2 d. Einflußvariablen : (Konstante), x1, x9, x2, x8 e. Einflußvariablen : (Konstante), x1, x9, x2, x8, x4 f. Abhängige Variable: Y 1 ANOVA f F 23,059 32,035 31,962 40,751 39,773 Signifikanz,000 a,000 b,000 c,000 d,000 e 2.2 Lineare 230 / 282

SPSS Output: Vorwärtsverfahren im Beispiel der Arbeitsmotivation: Koeffizienten Modell 1 (Konstante) 2 3 4 5 x1 (Konstante) x1 x9 (Konstante) x1 x9 x2 (Konstante) x1 x9 x2 x8 (Konstante) x1 x9 x2 x8 x4,404,063,320,221-2,101,319,203,183-6,502,253,150,192,190-6,833,271,116,177,181,181 a. Abhängige Variable: Y Nicht standardisierte Koeffizienten Standardisierte Koeffizienten B Standardfehler Beta T Signifikanz 9,088 2,406 3,778,001,084 2,642,064,048 2,380,055,042,061 2,263,048,037,049,053 2,080,045,037,045,049,083 Koeffizienten a,708,560,515,558,474,279,442,350,293,327,474,271,271,311,173 4,802,024 4,983 4,580 -,883 5,776 4,862 2,979-2,873 5,286 4,101 3,908 3,589-3,285 6,076 3,147 3,903 3,706 2,193,000,981,000,000,387,000,000,007,009,000,001,001,002,004,000,005,001,001,041 95%-Konfidenzintervall für B Untergrenze 4,111,230-5,415,187,121-7,052,204,116,055-11,224,153,074,089,080-11,186,178,039,082,079,008 Obergrenze 14,064,579 5,542,454,321 2,849,433,290,310-1,781,352,226,294,301-2,479,364,193,272,283,354 2.2 Lineare 231 / 282

2.37 Das schrittweise Verfahren Rückwärts- und Vorwärtsverfahren werden kombiniert! Man führt ein Vorwärtsverfahren durch, wobei in jedem Schritt untersucht wird, ob bei Entfernen einer bereits aufgenommenen Variable das Bestimmtheitsmaß signifikant abnehmen würde. 2.2 Lineare 232 / 282

SPSS Output: Das schrittweise Verfahren im Beispiel der Arbeitsmotivation Modell 1 Aufgenommene Variablen Entfernte Variablen Methode x1. Schrittweise Auswahl (Kriterien: Wahrscheinlichkeit von F-Wert für Aufnahme <=,050, Wahrscheinlichkeit von F-Wert für Ausschluß >=,100). 2 Schrittweise Auswahl (Kriterien: Wahrscheinlichkeit x9. von F-Wert für Aufnahme <=,050, Wahrscheinlichkeit von F-Wert für Ausschluß >=,100). 3 Schrittweise Auswahl (Kriterien: Wahrscheinlichkeit x2. von F-Wert für Aufnahme <=,050, Wahrscheinlichkeit von F-Wert für Ausschluß >=,100). 4 Schrittweise Auswahl (Kriterien: Wahrscheinlichkeit x8. von F-Wert für Aufnahme <=,050, Wahrscheinlichkeit von F-Wert für Ausschluß >=,100). 5 Schrittweise Auswahl (Kriterien: Wahrscheinlichkeit x4. von F-Wert für Aufnahme <=,050, Wahrscheinlichkeit von F-Wert für Ausschluß >=,100). a. Abhängige Variable: Y Aufgenommene/Entfernte Variablen a 2.2 Lineare 233 / 282

SPSS Output: Das schrittweise Verfahren im Beispiel der Arbeitsmotivation Modellzusammenfassung Änderungsstatistiken Modell R R-Quadrat Korrigiertes R-Quadrat Standardfehler des Schätzers Änderung in R-Quadrat Änderung in F df1 df2 Änderung in Signifikanz von F 1,708 a,501,479 4,065,501 23,059 1 23,000 2,863 b,744,721 2,973,244 20,980 1 22,000 3,906 c,820,795 2,552,076 8,876 1 21,007 4,944 d,891,869 2,039,070 12,879 1 20,002 5,955 e,913,890 1,869,022 4,810 1 19,041 a. Einflußvariablen : (Konstante), x1 b. Einflußvariablen : (Konstante), x1, x9 c. Einflußvariablen : (Konstante), x1, x9, x2 d. Einflußvariablen : (Konstante), x1, x9, x2, x8 e. Einflußvariablen : (Konstante), x1, x9, x2, x8, x4 2.2 Lineare 234 / 282

SPSS Output: Das schrittweise Verfahren im Beispiel der Arbeitsmotivation: ANOVA Modell 1 2 3 4 5 Residuen Gesamt Residuen Gesamt Residuen Gesamt Residuen Gesamt Residuen Gesamt Quadratsumme 380,968 379,992 760,960 566,456 194,504 760,960 624,244 136,716 760,960 677,797 83,163 760,960 694,596 66,364 760,960 a. Einflußvariablen : (Konstante), x1 b. Einflußvariablen : (Konstante), x1, x9 c. Einflußvariablen : (Konstante), x1, x9, x2 d. Einflußvariablen : (Konstante), x1, x9, x2, x8 e. Einflußvariablen : (Konstante), x1, x9, x2, x8, x4 f. Abhängige Variable: Y df 1 23 24 2 22 24 3 21 24 4 20 24 5 19 24 Mittel der Quadrate 380,968 16,521 283,228 8,841 208,081 6,510 169,449 4,158 138,919 3,493 ANOVA f F 23,059 32,035 31,962 40,751 39,773 Signifikanz,000 a,000 b,000 c,000 d,000 e 2.2 Lineare 235 / 282

SPSS Output: Das schrittweise Verfahren im Beispiel der Arbeitsmotivation: Koeffizienten Nicht standardisierte Koeffizienten Koeffizienten a Standardisierte Koeffizienten 95%-Konfidenzintervall für B Modell B Standardfehler Beta T Signifikanz Untergrenze Obergrenze 1 2 3 (Konstante) x1 (Konstante) x1 x9 (Konstante) x1 9,088,404,063,320,221-2,101,319 2,406,084 2,642,064,048 2,380,055,708,560,515,558 3,778 4,802,024 4,983 4,580 -,883 5,776,001,000,981,000,000,387,000 4,111,230-5,415,187,121-7,052,204 14,064,579 5,542,454,321 2,849,433 2.2 Lineare x9,203,042,474 4,862,000,116,290 x2,183,061,279 2,979,007,055,310 4 (Konstante) -6,502 2,263-2,873,009-11,224-1,781 x1,253,048,442 5,286,000,153,352 x9,150,037,350 4,101,001,074,226 x2,192,049,293 3,908,001,089,294 x8,190,053,327 3,589,002,080,301 5 (Konstante) -6,833 2,080-3,285,004-11,186-2,479 x1,271,045,474 6,076,000,178,364 x9,116,037,271 3,147,005,039,193 x2,177,045,271 3,903,001,082,272 x8,181,049,311 3,706,001,079,283 x4,181,083,173 2,193,041,008,354 a. Abhängige Variable: Y 236 / 282

2.38 Bemerkung zu den verschiedenen Merkmalselektionsverfahren Beachte: Verschiedene Verfahren liefern verschiedene Ergebnisse (es gibt kein richtig oder falsch!) Beispiel (Arbeitsmotivation) 2.2 Lineare Rückwärtsverfahren Vorwärtsverfahren Schrittweises Verfahren Ehrgeiz Ehrgeiz Ehrgeiz Kreativität Kreativität Kreativität Hierarchie Hierarchie Hierarchie Lernpotential Anspruch Anspruch Vielfalt Vielfalt Vielfalt R 2 =.916 R 2 =.913 R 2 =.913 237 / 282

2.2 Lineare 238 / 282

Nichtlineare Die (multiplen) linearen smodelle beruhen auf der Annahme, dass der Zusammenhang zwischen jeder Prädiktorvariable und der abhängigen Variablen linear ist, d. h. durch eine Gerade beschrieben werden kann. Diese Annahme muss nicht immer erfüllt sein. zwischen Variablen können im Grunde beliebige Form haben. 2.2 Lineare Man spricht in diesen Fällen von nichtlinearen n 239 / 282

2.39 Beispiel: Gedächtnistest Mehrere Personen machen einen Gedächtnistest 30 Ortsnamen (aus Mongolei) werden vorgegeben y(x): Anzahl der Ortsnamen, die nach x Tagen noch im Gedächtnis geblieben sind (Mittelwerte) 2.2 Lineare x 1 2 3 4 5 6 7 8 9 10 y(x) 24.9 19.7 17.0 13.2 11.0 8.5 7.9 5.8 5.5 5.0 240 / 282

Das Streudiagramm für die Daten aus Beispiel 2.39 (Gedächtnistest) 30,0 Anzahl der Ortsnamen 20,0 10,0 2.2 Lineare,0 0 2 4 6 8 10 Tage 241 / 282

Das Streudiagramm für die Daten aus Beispiel 2.39 (Gedächtnistest) Anzahl der Ortsnamen 5 10 15 20 25 2.2 Lineare 2 4 6 8 10 Tage 242 / 282

Lineare für die Daten aus Beispiel 2.39 (Gedächtnistest) 30,0 Anzahl der Ortsnamen 20,0 10,0 2.2 Lineare,0 0 2 4 6 8 10 Tage Die Gleichung der geschätzten Geraden: y = 10.579 0.429x 243 / 282

Lineare für die Daten aus Beispiel 2.39 (Gedächtnistest) Anzahl der Ortsnamen 0 5 15 25 2.2 Lineare 2 4 6 8 10 Tage Die Gleichung der geschätzten Geraden: y = 10.579 0.429x 244 / 282

Residuenanalyse bei linearer für die Daten aus Beispiel 2.39 (Gedächtnistest) 2,00000 Standardized Residual 1,00000,00000 2.2 Lineare -1,00000-1,50000-1,00000 -,50000,00000,50000 1,00000 1,50000 Standardized Predicted Value 245 / 282

Residuenanalyse bei linearer für die Daten aus Beispiel 2.39 (Gedächtnistest) Residuals vs Fitted 2.2 Lineare Residuals 3 1 1 3 10 6 5 10 15 20 1 Fitted values lm(y ~ x) 246 / 282

QQ - Plot bei linearer für die Daten aus Beispiel 2.39 (Gedächtnistest) Erwarteter Wert von Normal 1,5 1,0 0,5 0,0-0,5-1,0 Q-Q-Diagramm von Normal von Standardized Residual 2.2 Lineare -1,5-2 -1 0 1 2 Beobachteter Wert 247 / 282

QQ - Plot bei linearer für die Daten aus Beispiel 2.39 (Gedächtnistest) Normal Q Q 2.2 Lineare Standardized residuals 1.0 0.0 1.0 2.0 6 10 1 1.5 1.0 0.5 0.0 0.5 1.0 1.5 Theoretical Quantiles lm(y ~ x) 248 / 282

Beachte: Ein lineares smodell ist für die Beschreibung des Zusammenhangs ungeeignet! Quadratisches smodell Y i = b 0 + b 1 x i + b 2 x 2 i + ε i 2.2 Lineare Schätzung der Parameter mit der Methode der kleinsten Quadrate und die entsprechenden Standardfehler ˆb 0 = 29.088 ˆb1 = 4.876 ˆb2 = 0.249 ŝ b0 = 0.558 ŝ b1 = 0.233 ŝ b2 = 0.021 249 / 282

Konfidenzbereiche und Tests Man geht wie in 2.12 und 2.14 bzw. 2.29 vor. 90% Konfidenzintervall für b 2 (man beachte: das Modell hat 3 Parameter) t 10 3,0.95 = 1.8946 ˆb2 = 0.249 ŝ b2 = 0.021 [ˆb 2 t 7,0.95 ŝ b2, ˆb 2 + t 7,0.95 ŝ b2 ] = [0.2092, 0.2888] ist 90% Konfidenzintervall für b 2. Die Hypothese H 0 : b 2 = 0 wird (zum Niveau 10%) verworfen, falls ˆb 2 > t10 3,0.95 ŝ b2 gilt (im Beispiel wird also H 0 abgelehnt). Beachte: 10 3 Freiheitsgrade, da 10 Daten und 3 Parameter in der Parabelgleichung 2.2 Lineare 250 / 282

SPSS-Output: Schätzer für quadratische 2.2 Lineare Nicht standardisierte Koeffizienten Koeffizienten Standardisierte Koeffizienten B Standardfehler Beta t Sig. Tage -4,876,233-2,183-20,927,000 Tage ** 2,249,021 1,257 12,055,000 (Konstante) 29,088,558 52,136,000 251 / 282

R-Output: Schätzer für quadratische Call : lm( formula = y x + x2) Residuals : Min 1Q Median 3Q Max -0.63121-0.27023-0.06689 0.26064 0.75136 2.2 Lineare Coefficients : Estimate Std. Error t value Pr ( > t ) ( Intercept ) 29.08833 0.55793 52.14 2.50e -10 *** x -4.87629 0.23302-20.93 1.43e -07 *** x2 0.24886 0.02064 12.05 6.17e -06 *** --- Signif. codes : 0 *** 0.001 ** 0.01 * 0.05. 0.1 1 252 / 282

Streudiagramm für die Daten aus Beispiel 2.39 mit der geschätzten Parabel Anzahl der Ortsnamen 30,0 20,0 Beobachtet Quadratisch 2.2 Lineare 10,0 0,0 0 2 4 6 8 10 Tage 253 / 282

Streudiagramm für die Daten aus Beispiel 2.39 mit der geschätzten Parabel Anzahl der Ortsnamen 5 10 15 20 25 2.2 Lineare 2 4 6 8 10 Tage 254 / 282

SPSS-Output: Residuenanalyse für die Daten aus Beispiel 2.39 bei quadratischer 2,00000 2.2 Lineare Standardized Residual 1,00000,00000-1,00000-2,00000-1,00000 -,50000,00000,50000 1,00000 1,50000 2,00000 Standardized Predicted Value 255 / 282

R-Output: Residuenanalyse für die Daten aus Beispiel 2.39 bei quadratischer Residuals vs Fitted 2.2 Lineare 7 Residuals 0.5 0.0 0.5 2 1 5 10 15 20 25 Fitted values lm(y ~ x + x2) 256 / 282

SPSS-Output: QQ-Plot für die Daten aus Beispiel 2.39 bei quadratischer Erwarteter Wert von Normal 1,5 1,0 0,5 0,0-0,5-1,0 Q-Q-Diagramm von Normal von Standardized Residual 2.2 Lineare -1,5-2 -1 0 1 2 Beobachteter Wert 257 / 282

R-Output: QQ-Plot für die Daten aus Beispiel 2.39 bei quadratischer Normal Q Q 2.2 Lineare Standardized residuals 1.5 0.0 1.0 2.0 2 1 7 1.5 1.0 0.5 0.0 0.5 1.0 1.5 Theoretical Quantiles lm(y ~ x + x2) 258 / 282

SPSS-Output: Histogramm für die Residuen aus Beispiel 2.39 bei quadratischer Histogramm Abhängige Variable: Anzahl der Ortsnamen 2.2 Lineare Häufigkeit 2,5 2,0 1,5 1,0 Mittelwert =3,96E-16 Std.-Abw. = 0,882 N =10 0,5 0,0-2 -1 0 1 2 Standardisiertes Residuum 259 / 282

2.40 Polynomiale smodelle Beachte: Modelle zur polynomialen Ordnung Modell 0. Y = b 0 + ε 1. Y = b 0 + b 1 x 1 + ε 2. Y = b 0 + b 1 x 1 + b 2 x 2 + ε.. k. Y = b 0 + b 1 x 1 + b 2 x 2 +... + b k x k + ε In der Regel werden nur Modelle von niedrigem Grad verwendet (k 3)! Schätzung der Parameter erfolgt mit der Methode der kleinsten Quadrate. Konfidenzintervalle, Tests und Residuenanalyse werden wie bei der linearen bzw. multiplen durchgeführt (Allgemeines lineares Modell) 2.2 Lineare 260 / 282

2.41 Mehrdimensionale Polynome Sind mehrere Prädiktorvariablen verfügbar, so können neben Potenzen auch Produkte von zwei oder mehr Variablen in die sgleichung aufgenommen werden. Beispiele: Y (x) = b 0 + b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 + ε Y (x) = b 0 + b 1 x 1 + b 2 x 2 + b 12 x 1 x 2 + b 02 x 2 1 + b 20 x 2 2 + ε 2.2 Lineare Y (x) = b 0 + b 1 x 1 + b 2 x 2 + b 3 x 3 + b 120 x 1 x 2 + b 103 x 1 x 3 + b 023 x 2 x 3 + b 123 x 1 x 2 x 3 + ε 261 / 282

3D-Streudiagramm mit der geschätzten Funktion Y 100 80 60 40 20 2.2 Lineare 0 20 40 60 6 4 2 X 2 0 2 4 6 4 2 X 1 0 2 4 Die geschätzte Funktion ist: ŷ(x) = 2.23 + 3.52x 1 + 5.77x 2 + 3.96x 1 x 2. 262 / 282

Y 3D-Streudiagramm mit der geschätzten Funktion Polynomiale Terme und Produkte der Prädiktoren können natürlich auch gemeinsam vorkommen. Beispiel: y(x) = b 0 + b 11 x 1 + b 12 x 2 1 + b 21 x 2 + b 23 x 3 2 + b 11;21 x 1 x 2 + ε. 100 80 60 40 20 2.2 Lineare 0 20 40 60 6 4 2 X 2 0 2 4 6 4 2 X 1 0 2 4 Die angepasste Funktion hat die Form ŷ(x) = 1 + 2.15x 1 + 6.59x 2 1 + 1.66x 2 + 3.07x 3 2 + 3.76x 1 x 2 263 / 282

2.2 Lineare 264 / 282

2.42 Beispiel: Entwicklungspsychologie Im Rahmen einer Studie in der Entwicklungspsychologie soll der Zusammenhang zwischen Abstraktionsfähigkeit (x) und sensomotorischer Koordination (y) untersucht werden. Zusätzlich wird das Alter der Kinder erhoben (z) 2.2 Lineare Insgesamt werden 15 Kinder im Alter von 6-10 Jahren untersucht. 265 / 282

Daten Kind Abstraktions- sensomotor. Alter fähigkeit (x) Koord. (y) (z) 1 9 8 6 2 11 12 8 3 13 14 9 4 13 13 9 5 14 14 10 6 9 8 7 7 10 9 8 8 11 12 9 9 10 8 8 10 8 9 7 11 13 14 10 12 7 7 6 13 9 10 10 14 13 12 10 15 14 12 9 2.2 Lineare 266 / 282

Auswertung: Für den Korrelationskoeffizient von Pearson (vgl. 2.2) erhält man für die Korrelation der Variablen x (Abstraktionsfähigkeit) und y (sensomotorische Koordination) r x,y = 0.89 Obwohl der Korrelationskoeffizient sehr hoch ist, ist es in vielen Fällen sinnvoll zu untersuchen, ob dieser hohe Wert auf einen Einfluss der dritten Variablen (Alter) zurückführbar ist. In einem solchen Fall spricht man von einer Scheinkorrelation. D. h. r x,y ist zwar im mathematischen Sinn eine Korrelation, aber der gefundene Zusammenhang zwischen Abstraktionsfähigkeit und sensomotorischer Koordination ist (teilweise) durch eine dritte Variable erklärbar und kann nicht als kausal interpretiert werden. 2.2 Lineare Ziel: Berechnung einer Korrelation, die von dem Einfluss der dritten Variablen Alter bereinigt ist. = Partialkorrelation. 267 / 282

2.43 Partialkorrelation Modell: Daten (x i, y i, z i ) i=1,...,n. Im Beispiel ist x i die Abstraktionsfähigkeit, y i die sensomotorische Koordination und z i das Alter des i-ten Kindes Gesucht: Ein um den Einfluss der Variablen z bereinigtes Abhängigkeitsmaß zwischen den Variablen x und y Methode: Berechne die (lineare) sgerade für die Daten (x 1, z 1),..., (x n, z n): (vgl. 2.11) und die Residuen x = â 0 + â 1z x i = x i (â 0 + â 1z i) i = 1,..., n Berechne die (lineare) sgerade für die Daten (y 1, z 1),..., (y n, z n): (vgl. 2.11) und die Residuen y = ˆb 0 + ˆb 1z y i = y i (ˆb 0 + ˆb 1z i) i = 1,..., n 2.2 Lineare 268 / 282

Bestimme die Korrelation zwischen den Residuen (x 1, y 1 ),..., (x n, y n ) n r x,y z = r x,y = i=1 (x i n i=1 (x i Die Größe x )(y i y ) x ) 2 n i=1 (y i y ) 2 r x,y z heißt Partialkorrelation zwischen x und y, aus der das Merkmal z herauspartialisiert wurde. 2.2 Lineare Die Partialkorrelation ist also eine bivariate Korrelation zwischen sresiduen. 269 / 282

2.44 Bemerkung Man kann zeigen, dass gilt: r x,y r x,z r y,z r x,y z = (1 rx,z)(1 2 ry,z) 2 Dabei ist rx,y der Korrelationskoeffizient zwischen den Variablen x und y rx,z der Korrelationskoeffizient zwischen den Variablen x und z ry,z der Korrelationskoeffizient zwischen den Variablen y und z Die Partialkorrelation ist ein Maß für den linearen Zusammenhang von zwei Variablen x und y, aus dem der lineare Einfluss einer dritten Variablen z eliminiert wurde. Genauer: Die Partialkorrelation bemisst, inwieweit man aus den Vorhersagefehlern bei der linearen Prognose von x durch z die Vorhersagefehler bei der linearen Prognose von y durch z linear vorhersagen kann - und umgekehrt. Gibt es mehr als drei Variablen, so können Partialkorrelationen höherer Ordnung gebildet werden, indem die Residuen xi, yi mit Hilfe des multiplen linearen smodells (vgl. 2.23) bestimmt werden. (1) 2.2 Lineare 270 / 282

Beispiel (Fortsetzung von Beispiel 2.42) Lineare von x bzgl. z Lineare von y bzgl. z sresiduen x = 1.246z + 0.464 y = 1.420z 1.13 x y 1,06 0,61 0,57 1,77 1,32 2,35 1,32 1,35 1,07 0,93-0,19-0,81-0,43-1,23-0,68 0,35-0,43-2,23-1,19 0,19 0,07 0,93-0,94-0,39-3,92-3,07 0,07-1,07 2,32 0,35 2.2 Lineare 271 / 282

r x,y z = 0.72 Die Korrelation zwischen Abstraktionsfähigkeit und sensomotorischen Koordinationsleistungen der Kinder ist somit von 0.89 auf 0.72 gesunken. Die Differenz ist auf das Alter der Kinder zurückzuführen Beachte: Mit den Werten rx,y = 0.89 rx,z = 0.77 ry,z = 0.80 2.2 Lineare kann man die Partialkorrelation r x,y z auch mit Hilfe der Formel (1) berechnen. 272 / 282

Signifikanztest für partielle Korrelationen Ein Test zum Niveau α für die Hypothese die Merkmale X und Y unter Z sind unkorreliert H 0 : ρ x,y.z = 0 lehnt die Nullhypothese zu Gunsten der Alternative ab, falls H 1 : ρ x,y.z 0 n 3rx,y.z 1 rx,y.z 2 > t n 3,1 α 2 2.2 Lineare gilt. Man vergleiche diesen Test mit dem Test auf eine signifikante Korrelation zwischen zwei Merkmalen (vgl. 2.5) 273 / 282

Partielle Korrelationen in SPSS Kontrollvariablen Alter Abstraktionsfähigkeit sensomotorische Koordination Korrelationen Korrelation Signifikanz (zweiseitig) Freiheitsgrade Korrelation Signifikanz (zweiseitig) Freiheitsgrade Abstraktions fähigkeit 1,000. 0,722,004 12 sensomotorische Koordination,722,004 12 1,000. 0 2.2 Lineare 274 / 282

Partielle Korrelationen in R $estimate x y z x 1.0000000 0.7220272 0.1882497 y 0.7220272 1.0000000 0.4095360 z 0.1882497 0.4095360 1.0000000 2.2 Lineare $p. value x y z x 0.0000000000 0.0003002053 0.5066983 y 0.0003002053 0.0000000000 0.1199311 z 0.5066982702 0.1199311224 0.0000000 $statistic x y z x 0.0000000 3.615123 0.6639876 275 / 282

2.45 Semipartialkorrelationen Wird die dritte Variable z nur aus einer Variablen (z.b. x) herauspartialisiert, so spricht man von einer Semipartialkorrelation. Man berechnet die (lineare) sgerade für die Daten (x 1, z 1 ),..., (x n, z n ): x = â 0 + â 1 z und betrachtet die Vorhersagefehler x i = x i â 0 â 1 z i 2.2 Lineare Dann bestimmt man die Korrelation zwischen (x1, y 1),..., (xn, y n ): n i=1 r y(x z) = r x,y = (x i x )(y i y ) n i=1 (x i x ) 2 n i=1 (y i y ) 2 276 / 282

Alternative Darstellung für die Semipartialkorrelationen Man kann zeigen dass gilt: Dabei ist r y(x z) = r x,y r x,z r y,z 1 rx,z 2 rx,y der Korrelationskoeffizient zwischen den Variablen x und y rx,z der Korrelationskoeffizient zwischen den Variablen x und z ry,z der Korrelationskoeffizient zwischen den Variablen y und z Bemerkung: Die Semipartialkorrelation bemisst, inwieweit man aus den Vorhersagefehlern bei der linearen Prognose von x durch z die Werte von y linear vorhersagen kann. Die quadrierte Semipartialkorrelation ist der Anteil der Varianz von y, der durch die Variable x zusätzlich zu der Variablen z erklärt werden kann. Die Semipartialkorrelation ist immer kleiner als die Partialkorrelation. (2) 2.2 Lineare 277 / 282

Berechnung der Semipartialkorrelationen in Beispiel 2.42 Lineare von x bzgl. z x = 1.246z + 0.464 sresiduen und Beobachtungen x y 1,06 8 0,57 12 1,32 14 1,32 13 1,07 14-0,19 8-0,43 9-0,68 12-0,43 8-1,19 9 0,07 14-0,94 7-3,92 10 0,07 12 2,32 12 2.2 Lineare 278 / 282

r y(x z) = 0.43 Die Korrelation zwischen Abstraktionsfähigkeit und sensomotorischen Koordinationsleistungen der Kinder ist somit von 0.89 auf 0.43 gesunken. Die Differenz ist auf das Alter der Kinder zurückzuführen. Beachte: Mit den Werten rx,y = 0.89 rx,z = 0.77 ry,z = 0.80 2.2 Lineare kann man die Semipartialkorrelation r y(x z) auch mit Hilfe der Formel (2) berechnen. 279 / 282

Semipartialkorrelationen in SPSS Die Semipartialkorrelationen (in SPSS heißen diese Teil-Korrelationen) werden (auf Wunsch) als Ergänzung zu den Kleinsten Quadrate-Schätzungen im multiplen linearen smodell (vgl. 2.23) ausgegeben. Signifikanztest für die Semipartialkorrelationen fehlen. Modell 1 (Konstante) Alter Abstraktionsfähigkeit Nicht standardisierte Koeffizienten Standardisierte Koeffizienten s koeffizientb Standardfehler Beta T Sig. -1,469 1,795 -,818,429,510,730 Koeffizienten a a. Abhängige Variable: sensomotorische Koordination,328,202,289,671 1,555 3,615,146,004 2.2 Lineare Koeffizienten a Modell 1 Korrelationen Nullter Ordnung Partiell Alter Abstraktionsfähigkeit,803,892,410,722 a. Abhängige Variable: sensomotorische Koordination Teil,185,431 280 / 282

Semipartialkorrelationen in R Call : lm( formula = y x + z) Residuals : Min 1Q Median 3Q Max -1.9145-0.7943 0.1447 0.8599 1.3851 2.2 Lineare Coefficients : Estimate Std. Error t value Pr ( > t ) ( Intercept ) -1.4690 1.7955-0.818 0.42922 x 0.7300 0.2019 3.615 0.00355 ** z 0.5104 0.3282 1.555 0.14590 --- Signif. codes : 0 *** 0.001 ** 0.01 * 0.05. 0.1 1 281 / 282

Bemerkung: Ob ein Partial- oder Semipartialkorrelationskoeffizient zur Beschreibung eines Zusammenhangs gewählt wird, hängt von theoretischen Überlegungen ab: Beeinflusst eine dritte Variable (z) ursächlich beide Variablen x und y Partialkorrelation Wird der Zusammenhang zwischen den Variablen x und y durch die dritte Variable z vermittelt (z ist mit y korreliert und beeinflusst x) Semipartialkorrelation 2.2 Lineare 282 / 282