Holger Dette. 16. Oktober 2017

Transkript

1 Ruhr-Universität Bochum 16 Oktober / 72

2 Methodenlehre III Prof Dr NA 3 /73 (zunächst) Telefon: holgerdette@rubde Internet: wwwruhr-uni-bochumde/mathematik3/indexhtml Vorlesung: Montag, :00 Uhr, HGA 10 Thema: Lineare Modelle, multivariate Mittelwertvergleiche, logistische Regression, Modelle der Faktorenanalyse Klausur am (bzw 9418): Anmeldung in VSPL (ab etwa Anfang Dezember) 2 / 72

3 E-Learning und Literatur Zur Unterstützung der Veranstaltung gibt es einen Moodlekurs: Kurs-ID: WiSe17/18, Kursbezeichnung: (Statistische) Methodenlehre III, Anmeldung: ab 1610, 10 Uhr, Passwort: mlehre3 Dort gibt es: Folien zur Vorlesung, Übung und Aufgaben, Anmeldung ist notwendig Die Folien findet man auch unter: Literatur: Bortz, Schuster: Statistik Eid, Gollwitzer, Schmitt: Statistik und Forschungsmethoden Müller, Rudolf: Multivariate Verfahren 3 / 72

4 Statistik-Team Übung: Freitag, Uhr, HGA 10 Ria Van Hecke: NA 1/34; Tel (zunächst) Tutorium: Viola Merhof: 03/974, Mi (wtl) Uhr (ab 2810) 04/271, Do (wtl) Uhr (ab 2910) Nick Augustat: 04/271, Mo (wtl) Uhr (ab 2610) Tim Birnkraut: 03/901, Mo (wtl) Uhr (ab 2610) 4 / 72

5 13 Das allgemeine (ALM), Methode der 5 / 72

6 Eine grundsätzliche Bemerkung zu Beginn Es bestehen viele Ähnlichkeiten zwischen den bisher betrachteten Beispielen (Zwei-Stichproben t-test, ein- und zweifaktorielle Varianzanalyse, lineare und multiple Regression) Zerlegung der Varianz F -Verteilung (das Quadrat der t-verteilung mit k Freiheitsgraden ist eine F -Verteilung mit (1, k) Freiheitsgraden) R 2 (welcher Teil der Variation ist durch das Modell erklärbar) Ziel: grundsätzliche Einsicht, dass alle bisher behandelten Situationen Spezialfälle eines Modells sind! Das allgemeine (ALM) Y = Xb + ε Hilfsmittel: Matrizenrechnung (Abiturstoff) 6 / 72

7 7 / 72

8 Vektoren und Matrizen sind nützliche mathematische Hilfsmittel für die Beschreibung der Position eines Objektes Beschreibung von Bewegungen und Kräften etc In unserem Fall: Zusammenfassung und die der beobachteten Variablen Beispiele für Vektoren ( ) 1 ; ; Die Anzahl der Zeilen in einem Vektor heißt Dimension des Vektors 8 / 72

9 Vektoren und Matrizen In Matrizen fasst man mehrere Vektoren gleicher Dimension zusammen Beispiele für Matrizen ( ) 1 0 ; ; Eine Matrix mit Variablen x 1 x 2 x 3 x 4 x 5 y 1 y 2 y 3 y 4 y 5 ; z 1 z 2 z 3 z 4 z 5 ( cos ρ ) sin ρ sin ρ cos ρ 9 / 72

10 Mehr über Matrizen: Zeilen vor Spalten (ZVS) Matrix mit 2 Zeilen und 4 Spalten (2 x 4 Matrix) ( ) Matrix mit 4 Zeilen und 2 Spalten (4 x 2 Matrix) Matrix mit einer Spalte = Vektor Matrix mit einer Zeile und 6 Spalten (1 x 6 Matrix) (Zeilen-Vektor); ( ) 10 / 72

11 11 Beispiel: Erkennen von Zahlenreihen Studierende der Fachrichtungen Mathematik und Psychologie machen einen Zahlengedächtnistest Wie viele Ziffern können sich maximal gemerkt werden Wiedergabe in Original und umgekehrter Reihenfolge Daten M P M P Frage: Haben Studierende der Psychologie ein besseres Zahlengedächtnis als Studierende der Mathematik? 11 / 72

12 des Merkmals Mathematik (1, 0) und Psychologie (0, 1) Betrachte in jeder der beiden Gruppen nur die ersten 5 Daten (aus Platzgründen) Y = X = Alle Daten der abhängigen Variablen werden in einem Vektor zusammengefasst (Dimension 10) Alle Daten der unabhängigen Variablen (Studienfach) werden in einer Matrix zusammenfasst (10 Zeilen, 2 Spalten) Die Matrix enthält nur Nullen und Einsen, wobei die (1, 0) in einer Zeile für das Fach Mathematik und (0, 1) für das Fach Psychologie verwendet wird Man spricht auch von einer Dummy- Beispiel: In der dritten Zeile von X steht (1, 0), d h der Eintrag in der dritten Zeile von Y gehört zu einem Mathematikstudenten 12 / 72

13 12 Beispiel: Erkennen von Zahlenreihen An dem Zahlengedächtnistest nehmen auch noch 6 Studierende der Geisteswissenschaften teil Daten: M P G M P G Frage: Existieren Unterschiede hinsichtlich des Zahlengedächtnisses zwischen den Studierenden der Psychologie, Mathematik und Geisteswissenschaften? 13 / 72

14 der Merkmale Mathematik (1, 0, 0), Psychologie (0, 1, 0), Geisteswissenschaften (0, 0, 1) Betrachte in jeder Gruppe die ersten 5 Daten (aus Platzgründen) Y = X = Y ist 15-dimensionaler Vektor, X ist 15 x 3 Matrix Beispiel: In der zwölften Zeile von X steht (0, 0, 1), d h der Eintrag in der zwölften Zeile von Y (13) gehört zu einem Studierenden der Geisteswissenschaften 14 / 72

15 Erinnern Sie sich? Modell in Erwartungswertdarstellung Zerlegung des Messwerts in der Population xmj j mj Residualwert der Person m in Gruppe a j Populationsmittelwert der Gruppe a j Statistische Hypothesen beziehen sich auf Mittelwerte μ j H 0 : μ i = μ j H 1 : μ i μ j für alle Paare (i, j), i j für mindestens ein Paar (i, j), i j In diesem speziellen Fall mit J = 2 gibt es nur ein Paar, daher sind die statistischen Hypothesen hier identisch mit denen für den t-test für unabhängige Stichproben VL Methodenlehre II SS 2017 Sitzung / 72

16 Erinnern Sie sich? Modell in Effektdarstellung Zerlegung des Messwerts in der Population Populationseffekt der Gruppe, zu der dieser Messwert gehört xmj j mj mit j j Unbedingter Populationsmittelwert Residualwert (unsystematische Einflüsse) Statistische Hypothesen beziehen sich auf Effekte τ j H 0 : τ j = 0 H 1 : τ j 0 für alle j für mindestens ein j VL Methodenlehre II SS 2017 Sitzung / 72

17 13 Beispiel: Arbeitsmotivation Untersuchung zur Motivation am Arbeitsplatz in einem Chemie-Konzern 25 Personen werden zufällig ausgewählt und verschiedene Variablen gemessen y: Motivation (Einschätzung durch Experten) x: Leistungsstreben (Fragebogen) Frage: Besteht ein Zusammenhang zwischen der Variablen Motivation und der Prädiktorvariablen Leistungsstreben? Daten x y x y x y / 72

18 Erinnern Sie sich? Regressionsgleichungen für beobachtete Werte Schreibweise für individuelle Werte y b b x e m 0 1 m m Schreibweise für Variablen Y b0 b1 X E Vorhergesagte Werte VL Einführung Methodenlehre WS 2016/17 Sitzung / 72

19 von quantitativen Merkmalen (hier für die ersten 9 Daten) Beachte: Die quantitative Variable x wird nicht kodiert, sondern direkt in der Matrix verwendet Y = 20 X = In der Matrix X wurde zusätzlich eine Spalte mit Einsen eingefügt (der Grund wird später klar) Y ist 9-dimensionaler Vektor; X ist 9 x 2 Matrix 19 / 72

20 Mehr über Matrizen: die Position eines Elements Das Element in der Position (2, 3) in der Matrix ( ) ist das Element in der 2-ten Zeile und 3-ten Spalte, also die Zahl 27 Das Element in der Position (4, 1) in der Matrix ist das Element in der 4-ten Zeile und 1-ten Spalte, also die Zahl 1 20 / 72

21 Die m n Matrix (m Zeilen, n Spalten) a 11 a 12 a 13 a 1n a 21 a 22 a 23 a 2n A = a 31 a 32 a 33 a 3n a m1 a m2 a m3 a mn a ij ist das Element in der Position (i, j), d h das Element in der i-ten Zeile und j-ten Spalte der Matrix A Beispiel: Das Element in der Position (2, 3) (also in der 2-ten Zeile und 3-ten Spalte) der Matrix ist die Zahl -5 Hier ist m = 3, n = 4 21 / 72

22 Die mit einer Zahl: Jedes Element der Matrix wird mit einer Zahl multipliziert Beispiele: ( ) ( ) = 12 ( 13) ( 41) ( ) = = 3 ( 1) = / 72

23 23 / 72

24 Rechnen mit Matrizen: Die Addition Matrizen mit gleicher Zeilen- und Spaltenanzahl können addiert werden, in dem man die Elemente addiert, die an den entsprechenden Positionen stehen: = = ( ) ( ) ( ) = / 72

25 Die Addition von zwei m n Matrizen a 11 a 12 a 1n b 11 b 12 b 1n a 21 a 22 a 2n + b 21 b 22 b 2n a m1 a m2 a mn b m1 b m2 b mn a 11 + b 11 a 12 + b 12 a 1n + b 1n a 21 + b 21 a 22 + b 22 a 2n + b 2n = a m1 + b m1 a m2 + b m2 a mn + b mn Beachte: Es können ausschließlich Matrizen addiert werden, die gleiche Zeilen- und Spaltenzahl haben! 25 / 72

26 Rechnen mit Matrizen: Die Multiplikation Das Produkt A B der Matrizen A and B kann gebildet werden, falls die Anzahl der Spalten der Matrix A gleich der Anzahl der Zeilen der Matrix B ist Die Berechnung wird hier nur an Beispielen erläutert A = ( 3 2 ) B = A B = Beachte: A B A B ( ) = ist 2 3 Matrix ist 3 4 Matrix ist 2 4 Matrix ( ) / 72

27 Multiplikation einer Matrix mit einem Vektor A = Y = A Y = = Beachte: A ist 3 4 Matrix Y ist 4 1 Matrix (4-dimensionaler Vektor) A Y ist 3 1 Matrix 27 / 72

28 Auf die Reihenfolge kommt es an Beachte: Bei der darf die Reihenfolge nicht vertauscht werden! Beispiel: ( ) ( ) A = B = ( ) ( ) A B = B A = / 72

29 14 Beispiel: das Modell der linearen Regression in Matrixschreibweise Beispiel: Multiplikation mit smatrix bei linearer Regression: ( b0 b 1 b b 1 b b 1 b b 1 ) b b 1 = b 0 + 5b 1 b 0 + 6b 1 b b 1 b 0 + 0b 1 b b 1 29 / 72

30 14 Beispiel: das Modell der linearen Regression in Matrixschreibweise Y 1 1 x 1 Y 2 Y = = 1 x 2 Y n } 1 x n {{ } X ( ) b0 b 1 }{{} b ε 1 ε 2 + ε n }{{} ε Beachte: X hat n Zeilen und 2 Spalten Die i-te Zeile von Y = Xb + ε ergibt die Gleichung (der Fall i = 2 in blau) Y i = b 0 + b 1 x i + ε i i = 1,, n Schreibweise: Y = Xb + ε 30 / 72

31 15 Beispiel: Das Modell der einfaktoriellen Varianzanalyse in Matrixschreibweise Beispiel: Matrixmultiplikation mit einer smatrix (einfaktorielle Varianzanalyse) µ µ µ 1 µ µ 2 = µ µ 3 µ 2 µ µ µ 3 Beachte: Auf der rechten Seite steht der Vektor der Erwartungswerte µ 1 = 1 µ µ µ 3 31 / 72

32 Statistisches Modell (Fortsetzung von Beispiel 12) Y ij := µ i + ε ij j = 1,, n i ; i = 1, 2, 3 (n 1 = 14, n 2 = 8, n 3 = 7) Y ij : Ergebnis der j-ten Versuchsperson in Gruppe i (Mathematik: i = 1, Psychologie: i = 2, Geisteswissenschaften: i = 3) µ i : unbekannter Erwartungswert in der Population i (Mathematik: i = 1, Psychologie: i = 2, Geisteswissenschaften: i = 3) 32 / 72

33 Matrixschreibweise: Y = Xb + ε Y = Y 11 Y 114 Y 21 Y 28 Y 31 Y 37 = }{{} X (µ 1 µ 2 µ 3 ) }{{} b + ε 11 ε 114 ε 21 ε 28 ε 31 ε 37 }{{} Beachte: Liest man die Gleichung zeilenweise der Reihe nach, so gilt: ε Y 11 =µ 1 + ε 11 Y 12 = µ 1 + ε 12 Y 21 =µ 2 + ε 21 Y 37 =µ 3 + ε / 72

34 Matrixschreibweise: Y = Xb + ε Y = Y 11 Y 114 Y 21 Y 28 Y 31 Y 37 = } {{ } X (µ 1 µ 2 }{{} b µ 3 ) + ε 11 ε 14 ε 21 ε 28 ε 31 ε 37 }{{} ε Beachte: Liest man alle Gleichungen zeilenweise, so gilt: Y ij = µ i + ε ij i = 1, 2, 3; j = 1,, n i X hat = 29 Zeilen und 3 Spalten In der i-ten Spalte stehen genau n i Einsen (n 1 = 14, n 2 = 8, n 3 = 7) Schreibweise: Y = Xb + ε 34 / 72

35 Erinnern Sie sich? Modellgleichung für beobachtete Werte Beobachtete Werte auf der Kriteriumsvariablen Y Residuum Y b0 b1 X1 b2 X2 E VL Methodenlehre II SS 2017 Sitzung / 72

36 16 Beispiel: Das Modell der multiplen linearen Regression in Matrixschreibweise Y 1 1 x 11 x 21 x k1 Y 2 1 x 12 x 22 x k2 Y = Y 3 = 1 x 13 x 23 x k3 Y n } 1 x 1n x 2n {{ x kn } X b 0 b 1 b k }{{} b ε 1 ε 2 + ε 3 ε n }{{} ε Beachte: Y = Xb + ε X hat n Zeilen und k + 1 Spalten Die i-te Zeile von Y liefert die Gleichung (der Falle i = 3 in blau) Y i = b 0 + b 1 x 1i + b 2 x 2i + + b k x ki + ε i i = 1,, n 36 / 72

37 Mehr Matrizenrechnung: Transposition Mit A T wird diejenige Matrix bezeichnet, die man aus der Matrix A erhält, wenn man die Zeilen als Spalten (bzw die Spalten als Zeilen) schreibt Beispiel: T = Beachte: Ist A m n-matrix (m Zeilen, n Spalten), dann ist A T n m-matrix (n Zeilen, m Spalten) Beispiel: 1 1 ( ) A = A T = }{{}}{{} 2 4 Matrix 4 2 Matrix 37 / 72

38 Mehr Matrizenrechnung: Inversion einer Matrix Die Matrix (nur auf der Diagonalen Einsen, sonst Nullen) I = heißt Identitätsmatrix oder Einheitsmatrix (das ist das Pendant zur Zahl 1 bei der Multiplikation von Zahlen) Ist A m m-matrix, so ist die inverse Matrix A 1 diejenige Matrix, für die gilt: A A 1 = A 1 A = I (das ist das Pendant des Kehrwerts bei Multiplikation von Zahlen: A = 3 A 1 = 1 3 ) Beachte: A 1 existiert nicht immer (man kann nicht durch 0 teilen) 38 / 72

39 Beispiel: Inversion einer 2 2 Matrix Die Inverse der Matrix ist die Matrix denn A = ( ) A 1 = ( ), ( A A = ) ( ) = ( 2 A 1 A = ) ( ) = 0 1 Beachte: Gewöhnlich muss die Bestimmung einer Inversen Matrix mit numerischen Methoden erfolgen 39 / 72

40 40 / 72

41 Allgemeines lineares Modell (ALM): Y = Xb + ε Y : Vektor von Zufallsvariablen b: Parametervektor ε: Vektor der zufälligen Fehler (mit gleicher Varianz) X: Designmatrix (dadurch wird das betrachtete Modell spezifiziert) In den vorigen Beispielen erhält man für verschiedene Matrizen X Lineares Regressionsmodell (vgl Beispiel 14) Einfaktorielle Varianzanalyse (vgl Beispiel 15) Multiples lineares Regressionsmodell (vgl Beispiel 16) Es gibt viel mehr Modelle, die man durch das ALM beschreiben kann (z B zweifaktorielle Varianzanalyse, Kovarianzanalyse, etc) Aus diesem Grund werden die Verfahren (Schätzen, Testen, etc) im ALM entwickelt, und diese können in den Spezialfällen dann verwendet werden 41 / 72

42 17 Die Methode der kleinsten Quadrate im ALM Sind Y i und (Xb) i die Elemente in der i-ten Zeile der Vektoren Y und Xb, so wird die Schätzung für b so bestimmt, dass die Summe der quadrierten Differenzen n [Y i (Xb) i ] 2 i=1 zwischen beobachten Werten (Y i ) und durch das Modell vorhergesagten Werten ((Xb) i ) minimiert wird Mathematische Statistik: Der beste Schätzer für b lautet: ˆb = (X T X) 1 X T Y (X T X) 1 die inverse Matrix von X T X X T die Transposition der Matrix X Wichtig ist nicht die Formel, sondern die Erkenntnis, dass man in jedem linearen Modell den Schätzer immer ausrechnen kann (falls die inverse Matrix existiert)! 42 / 72

43 18 Beispiel: Arzneimittelstudie zur Behandlung einer depressiven Erkrankung Drei Behandlungsformen der Depression (Placebo, einfache Dosis, doppelte Dosis) Je 10 Patienten werden mit der jeweiligen Dosierung behandelt (insgesamt 30 Probanden) Daten Faktor A Placebo einfache Dosis doppelte Dosis (1) (2) (3) Es gibt einen (kontrollierbaren) Faktor, der einen Einfluss auf das Ergebnis der Therapie hat Faktor A: Behandlungsform; 43 / 72

44 Einfaktorielle Varianzanalyse im ALM Untersuche den Einfluss eines Faktors (z B Behandlungsform) auf die abhängige Variable (z B Depressivität) Statistisches Modell (n 1 = n 2 = n 3 = 10): Y ij = µ i + ε ij j = 1,, n i ; i = 1, 2, 3 (1) µi Erwartungswert der i-ten Faktorstufe εij zufällige Fehler In der Schreibweise des ALM Y = Xb + ε (die Matrix X und der Datenvektor y werden auf der nächsten Folie gezeigt) 44 / 72

45 Die Matrix X und der Datenvektor y y = X = µ 1 b = µ 2 µ 3 45 / 72

46 Schätzung von b mit der Methode der kleinsten Quadrate bei Modellierung (1) / X T X = (X T X) 1 = 0 1/ /10 10 j=1 y 1j 10 y 1 X T y = j=1 y 2j = 10 y 2 10 j=1 y 3j y 3 ˆb = (X T X) 1 X T y = y 1 y 2 = y / 72

47 Beispiel: Alternatives ALM für die einfaktorielle Varianzanalyse Untersuche den Einfluss eines Faktors (z B Behandlungsform) auf die abhängige Variable (z B Depressivität) Mathematisches Modell (n 1 = n 2 = n 3 = 10): Y ij = µ + α i + ε ij j = 1,, n i ; i = 1, 2, 3 (2) µ = (µ1 + µ 2 + µ 3)/3 Gesamterwartungswert αi Differenz des Erwartungswertes der i-ten Faktorstufe zum Gesamterwartungswert εij zufällige Fehler Beachte: α 1 + α 2 + α 3 = 0; µ i = µ + α i (i = 1, 2, 3) In der Schreibweise des ALM Y = Xb + ε (die Matrix X und der Datenvektor y werden auf der nächsten Folie gezeigt) 47 / 72

48 Die Matrix X und der Datenvektor y für das Modell (2) Beachte: α 1 + α 2 + α 3 = 0 α 3 = α 1 α 2, dh µ + α 3 = µ α 1 α 2 Also gilt für dieses Modell: y = X = µ b = α 1 α 2 48 / 72

49 Schätzung von b mit der Methode der kleinsten Quadrate bei Modellierung (2) Mit einer ähnlichen Methode wie in 17 erhält man ˆb = ˆµˆα 1 = y 169 y 1 y = 37 ˆα 2 y 2 y 03 Beachte: Hier schätzt man den Gesamterwartungswert (169) und die Abweichungen der Gruppenerwartungswerte vom Gesamterwartungswert Außerdem ist dann ˆα 3 = ˆα 1 ˆα 2 = 37 ( 03) = / 72

50 19 Die Genauigkeit der Schätzungen ˆb = (ˆb1,, ˆb n ) T sei der kleinste Quadrate Schätzer (vgl Beispiel 17) Für i = 1,, n sei d i das Element in der Position (i, i) der Matrix (X T X) 1 (man spricht vom i-ten Diagonalelement) Dann ist ŝ bi = ŝ 2 d i = d i ŝ der Standardfehler von ˆb (ŝb 2 ist eine Schätzung für die Varianz von ˆb), wobei ŝ 2 = 1 n r n [Y i (Xb) i ] 2 i=1 eine Schätzung für die Varianz der zufälligen Fehler ist r bezeichnet die Anzahl der (unabhängigen) Parameter im ALM In dem obigen Beispiel ist das gleich 3 (in beiden Modellierungen)! 50 / 72

51 Formulierung von Hypothesen im ALM Y = Xb + ε b sei r-dimensionaler Vektor K sei s r Matrix Nullhypothese H 0 : Kb = 0 Beachte: Kb ist ein s-dimensionaler Vektor; 0 ist ein s-dimensionaler Vektor (alle Einträge 0) 51 / 72

52 Beispiel 110: Einfaktorielle Varianzanalyse Untersuche den Einfluss eines Faktors (z B Behandlungsform) auf die abhängige Variable (z B Depressivität) Daten T X = y = (22, 25,, 19, 16,, 16, 13,, 14) T b = (µ 1, µ 2, µ 3 ) T Mathematisches Modell Y = Xb + ε (n 1 = n 2 = n 3 = 10) Zeilenweise gelesen ergibt das Y ij = µ i + ε ij j = 1,, n i ; i = 1, 2, 3 µi Einfluss der i-ten Faktorstufe εij Störgrößen 52 / 72

53 Formulierung der Hypothese Mit kann die Nullhypothese K = b = µ 1 µ 2 µ 3 ( 1 1 ) geschrieben werden als H 0 : µ 1 = µ 2 = µ 3 ( ) µ1 µ H 0 : Kb = 2 = µ 1 µ 3 ( ) / 72

54 111 Beispiel: Multiple lineare Regression Y 1 1 x 11 x 21 x k1 Y 2 1 x 12 x 22 x k2 Y = Y 3 = 1 x 13 x 23 x k3 Y n } 1 x 1n x 2n {{ x kn } X b 0 b 1 b k }{{} b ε 1 ε 2 + ε 3 ε n }{{} ε Beachte: Y = Xb + ε X hat n Zeilen und k + 1 Spalten Die i-te Zeile von Y liefert die Gleichung (der Fall i = 3 in blau) Y i = b 0 + b 1 x 1i + b 2 x 2i + + b k x ki + ε i i = 1,, n 54 / 72

55 Formulierung der Nullhypothesen: Testen von allen Koeffizienten Mit der k (k + 1)-Matrix K = kann man die Nullhypothese schreiben als b = b 0 b k H 0 : b j = 0 für alle j = 1,, k H 0 : Kb = b 1 b k = / 72

56 Formulierung der Nullhypothesen: Testen von einzelnen Koeffizienten b 1 b = b k Mit der 1 (k + 1)-Matrix [beachte: die 1 steht an der Stelle (1, j + 1)] K = (0, 0,, 0, 1, 0,, 0) kann man die Hypothese b 0 H 0 : b j = 0 schreiben als H 0 : Kb = 0 56 / 72

57 Erinnern Sie sich? Signifikanztests für die multiple Regression in R > model = lm(reldur ~ inc2 + age, data = GeldLiebe) > summary(model) Call: lm(formula = reldur ~ inc2 + age, data = GeldLiebe) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std Error t value Pr(> t ) (Intercept) -1369e e <2e-16 *** inc2 3266e e age 7053e e <2e-16 *** --- Signif codes: 0 *** 0001 ** 001 * Residual standard error: 5711 on 2233 degrees of freedom Multiple R-squared: 0288, Adjusted R-squared: F-statistic: 4515 on 2 and 2233 DF, p-value: < 22e-16 VL Methodenlehre II SS 2017 Sitzung / 72

58 112 für lineare Hypothesen im ALM Modell: Y = Xb + ε Nullhypothese: H 0 : Kb = 0; H 1 : Kb 0 Voraussetzungen (sind zu prüfen): Die Komponenten des Vektors ε (zufällige Fehler) sind unabhängig normalverteilt mit Erwartungswert 0 und derselben Varianz σ 2 > 0 Mathematische Statistik: Die Designmatrix X und die Hypothesenmatrix K definieren eine Statistik F s,n r (n: Stichprobenumfang) Die Nullhypothese H 0 wird zu Gunsten der Alternative H 1 abgelehnt, falls F s,n r größer als das entsprechende Quantil der F -Verteilung ist bzw der p-wert < α ist: 58 / 72

59 59 / 72

60 Daten: Hautwiderstand Bei 10 Versuchspersonen wird morgens, mittags und abends der Hautwiderstand (physiologischer Indikator der psychischen Aktivierung) gemessen Es soll überprüft werden, ob der Hautwiderstand Tagesschwankungen unterliegt (α = 001) oder zu den drei Zeiten im Mittel gleich ist Vpn morgens mittags abends / 72

61 Statistisches Modell für Hautwiderstandsdaten Idee: Einfaktorielle Varianzanalyse, Faktor: Tageszeit y ij = µ i + ε ij j = 1,, 10 i = 1, 2, 3 Problem: Die Annahme der Unabhängigkeit von y lj und y kj ist nicht gerechtfertigt (Beobachtungen gehören zu derselben Person)! 61 / 72

62 Alternative statistische Modelle für Hautwiderstandsdaten Lösung: Modelliere einen personenindividuellen Mittelwert explizit (zweifaktorielle Varianzanalyse) y ijl = µ i + p j + (µp) ij + ε ijl i = 1, 2, 3 j = 1,, 10 l = 1 Neues Problem: = 43 zu schätzende Parameter, bei 30 Beobachtungen Das geht nicht! Pragmatische Lösung: Es wird angenommen, dass keine Wechselwirkungen vorliegen (dh (µp) ij = 0, i = 1, 2, 3 j = 1,, 10) Unter dieser Annahme kann der allgemeine durchgeführt werden! Die zu prüfende Hypothese lautet: H 0 : { ( µ1 = µ K = µ 2 = µ ) 62 / 72

63 R Code: Varianzanalyse für die Hautwiderstandsdaten library(ez) morgens <- c(7,5,8,6,7,7,5,6,7,5) mittags <- c(7,6,9,8,7,9,10,7,8,7) abends <- c(6,8,5,6,5,7,6,4,6,5) RepeatedMeasure_Output data <- c(morgens,mittags,abends) time <- factor(c(rep(1,length(morgens)),rep(2,length(mittags)),rep(3,length(abends)))) person <- factor(c((1:10),(1:10),(1:10))) Daten <- dataframe(person,time,data) ezanova(data=daten,dv=(data),wid=(person),within=(time),type=3) ## $ANOVA ## Effect DFn DFd F p p<05 ges ## 2 time * ## ## $`Mauchly's Test for Sphericity` ## Effect W p p<05 ## 2 time ## ## $`Sphericity Corrections` ## Effect GGe p[gg] p[gg]<05 HFe p[hf] p[hf]<05 ## 2 time * * 63 / 72

64 mittags <- c(7,6,9,8,7,9,10,7,8,7) abends <- c(6,8,5,6,5,7,6,4,6,5) R-Output: Varianzanalyse für die data <- c(morgens,mittags,abends) Hautwiderstandsdaten time <- factor(c(rep(1,length(morgens)),rep(2,length(mittags)),rep(3,length(abends)))) person <- factor(c((1:10),(1:10),(1:10))) Daten <- dataframe(person,time,data) ezanova(data=daten,dv=(data),wid=(person),within=(time),type=3) ## $ANOVA ## Effect DFn DFd F p p<05 ges ## 2 time * ## ## $`Mauchly's Test for Sphericity` ## Effect W p p<05 ## 2 time ## ## $`Sphericity Corrections` ## Effect GGe p[gg] p[gg]<05 HFe p[hf] p[hf]<05 ## 2 time * * Der Hautwiderstand schwankt im Tagesverlauf signifikant (α = 001) (8239 > 6012 = F 2,18,099 ) 64 / 72

65 Valide s bei Autokorrelation zwischen den Messzeitpunkten Der im ALM (und in diesem Modell, aber auch bei allen bisher betrachteten Verfahren) setzt unabhängige Beobachtungen voraus! Häufig sind die Fehler auch im Modell mit personenindividuellen Mittelwerten jedoch abhängig In diesem Fall ist der NICHT direkt anwendbar (genauer die Prüfgröße kann nicht mit den Quantilen der F -Verteilung (in dem Beispiel die F 2,18 Verteilung) verglichen werden! Frage: kann man dennoch die Quantile F 2,18 Verteilung verwenden? Antwort: nicht immer - aber manchmal! 65 / 72

66 Valide s bei Autokorrelation zwischen den Messzeitpunkten Die bei der Varianzanalyse verwendete Teststatistik besitzt genau dann F 3 1,(3 1)(10 1) =F 2,18 Verteilung, wenn für die Varianz-Kovarianz-Matrix Σ der Beobachtungen y 1j, y 2j, y 3j zu den 3 Messzeitpunkten gilt: Σ = a a t + λ I 3 a = (a 1, a 2, a 3 ) t, λ > 0 Diese Bedingung wird als Zirkularitätsannahme bezeichnet Die Zirkularitätsannahme ist genau dann erfüllt, wenn Var(y 1j y 2j ) = Var(y 2j y 3j ) = Var(y 1j y 3j ), für j = 1,, 10 Die Zirkularitätsannahme ist auch im Fall homogener Varianzen und Kovarianzen erfüllt, insbesondere also auch bei unkorrelierten Merkmalen mit gleicher Varianz In diesem Fall wird von Sphärizität gesprochen 66 / 72

67 Das Modell der einfaktoriellen Varianzanalyse mit Untersuche den Einfluss eines Faktors (zb Tageszeit ) auf die abhängige Variable (zb Hautwiderstand ) in dem Fall, wenn die abhängige Variable für jeweils alle k Faktorstufen an denselben p Untersuchungsobjekten beobachtet werden Mathematisches Modell (im Beispiel ist k = 3 und p = 10) Y ij = µ i + p j + ε ij i = 1,, k j = 1,, p mit µi: Mittelwert der i-ten Faktorstufe pj: individuelle Abweichung von Person j εij: Störgröße (für die Messung von Faktorstufe i bei Person j) Modellannahmen Störgrößen normalverteilt keine Wechselwirkungen zwischen dem Faktor und der Personen die Zirkularitätsannahme ist erfüllt 67 / 72

68 Die Zerlegung der Quadratsumme in zwei Stufen p j=1 i=1 k (y ij y ) 2 = k } {{ } QS tot p (y j y ) 2 + j=1 } {{ } QS zwvpn p j=1 i=1 k (y ij y j ) 2 } {{ } QS invpn p j=1 i=1 k (y ij y j ) 2 = p } {{ } QS invpn k (y i y ) 2 i=1 } {{ } QS treat p k + (y ij y j y i + y ) 2 j=1 i=1 } {{ } QS res 68 / 72

69 Schematische Darstellung der zweistufigen Zerlegung der Quadratsumme Total (QS tot ) Zwischen den Vpn (QS zw Vpn ) Innerhalb der Vpn (QS in Vpn ) Zwischen den Faktorstufen (QS treat ) Residual (QS res ) 69 / 72

70 Verletzung der Zirkularitätsannahme: Korrektur der Freiheitsgrade der F -Verteilung Auch bei verletzter Zirkularitätsannahme ist die Teststatistik näherungsweise F -verteilt Verletzung der ZA führen zu progressiven Tests (H 1 wird häufiger begünstigt, als α dies vorsieht) Korrektur der Freiheitsgrade verhindert progressives Testen Die korrigierte F-Verteilung hat (k 1)ε und (p 1)(k 1)ε Freiheitsgrade, wobei 1 k 1 ε 1 ε = f (Σ) ist Funktion der Varianz-Kovarianz-Matrix und lässt sich aus der empirischen Varianz-Kovarianz-Matrix ˆΣ schätzen Unterschiedliche Darstellungen der Funktion f liefern unterschiedliche Schätzverfahren In SPSS implementiert: Greenhouse/Geisser, Huynh/Feldt und die Untergrenze von 1 k 1 70 / 72

71 time <- factor(c(rep(1,length(morgens)),rep(2,length(mittags)),rep(3,length(abends)))) person <- factor(c((1:10),(1:10),(1:10))) R-Output: Daten <- dataframe(person,time,data) Prüfung der Sphärizitätsannahme ezanova(data=daten,dv=(data),wid=(person),within=(time),type=3) ## $ANOVA ## Effect DFn DFd F p p<05 ges ## 2 time * ## ## $`Mauchly's Test for Sphericity` ## Effect W p p<05 ## 2 time ## ## $`Sphericity Corrections` ## Effect GGe p[gg] p[gg]<05 HFe p[hf] p[hf]<05 ## 2 time * * Die Hypothese, dass Sphärizität vorliegt, kann nicht verworfen werden Die beiden Schätzungen GGe und HFe von ε liegen nahe bei 1 Die Rechnung von Folie?? liefert ein valides Ergebnis Die ermittelten p-werte p[gg] und p[hf] weichen praktisch nicht voneinander ab 71 / 72

72 Abschließende Bemerkungen Prinzipiell existieren für alle bisher betrachtete Modelle entsprechende Modelle für ZB Zweifaktorielle Varianzanalyse mit in beiden Faktoren Zweifaktorielle Varianzanalyse mit in einem Faktor Kovarianzanalyse Multiple lineare Regression Es gibt für diese Modelle sehr ähnliche Methoden (es sind ja alles Spezialfälle des allgemeinen linearen Modells!) 72 / 72