Weitere Varianzanalysen

Transkript

1 Professur E-Learning und Neue Medien Institut für Medienforschung Philosophische Fakultät Einführung in die Statistik Weitere Varianzanalysen

2 Überblick Varianzanalyse mit Messwiederholung Kovarianzanalyse Multivariate Varianzanalyse 2

3 Einführung (z. B. Rasch, Friese, Hofmann & Naumann, 2014; Rey, 2012) Varianzanalyse (engl. analysis of variance, ANOVA): Statistisches Verfahren zum simultanen Vergleich mehrerer Mittelwerte Einfaktorielle und mehrfaktorielle Varianzanalyse Weitere Varianzanalysen Varianzanalyse mit Messwiederholung: Varianzanalyse für voneinander abhängige Messungen Kovarianzanalyse: Varianzanalyse, bei welcher der Einfluss von einzelnen Drittvariablen rechnerisch konstant gehalten wird Multivariate Varianzanalyse: Varianzanalyse für mehrere abhängige Variablen 3

4 Varianzanalyse mit Messwiederholung (z. B. Rasch, Friese, Hofmann & Naumann, 2014) Varianzanalyse zu einem messwiederholten Versuchsdesign, bei dem die Messungen voneinander abhängig sind Beispiel: Lernleistungen werden während eines Lerntrainings wiederholt an denselben Versuchspersonen gemessen Neben der Effektvarianz kann die Personenvarianz aufgeklärt werden, die sich auf allgemeine Unterschiede zwischen den Personen bezieht Vor- und Nachteile von Varianzanalysen mit Messwiederholung Höhere Teststärke bzw. geringeres benötigtes N Auftreten von Übungs- und Sequenzeffekten (Reihenfolgeeffekte) Bestimmte Forschungsfragen lassen sich nicht (sinnvoll) mit Messwiederholung untersuchen 4

5 Varianzanalyse mit Messwiederholung Wann ist eine Messwiederholung sinnvoll? A: Ein einzelner Lerntext wird einmal mit und einmal ohne Unterstreichungen der zentralen Begriffe präsentiert. B: Beim Vokabellernen wird einmal mit roten und einmal mit blauen Karteikarten gelernt. C: Eine einzelne Animation wird mit oder ohne Unterbrechungen präsentiert. D: Ein Lernspiel wird einmal miteinander und einmal gegeneinander gespielt. Rey.participoll.com A B C D 0 5

6 Varianzanalyse mit Messwiederholung (z. B. Rasch, Friese, Hofmann & Naumann, 2014) Zerlegung der Gesamtvarianz aller Messwerte in Personenvarianz, Effektvarianz und Residualvarianz (Fehlervarianz) Personenvarianz: Varianz, die auf systematische Unterschiede zwischen den Versuchspersonen zurückzuführen ist Effektvarianz: Varianz, die durch den Einfluss der experimentellen Faktoren (und deren Wechselwirkungen) verursacht wird Residualvarianz: Varianz, die nicht erklärt werden kann und die sich aus zwei Komponenten zusammensetzt (auf Stichprobenebene nicht voneinander trennbar) Wechselwirkung zwischen dem Personenfaktor und den Stufen des messwiederholten Faktors Restliche unsystematische Einflüsse 6

7 Leistung Leistung Varianzanalyse mit Messwiederholung Fiktive Ergebnisse zweier Studien mit Messwiederholung Jeweils mit einem einfaktoriellen, dreifachgestuften Versuchsdesign (d. h. drei Versuchsbedingungen) Sheldon Cooper Leonard Hofstadter Howard Wolowitz Sheldon Cooper Leonard Hofstadter Howard Wolowitz Rajesh Koothrappali Penny Mittelwert Rajesh Koothrappali Penny Mittelwert IQ Basketball Kochen IQ Mathe Gedächtnis Personenvarianz gering Effektvarianz hoch Personenvarianz hoch Effektvarianz gering 7

8 Varianzanalyse mit Messwiederholung Fiktive Rohdaten zu einer Studie (vgl. rechte Abbildung auf der vorherigen Seite) IQ Mathe Gedächtnis VPN Leistung Sheldon 9.5 Leonard 6.5 Howard 4.5 Rajesh 8.5 Penny 1.5 M 6.1 VPN Leistung Sheldon 9.0 Leonard 7.5 Howard 6.0 Rajesh 8.0 Penny 2.0 M 6.5 VPN Leistung Sheldon 9.5 Leonard 7.0 Howard 6.5 Rajesh 8.0 Penny 3.5 M 6.9 8

9 Varianzanalyse mit Messwiederholung (z. B. Rasch, Friese, Hofmann & Naumann, 2014) Für ein einfaktorielles Design mit Messwiederholung gilt: F A QS df QS df A A AxVpn AxVpn F A QS A QS Ax Vpn df A df A x Vpn = Empirischer F-Wert für den Faktor A = Quadratsumme des Faktors A = Residualquadratsumme = Zählerfreiheitsgrade = Nennerfreiheitsgrade 9

10 Varianzanalyse mit Messwiederholung (z. B. Rasch, Friese, Hofmann & Naumann, 2014) Formel zur Berechnung der Quadratsumme für die Wechselwirkung A x Vpn: QS AxVpn Formel nicht identisch für nicht messwiederholte Varianzanalysen Für das Beispiel gilt: Gruppenmittelwerte: 6.1, 6.5 und 6.9 Personenmittelwerte: 9.33, 7.00, 5.67, 8.17 und 2.33 Gesamtmittelwert: 6.5 Berechnung: QS AxVpn p N x im ( Ai PM G ) i 1 m 1 2 p = Anzahl an Faktorstufen von A N = Anzahl an Versuchspersonen Ā i = Mittelwert der Gruppe i P M = Mittelwert der Versuchsperson m G = Gesamtmittelwert ( ) ( )

11 Varianzanalyse mit Messwiederholung (z. B. Rasch, Friese, Hofmann & Naumann, 2014) Formel zur Berechnung der Quadratsumme für den Haupteffekt A: QS A n Formel identisch für nicht messwiederholte Varianzanalysen Für das Beispiel gilt: Anzahl an Versuchspersonen in einer Gruppe: 5 Gruppenmittelwerte: 6.1 (IQ), 6.5 (Mathe) und 6.9 (Gedächtnis) Gesamtmittelwert: 6.5 Berechnung: p Ai G i 1 QS A 5 [( ) 2 2 ( ) n = Anzahl an Versuchspersonen in einer Gruppe Ā i = Mittelwert der Gruppe i G = Gesamtmittelwert 2 ( ) 2 ]

12 Varianzanalyse mit Messwiederholung (z. B. Rasch, Friese, Hofmann & Naumann, 2014) Zählerfreiheitsgrade: Bei einer einfaktoriellen, univariaten Varianzanalyse mit Messwiederholung (MW) Formel: df A = p 1 p = Anzahl an Versuchsbedingungen Formel identisch für nicht messwiederholte Varianzanalysen Beispiel: Bei drei Versuchsbedingungen ist df A = 3 1 = 2 Nennerfreiheitsgrade: Bei einer einfaktoriellen, univariaten Varianzanalyse mit MW n = Anzahl an Versuchspersonen in einer Bedingung Formel: df A x Vpn = (p 1) (n 1) Formel nicht identisch für Varianzanalysen ohne MW Beispiel: Bei drei Versuchsbedingungen ist df A x Vpn = 2 4 = 8 12

13 Varianzanalyse mit Messwiederholung (z. B. Rasch, Friese, Hofmann & Naumann, 2014) Berechnung des empirischen F-Wertes: QS df FA QS df A A AxVpn AxVpn Einsetzen ergibt: Kritischer F-Wert für df A = 2 und df A x Vpn = 8 sowie α =.05: F krit 4.46 Inferenzstatistische Entscheidung und Ergebnisdarstellung Da F emp = 1.79 < F krit = 4.46 wird H 0 vorläufig beibehalten, d. h. das Ergebnis ist nicht signifikant F A (2,8) = 1.79, p =.23, η p ² = β =.93 für f =.25 und α =.05 F A 13

14 Varianzanalyse mit Messwiederholung (z. B. Rasch, Friese, Hofmann & Naumann, 2014) Inferenzstatistische Voraussetzungen (vgl. ANOVA ohne MW) Homogenität der Korrelationen zwischen den Stufen des messwiederholten Faktors Intervallskalenniveau der AV Normalverteilung der AV in der Population Varianzhomogenität Zirkularitätsannahme (liberalere Variante der erstgenannten Voraussetzung): Varianzhomogenität der Differenzen der Messungen von jeweils zwei Faktorstufen Prüfung mittels Sphärizitätstest (Mauchly-Test) Korrekturverfahren bei Verletzungen der Annahme berichtigen die Freiheitsgrade Ergebnis wird weniger schnell signifikant 14

15 Kovarianzanalyse (Rey, 2012) Kovarianzanalyse (engl. analysis of covariance, ANCOVA): Varianzanalyse, bei welcher der Einfluss einer Drittvariablen (hier: Kovariate) auf die AV rechnerisch konstant gehalten, d. h. herausgerechnet (herauspartialisiert) wird Beispiel: Lernspiele mit vs. ohne Lernziele und IQ als Kovariate Vergleich ohne Kovarianzanalyse Mit Lernzielen Ohne Lernziele IQ Mit Lernzielen Kovariate Ohne Lernziele Lernleistung Lernleistung Vergleich mit Kovarianzanalyse Mit Lernzielen Ohne Lernziele 15

16 Kovarianzanalyse (Rey, 2012) Voraussetzungen für einen Einfluss der Kovarianzanalyse auf die Ergebnisse Unterschiedliche Mittelwerte der Kovariaten für die einzelnen Bedingungskombinationen Korrelation der Kovariaten mit der AV Mögliche Ergebnisse der Kovarianzanalyse Unterschiede zwischen verschiedenen Versuchsbedingungen verstärken sich Unterschiede zwischen verschiedenen Versuchsbedingungen verringern sich 16

17 Kovarianzanalyse In einer Lernstudie wird der Einfluss von Pausen in Animationen untersucht. Nach der Erhebung zeigt sich, dass die Studierenden unter der Bedingung mit Pausen besser gelernt, aber auch mehr Vorwissen besessen haben als in der KG ohne Pausen. Das Vorwissen wird daher als Kovariate berücksichtigt. Wie beeinflusst dies voraussichtlich die Ergebnisse? A: Der lernförderliche Pausen-Effekt wird stärker. B: Der lernförderliche Pausen-Effekt wird schwächer. C: Der lernförderliche Pausen-Effekt wird stärker und dadurch signifikant. D: Der lernförderliche Pausen-Effekt wird schwächer und dadurch nicht mehr signifikant. Rey.participoll.com A B C D 0 17

18 Inferenzstatistische Voraussetzungen der Kovarianzanalyse (Bortz & Schuster, 2010) Voraussetzungen entsprechen denen der Varianzanalyse Unabhängigkeit der Messwerte in den einzelnen Bedingungen (bei nicht messwiederholten Versuchsdesigns) Intervallskalenniveau der AV Normalverteilung der AV in der Population Varianzhomogenität als Gleichheit der Populationsvarianzen, aus denen die Stichproben stammen Außerdem: Annahme homogener Steigungen der Regressionen innerhalb der Stichproben Kovarianzanalyse reagiert bei ungefähr gleichgroßen Stichproben der Gruppen relativ robust gegenüber Verletzungen der Voraussetzungen 18

19 Multivariate Varianzanalyse (z. B. Bortz & Schuster, 2010; Stevens, 2009) Multivariate Varianzanalyse (engl. multivariate analysis of variance, MANOVA): Varianzanalyse für mehrere abhängige Variablen, bei denen die Mittelwertsunterschiede gleichzeitig geprüft werden Beispiel: Lernexperiment mit Behaltens- und Transferlernleistungen, kognitiver Belastung und Lernspaß als abhängige Variablen Vorteile multivariater Varianzanalysen Differenziertere Erfassung eines Konzeptes Berücksichtigung der Korrelationen zwischen den AVs Vermeidung der Alphafehler-Kumulierung Erhöhung der Teststärke Nachteil (u. a.): Schwierigere Interpretierbarkeit der Ergebnisse 19

20 Multivariate Varianzanalyse (Stevens, 2009) Multivariate Prüfstatistiken Pillai-Bartlett s V Wilk s Lambda Hotelling-Lawley s trace Roy s largest root Resultierende F- und p-werte aus diesen verschiedenen Prüfstatistiken in der Regel identisch Inferenzstatistische Entscheidung daher meist unabhängig von der gewählten Prüfstatistik In Fachzeitschriften häufig Wilk s Lambda berichtet 20

21 Inferenzstatistische Voraussetzungen der MANOVA ohne Messwiederholung Intervallskalenniveau der AVs Unabhängigkeit der Fehlerkomponenten von den Treatment-Effekten: Beispielsweise bei Messwiederholungen verletzt Multivariate Normalverteilung der AVs in der Population für die einzelnen Bedingungskombinationen Univariate Normalverteilungen garantieren keine multivariate Normalverteilung Graphische Inspektion oder (indirekte) Testung, z. B. mittels Test zur Schiefe und Exzess von Mardia (1970) Homoskedastizität als Homogenität der Varianz-Kovarianz-Matrizen der einzelnen Faktorstufenkombinationen: Überprüfung durch Box-M- Test oder Bartlett s χ 2 -Test 21

22 Inferenzstatistische Voraussetzungen der MANOVA mit Messwiederholung Varianzhomogenität unter den einzelnen Faktorstufen und Homogenität der Korrelationen zwischen den Faktorstufen Auch hier nur Prüfung der Zirkularitätsannahme mittels Sphärizitätstest (Mauchly-Test) Korrekturverfahren bei Verletzungen der Zirkularitätsannahme berichtigen die Freiheitsgrade, so dass das Ergebnis weniger schnell signifikant wird Bei der MANOVA mit MW ansonsten ähnliche Annahmevoraussetzungen wie bei der MANOVA ohne MW Ausnahme: Unabhängigkeit der Fehlerkomponenten von den Treatment-Effekten muss nicht vorliegen 22

23 Inferenzstatistische Voraussetzungen der MANOVA Überprüfung der Voraussetzungen in der Forschungspraxis (leider) eher unüblich (vgl. t-tests) Bezüglich der Annahme der multivariaten Normalverteilung unterschiedliche Angaben in der Literatur bezüglich der Robustheit Test robust bei großen und gleichverteilten Stichproben (z. B. Ito, 1969; Ito & Schull, 1964; Stevens, 1979) Test nicht robust (vgl. z. B. Wilcox, 2003) Bei Verletzungen der Voraussetzungen kann ein nonparametrisches Verfahren eingesetzt werden In der Praxis werden selten nonparametrische Verfahren genutzt 23

24 Beispiele für messwiederholte & multivariate (Ko-)Varianzanalysen in Fachzeitschriften Quelle: Mammarella, Fairfield und Di Domenico (2013) Quelle: Florax und Plötzner (2010) Quelle: Linek, Gerjets und Scheiter (2010) 24

25 Zusammenfassung Varianzanalyse mit Messwiederholung Varianzanalyse zu einem messwiederholten Versuchsdesign, bei dem die Messungen voneinander abhängig sind Zerlegung der Gesamtvarianz aller Messwerte in Personenvarianz, Effektvarianz und Residualvarianz (Fehlervarianz) Kovarianzanalyse: Varianzanalyse, bei welcher der Einfluss einer Drittvariablen auf die AV rechnerisch konstant gehalten wird Multivariate Varianzanalyse: Varianzanalyse für mehrere abhängige Variablen, bei denen die Mittelwertsunterschiede gleichzeitig geprüft werden 25

26 Prüfungsliteratur Rasch, B., Friese, M., Hofmann, W., & Naumann, E. (2014). Quantitative Methoden 2: Einführung in die Statistik für Psychologen und Sozialwissenschaftler (4. Aufl.). Heidelberg: Springer. Varianzanalyse mit Messwiederholung (S ) Rey, G. D. (2012). Methoden der Entwicklungspsychologie. Datenerhebung und Datenauswertung. Norderstedt bei Hamburg: BoD. Kovarianzanalyse (S ) 26

27 Weiterführende Literatur I Bortz, J., & Schuster, C. (2010). Statistik für Human- und Sozialwissenschaftler (7. Aufl.). Berlin: Springer. Versuchspläne mit Messwiederholungen (S ) Kovarianzanalyse (S ) Multivariate Mittelwertvergleiche (S ) Eid, M., Gollwitzer, M., & Schmitt, M. (2015). Statistik und Forschungsmethoden (4. Aufl.). Weinheim: Beltz. Einfaktorielle Varianzanalyse mit Messwiederholung (S ) Unterschiede zwischen mehreren Stichproben auf mehrere abhängige Variablen: Multivariate Varianzanalyse (S ) Gemeinsame Analyse kategorialer und metrischer unabhängiger Variablen (S ) 27

28 Weiterführende Literatur II Leonhart, R. (2013). Lehrbuch Statistik. Einstieg und Vertiefung (3. Auflage). Bern: Huber. Varianzanalyse mit Messwiederholung (S ) Kovarianzanalyse (S ) Multivariate Varianzanalyse (S ) Sedlmeier, P., & Renkewitz, F. (2013). Forschungsmethoden und Statistik: Ein Lehrbuch für Psychologen und Sozialwissenschaftler (2. Aufl.). München: Pearson. Varianzanalyse mit abhängigen Stichproben (S ) Kovarianzanalyse (S. 493) Multivariate Varianzanalyse (S ) Stevens, J. P. (2009). Applied multivariate statistics for the social sciences (5 th ed.). Hove, East Sussex: Routledge. 28