Quantitative Methoden (Vertretung für Prof. Th. Pechmann)

Quantitative Methoden (Vertretung für Prof. Th. Pechmann) Inferenzstatistik III: Varianzanalyse (ANOVA) Andreas Opitz Universität Leipzig Institut für Linguistik

Fragen, die Sie nach der letzten Sitzung beantworten können sollten Welche Arten von t-tests kennen Sie? Wann kann ein t-test angewandt werden (Was sind die Voraussetzungen, die für einen t-test gegeben sein müssen?) In einem Experiment wurden der Blutdruck von 100 Patienten gemessen a) vor der Gabe eines Medikaments, b) nach der Gabe eines Medikaments. Welchen t-test würden Sie anwenden, um die Daten zu untersuchen? Angenommen Sie erhalten folgendes Ergebnis: Was bedeutet das? t(99) = 5.89, p<.001

Varianzanalyse (ANOVA) diese Woche

Vergleich von mehr als 2 Stichproben

Beispiel Unser Rosenzüchter von letzter Woche:

Beispiel Er führte ein Experiment mit 120 seiner Rosen durch. 60 bekamen nur Wasser, 60 zusätzlich Zucker. Er misst die Blühdauer in Einheiten zu 0.5Tagen (1 Tag, 1.5 Tage, 2 Tage, 2.5 Tage ) Wasser Zucker

Beispiel Messwerte: Wasser- Gruppe Zucker- Gruppe 3.5 3.0 2.5 3.0 4.0 3.0 5.0 5.0 4.0 4.0 5.5 4.0 3.5 1.5 8.0 6.0 4.5 5.5 3.0. 7.5 Kennwerte: Wasser-Gruppe Zucker-Gruppe Mittelwert 4.54 4.99 Standardabweichung 1.64 1.58

Beispiel Messwerte: Wasser- Gruppe Zucker- Gruppe 3.5 3.0 2.5 3.0 4.0 3.0 5.0 5.0 4.0 4.0 5.5 4.0 3.5 1.5 8.0 6.0 4.5 5.5 3.0. 7.5

Beispiel T-Statistik: T = 4. 54 4. 99 1. 64² 60 1. 58² + 60 = 0. 452 0, 294 = 1. 54 df = 118 p = 0.12 Wasser-Gruppe Zucker-Gruppe Mittelwert 4.54 4.99 Standardabweichung 1.64 1.58

Beispiel Die Zugabe von 10g Zucker zum Blumenwasser führte zu keiner signifikanten Verlängerung der Blühdauer. Karl entwickelt ein neues Mittel (Substanz X) und möchte wissen, ob es besser als reines Wasser oder Wasser mit Zuckerzusatz wirkt. Er möchte also 3 verschiedene Bedingungen miteinander vergleichen: Wasser Zucker Substanz X

Warum nicht viele t-tests? Wie viele paarweise Vergleiche wären bei 3 Gruppen nötig? Antwort: 3 Wasser Zucker Wasser Substanz X Zucker Substanz X

Problem: Jeder dieser t-tests macht eine Aussage mit einer bestimmten Irrtumswahrscheinlichkeit. Wir erinnern uns: Wir wollen mindestens zu 95% sicher sein, dass wir keinen alpha-fehler begehen. Das heißt, die Gesamtwahrscheinlichkeit, einen alpha-fehler im Experiment zu machen, setzt sich aus den Irrtumswahrscheinlichkeiten dieser drei t-tests zusammen. Wie verrechnet man mehrere Wahrscheinlichkeiten miteinander? Erinnerung: Axiome der Wahrscheinlichkeitstheorie

Axiome der Wahrscheinlichkeitstheorie (Kolmogorov) (1) Der Wahrscheinlichkeit p für ein zufälliges Ereignis E wird ein Wert zwischen 0 und 1 zugewiesen. (2) Das sichere Ereignis erhält den Wert 1. (3) Die Wahrscheinlichkeit der Summe zufälliger Ereignisse, die einander wechselseitig ausschließen, ist gleich der Summe der Wahrscheinlichkeiten dieser Ereignisse. Beispiel: Wie ist die Wahrscheinlichkeit, mit einem sechsseitigen Würfel, eine 1 oder eine 2 zu würfeln? p (eine 1 zu würfeln) = 1/6 p (eine 2 zu würfeln) = 1/6 p (eine 1 oder eine 2 zu würfeln) = 2/6

Axiome der Wahrscheinlichkeitstheorie (Kolmogorov) Bei zwei voneinander unabhängigen Ereignissen (Eintreten oder Nichteintreten des einen Ereignisses hat keinen Einfluss auf das Eintreten oder Nichteintreten des anderen Ereignisses) gilt der Multiplikationssatz: Die Wahrscheinlichkeit des Durchschnitts von wechselseitig voneinander unabhängigen Ereignissen (E1 und E2) ist gleich dem Produkt ihrer Wahrscheinlichkeiten die Wahrscheinlichkeit mit zwei Würfeln beim einmaligen Werfen eine 1 und eine 2 zu würfeln: 1/6 * 1/6 = 1/36 p (eine 1 zu würfeln) = 1/6 p (eine 2 zu würfeln) = 1/6 p (mit 2 Würfeln eine 1 und eine 2 zu würfeln) = 1/36

Alpha-Fehler Kumulierung Das heißt für unser Beispiel also: Wir wollen bei einem t-test mindestens eine Wahrscheinlichkeit von 0.95 (95%), dass wir keinen alpha-fehler begehen. Haben wir drei solche Vergleiche (t-tests), dann ist die Gesamtwahrscheinlichkeit über alle drei Vergleiche hinweg: p = 0.95*0.95*0.95 = 0.857. Das heißt, selbst wenn jeder der t-tests die Wahrscheinlichkeit eines alpha-fehlers mit 95%iger Wahrscheinlichkeit zurückweist, haben wir im Gesamtexperiment nur eine 85.7%ige Wahrscheinlichkeit, dass kein alpha-fehler vorliegt. In anderen Worten: Die Irrtumswahrscheinlichkeit ist auf ca. 14.3% gestiegen. Man spricht auch von der Alpha-Fehler-Kumulierung (familywise error): familywise error = 1 (0.95) n

Alpha-Fehler Kumulierung Warum nicht viele t-tests? Wasser Zucker Wasser Substanz X Zucker Substanz X 0.95 0.95 0.95 Wahrscheinlichkeit, keinen alpha-fehler zu begehen: 0.95*0.95 = 0.90 0.90*0.95 = 0.86

Alpha-Fehler Kumulierung Der Alpha-Fehler steigt also mit der Anzahl der Vergleiche dramatisch an. Beispiel: bei 5 experimentellen Bedingungen, sind es schon 10 mögliche Vergleiche für 10 Vergleiche ergibt sich eine Alpha-Fehler-Kumulation von: 1-(0.95) 10 = 0.40 Es gibt also eine Wahrscheinlichkeit von 40% (!), dass mindestens einer der Tests einen Alpha-Fehler enthält!

Daher: Wenn wir mehr als 2 Stichproben (Bedingungen) miteinander vergleichen wollen, brauchen wir ein anderes statistisches Verfahren. Varianzanalyse

ANOVA ANOVA ANalysis Of VAriance Der Einfachheit halber verzichten wir hier (fast) ganz auf Formeln und Berechnungen per Hand. Ziel: Die Logik des Verfahrens verstehen. Wir betrachten dazu zunächst exemplarisch den einfachsten Fall einer ANOVA (einfaktorielle ANOVA ohne Messwiederholung).

ANOVA F-Wert Ähnlich wie der t-test vergleicht auch eine ANOVA die systematische Variation in den Daten mit der unsystematischen Variation. Wir bestimmen das Verhältnis von systematischer zu unsystematischer Varianz: test statistic = variance explained by the model variance not explained by the model = effect error Bei der ANOVA ist dieses Verhältnis der F-Wert.

ANOVA Erinnerung: Der t-test testet die Nullhypothese, dass zwei Mittelwerte sich nicht unterscheiden. Eine ANOVA ist ein sogenannter Omnibus-Test, das heißt, die Nullhypothese ist, dass sich alle Mittelwerte der Gruppen nicht unterscheiden: X 1 = X 2 = X 3 Kann durch eine ANOVA diese Nullhypothese zurückgewiesen werden, wissen wir nur, dass unsere experimentelle Manipulation erfolgreich war: ( X 1 = X 2 = X 3 ) Dafür genügt, dass sich mindestens zwei der Werte unterscheiden. Wir wissen aber nicht, welche der Mittelwerte das sind: X 1 X 2 X 3 X 1 ( X 2 = X 3 ) ( X 1 = X 2 ) X 3 ( X 1 = X 3 ) X 2

Rosen-Beispiel: ANOVA (Logik der F-Ratio) Karl möchte drei unabhängige Stichproben miteinander vergleichen: Wasser Zucker Substanz X

ANOVA (Logik der F-Ratio) In jeder Gruppe sind 5 Rosen*. Er misst wie gehabt die Blühdauer. *Diese Stichproben sind natürlich viel zu klein! Diese übersichtliche Zahl wurde hier nur der besseren Darstellbarkeit halber gewählt.

ANOVA (Logik der F-Ratio)

ANOVA (Logik der F-Ratio) Der F-Wert errechnet sich nun aus dem Verhältnis der Variation zwischen den Bedingungen (Modell) und der (Summer der) Variation innerhalb der Bedingungen (Fehler): F = variance explained by the model = effect = MS M variance not explained by the model error MS R MS bedeutet mean of squares und errechnet sich aus der jeweiligen Summe der Abweichungsquadrate (sum of squares) geteilt durch die jeweiligen Freiheitsgrade: MS M = SS M df M = MS R = SS R df R = n k( x k x grand )² df M (x ik x k )² df R (Model Mean Squares) (Residual Mean Squares)

ANOVA (Logik der F-Ratio) außerdem gilt: SS total = SS M + SS R SS T Total Variance in the Data ANOVA SS M Variance Explained by the Model SS R Unexplained Variance

ANOVA Logik dahinter (mit anderen Worten): Wenn sich die einzelnen Stichproben nicht unterscheiden (d.h. wenn sie aus derselben Grundgesamtheit stammen) sollten sich die Varianzen der einzelnen Stichproben nicht unterscheiden und somit sollten die Varianzen innerhalb der Stichproben gleich der Varianz der Grundgesamtheit sein. Dasselbe gilt für die Varianz zwischen den Stichproben. Das heißt: unter der Nullhypothese sollten sowohl die Varianz innerhalb der Stichproben als auch die Varianz zwischen den Stichproben gleich der Varianz der Grundgesamtheit sein.

Zurück zum Rosen-Beispiel: ANOVA (Logik der F-Ratio)

ANOVA (Logik der F-Ratio) Zurück zum Rosen-Beispiel: Wasser Zucker Substanz X Mittelwert 4.20 4.76 5.68 sd 0.604 0.568 0.779

ANOVA (Logik der F-Ratio) Mittelwert 4.20 4.76 5.68 sd 0.604 0.568 0.779

ANOVA (Logik der F-Ratio) ANOVA Cond DF SumSq MeanSq F p p<.05? Bedingung 2 5.584 2.790 6.468 0.0123 * Residuals 12 5.180 0.4137 Freiheitsgrade bei einfaktorieller ANOVA (ohne Messwiederholung): 2 Werte (Modell, Fehler) df M =k-1 wobei k = Anzahl der Faktorenstufen df R =df t -df M bzw. df R = N-k wobei N = Anzahl der VP / Items

ANOVA Bericht: Eine Varianzanalyse (ANOVA) mit dem dreistufigen Faktor Bedingung wurde signifikant: F(2,12) = 6.468, p<.05. Dies deutet auf einen Unterschied der Mittelwerte. Aber: Welche Mittelwerte unterscheiden sich von welchen?

ANOVA Erinnerung: Eine ANOVA ist ein sogenannter Omnibus-Test, das heißt, die Nullhypothese ist, dass sich alle Mittelwerte der Gruppen nicht unterscheiden: X 1 = X 2 = X 3 Kann durch eine ANOVA diese Nullhypothese zurückgewiesen werden, wissen wir nur, dass unsere experimentelle Manipulation erfolgreich war: ( X 1 = X 2 = X 3 ) Dafür genügt, dass sich mindestens zwei der Werte unterscheiden. Wir wissen aber nicht, welche der Mittelwerte das sind: X 1 X 2 X 3 X 1 ( X 2 = X 3 ) ( X 1 = X 2 ) X 3 ( X 1 = X 3 ) X 2

ANOVA (Logik der F-Ratio) Mittelwert 4.20 4.76 5.68 sd 0.604 0.568 0.779

ANOVA Verschiedene Strategien: post hoc Tests allgemeiner Geplante Vergleiche planned contrasts / planned comparisions spezifische Hypothese(n) über Richtung des Effekts

ANOVA Post Hoc Tests zum Beispiel: Scheffé-Test Rosen-Beispiel: critical difference: 1.158 Mittelwert 4.20 4.76 5.68 sd 0.604 0.568 0.779 groups a a b b

ANOVA Bericht: Eine Varianzanalyse (ANOVA) mit dem dreistufigen Faktor Bedingung wurde signifikant: F(2,12) = 6.468, p<.05. Ein post hoc Test (Scheffé, p<.05, kritische Differenz: 1.158) ergab, dass sich die mit Substanz X behandelte Gruppe signifikant von der Wasser- Gruppe unterschied (4.20 vs. 5.68 Tag). Die Gruppe der mit Zucker behandelten Pflanzen (4.76 Tage) unterschied sich nicht von den beiden anderen Gruppen.

mehrfaktorielle Versuchspläne (mehrfaktorielle Varianzanalysen)

Oft wird in Experimenten mehr als eine unabhängige Variable untersucht. Beispiel-Fragestellung: Wie wirkt sich der Konsum von Alkohol auf das Reaktionsvermögen von Männern und Frauen aus. UV: Geschlecht: Mann / Frau Alkoholkonsum: nein / ja (150 mg / 1 kg Körpergewicht) AV: Reaktionszeit, gemessen in ms 2x2 Design (4 Bedingungen / Stichproben)

Wie verteilen sich die möglichen Ursachen für Varianzen? Einfaktorielles Design: SS T Total Variance in the Data SS M Variance Explained by the Model SS R Unexplained Variance

Wie verteilen sich die möglichen Ursachen für Varianzen? Einfaktorielles Design: SS T Total Variance in the Data SS M Variance Explained by the Model = Indep. Variable SS R Unexplained Variance

Wie verteilen sich die möglichen Ursachen für Varianzen? Mehrfaktorielles Design: SS T Total Variance in the Data SS M Variance Explained by the Model = Indep. Variables SS R Unexplained Variance SS A Variance Explained by Variable A SS B Variance Explained by Variable B SS A+B Variance Explained by the Interaction of A and B

Beispiel-Fragestellung: Wie wirken sich zwei verschiedene Medikamente auf den Blutdruck von Männern und Frauen aus. UV: AV: Geschlecht: Mann / Frau Medikament: Med.A / Med.B Blutdruck, systolisch (gemessen in mm Hg) 2x2 Design (4 Bedingungen / Stichproben) Hinweis: Hierbei handelt es sich nur um ein illustratives, theoretisches Beispiel. Bei tatsächlichen med. Experimenten würde man ein anderes Design (inkl. Kontrollgruppen) wählen.

1 Haupteffekt: Faktor Medikament Male Female Drug A 120 121 1 Drug B 140 141 1 20 20

1 Haupteffekt: Faktor Geschlecht Male Female Drug A 120 100 20 Drug B 122 102 20 2 2

2 Haupteffekte Male Female Drug A 120 100 20 Drug B 150 130 20 30 30

Haupteffekte & Interaktion Male Female Drug A 120 100 20 Drug B 160 110 50 40 10

Interaktion aber keine Haupteffekte Male Female Drug A 130 100 30 Drug B 100 125 25 30 25

Mehrfaktorielle Varianzanalyse Interagieren die Faktoren miteinander? Wirken mehrere Faktoren unabhängig voneinander, oder gibt es einen Effekt der Kombination mehrerer Faktoren? Howell (2002), p. 431

Reale Anwendung in der Linguistik / Psycholinguistik Weitere methodische Probleme: In der Regel verwenden wir keine unabhängigen Stichproben (Probanden) sondern abhängige.

Messwiederholungsverfahren Sonderfall der abhängigen Stichproben mehrere Messungen an einer Stichprobe (repeated measures) Ziel: Variation zwischen Stichproben kontrollieren Latin Square Design Beispiel mit 4 Bedingungen A-D items Liste 1 Liste 2 Liste 3 Liste 4 VP1, 5... VP2, 6... VP3, 7... VP4, 8... 1 A B C D 2 B C D A 3 C D A B 4 D A B C 5 A B C D...

Messwiederholungsverfahren Grundidee der Varianzanalyse effect error = MS M MS R = MS treatment MS error Aber auch Versuchspersonen tragen zum Rauschen (error) in den Daten bei. Die manipulierten Variablen sind Faktoren mit festen Effekten. Die Versuchspersonen sind Zufallsvariablen. Lösung Verrechnung von 3 Varianzen: MS treat "mean square treatment" MS e "mean square error" "mean square between subjects MS between subjects/vp Es gibt verschiedene Verrechnungsmethoden.

Ohne Messwiederholung SS T Total Variance in the Data SS M Variance Explained by the Model SS R Unexplaine d Variance

Messwiederholungsverfahren SS T total variance in the data SS b variance between participants SS w variance within participants SS M effect of experiment SS R variance not explained by the experiment

Messwiederholungsverfahren Howell (2002), p. 473 75

Reale Beispiele

Experiment zum Genus im Deutschen Genuszuweisung im Deutschen ist sehr komplex Es gibt phonologische, semantische und morphologische Regeln aber jeweils mit vielen Ausnahmen Unter phonologischen Aspekten lassen sich gewissen Tendenzen aufzeigen: Monomorphematische Nomen mit konsonantischer Endung sind Maskulina oder Neutra: Kopf, Apfel, Baum, Haus, Garten Monomorphematische Nomen auf e sind Feminina: Nase, Lampe, Tasche Es gibt aber Ausnahmen (geringere Anzahl an Fällen): Auge, Hase, Stadt, Nacht

Experiment zum Genus im Deutschen Es gibt also genus-typische Formen (f): Nase, Vase ambige Formen (m-n): Fenster, Knopf, genus-untypische Formen: Auge, Käse, Stadt, Butter

Experiment zum Genus im Deutschen Frage: Werden diese drei Gruppen bei der Sprachverarbeitung bezüglich Einfachheit von Genuszuweisungen unterschiedlich behandelt? Gibt es unterschiedliche Reaktionszeiten bei Benennung von Objekten dieser unterschiedlichen Kategorien.

Experiment zum Genus im Deutschen Methode: 18 Deutschlerner auf B2-Niveau L1: Englisch

Experiment zum Genus im Deutschen Methode: Bildbenennung: AV RT Faktoren (UV): Genus-Typikalität: typisch, ambig, untypisch Länger der Phrase: kurz (nur Nomen), lang (Adjektiv+Nomen) 3 x 2 Design

Experiment zum Genus im Deutschen Methode:

Experiment zum Genus im Deutschen Ergebnisse

Experiment zum Genus im Deutschen Haupteffekte? Länge : F1 (1, 17) =26.28, MSE = 831426.36, p < 0.001; F2 (1, 30) = 151.54, MSE = 138152.22, p < 0.001; Gruppe : F1 (2, 34) = 10.08, MSE = 43064.59, p < 0.001; F2 (2, 62) = 4.36, MSE = 104206.06, p < 0.05. Post Hoc Scheffé: crit.diff. = 84, nur atypisch und typisch unterscheiden sich Interaktion? F1 (2, 34) = 7.68, MSE = 41722.29, p < 0.01; F2 (2, 62) = 1.83, MSE = 104206.06, p = 0.17

Experiment zum Genus im Deutschen

F-Verteilung 88

Literatur Clauss, G. & Ebner, H. (1967). Grundlagen der Statistik. Berlin: Volk und Wissen. Field, A. (200). Discovering Statistics Using SPSS, third edition, London: SAGE publications Ltd. Howell, D.C. (2009). Statistical methods for psychology. Belmont, CA: Wadsworth. Zimbardo, P.G. (2004). Psychologie. München: Pearson Studium.