Varianzanalyse (ANOVA)

Transkript

1 Varianzanalyse (ANOVA) K. Molt Universität Duisburg-Essen, Fak. 4, FG Instrumentelle Analytik 7. Juni 2007 K. Molt (Fachgeb. IAC) 7. Juni / 1

2 Einweg Varianzanalyse (einfaktorielle ANOVA) Einweg-Varianzanalyse (einfaktorielle Varianzanalyse) Die Einwege-Varianzanalyse erlaubt es uns mehrere Gruppen von Beobachtungen zu vergleichen, die alle unabhängig sind aber möglicherweise unterschiedliche Mittelwerte besitzen. Die Beobachtungen stammen von unterschiedlichen Gruppen oder unterschiedlichen Behandlungen in einem Experiment. Wir klassifizieren in eine Richtung, und zwar gemäß Gruppe oder Behandlung. K. Molt (Fachgeb. IAC) 7. Juni / 1

3 Einweg Varianzanalyse (einfaktorielle ANOVA) Behandlung Behandlungen werden auf experimentelle Einhheiten in unterschiedlichen Stufen angewendet, wobei Stufe Menge oder Größe impliziert. Wenn z.b den experimentellen Einheiten 5 mg, 10 mg, 15 mg eines Medikaments gegeben werden, wären diese Mengen die drei Faktorstufen (oder einfach Stufen) der Behandlung. Der Begriff Stufe wird nicht nur für unterschiedliche Mengen ein und derselben Sache, sondern auch für kategorielle Variablen wie z.b. drei unterschiedliche Medikamente A, B und C verwendet. K. Molt (Fachgeb. IAC) 7. Juni / 1

4 Einweg Varianzanalyse (einfaktorielle ANOVA) Randomisierung Randomisierung ist das Verfahren, mit dem experimentelle Einheiten (die Objekte, mit denen Studien oder Experimente durchgeführt werden) dem Behandlungen zugeordnet werden. D.h. dies erfolgt durch ein Zufallsverfahren und nicht nach einem subjektiven und daher möglicherweise voreingenommenen (biased) Ansatz. Die Behandlungen sollten den Einheiten dabei so zugeordnet werden, dass jede Behandlung auf jede Einheit gleich wahrscheinlich angwendet wird. Alternative Methoden könnten zu verfälschten Ergebnissen (biased results) führen. Der Hauptpunkt dabei ist, dass Randomisierung dazu tendiert, Gruppen zu erzeugen, die vergleichbar sind, und das sowohl bezüglich bekannter wie auch unbekannter Faktoren, die möglicherweise das Ergebnis auch über die eigentlich untersuchte Behandlung hinaus beeinflussen. Bei der Varianzanalyse (ANOVA mit F-Test) geht man davon aus, dass die Behandlungen nach einem solchen Zufallsverfahren angewendet worden sind. K. Molt (Fachgeb. IAC) 7. Juni / 1

5 Faktor Einweg Varianzanalyse (einfaktorielle ANOVA) Ein Faktor eines Experiments ist eine kontrollierte unabhängige Variable, deren Stufen durch den Experimentator festgesetzt werden. Ein Faktor ist damit ein allgemeiner Typ oder eine Kategorie von Behandlungen. Unterschiedliche Behandlungen bilden die unterschiedlichen Stufen eines Faktors. Es würden z.b. drei unterschiedliche Gruppen von Läufern unterschiedlichen Trainingsmethoden unterworfen. Dann sind die Läufer die experimentellen Einheiten und die Trainingsmethoden die Behandlungen wobei die drei Arten der Trainingsmethoden die drei Stufen des Faktors Trainingsmethode bilden. K. Molt (Fachgeb. IAC) 7. Juni / 1

6 Einweg Varianzanalyse (einfaktorielle ANOVA) Einfaktorielles Modell x ij bezeichnet Beobachtung Nr. j in Gruppe i. x. ist das Gesamtmittel (Mittelwert aller Beobachtungen). Dann können wir die Beobachtungen wie folgt zerlegen: Das entspricht folgendem Modell: x ij = x. + ( x i x. ) + (x ij x i ) X ij = µ + α i + ɛ ij, ɛ ij N(0, σ 2 ) Die Hypothese, dass alle Gruppen gleich sind impliziert, dass alle α i Null sind. K. Molt (Fachgeb. IAC) 7. Juni / 1

7 Einweg Varianzanalyse (einfaktorielle ANOVA) Einfaktorielles Modell Variation innerhalb der Gruppen (SSD W ) und zwischen den Gruppen (SSD W ) Die entsprechenden Variationen werden durch die Summe der Abweichungsquadrate beschrieben: SSD W = (x ij x i ) 2 (1) i j SSD B = ( x i x. ) 2 = n i ( x i x. ) 2 (2) i j i SSD B + SSD W = SSD total = (x ij x. ) 2 (3) i j Die Gruppierung erklärt einen Teil der Gesamtvariation und offensichtlich wird eine informative Gruppierung einen großen Teil der Variation erklären. K. Molt (Fachgeb. IAC) 7. Juni / 1

8 Einweg Varianzanalyse (einfaktorielle ANOVA) Mittlere Abweichungsquadrate MS W = SSD W /(N k) (4) MS B = SSD B /(k 1) (5) k ist die Zahl der Gruppen und N die Gesamtzahl der Beobachtungen. Ein Test auf signifikante Unterschiede zwischen den Gruppenmittelwerten kann durchgeführt werden, indem man diese beiden Varianzen vergleicht. Deswegen heißt das Verfahren Varianzanalyse obwohl es das Ziel ist, Gruppenmittelwerte zu vergleichen. K. Molt (Fachgeb. IAC) 7. Juni / 1

9 Einweg Varianzanalyse (einfaktorielle ANOVA) Hypothesentest F = MS B /MS W Die Nullhypothese ist, dass die beiden Mittelwerte identisch sind (d.h. es liegt keine Gruppierung vor). Die Nullhypothese wird verworfen, wenn F größer ist als das 1 α Quantil einer F-Verteilung mit den Freiheitsgraden k 1 und N k (einseitiger Test). K. Molt (Fachgeb. IAC) 7. Juni / 1

10 Einweg Varianzanalyse (einfaktorielle ANOVA) Beispiel 22 Patienten, die sich einer By-Pass-Operation unterzogen, wurden in eine der folgenden drei Beatmungsgruppen randomisiert: 1 Die Patienten erhielten eine Mischung aus 50% Stickoxid und 50% Sauerstoff kontinuierlich über 24 Stunden; 2 Die Patienten erhielten eine Mischung aus 50% Stickoxid und 50% Sauerstoff nur während der Operation; 3 Die Patienten erhielten kein Stickoxid, sondern 35-40% Sauerstoff über 24 Stunden. K. Molt (Fachgeb. IAC) 7. Juni / 1

11 Einweg Varianzanalyse (einfaktorielle ANOVA) Tabelle: Gehalte von Folsäure in roten Blutkörperchen (µg/l) in drei Gruppen von Bypass-Patienten, denen unterschiedliche Intensitäten einer Stickoxid-Beatmung verabreicht wurden (Amess et al., 1978). Gruppe 1 Gruppe 2 Gruppe 3 (n=8) (n=9) (n=5) Mittelw Stdabw K. Molt (Fachgeb. IAC) 7. Juni / 1

12 Einweg Varianzanalyse (einfaktorielle ANOVA) > library(iswr) > data(red.cell.folate) > red.cell.folate folate ventilation folate ventilation N2O+O2,24h N2O+O2,24h N2O+O2,24h N2O+O2,24h N2O+O2,24h N2O+O2,24h N2O+O2,24h N2O+O2,24h N2O+O2,op N2O+O2,op N2O+O2,op N2O+O2,op N2O+O2,op N2O+O2,op N2O+O2,op N2O+O2,op N2O+O2,op O2,24h O2,24h O2,24h O2,24h O2,24h K. Molt (Fachgeb. IAC) 7. Juni / 1

13 Einweg Varianzanalyse (einfaktorielle ANOVA) > attach(red.cell.folate) > rcf <- lm(folate~ventilation) > rcf Call: lm(formula = folate ~ ventilation) Coefficients: (Intercept) ventilationn2o+o2,op ventilationo2,24h K. Molt (Fachgeb. IAC) 7. Juni / 1

14 Einweg Varianzanalyse (einfaktorielle ANOVA) > anova(rcf) Analysis of Variance Table Response: folate Df Sum Sq Mean Sq F value Pr(>F) ventilation * Residuals Die Variation zwischen den Gruppen wird nach dem gruppierenden Faktor ventilation benannt und die Variation innerhalb der Gruppen wird als Residuals bezeichnet. Die Freiheitsgrade (df) sind k 1 und N k. K. Molt (Fachgeb. IAC) 7. Juni / 1

15 Paarweise Vergleiche und multiples Testen summary(rcf) Call: lm(formula = folate ~ ventilation) Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error t value Pr(> t ) (Intercept) e-14 ** ventilationn2o+o2,op * ventilationo2,24h Residual standard error: on 19 degrees of freedom Multiple R-Squared: , Adjusted R-squared: F-statistic: on 2 and 19 DF, p-value: K. Molt (Fachgeb. IAC) 7. Juni / 1

16 Paarweise Vergleiche und multiples Testen Estimate Std. Error t value Pr(> t ) (Intercept) e-14 ** ventilationn2o+o2,op * ventilationo2,24h Die Interpretation der Schätzwerte (Estimate) ist, dass der Achsenabschnitt (Intercept) der Mittelwert der ersten Gruppe (N2O+O2,24h) ist, während die beiden anderen die Differenz zwischen der betreffenden Gruppe und der ersten beschreiben. K. Molt (Fachgeb. IAC) 7. Juni / 1

17 Paarweise Vergleiche und multiples Testen Paarweise Vergleiche Der Effekt der Faktorvariablen wird in Form von Behandlungskontrasten ausgedrückt, bei denen die erste Gruppe als Basislinie behandelt wird und die übrigen Gruppen relativ zu jener dargestellt werden. Dies basiert konkret auf einer multiplen linearen Regression, indem zwei Dummy-Variablen eingeführt werden, welche für Beobachtungen innerhalb der betreffenden Gruppe auf 1 und ansonsten auf 0 gesetzt werden. K. Molt (Fachgeb. IAC) 7. Juni / 1

18 Paarweise Vergleiche und multiples Testen Multiples Testen Wenn alle Gruppen miteinander verglichen werden sollen (nicht nur die erste mit der zweiten und dritten) können z.b. mit pairwise.t.test alle möglichen Zweigruppen-Vergleiche durgeführt werden: > pairwise.t.test(folate,ventilation) Pairwise comparisons using t tests with pooled SD data: folate and ventilation N2O+O2,24h N2O+O2,op N2O+O2,op O2,24h P value adjustment method: holm K. Molt (Fachgeb. IAC) 7. Juni / 1

19 Verzicht auf die Annahme gleicher Varianz für alle Gruppen Verzicht auf die Annahme gleicher Varianz für alle Gruppen > oneway.test(folate~ventilation) One-way analysis of means (not assuming equal variances) data: folate and ventilation F = , num df = 2.000, denom df = , p-value = K. Molt (Fachgeb. IAC) 7. Juni / 1

20 Verzicht auf die Annahme gleicher Varianz für alle Gruppen Verzicht auf die Annahme gleicher Varianz für alle Gruppen > pairwise.t.test(folate,ventilation,pool.sd=false) Pairwise comparisons using t tests with non-pooled data: folate and ventilation N2O+O2,24h N2O+O2,op N2O+O2,op O2,24h P value adjustment method: holm K. Molt (Fachgeb. IAC) 7. Juni / 1

21 Graphische Darstellung Graphische Darstellung > xbar <- tapply(folate, ventilation,mean) > s <- tapply(folate,ventilation,sd) > n <- tapply(folate,ventilation,length) > sem <- s/sqrt(n) > stripchart(folate~ventilation,"jitter",jit=0.05,pch=16,v > arrows(1:3,xbar+sem,1:3,xbar-sem,angle=90,code=3,len=.1) > lines(1:3,xbar,pch=4,type="b",cex=2) K. Molt (Fachgeb. IAC) 7. Juni / 1

22 Graphische Darstellung N2O+O2,24h N2O+O2,op O2,24h K. Molt (Fachgeb. IAC) 7. Juni / 1

23 Der Bartlett Test Der Bartlett Test Es wird getestet, ob die empirische Verteilung einer Variablen in allen Gruppen die gleiche Varianz hat. > bartlett.test(folate~ventilation) Bartlett test of homogeneity of variances data: folate by ventilation Bartlett s K-squared = , df = 2, p-value = K. Molt (Fachgeb. IAC) 7. Juni / 1

24 Zweiweg Varianzanalyse (zweifaktorielle ANOVA Mehrfaktorielle Varianzanalyse Bei mehrfaktoriellen Designs ergeben sich verschiedene Möglichkeiten der Kombination der verschiedenen Faktoren: Gekreuzte Faktoren Jede Stufe des Faktors A wird mit jeder Stufe von Faktor B kombiniert (vollständig gekreuzt) Geschachtelte Faktoren Jede Stufe des Faktors A kommt nur unter bestimmten Stufen des Faktors B vor. Geschachtelte Faktoren sollten nur dann gewählt werden, wenn es aus organisatorischen Gründen nicht möglich ist, alle Faktorstufenkombinationen zu realisieren. Nur vollständig gekreuzte Versuchspläne ermöglichen Aussagen über Wechselwirkungen der Faktoren. K. Molt (Fachgeb. IAC) 7. Juni / 1

25 Zweiweg Varianzanalyse (zweifaktorielle ANOVA Beispiel für Zweiwege Varianzanalyse (zweifaktorielle ANOVA) Bei 9 Patienten mit Herzdekompensation wird vor und kurz nach der Verabreichung von Enalaprilat 1 die Herzfrequenz in unterschiedlichen Zeitabständen gemessen. Hier liegen zwei Faktoren vor, nämlich die jeweilige Person und die Zeit, bei der gemessen wird. Entsprechend kann man die Gesamtvariabilität in Komponenten auf Grund der Variation zwischen den Zeiten und zwischen den Personen aufteilen. 1 ACE-Inhibitor. Angiotensin I wird im Körper enzymatisch durch Renin aus Angiotensinogen gebildet. Es ist selbst weitgehend inaktiv. In Gegenwart des Angiotensin Converting Enzyms (ACE) wird Angiotensin I in das Oktapeptid Angiotensin II gespalten, welches für die blutgefäßkontrahierenden Wirkungen verantwortlich ist. K. Molt (Fachgeb. IAC) 7. Juni / 1

26 Zweiweg Varianzanalyse (zweifaktorielle ANOVA Tabelle: Kurzzeitwirkung von Enalaprilat auf die Herzfrequenz (Schläge pro Minute) (Maskin et al., 1985) Zeit (min.) Person Mw. SD Mw SD K. Molt (Fachgeb. IAC) 7. Juni / 1

27 Zweiweg Varianzanalyse (zweifaktorielle ANOVA Graphische Darstellung der Daten > interaction.plot(time,subj,hr) mean of hr subj time K. Molt (Fachgeb. IAC) 7. Juni / 1

28 Zweiweg Varianzanalyse (zweifaktorielle ANOVA Zeit (min.) Mw. Mw. über 9 Pers Die Mittelwerte für die einzelnen Zeitpunkte zeigen, dass die Herzfrequenz nach 30 Minuten durchschnittlich um 4 Schläge pro Minute (bpm) fiel und danach in den nächsten 90 Minuten ziemlich stabil blieb. Diese durchschnittliche Muster sieht man den Rohdaten in der Tabelle nicht an. Die Nullhypothese ist, dass es keinen Zeilen(Personen)-Effekt und keinen Spalten(Zeit)-Effekt gibt. Lezterer interessiert in dieser Untersuchung K. Molt (Fachgeb. IAC) 7. Juni / 1

29 Zweiweg Varianzanalyse (zweifaktorielle ANOVA Zweifaktorielles Modell x ij soll die Beobachtung in der i.ten Zeile und der j.ten Spalte bezeichnen. x i. sind die Zeilen-, x.j die Spaltenmittelwerte und x.. der Gesamtmittelwert. Dann berechnet sich die Variation zwischen den Zeilen (SSD R ) bzw. zwischen den Spalten (SSD R ) und die Restvariation (SSD res = SSD tot SSD R SSD C ) wie folgt: SSD R = n i (x i. x.. ) 2 (6) SSD C = m (x.j x.. ) 2 (7) j SSD res = (x ij x i. x.j + x.. ) 2 (8) i j K. Molt (Fachgeb. IAC) 7. Juni / 1

30 Zweiweg Varianzanalyse (zweifaktorielle ANOVA Zweifaktorielles Modell Dies entspricht einem statistischen Modell, bei dem angenommen wird, dass die Beobachtungen aus einem allgemeinen Niveau, einem Zeileneffekt, einem Spalteneffekt und einem Rauschterm zusammengesetzt sind: X ij = µ + α i + β j + ɛ ij (9) αi = β i = 0 (10) µ = x.. (11) α i = x i. x.. (12) β j = x.j x.. (13) (14) K. Molt (Fachgeb. IAC) 7. Juni / 1

31 Zweiweg Varianzanalyse (zweifaktorielle ANOVA Es handelt sich in unsererm Beispiel um eine komplette Zweiwege-Tabelle ohne fehlende Werte ( blanciertes Design ) > data(heart.rate) > attach(heart.rate) > heart.rate K. Molt (Fachgeb. IAC) 7. Juni / 1

32 hr subj time hr subj time

33 > heart <- lm(hr~subj+time) > heart Call: lm(formula = hr ~ subj + time) Coefficients: (Intercept) subj2 subj3 subj4 subj5 subj subj7 subj8 subj9 time30 time60 time intercept = ˆx 11 = x 1. + x.1 x..

34 > anova(heart) Analysis of Variance Table Response: hr Df Sum Sq Mean Sq F value Pr(>F) subj e-16 *** time * Residuals