Kapitel 16 Einfaktorielle Varianzanalyse Im Zweistichprobenproblem vergleichen wir zwei Verfahren miteinander. Nun wollen wir mehr als zwei Verfahren betrachten, wobei wir unverbunden vorgehen. Beispiel 123 Im Rahmen der PISA-Studie wurde auch der Zeitaufwand der Schüler für Hausaufgaben erhoben (pisastudie, S.417). Dort wird unterschieden zwischen sehr geringem, geringem, mittlerem, großem und sehr großem Aufwand. Wir fassen die Länder mit sehr geringem und geringem Aufwand und die Länder mit großem und sehr großem Aufwand zusammen. Somit liegen drei Gruppen vor. Die Gruppe der Länder mit wenig Zeitaufwand nennen wir im Folgenden Gruppe 1, die Gruppe der Länder mit mittlerem Zeitaufwand Gruppe 2 und die Gruppe der Länder mit großem Zeitaufwand Gruppe 3. Wir wollen vergleichen, ob sich die Verteilung des Merkmals Mathematische Grundbildung in den drei Gruppen unterscheidet. Wird untersucht, ob sich die Verteilung eines Merkmals in mehreren Gruppen unterscheidet, so spricht man von univariater Varianzanalyse. 16.1 Varianzanalyse bei Normalverteilung Ausgangspunkt sind die Realisationen y ij der unabhängigen Zufallsvariablen Y ij, i =1,...,I, j =1,...,n i, die mit Erwartungswert µ i, i =1,...,I und Varianz σ 2 normalverteilt sind. Die Erwartungswerte der Gruppen können sich also unterscheiden, während die Varianz identisch sein muss. Dabei bezieht sich der Index i auf die i-te Gruppe, während der Index j sich auf die j-te Beobachtung bezieht. In der i-ten Gruppe liegen also n i Beobachtungen 371
372 KAPITEL 16. EINFAKTORIELLE VARIANZANALYSE vor. Die einzelnen Gruppen können unterschiedlich groß sein. Die Gesamtzahl aller Beobachtungen bezeichnen wir mit N. Beispiel 123 (fortgesetzt von Seite 371) Die Beobachtungen in den einzelnen Gruppen sind: Gruppe 1: 536 557 514 446 515 510 529 498 Gruppe 2: 533 520 334 514 490 517 514 533 547 537 499 454 493 Gruppe 3: 447 529 503 457 463 387 470 478 476 488 Es ist zu testen: gegen H 0 : µ 1 =...= µ I (16.1) H 1 : µ i µ j für mind. ein Paar (i, j) miti j. Es liegt nahe zur Überprüfung von (16.1) die Mittelwerte ȳ i = 1 n i y ij (16.2) der einzelnen Gruppen zu bestimmen und zu vergleichen. Beispiel 123 (fortgesetzt von Seite 372) Es gilt ȳ 1 = 513.125, ȳ 2 = 498.8462 und ȳ 3 = 469.8. Die Mittelwerte unterscheiden sich. Der Vergleich von zwei Mittelwerten ȳ 1 und ȳ 2 ist einfach. Wir bilden die Differenz ȳ 1 ȳ 2 der beiden Mittelwerte. Bei mehr als zwei Gruppen können wir alle Paare von Gruppen betrachten und ȳ i mit ȳ j für i<jvergleichen. Hierdurch erhalten wir aber kein globales Maß für den Vergleich aller Gruppen. Um dieses zu erhalten, fassen wir die Mittelwerte ȳ i, i =1,...,I als eine Stichprobe auf und bestimmen, wie stark sie um den Mittelwert ȳ = 1 n y ij (16.3) aller Beobachtungen streuen.
16.1. VARIANZANALYSE BEI NORMALVERTEILUNG 373 Beispiel 123 (fortgesetzt von Seite 372) Es gilt ȳ = 493.1613. Es liegt nahe, die Streuung der Mittelwerte ȳ i um das Gesamtmittel ȳ folgendermaßen zu bestimmen: (ȳ i ȳ) 2. Hierbei wird aber nicht berücksichtigt, dass die Gruppen unterschiedlich groß sein können. Eine große Gruppe sollte ein stärkeres Gewicht erhalten als eine kleine Gruppe. Wir bilden also SS B = n i (ȳ i ȳ) 2. (16.4) Man bezeichnet SS B als Streuung zwischen den Gruppen. Beispiel 123 (fortgesetzt von Seite 373) Es gilt SS B = 8(513.125 493.1613) 2 + 13(498.8462 493.1613) 2 + 10(469.8 493.1613) 2 = 9066.03. Wie das folgende Beispiel zeigt, ist die Größe SS B allein aber keine geeignete Teststatistik zur Überprüfung der Hypothese (16.1). Beispiel 124 1. Situation: Die Werte eines Merkmals in drei Gruppen sind: Gruppe1: 4753495046 Gruppe2: 5554586152 Gruppe3: 5350515249 Es gilt ȳ 1 =49, ȳ 2 =56, ȳ 3 =51, ȳ =52. 2. Situation: Die Werte eines Merkmals in drei Gruppen sind:
374 KAPITEL 16. EINFAKTORIELLE VARIANZANALYSE Gruppe1: 5042534555 Gruppe2: 4857655951 Gruppe3: 5759484645 Auch hier gilt ȳ 1 =49, ȳ 2 =56, ȳ 3 =51, ȳ =52. Also ist der Wert von SS B in beiden Konstellationen identisch. Wie die Abbildungen 16.1 und 16.2 zeigen, unterscheiden sich die beiden Konstellationen aber beträchtlich. Die Boxplots in Abbildung 16.1 verdeutlichen, dass die Streuung innerhalb der Gruppen klein ist, während in Abbildung 16.2 die Streuung innerhalb der Gruppen groß ist. Abbildung 16.1 spricht für einen Lageunterschied zwischen den Gruppen, während die unterschiedlichen Mittelwerte in 16.2 eher durch die hohen Streuungen erklärt werden können. 60 55 50 Gruppe 1 Gruppe 2 Gruppe 3 Abbildung 16.1: Boxplot von drei Gruppen mit kleiner Streuung innerhalb der Gruppen
16.1. VARIANZANALYSE BEI NORMALVERTEILUNG 375 65 60 55 50 45 Gruppe 1 Gruppe 2 Gruppe 3 Abbildung 16.2: Boxplot von drei Gruppen mit großer Streuung innerhalb der Gruppen Die Stichprobenvarianzen in den Gruppen für die erste Konstellation sind s 2 1 =7.5, s 2 2 =12.5, s 2 3 =2.5. Für die Gruppen der zweiten Konstellation erhält man folgende Stichprobenvarianzen: s 2 1 =29.5, s 2 2 =45.0, s 2 3 =42.5. Wir müssen also neben der Streuung zwischen den Gruppen die Streuung innerhalb der Gruppen berücksichtigen. Die Streuung innerhalb der i-ten Gruppe messen wir durch (y ij ȳ i ) 2. (16.5) Summieren wir (16.5) über alle Gruppen, so erhalten wir SS W = (y ij ȳ i ) 2. (16.6) Wir nennen SS W auch Streuung innerhalb der Gruppen. Beispiel 123 (fortgesetzt von Seite 373) Es gilt SS W = 56720.17.
376 KAPITEL 16. EINFAKTORIELLE VARIANZANALYSE Die Gesamtstreuung messen wir durch: SS T = (y ij ȳ) 2. (16.7) Beispiel 123 (fortgesetzt von Seite 375) Es gilt SS T = 65786.2. Im Beispiel gilt SS T = SS B + SS W. (16.8) Dies ist kein Zufall. Diese Beziehung gilt allgemein, wie man folgendermaßen sieht: SS T = (y ij ȳ) 2 = (y ij ȳ i +ȳ i ȳ) 2 = (y ij ȳ i ) 2 + (ȳ i ȳ) 2 +2 (y ij ȳ i )(ȳ i ȳ) = (y ij ȳ i ) 2 + n i (ȳ i ȳ) 2 +2 (ȳ i ȳ) (y ij ȳ i ) = (y ij ȳ i ) 2 + n i (ȳ i ȳ) 2 = SS B + SS W. Hierbei haben wir die folgende Beziehung berücksichtigt: (y ij ȳ i ) = y ij ȳ i = n i ȳ i n i ȳ i =0. Eine geeignete Teststatistik erhält man nun, indem man die mittleren Streuungen vergleicht, wobei der Mittelwert unter der Nebenbedingung bestimmt wird, wie viele der Summanden frei gewählt werden können. Die Streuung
16.1. VARIANZANALYSE BEI NORMALVERTEILUNG 377 zwischen den Stichproben setzt sich aus I Summanden zusammen, von denen aber nur I 1freigewählt werden können, da sich der Mittelwert der I-ten Stichprobe aus ȳ, ȳ 1,...,ȳ I 1 ergibt. Die Streuung innerhalb der Stichproben setzt sich aus n Summanden zusammen. In der i-ten Stichprobe ergibt sich aber y ini aus der Kenntnis von y i1,...,y ini 1, ȳ i. Somit sind von den N Summanden nur n I frei wählbar. Wir erhalten also MSS B = SS B /(I 1) und MSS W = SS W /(N I). Beispiel 123 (fortgesetzt von Seite 376) Es gilt MSS B = 4533.013 und MSS W = 2025.72. Die Teststatistik ist F = MSS B MSS W = 1 I 1 1 n I n i (Ȳi Ȳ )2 n i. (16.9) (Y ij Ȳi) 2 Ist die mittlere Streuung zwischen den Stichproben groß im Verhältnis zur mittleren Streuung innerhalb der Stichproben, so wird die Nullhypothese identischer Erwartungswerte abgelehnt. Unter der Nullhypothese ist die Teststatistik in (16.9) F -verteilt mit I 1 und n I Freiheitsgraden. Wir lehnen die Hypothese (16.1) zum Niveau α ab, wenn gilt F>F I 1,N I;1 α, wobei F I 1,N I;1 α das 1 α-quantil der F -Verteilung mit I 1 und N I Freiheitsgraden ist. Beispiel 123 (fortgesetzt von Seite 377) Es gilt F = 4533.013 2025.72 =2.2377. Der Tabelle C.9 auf Seite 441 entnehmen wir F 2,28;0.95 =3.34. Wir lehnen die Hypothese (16.1) also nicht ab. Man spricht auch vom F -Test. Da die Teststatistik das Verhältnis von zwei Schätzern der Varianz σ 2 ist, spricht man von Varianzanalyse. Die Ergebnisse einer Varianzanalyse werden in einer ANOVA-Tabelle zusammengestellt. Dabei steht ANOVA für Analysis Of Variance. Tabelle 16.1 zeigt den allgemeinen Aufbau einer ANOVA-Tabelle.
378 KAPITEL 16. EINFAKTORIELLE VARIANZANALYSE Tabelle 16.1: Allgemeiner Aufbau einer ANOVA-Tabelle Quelle der Quadrat- Freiheits- Mittlere Qua- F Variation summen grade dratsummen zwischen SS B I 1 MSS B MSS B /M SS W den Gruppen innerhalb SS W n I MSS W der Gruppen Gesamt SS T n 1 Beispiel 123 (fortgesetzt von Seite 377) In Tabelle 16.2 ist die ANOVA-Tabelle zu finden. Tabelle 16.2: ANOVA-Tabelle für den Vergleich des Merkmals Mathematische Grundbildung in den 3 Gruppen Quelle der Quadrat- Freiheits- Mittlere Qua- F Variation summen grade dratsummen zwischen 9066.03 2 4533.013 2.2377 den Gruppen innerhalb 56720.17 28 2025.720 der Gruppen Gesamt 65786.2 30 16.2 Der Kruskal-Wallis-Test Ist die Annahme der Normalverteilung nicht gerechtfertigt, so sollte man einen nichtparametrischen Test durchführen. Am bekanntesten ist der Kruskal-Wallis-Test. Dieser beruht auf der Annahme, dass die Beobachtungen y ij, i =1,...,I, j =1,...,n i Realisationen von unabhängigen Zufallsvariablen Y ij, i =1,...,I, j =1,...,n i mit stetiger Verteilungsfunktion sind. Es ist zu testen H 0 : Die Verteilungen in allen Gruppen sind identisch (16.10)
16.2. DER KRUSKAL-WALLIS-TEST 379 gegen H 1 : Mindestens zwei Gruppen unterscheiden sich hinsichtlich der Lage. Der Kruskal-Wallis-Test beruht auf den Rängen R ij der y ij, i =1,...,I, j =1...,n i, unter allen Beobachtungen. Dabei ist der Rang R ij gleich der Anzahl der Beobachtungen, die kleiner oder gleich y ij sind. Sind Beobachtungen identisch, so spricht man von Bindungen. In diesem Fall vergibt man für die gebundenen Werte Durchschnittsränge.
380 KAPITEL 16. EINFAKTORIELLE VARIANZANALYSE Beispiel 123 (fortgesetzt von Seite 378) Schauen wir uns noch einmal die Daten an: Gruppe 1: 536 557 514 446 515 510 529 498 Gruppe 2: 533 520 334 514 490 517 514 533 547 537 499 454 493 Gruppe 3: 447 529 503 457 463 387 470 478 476 488 Die Ränge in den einzelnen Gruppen sind: Gruppe1: 2831193211724.514 Gruppe 2: 26.5 23 1 19 12 22 19 26.5 30 29 15 5 13 Gruppe3: 424.516672810911 Beim Kruskal-Wallis-Test werden nun für i =1,...,I die Rangsummen R i in den einzelnen Gruppen bestimmt: R i = R ij. Beispiel 123 (fortgesetzt von Seite 380) Es gilt R 1 = 157.5, R 2 = 241, R 3 =97.5. Diese Rangsummen werden mit ihren Erwartungswerten E(R i ) unter (16.10) verglichen. Wenn keine Bindungen vorliegen, so werden bei n Beobachtungen die Ränge 1,...,n vergeben. Trifft (16.10) zu, so ist für eine Beobachtung jeder Rang gleichwahrscheinlich. Es gilt also P (R ij = k) = 1 n für k =1,...,n, i =1,...,I und j =1,...,n i. Der erwartete Rang E(R ij ) von Y ij ist dann E(R ij ) = n k 1 n k=1 = n(n +1) 2n = n +1. 2 Die erwartete Rangsumme der i-ten Gruppe ist somit E(R i ) = E ( ni R ij ) = E(R ij )= n +1 2 = n i(n +1). 2
16.2. DER KRUSKAL-WALLIS-TEST 381 Beispiel 123 (fortgesetzt von Seite 380) Mit n = 31, n 1 =8,n 2 = 13 und n 3 = 10 gilt E(R 1 ) = 128, E(R 2 ) = 208, E(R 3 ) = 160. Die Teststatistik des Kruskal-Wallis-Tests vergleicht die Rangsummen R i mit ihren Erwartungswerten E(R i ). Sie lautet: H = 12 n(n +1) 1 n i ( R i n ) 2 i(n +1) (16.11) 2 Beispiel 123 (fortgesetzt von Seite 381) Es gilt H = 12 31 32 [ (157.5 128) 2 8 + (241 208)2 13 + ] (97.5 160)2 10 = 7.054542. Wir lehnen die Hypothese (16.10) ab, wenn gilt H h 1 α. Dabei ist h 1 α das 1 α-quantil der Verteilung von H. Die Verteilung von H ist für kleine Werte von n bei Büning, Trenkler: Nichtparametrische Statistische Methoden tabelliert. Für große Stichprobenumfänge ist H approximativ chiquadratverteilt mit I 1 Freiheitsgraden. Wir lehnen (16.10) ab, wenn gilt H χ 2 I 1,1 α. Dabei ist χ 2 I 1,1 α das 1 α-quantil der χ2 -Verteilung mit I 1 Freiheitsgraden. Im Beispiel liegen Bindungen vor. In diesem Fall wird H modifiziert zu H = H 1 1 r (b 3 n 3 l b l ) n l=1. (16.12) Dabei ist r die Anzahl der Gruppen mit identischen Beobachtungen und b l die Anzahl der Beobachtungen in der l-ten Bindungsgruppe. Wir lehnen (16.10) im Fall von Bindungen ab, wenn gilt H χ 2 I 1,1 α.
382 KAPITEL 16. EINFAKTORIELLE VARIANZANALYSE Beispiel 123 (fortgesetzt von Seite 381) Der Wert 514 kommt dreimal und die Werte 529 und 533 kommen jeweils zweimal vor. Somit gibt es 2 Bindungsgruppen mit zwei Beobachtungen und eine Bindungsgruppe mit drei Beobachtungen. Hieraus folgt 1 1 n 3 n r (b 3 l b l )=0.99879. l=1 Also ist H =7.0631. Der Tabelle C.4 auf Seite 438 entnehmen wir χ 2 2,0.95 = 5.99. Wir lehnen die Hypothese (16.10) zum Niveau 0.05 also ab. 16.3 Varianzanalyse in R Wir wollen die Varianzanalyse für das Beispiel 123 auf Seite 371 durchführen. Im Zweistichprobenproblem haben wir für jede Stichprobe eine Variable erzeugt. Liegen mehr als zwei Stichproben vor, so gehen wir anders vor. Wir weisen alle Werte einer Variablen in der Reihenfolge der Gruppen zu. Diese Variable nennen wir Punkte. > Punkte<-c(536,557,514,446,515,510,529,498,533,520) > Punkte<-c(Punkte,334,514,490,517,514,533,547,537,499,454,493) > Punkte<-c(Punkte,447,529,503,457,463,387,470,478,476,488) Die ersten 8 Komponenten von Punkte gehören zur ersten Gruppe, die nächsten 13 Komponenten zur zweiten Gruppe und die letzte 10 Komponenten zur dritten Gruppe. Wir erzeugen einen Vektor A, bei dem die ersten 8 Komponenten gleich 1, die nächsten 13 Komponenten gleich 2 und die letzten 10 Komponenten gleich 3 sind. Hierzu benutzen wir die Funktion rep. Der Aufruf rep(x,times) erzeugt einen Vektor, in dem das Argument x times-mal wiederholt wird: > rep(1,8) [1] 1 1 1 1 1 1 1 1 Dabei können x und times Vektoren sein. Sind x und times gleich lange Vektoren,so wird x[i] times[i]-mal wiederholt. > A<-rep(1:3,c(8,13,10)) > A [1] 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 [28] 3 3 3 3