Varianzvergleiche bei normalverteilten Zufallsvariablen

Transkript

1 9 Mittelwert- und Varianzvergleiche Varianzvergleiche bei zwei unabhängigen Stichproben 9.3 Varianzvergleiche bei normalverteilten Zufallsvariablen Nächste Anwendung: Vergleich der Varianzen σa 2 und σ2 B zweier normalverteilter Zufallsvariablen Y A N(µ A, σa 2 ) und Y B N(µ B, σb 2 ) auf Grundlage zweier unabhängiger einfacher Stichproben X1 A,..., X n A A vom Umfang n A zu Y A und X1 B,..., X n B B vom Umfang n B zu Y B. Idee: Vergleich auf Grundlage der erwartungstreuen Schätzfunktionen (( S 2 Y = 1 n A (X A i A X n A 1 A ) 2 = 1 na ) ) (Xi A ) 2 n A X n A 1 A2 bzw. S 2 Y B = 1 n B 1 n B für die Varianz von Y A bzw. die Varianz von Y B. (( nb ) ) (Xi B X B ) 2 1 = (Xi B ) 2 n B X n B 1 B 2 Es gilt (n A 1) S 2 Y A χ 2 (n σa 2 A 1) unabhängig von (n B 1) S 2 Y B χ 2 (n σb 2 B 1). Geeignete Testgröße lässt sich aus (standardisiertem) Verhältnis von (n A 1) S 2 Y A σ 2 A und (n B 1) S 2 Y B σ 2 B herleiten. Schließende Statistik (WS 2014/15) Folie 197

2 9 Mittelwert- und Varianzvergleiche Varianzvergleiche bei zwei unabhängigen Stichproben 9.3 Die Familie der F (m, n)-verteilungen Sind χ 2 m und χ 2 n stochastisch unabhängige, mit m bzw. n Freiheitsgraden χ 2 -verteilte Zufallsvariablen, so heißt die Verteilung der Zufallsvariablen F m n := χ 2 m m χ 2 n n = χ2 m χ 2 n n m F -Verteilung mit m Zähler- und n Nennerfreiheitsgraden, in Zeichen Fn m F (m, n). Offensichtlich können F (m, n)-verteilte Zufallsvariablen nur nichtnegative Werte annehmen, der Träger ist also [0, ). Für n > 2 gilt E(F m n ) = n n 2. Als Abkürzung für α-quantile der F (m, n)-verteilung verwenden wir (wie üblich) F m,n;α. Für die Quantile der F (m, n)-verteilungen gilt der folgende Zusammenhang: F m,n;α = 1 F n,m;1 α Schließende Statistik (WS 2014/15) Folie 198

3 9 Mittelwert- und Varianzvergleiche Varianzvergleiche bei zwei unabhängigen Stichproben 9.3 Grafische Darstellung einiger F (m, n)-verteilungen für m, n {2, 5, 10} f(x) F(2, 2) F(5, 2) F(10, 2) F(2, 5) F(5, 5) F(10, 5) F(2, 10) F(5, 10) F(10, 10) x Schließende Statistik (WS 2014/15) Folie 199

4 9 Mittelwert- und Varianzvergleiche Varianzvergleiche bei zwei unabhängigen Stichproben 9.3 Varianzvergleiche (Fortsetzung) Eine F (n A 1, n B 1)-verteilte Zufallsvariable erhält man also in der Anwendungssituation der Varianzvergleiche durch das Verhältnis (n A 1) S 2 Y A σ 2 A (n B 1) S 2 Y B σ 2 B nb 1 n A 1 = S 2 Y A σ 2 A S 2 Y B σ 2 B, das allerdings von den (unbekannten!) Varianzen σ 2 A und σ2 B abhängt. Gilt jedoch σa 2 = σ2 B, so hat auch das Verhältnis F := S 2 Y A S 2 Y B eine F (n A 1, n B 1)-Verteilung und ist somit als Testgröße geeignet, wenn unter H 0 (eventuell im Grenzfall) σa 2 = σ2 B angenommen wird. Offensichtlich sprechen große Werte von F eher für σa 2 > σ2 B, kleine eher für σa 2 < σ2 B, Verhältnisse in der Nähe von 1 für σ2 A = σ2 B. Schließende Statistik (WS 2014/15) Folie 200

5 9 Mittelwert- und Varianzvergleiche Varianzvergleiche bei zwei unabhängigen Stichproben 9.3 Da die Klasse der F -Verteilungen von 2 Verteilungsparametern abhängt, ist es nicht mehr möglich, α-quantile für verschiedene Freiheitsgradkombinationen und verschiedene α darzustellen. In Formelsammlung: Tabellen (nur) mit 0.95-Quantilen für verschiedene Kombinationen von m und n für F (m, n)-verteilungen verfügbar. Bei linksseitigen Tests (zum Niveau α = 0.05) und zweiseitigen Tests (zum Niveau α = 0.10) muss also regelmäßig die Symmetrieeigenschaft F m,n;α = 1 F n,m;1 α verwendet werden, um auch 0.05-Quantile bestimmen zu können. Der resultierende Test ist insbesondere zur Überprüfung der Anwendungsvoraussetzungen für den 2-Stichproben-t-Test hilfreich. Wichtig! Die Normalverteilungsannahme für Y A und Y B ist wesentlich. Ist diese (deutlich) verletzt, ist auch eine näherungsweise Verwendung des Tests nicht mehr angebracht. Schließende Statistik (WS 2014/15) Folie 201

6 9 Mittelwert- und Varianzvergleiche Varianzvergleiche bei zwei unabhängigen Stichproben Quantile der F (m, n)-verteilungen F m,n;0.95 n\m Schließende Statistik (WS 2014/15) Folie 202

7 9 Mittelwert- und Varianzvergleiche Varianzvergleiche bei zwei unabhängigen Stichproben 9.3 Zusammenfassung: F -Test zum Vergleich der Varianzen zweier normalverteilter Zufallsvariablen Anwendungs- exakt: Y A N(µ A, σa), 2 Y B N(µ B, σb), 2 µ A, µ B, σa, 2 σb 2 unbek. voraussetzungen X1 A,..., Xn A A einfache Stichprobe zu Y A, unabhängig von einfacher Stichprobe X1 B,..., Xn B B zu Y B. Nullhypothese H 0 : σa 2 = σb 2 H 0 : σa 2 σb 2 H 0 : σa 2 σb 2 Gegenhypothese H 1 : σa 2 σb 2 H 1 : σa 2 > σb 2 H 1 : σa 2 < σb 2 Teststatistik Verteilung (H 0) Benötigte Größen X A = 1 S 2 Y A = 1 n A 1 F = S 2 Y A S 2 Y B F unter H 0 für σ 2 A = σ 2 B F (n A 1, n B 1)-verteilt na n A X A na (X A S 2 Y B = 1 n B 1 i, X B = 1 nb n B Xi B, i X A ) 2 = 1 n A 1 nb (Xi B X B ) 2 = 1 n B 1 ( ( na (X i A ) 2) n A X ( A2) ( nb (X i B ) 2) n B X 2) B Kritischer Bereich [0, F na 1,n B 1; α 2 ) (F n A 1,n B 1;1 α, ) [0, F na 1,n B 1;α) zum Niveau α (F na 1,n B 1;1 α 2, ) p-wert 2 min { F F (na 1,n B 1)(F ), 1 F F (na 1,n B 1)(F ) F F (na 1,n B 1)(F ) 1 F F (na 1,n B 1)(F ) } Schließende Statistik (WS 2014/15) Folie 203

8 9 Mittelwert- und Varianzvergleiche Varianzvergleiche bei zwei unabhängigen Stichproben 9.3 Beispiel: Präzision von 2 Abfüllanlagen Untersuchungsgegenstand: Entscheidung, ob Varianz der Abfüllmenge von zwei Abfüllanlagen übereinstimmt oder nicht. Annahmen: Abfüllmengen Y A und Y B jeweils normalverteilt. Unabhängige einfache Stichproben vom Umfang n A = 9 zu Y A und vom Umfang n B = 7 zu Y B liefern realisierte Varianzschätzungen s 2 Y A = sowie s 2 Y B = Gewünschtes Signifikanzniveau α = Geeigneter Test: F -Test für die Varianzen normalverteilter Zufallsvariablen 1 Hypothesen: H 0 : σ 2 A = σ2 B gegen H 1 : σ 2 A σ2 B 2 Teststatistik: F = S 2 Y A S 2 Y B ist unter H 0 F (n A 1, n B 1)-verteilt. 3 Kritischer Bereich zum Niveau α = 0.10: Mit F 8,6;0.05 = 1/F 6,8;0.95 = 1/3.581 = 0.279: K = [0, F na 1,n B 1; α 2 ) (F n A 1,n B 1;1 α 2, + ) = [0, F 8,6;0.05 ) (F 8,6;0.95, + ) = [0, 0.279) (4.147, + ) 4 Berechnung der realisierten Teststatistik: F = s2 Y A s 2 Y B = = Entscheidung: F / K H 0 wird nicht abgelehnt! Schließende Statistik (WS 2014/15) Folie 204

9 9 Mittelwert- und Varianzvergleiche Varianzvergleiche bei zwei unabhängigen Stichproben 9.3 Beispiel: p-wert bei F -Test für Varianzen (Grafik) Abfüllanlagenbeispiel, realisierte Teststatistik F = 1.512, p-wert: f F(8, 6) (x) p 2 = p 2 = p = F 8, 6, 0.05 F = F 8, 6, 0.95 x Schließende Statistik (WS 2014/15) Folie 205

10 Mittelwertvergleiche bei k > 2 unabhängigen Stichproben Nächste Anwendung: Vergleich der Mittelwerte von k > 2 normalverteilten Zufallsvariablen Y 1 N(µ 1, σ 2 ),..., Y k N(µ k, σ 2 ) mit übereinstimmender Varianz σ 2. Es soll eine Entscheidung getroffen werden zwischen H 0 : µ 1 = µ j für alle j und H 1 : µ 1 µ j für (mindestens) ein j auf Basis von k unabhängigen einfachen Stichproben X 1,1,..., X 1,n1,..., X k,1,..., X k,nk mit Stichprobenumfängen n 1,..., n k (Gesamtumfang: n := k n j). Häufiger Anwendungsfall: Untersuchung des Einflusses einer nominalskalierten Variablen (mit mehr als 2 Ausprägungen) auf eine (kardinalskalierte) Zufallsvariable, z.b. Einfluss verschiedener Düngemittel auf Ernteertrag, Einfluss verschiedener Behandlungsmethoden auf Behandlungserfolg, Einfluss der Zugehörigkeit zu bestimmten Gruppen (z.b. Schulklassen). Beteiligte nominalskalierte Einflussvariable wird dann meist Faktor genannt, die einzelnen Ausprägungen Faktorstufen. Geeignetes statistisches Untersuchungswerkzeug: Einfache Varianzanalyse Schließende Statistik (WS 2014/15) Folie 206

11 Einfache Varianzanalyse Idee der einfachen ( einfaktoriellen ) Varianzanalyse: Vergleich der Streuung der Stufenmittel (auch Gruppenmittel ) um das Gesamtmittel X 1 := 1 n 1 X 1,i,..., X k := 1 n k n 1 n k X := 1 n n k j X j,i = 1 n k n j X j mit den Streuungen der Beobachtungswerte X j,i um die jeweiligen Stufenmittel X j innerhalb der j-ten Stufe. Sind die Erwartungswerte in allen Stufen gleich (gilt also H 0 ), so ist die Streuung der Stufenmittel vom Gesamtmittel im Vergleich zur Streuung der Beobachtungswerte um die jeweiligen Stufenmittel tendenziell nicht so groß wie es bei Abweichungen der Erwartungswerte für die einzelnen Faktorstufen der Fall wäre. Schließende Statistik (WS 2014/15) Folie 207 X k,i

12 Messung der Streuung der Stufenmittel vom Gesamtmittel durch Größe SB ( Squares Between ) als (gew.) Summe der quadrierten Abweichungen: k SB = n j (X j X ) 2 = n 1 (X 1 X ) n k (X k X ) 2 Messung der (Summe der) Streuung(en) der Beobachtungswerte um die Stufenmittel durch Größe SW ( Squares Within ) als (Summe der) Summe der quadrierten Abweichungen: n k j n 1 n k SW = (X j,i X j ) 2 = (X 1,i X 1 ) (X k,i X k ) 2 Man kann zeigen: Für die Gesamtsumme SS ( Sum of Squares ) der quadrierten Abweichungen der Beobachtungswerte vom Gesamtmittelwert mit n k j n 1 n k SS = (X j,i X ) 2 = (X 1,i X ) (X k,i X ) 2 gilt die Streuungszerlegung SS = SB + SW. Mit den getroffenen Annahmen sind SB bzw. SW unter H σ 2 σ 2 0 unabhängig χ 2 (k 1)- bzw. χ 2 (n k)-verteilt Konstruktion geeigneter Teststatistik. Schließende Statistik (WS 2014/15) Folie 208

13 Da SB σ 2 bzw. SW σ 2 unter H 0 unabhängig χ 2 (k 1)- bzw. χ 2 (n k)-verteilt sind, ist der Quotient F := SB σ 2 SW σ 2 n k k 1 = SB SW n k k 1 = SB k 1 SW n k = SB/(k 1) SW /(n k) unter H 0 also F (k 1, n k)-verteilt. Zur Konstruktion des kritischen Bereichs ist zu beachten, dass große Quotienten F gegen die Nullhypothese sprechen, da in diesem Fall die Abweichung der Stufenmittel vom Gesamtmittel SB verhältnismäßig groß ist. Als kritischer Bereich zum Signifikanzniveau α ergibt sich K = (F k 1,n k;1 α, ) Die Bezeichnung Varianzanalyse erklärt sich dadurch, dass (zur Entscheidungsfindung über die Gleichheit der Erwartungswerte!) die Stichprobenvarianzen SB/(k 1) und SW /(n k) untersucht werden. Die Varianzanalyse kann als näherungsweiser Test auch angewendet werden, wenn die Normalverteilungsannahme verletzt ist. Das Vorliegen gleicher Varianzen in allen Faktorstufen ( Varianzhomogenität ) muss jedoch (auch für vernünftige näherungsweise Verwendung) gewährleistet sein! Überprüfung z.b. mit Levene-Test oder Bartlett-Test (hier nicht besprochen). Schließende Statistik (WS 2014/15) Folie 209

14 Zusammenfassung: Einfache Varianzanalyse Anwendungs- exakt: Y j N(µ j, σ 2 ) für j {1,..., k} voraussetzungen approximativ: Y j beliebig verteilt mit E(Y j ) = µ j, Var(Y j ) = σ 2 k unabhängige einfache Stichproben X j,1,..., X j,nj vom Umfang n j zu Y j für j {1,..., k}, n = k n j Nullhypothese H 0 : µ 1 = µ j für alle j {2,..., k} Gegenhypothese H 1 : µ 1 µ j für (mindestens) ein j {2,..., k} Teststatistik F = Verteilung (H 0) Benötigte Größen SB/(k 1) SW /(n k) F ist (approx.) F (k 1, n k)-verteilt, falls µ 1 =... = µ k x j = 1 n j x j,i für j {1,..., k}, x = 1 k n j x j, n j n SB = k n j (x j x) 2, SW = n k j (x j,i x j ) 2 Kritischer Bereich (F k 1,n k;1 α, ) zum Niveau α p-wert 1 F F (k 1,n k) (F ) Schließende Statistik (WS 2014/15) Folie 210

15 Alternative Berechnungsmöglichkeiten mit Verschiebungssatz für Realisation von SB: k k SB = n j (x j x) 2 = n j x 2 j nx 2 für Realisation von SW : n k j SW = (x j,i x j ) 2 = k (( nj Liegen für j {1,..., k} die Stichprobenvarianzen bzw. deren Realisationen s 2 j S 2 j = 1 n j 1 n j (X j,i X j ) 2 x 2 j,i ) für die k (Einzel-)Stichproben n j x 2 j ) X 1,1,..., X 1,n1,..., X k,1,..., X k,nk vor, so erhält man die Realisation von SW offensichtlich auch durch k SW = (n j 1) sj 2. Schließende Statistik (WS 2014/15) Folie 211

16 Beispiel: Bedienungszeiten an k = 3 Servicepunkten Untersuchungsgegenstand: Stimmen die mittleren Bedienungszeiten µ 1, µ 2, µ 3 an 3 verschiedenen Servicepunkten überein oder nicht? Annahme: Bedienungszeiten Y 1, Y 2, Y 3 an den 3 Servicestationen sind jeweils normalverteilt mit E(Y j ) = µ j und identischer (unbekannter) Varianz Var(Y j ) = σ 2. Es liegen Realisationen von 3 unabhängigen einfache Stichproben zu den Zufallsvariablen Y 1, Y 2, Y 3 mit den Stichprobenumfängen n 1 = 40, n 2 = 33, n 3 = 30 wie folgt vor: j (Servicepunkt) n j x j = 1 n j nj x j,i nj x 2 j,i (Daten simuliert mit µ 1 = 10, µ 2 = 10, µ 3 = 11.5, σ 2 = 2 2 ) Gewünschtes Signifikanzniveau: α = 0.05 Geeignetes Verfahren: Varianzanalyse Schließende Statistik (WS 2014/15) Folie 212

17 Grafische Darstellung der Stichprobeninformation x 1, i x1 = 10.18, n1 = x 2, i x2 = 10.46, n2 = 33 x 3, i x3 = 11.37, n3 = x j, i x = 10.62, n = 103 Schließende Statistik (WS 2014/15) Folie 213

18 1 Hypothesen: H 0 : µ 1 = µ 2 = µ 3 H 1 : µ 1 µ j für mindestens ein j 2 Teststatistik: SB/(k 1) F = SW /(n k) ist unter H 0 F (k 1, n k)-verteilt. 3 Kritischer Bereich zum Niveau α = 0.05: K = (F k 1;n k;1 α, + ) = (F 2;100;0.95, + ) = (3.087, + ) 4 Berechnung der realisierten Teststatistik: Mit x 1 = 10.18, x 2 = 10.46, x 3 = erhält man x = und damit SB = 3 n j x j = 1 ( ) = n j (x j x) 2 = n 1 (x 1 x) 2 + n 2 (x 2 x) 2 + n 3 (x 3 x) 2 = 40( ) ( ) ( ) 2 = Schließende Statistik (WS 2014/15) Folie 214

19 4 (Fortsetzung) Außerdem errechnet man SW = = n 3 j (x j,i x j ) 2 = ( n1 x 2 j,i ) n 1 x (( nj ( n2 xj,i 2 ) x 2 j,i ) n j x 2 j n 2 x ) ( n3 x 2 j,i ) n 3 x 2 3 = = Insgesamt erhält man F = 5 Entscheidung: SB/(k 1) 25.46/(3 1) = SW /(n k) /(103 3) = = F = 3.89 (3.087, + ) = K H 0 wird abgelehnt! (p-wert: 1 F F (2,100) (F ) = 1 F F (2,100) (3.89) = = 0.02) Schließende Statistik (WS 2014/15) Folie 215

20 ANOVA-Tabelle Zusammenfassung der (Zwischen-)Ergebnisse einer Varianzanalyse oft in Form einer sog. ANOVA(ANalysis Of VAriance) - Tabelle wie folgt: Streuungs- Freiheits- Quadrat- Mittleres ursache grade summe Quadrat Faktor k 1 SB Zufallsfehler n k SW Summe n 1 SS Im Bedienungszeiten-Beispiel erhält man so: SB k 1 SW n k Streuungs- Freiheits- Quadrat- Mittleres ursache grade summe Quadrat Faktor Zufallsfehler Summe Schließende Statistik (WS 2014/15) Folie 216