Grundidee. χ 2 Tests. Ausgangspunkt: Klasseneinteilung der Beobachtungen in k Klassen. Grundidee. Annahme: Einfache Zufallsstichprobe (X 1,..., X n ).

Transkript

1 Grundidee χ 2 -Anpassungstest χ 2 -Unabhängigkeitstest χ 2 -Homogenitätstest χ 2 Tests Grundidee Ausgangspunkt: Klasseneinteilung der Beobachtungen in k Klassen Annahme: Einfache Zufallsstichprobe (X 1,, X n ) N i : Anzahl der Stichprobenelemente, die in i-te Klasse fallen für i = 1, 2,, k Beachte: Klassenhäufigkeiten N i sind Funktion der Stichprobe und damit wieder Zufallsvariablen Nullhypothese: Verteilung der X i Klassenwahrscheinlichkeiten bei Gültigkeit der Nullhypothese: p 0 i Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Erwartete Klassenhäufigkeiten bei Gültigkeit der Nullhypothese: E(N i ) = np 0 i Entscheidungsregel: Nullhypothese umso eher ablehnen, je größer Abstand zwischen Klassenhäufigkeiten und unter Nullhypothese erwarteten Klassenhäufigkeiten Abstandsmaß (χ 2 -Statistik): k i=1 (N i np 0 i )2 np 0 i Asymptotische Verteilung von χ 2 bei Gültigkeit der Nullhypothese: χ 2 appr χ 2 (fg) mit f g Anzahl der Freiheitsgrade, die von der speziellen Testproblematik abhängen Kritischer Bereich: Werte der χ 2 -Statistik, die 1 α-quantil der χ 2 -Verteilung überschreiten Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

2 Übersicht: χ 2 Anpassungstests χ 2 Anpassungstest: Nullhypothese: Verteilung der Grundgesamtheit folgt bekanntem parametrischen Verteilungsgesetz F X (; θ) χ 2 Unabhängigkeitstest: Nullhypothese: X und Y stochastisch unabhängig χ 2 Homogenitätstest: Nullhypothese: Zwei einfache unverbundene Stichproben (X 1, X 2,, X n ) und (Y 1, Y 2,, Y m ) stammen aus derselben Grundgesamtheit Annahme 1: Verteilung der Grundgesamtheit ist durch die Nullhypothese vollständig spezifiziert (einfache Nullhypothese) Beispiel: H 0 : X N (1000, 36) Annahme 2: Verteilung der Grundgesamtheit ist bis auf einige unbekannte Parameter vollständig spezifiziert (zusammengesetzte Nullhypothese) Beispiel: H 0 : X N (µ, σ 2 ) mit µ und σ 2 unbekannt Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Nullhypothese χ 2 Anpassungstest für eine einfache Nullhypothese (Annahme 1) H 0 : X folgt der parametrischen Verteilung F X (x; θ 0 ) (Willkürliche) Zerlegung des Trägers D(X) von F X in k disjunkte Klassen i-te Klasse: ( x i 1, x i ] N i : Häufigkeit, mit der Realisationen von X in die i-te-klasse fallen Unter H 0 (falls f X Dichte von F X ): p 0 i = xi x i 1 f X (x)dx (Klassenwahrscheinlichkeiten unter H 0 ) Unter H 0 zu erwartenden absoluten Klassenhäufigkeiten Prüfmaß unter H 0 : k i=1 E(N i ) = np 0 i (N i np 0 i )2 np 0 i appr χ 2 (k 1) Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

3 Die Approximation durch eine χ 2 -Verteilung ist gut, wenn gilt: np 0 i 5 für k 8, np 0 i 1 für k > 8 χ 2 -Anpassungstest für eine zusammengesetzte Nullhypothese (Annahme 2) Nullhypothese H 0 : X folgt der parametrischen Verteilung F X (x; θ) θ: unbekannter Parametervektor der Länge r Unter H 0 (falls f X Dichte von F X ): p 0 i (θ) = xi x i 1 f X (x; θ)dx (Klassenwahrscheinlichkeiten unter H 0 als Funktion von θ) Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Unter H 0 zu erwartende absolute Klassenhäufigkeiten Prüfmaß unter H 0 : E(N i ) = np 0 i (θ) Schätzung der Klassenwahrscheinlichkeiten und der erwarteten Häufigkeiten durch konsistente Schätzung ˆθ von θ Dh ˆp i = p i (ˆθ) k i=1 (N i nˆp 0 i )2 nˆp 0 i appr χ 2 (k r 1) Einsetzen des Schätzwertes ˆθ in Nullhypothese führt zur,,einfachen Nullhypothese : H 0 : X folgt der parametrischen Verteilung F X (x; ˆθ) Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

4 Beispiel: Einfache Nullhypothese X: Tägliche Anzahl von Unfällen auf dem Autobahnabschnitt Nürnberg-Heilbronn Nullhypothese: H 0 : X P oi(λ = 15) Stichprobenbefund: Anzahl x der Unfälle an n = 120 zufällig ausgewählten Tagen: Klassen x = 0 x = 1 x = 2 x = 3 x = 4 x 5 n i Unter H 0 zu erwartende Häufigkeiten: p 0 1 = P (X = 0 H 0 ) = E(N 1 ) = np 0 1 = p 0 2 = P (X = 1 H 0 ) = E(N 2 ) = np 0 2 = p 0 6 = P (X 5 H 0 ) = E(N 6 ) = np 0 6 = 2220 Problem: Zu erwartetende Häufigkeiten für fünfte und sechste Klasse zu klein für eine gute Approximation Lösung: Zusammenfassung Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Summanden der χ 2 -Statistik: i X i n i np 0 i n i np 0 i (n i np 0 i )2 np 0 i 1 x = x = x = x = x = x Σ Empirischer Wert der Prüfgröße: 5 (n i np 0 i ) 2 /(np 0 i ) = i=1 Kritischer Wert: 99%-Quantil der χ 2 Verteilung mit 5 1 = 4 Freiheitsgraden: χ 2 099;4 = 1328 Testentscheidung: Nullhypothese ist mit einer Irrtumswahrscheinlichkeit von 1% zu verwerfen dh die Anzahl der Unfälle ist nicht Poisson verteilt mit λ = 15 Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

5 Beispiel: Zusammengesetzte Nullhypothese X: Tägliche Anzahl von Unfällen auf dem Autobahnabschnitt Nürnberg-Heilbronn Nullhypothese: H 0 : X P oi(λ), λ unbekannt ML-Schätzer für λ: ˆλ ML = X n Schätzwert: x 120 = 10 Unter H 0 zu erwartende Häufigkeiten: ˆp 0 1 = P λ=ˆλml (X = 0 H 0 ) = nˆp 0 1 = ˆp 0 2 = P λ=ˆλml (X = 1 H 0 ) = nˆp 0 2 = ˆp 0 6 = P λ=ˆλml (X 5 H 0 ) = nˆp 0 6 = 0444 Zusammenfassung der vierten, fünften und sechsten Klasse Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Summanden der χ 2 -Statistik: i X i n i nˆp 0 i n i nˆp 0 i (n i nˆp 0 i )2 nˆp 0 i 1 x = x = x = x = x = x Σ Empirischer Wert der Teststatistik: 4 (n i nˆp 0 i ) 2 /(nˆp 0 i ) = 1441 i=1 Kritischer Wert: 99%-Quantil der χ 2 Verteilung mit 4 2 = 2 Freiheitsgraden: χ 2 099;2 = 921 Testentscheidung: Nullhypothese kann mit einer Irrtumswahrscheinlichkeit von 1% nicht verworfen werden, dh man kann mit der Arbeitshypothese, dass die Anzahl der Unfälle Poisson verteilt ist, weiterarbeiten Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

6 Beispiel: Zusammengesetzte Nullhypothese X: Punktzahl in der Statistik-Klausur Nullhypothese: X N(µ, σ 2 ), µ, σ 2 unbekannt Daten: n = 1116 Studierenden (stat[,1]) Schätzwerte für µ und σ 2 aufgrund der 1116 Einzeldaten: ˆµ = , ˆσ 2 = Arbeitstabelle: Klasse i n i ˆp 0 i nˆp 0 i (n i nˆp 0 i )2 nˆp 0 i bis mehr als 10 bis mehr als 15 bis mehr als 20 bis mehr als 25 bis mehr als 30 bis Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Exemplarische Berechnung von Klassenwahrscheinlichkeiten unter H 0 : ( ) ˆp 0 1 = Φ = Φ( 16012) = ( ) ( ) ˆp 0 2 = Φ Φ = Φ( 08614) Φ( 16012) = ( ) ˆp 0 6 = 1 Φ = 1 Φ(13582) = Voraussetzungen, dass χ 2 hinreichend gut χ 2 -verteilt ist, sind erfüllt (k 8 und np 0 i 5) Kritischer Wert für α = 005: χ 2 095;6 2 1 = Testentscheidung: Da der empirische Wert größer ist als das 95%-Quantil der χ 2 -Verteilung mit 3 Freiheitsgraden, kann die Nullhypothese mit einer Irrtumswahrscheilichkeit von 5% abgelehnt werden Dh die Punktzahl in der Statistik- Klausur ist nicht normalverteilt Aufgrund der Summanden von χ 2 sieht man, dass in der dritten (fünften) Klasse deutlich mehr (deutlich weniger) Beobachtungen liegen, als unter der Normalverteilung zu erwarten wären Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

7 Umsetzung in R mittels chisqtest > x=seq(0,3,1) # Erste 4 Klassen > p=dpois(x,15) # Wahrscheinlichkeiten der ersten vier # Klassen > p5=1-ppois(3,15) # Wahrscheinlichkeit der fuenften Klasse > p=c(p,p5) > n=c(41,50,19,8,2) # Haeufigkeitsvektor Output: Chi-squared test for given probabilities data: n X-squared = , df = 4, p-value = > chisqtest(n,y=null,correct=false,p) # Chi-Quadrat-Anpassungstest # "correct=false" bedeutet "keine # Stetigkeitskorrektur" Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ χ 2 Unabhängigkeitstests Ausgangspunkt: Zwei verbundene Zufallsvariablen X bzw Y deren Träger in k bzw l Kassen zerlegt wurde Klassen: D(X) 1,, D(X) k Klassenwahrscheinlichkeiten: und D(Y ) 1,, D(Y ) l p 0 ij = P (X D(X i ) und Y D(Y j )) Wahrscheinlickeitstabelle: i\j 1 2 l Σ 1 p 11 p 12 p 1l p 1 2 p 21 p 22 p 2l p 2 k p k1 p k2 p kl p k Σ p 1 p 2 p l 1 Ausgangspunkt: Einfache verbundene Stichprobe (X 1, Y 1 ),, (X n, Y n ) Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

8 N ij : Gemeinsame Häufigkeit, mit der Elemente der Stichprobe in die i-te Klasse von X und die j-te Klasse von Y fallen für i = 1, 2,, k und j = 1, 2,, l Kontingenztabelle: i\j 1 2 l Σ 1 N 11 N 12 N 1l N 1 2 N 21 N 22 N 2l N 2 k N k1 N k2 N kl N k Σ N 1 N 2 N l n Nullhypothese: H 0 : Zufallsvariablen X und Y sind stochastisch unabhängig Unter H 0 zu erwartende Häufigkeiten: np 0 ij = np i p j Problem: Nullhypothese zusammengesetzt, da k 1 Randwahrscheinlichkeiten p i und l 1 Randwahrscheinlichkeiten p j nicht festlegt sind Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Lösung: Schätzung der Randwahrscheinlichkeiten mittels relativer Randhäufigkeiten: ˆp i = N i n, ˆp j = N j n = ˆp 0 ij = n N i N j n n = N i N j n Approximation ist hinreichend gut, wenn gilt: n ij 10 und n i n j /n 5, i = 1,, k, j = 1,, l für i = 1, 2,, k 1 und j = 1, 2,, l 1 Prüfmaß unter H 0 : k i=1 j=1 ( l N ij N i N j n N i N j n ) 2 appr χ 2 ((k 1)(l 1)) Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

9 Beispiel Einschätzung der Qualität des Freizeitangebots in Nürnberg in Abhängigkeit vom Geschlecht Zufällige Auswahl von n = 400 Studierenden Merkmal B Einschätzung des Freizeitangebots in Nürnberg mit Kategorien B 1 eher gut, B2 mittel, B3 eher schlecht Merkmal A Geschlecht mit Kategorien A 1 männlich, A 2 weiblich N ij : Zufallsvariable, die angibt, wie viele der 400 Befragten bez des Geschlechts die i te und bez des Freizeitangebotes die j-te Kategorie nennen p ij : Wahrscheinlichkeit, mit der Studierender in Grundgesamtheit i-te Kategorie des Geschlechts und j-te Kategorie des Freizeitangebotes nennt p i : Wahrscheinlichkeit, mit der Studierender in Grundgesamtheit i-te Kategorie des Geschlechts nennt p j : Wahrscheinlichkeit, mit der Studierender in Grundgesamtheit die j-te Kategorie des Freizeitangebotes nennt Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Nullhypothese: Befragungsergebnis: H 0 : p ij = p i p j i = 1, 2, j = 1, 2, 3 B 1 B 2 B 3 i A A j Unter H 0 zu erwartende Häufigkeiten (nˆp i ˆp j = n i n j /n): B 1 B 2 B 3 i A A j Approximationsanforderungen sind erfüllt Empirischer Wert der Teststatistik: (60 66) (100 99) (46 51)2 51 = 238 Kritischer Wert (für α = 005): χ 2 095;2 = 599 Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

10 Testentscheidung: Nullhypothese kann bei einer Wahrscheinlichkeit für den Fehler 1 Art von höchstens 5% nicht verworfen werden Marginales Signifikanzniveau (= p-wert): p = χ 2 -Unabhängigkeitstest in R > n=t(matrix(c(60,100,104,40,50,46),3,2)) # Kontingenztabelle mit 2 Zeilen # und 3 Spalten bei zeilenweiser # Eingabe > n [,1] [,2] [,3] [1,] [2,] > n1p=n%*%c(1,1,1) # Zeilensummen per Matrizenmultiplikation > np1=t(n)%*%c(1,1) # Spaltensummen per Matrizenmulitplkation > nn=sum(n) # Summe aller Haeufigkeiten > p=(n1p/nn)%*%t(np1/nn) # Wahrschkeiten bei Unabhaengigkeit > p*nn # Erwartete Haeufigkeiten [,1] [,2] [,3] [1,] [2,] > chisqtest(n,correct=false,p) # Chi-Quadrat-Unabhaengigkeitstest Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Output: χ 2 Homogenitätstests Pearson s Chi-squared test data: n X-squared = 23767, df = 2, p-value = Ausgangspunkt: Zwei Zufallsvariablen X bzw Y mit identischem Träger D(X) = D(Y ), der in k Klassen zerlegt wurde Zwei einfache unverbundene Stichproben (X 1, X 2, X n(1) ) und (Y 1, Y 2,, Y n(2) ) N (1)i bzw N (2)i : Anzahl der Stichprobenelemente X j bzw Y j die in i-te Klasse fallen p (1)i bzw p (2)i : Wahrscheinlichkeit, dass X bzw Y in i-te Klasse fallen Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

11 Nullhypothese (Verteilung von X und Y sind identisch): H 0 : p (1)i = p (2)i = p 0 i, i = 1, 2,, k Problem: p 0 i, i = 1, 2,, k 1 sind unbekannt = Nullhypothese zusammengsetzt Unter H 0 stamnmen beide Stichproben aus derselben Grundgesamtheit (=Homogenität der Stichproben) p 0 i kann als relative Häufigkeit ˆp 0 i = N (1)i + N (2)i n (1) + n (2) geschätzt werden Unter H 0 zu erwartende Häufigkeiten: E[N (1)i ] = n (1) N (1)i + N (2)i n (1) + n (2) bzw E[N (2)i ] = n (2) N (1)i + N (2)i n (1) + n (2) Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Prüfgröße unter H 0 : ( k (N(1)i n (1) ˆp 0 i )2 i=1 n (1) ˆp 0 i + (N ) (2)i n (2) ˆp 0 i )2 appr χ 2 (k 1) n (2) ˆp 0 i Approximation hinreichend gut, wenn gilt: n (g)i 10 und n (g)i n (1)i + n (2)i n (1) + n (2) 5, i = 1,, k, g = 1, 2, wobei n (g)i Realisation von N (g)i Beispiel: Schira (2003), S 502f Vier Wochen vor der Bundestagswahl 2002 ergab die Sonntagsfrage in Umfragen der Forschungsgruppe Wahlen (= FG Wahlen) und des Instituts für Demoskopie Allensbach (IfD) folgende Ergebnisse in Prozent: Partei FG Wahlen (g = 1) IfD (g = 2) CDU/CSU SPD FDP Grüne 7 67 PDS 4 56 Sonstige Stichproben umfang n (g) Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/

12 Frage: Kann es sein, dass diese beiden Stichproben aus derselben Grundgesamtheit stammen? Arbeitstabelle: i n (g)i ˆp 0 i n (g) ˆp 0 i (n (g)i n (g) ˆp 0 i )2 n (g)i ˆp 0 i FG Wahlen g = 1 CDU/CSU SPD FDP Grüne PDS Sonstige IfD g = 2 CDU/CSU SPD FDP Grüne PDS Sonstige χ Ingo Klein: Statistik Wintersemester 2012/ Ingo Klein: Statistik Wintersemester 2012/ Irrtumswahrschenlichkeit 5%: Kritischer Wert χ 095;5 = Wegen > χ 095;5 = kann H 0 mit einer Irrtumswahrscheinlichkeit von 5% abgelehnt werden Marginales Signifikanzniveau (p-wert): P(χ 2 > H 0 ) = Ingo Klein: Statistik Wintersemester 2012/