Alternative Darstellung des 2-Stcihprobentests für Anteile

Transkript

1 Alternative Darstellung des -Stcihprobentests für Anteile DCF CF Total n Response Resp. Rate 0,387 0,3 0,309 Bei Gültigkeit der Nullhypothese Beobachtete Response No Response Total absolut DCF CF Beobachtete Response No Response Total Zeilenprozent DCF 38,7% 61,3% 111 CF 3,% 76,8% 11 30,9% 69,1% 3 Erwartete Response No Response Total Zeilenprozent DCF 30,9% 69,1% 111 CF 30,9% 69,1% 11 30,9% 69,1% 3 Erwartete Response No Response Total absolut DCF 34, CF Analyse der Differenz Statistik für SoziologInnen 1

2 χ -Unabhängigkeitstest Der χ -Unabhängigkeitstest erlaubt es, zu testen, ob zwei nominalskalierte Merkmale voneinander unabhängig sind oder nicht. Dabei werden die Abweichungen der beobachteten Häufigkeiten in einer Kreuztabelle von den unter der Unabhängigkeitshypothese erwarteten Häufigkeiten evaluiert. Unter der Unabhängigkeitshypothese ergeben sich die erwarteten relativen Häufigkeiten in einer Zelle i,j durch Multiplikation der zugehörigen relativen Randhäufigkeiten bzw. sind die bedingten Verteilungen konstant und gleich der Randverteilung. Statistik für SoziologInnen

3 Notation Wir betrachten eine l m Kreuztabelle Zeilenindex i (1,..., l) Spaltenindex j (1,..., m) n 1 n ij n i n l n 1 n j n m n Statistik für SoziologInnen 3

4 Bedingung für Unabhängigkeit P( A B) P( A) P( B) Wahrscheinlichkeit einer Zelle ist das Produkt der Zeile- und der Spaltenwahrscheinlichkeit Es gilt daher: n n n ij ij Absolute Häufigkeit einer Zelle ist das Produkt der Zeilen- und der Spaltenhäufigkeit dividiert durch die Gesamtanzahl n n n i i n n n n j j Statistik für SoziologInnen 4

5 Beispiel Dem folgenden Beispiel liegt der Datenbestand von n 01 Personen des Schiffsunglücks Titanic zugrunde. Es soll untersucht werden, ob ein Zusammenhang der beiden Merkmale Unterkunftsklasse am Schiff und Überleben des Passagiers besteht. Merkmal Unterkunftsklasse: Merkmal überlebt: Anzahl rel. Häufigkeit NEIN ,68 JA 711 0,3.01 Anzahl rel. Häufigkeit 1st Class 35 14,8% nd Class 85 1,9% 3rd Class 706 3,1% Crew ,%.01 Zusammenhang? Statistik für SoziologInnen 5

6 Ausgangsdaten & Fragestellung Beobachtete Häufigkeiten Klasse überlebt Zeilensumme NEIN JA 1st Class nd Class rd Class Crew Spaltensumme überlebt Zeilensumme NEIN JA 1st Class 37,5% 6,5% 100,0% nd Class 58,6% 41,4% 100,0% 3rd Class 74,8% 5,% 100,0% Crew 76,0% 4,0% 100,0% Spaltensumme 67,7% 3,3% 100,0% Klasse Zeilenprozent beobachtet Ist der Anteil der Überlebenden in den 4 Personengruppen gleich? Verallgemeinerung der Fragestellung des - Stichprobentests Statistik für SoziologInnen 6

7 Visualisierung mittels Mosaic-Plot Statistik für SoziologInnen 7

8 Erwartete Häufigkeit Berechnung der erwarteten Häufigkeiten bei Unabhängigkeit der Merkmale Erwartete Häufigkeit Zeilensumme Spaltensumme Gesamtsumme Klasse überlebt Zeilensumme NEIN JA 1st Class??? 35 nd Class 85 3rd Class 706 Crew 885 Spaltensumme überlebt Zeilensumme NEIN JA 1st Class 0,0 35 nd Class 85 3rd Class 706 Crew 885 Spaltensumme Klasse Erwartete Häufigkeit NEIN, 1st Class 0,0 Statistik für SoziologInnen 8

9 Erwartete Häufigkeit Berechnung der erwarteten Häufigkeiten bei Unabhängigkeit der Merkmale Erwartete Häufigkeit Zeilensumme Spaltensumme Gesamtsumme überlebt NEIN JA 1st Class 0,0 35 nd Class 85 3rd Class???? 706 Crew 885 Spaltensumme Klasse Zeilensumme überlebt Zeilensumme NEIN JA 1st Class 0,0 35 nd Class 85 3rd Class 8,1 706 Crew 885 Spaltensumme Klasse Erwartete Häufigkeit JA, 3rd Class 8,1 Statistik für SoziologInnen 9

10 Erwartete Häufigkeit Erwartete Häufigkeiten Unterkunftsklasse versus Person hat überlebt bei Gültigkeit der Unabhängigkeitshypothese überlebt Zeilensumme NEIN JA 1st Class 0,0 105,0 35 nd Class 19,9 9,1 85 3rd Class 477,9 8,1 706 Crew 599,1 85,9 885 Spaltensumme Klasse Statistik für SoziologInnen 10

11 Vergleich Beobachtete Häufigkeiten - Erwartete Häufigkeiten Beobachtete Häufigkeiten Erwartete Häufigkeiten Klasse Klasse Klasse Zeilenprozent beobachtet Zeilenprozent erwartet überlebt Zeilensumme NEIN JA 1st Class nd Class rd Class Crew Spaltensumme überlebt Zeilensumme NEIN JA 1st Class 37,5% 6,5% 100,0% nd Class 58,6% 41,4% 100,0% 3rd Class 74,8% 5,% 100,0% Crew 76,0% 4,0% 100,0% Spaltensumme 67,7% 3,3% 100,0% überlebt Zeilensumme NEIN JA 1st Class nd Class rd Class Crew Spaltensumme überlebt Zeilensumme NEIN JA 1st Class 67,7% 3,3% 100,0% nd Class 67,7% 3,3% 100,0% 3rd Class 67,7% 3,3% 100,0% Crew 67,7% 3,3% 100,0% Spaltensumme 67,7% 3,3% 100,0% Klasse Statistik für SoziologInnen 11

12 Beobachtete minus erwartete Häufigkeit überlebt NEIN JA 1st Class -98,0 98,0 0 nd Class -5,9 5,9 0 3rd Class 50,1-50,1 0 Crew 73,9-73,9 0 Spaltensumme Klasse Zeilensumme Statistik für SoziologInnen 1

13 χ -Statistik Berechnung des χ -Wertes χ l m i 1 j 1 ( Beobachteter Wert Erwarteter Wert ) ij Erwarteter Wert ij ij l... Anzahl der Zeilen m... Anzahl der Spalten Anzahl der Freiheitsgrade: (l-1)(m-1) Statistik für SoziologInnen 13

14 Form der Chi²-Verteilungsdichte Statistik für SoziologInnen 14

15 χ -Statistik ( o e ) 11 e überlebt Zeilensumme NEIN JA 1st Class 43,7 91,5 135, nd Class 3,5 7,3 10,8 3rd Class 5, 11,0 16, Crew 9,1 19,1 8, Spaltensumme 61,5 18,9 190,4 Klasse χ l m i 1 j 1 ( o e ) ij e ij ij Statistik für SoziologInnen 15

16 Dichtefunktion der χ -Verteilung Dichtefunktion der χ -Verteilung mit 3 Freiheitsgraden kritischer Bereich χ 3;0,95 7,81 Statistik für SoziologInnen 16

17 χ -Statistik χ 190,4 7, 81 Klasse nach Überleben > χ kritisch Hoch signifikantes Ergebnis; Unterschiede zwischen den Überlebenschancen in den verschiedenen Klassen können wohl nicht zufällig sein Es bestehen signifikante Unterschiede zwischen den beobachteten und den erwarteten Werten Überlebende Personen sind eher in den höherwertigen Unterkunftsklassen zu finden Statistik für SoziologInnen 17

18 Analyse von 3 Merkmalen Log-lineare Modelle: Werkzeug zur Analyse höher-dimensionaler Häufigkeitstabellen Statistik für SoziologInnen 18

19 Äquivalenz zu -Stichprobenanteilstest Beobachtete Response No Response Total Kritischer Wert bei α0,01 6, absolut DCF Kritischer Wert bei α0,05 3, CF Abweichung Beobachtete Response No Response Total Response No Response Total Zeilenprozent DCF 38,7% 61,3% 111 DCF 8,655-8,655 0,000 CF 3,% 76,8% 11 CF -8,655 8,655 0,000 30,9% 69,1% 3 0,000 0,000 0,000 Erwartete Response No Response Total CHI-WERT Zeilenprozent DCF 30,9% 69,1% 111 Response No Response Total CF 30,9% 69,1% 11 DCF,181 0,977 30,9% 69,1% 3 CF,161 0,968 6,88 Erwartete Response No Response Total absolut DCF 34, p-value 0,01 6,88 CF Statistik für SoziologInnen 19

20 Ausreichende Fallzahl und die Yates-Korrektur Die Approximation der Stichprobenverteilung mit der statistik darf nur angewendet werden, wenn alle erwarteten Häufigkeiten 5 sind. Andernfalls müssen Zeilen bzw. Spalten der Kreuztabelle zusammengefasst werden. Für den Fall der 4-Felder Tafel (Anzahl der Freiheitsgrade 1), wird in der Praxis häufig die sogenannte Yates-Korrektur herangezogen: χ korr. l m i 1 j 1 ( o e 0,5) ij ij e ij Statistik für SoziologInnen 0

21 Beispiel zur Yates-Korrektur Anhand eines Labortests (Digitalis-Konzentration im Blut) kann das Vorliegen einer bestimmten Krankheit nachgewiesen werden wurde dazu folgende Statistik veröffentlicht: T+ positiver Test D+ D- Total T- negativer Test T D+ krank T D- gesund Total χ 6,8 χ korr. 4,3 > χ 1;0,95 signifikantes Ergebnis 3,84 Statistik für SoziologInnen 1

22 Berechnungsschema in Excel D+ D- Ohne Yates-Korrektur T ,7353 5,9536 T ,17371,41815 p-value ,8 0, D+ D- Mit Yates-Korrektur T+ 1,4 6, ,749 5,4885 T- 30,58 65,4 96 4,77055,971 p-value ,3 0, krit. Wert: 11,3449 Funktion: CHITEST(Beobachtete Werte; Unter H0 erwartete Werte) Statistik für SoziologInnen

23 Anderer Problemstellung: Anpassungstest Verteilung der Augenzahl x bei n 35 Würfen mit einem antiken Würfel x i n i Theoretische Wahrscheinlichkeit: P(Xx) p i 1/ Statistik für SoziologInnen 3

24 Berechnung der χ -Statistik χ k i 1 ( Beobachtet e Häufigkeit Erwartete Häufigkeit ) Erwartete i Häufigkeit i i χ k i 1 ( ) k n ( ) i n pi h i pi n n p i i 1 p i n... Stichprobenumfang n i... beobachtete Häufigkeit p i... theoretische Wahrscheinlichkeit h i n i /n... relative Häufigkeit Statistik für SoziologInnen 4

25 Arbeitstabelle zur Bestimmung der Prüfgröße xi ni n ( n n ) ( ni n pi ) pi i p i n n p i χ Würfel 9,7 Statistik für SoziologInnen 5

26 Dichtefunktion der χ -Verteilung Dichtefunktion der χ -Verteilung mit 5 Freiheitsgraden kritischer Bereich χ kritisch Statistik für SoziologInnen 6

27 χ -Statistik Berechnung des χ -Wertes χ 9,7 χ χ 11, 07 Würfel > kritisch 5;0.95 signifikantes Ergebnis (Signifikanzniveau α 0.05); Die beobachteten Häufigkeiten weichen signifikant von den unter der Annahme einer Gleichverteilung erwarteten Häufigkeiten ab. er oder 5er werden mit dem antiken Würfel seltener gewürfelt ( Seiten die gegenüber liegen!) Der antike Würfel ist kein fairer Würfel Statistik für SoziologInnen 7

28 Beispiel Mendel überprüfte seine Theorien über die Vererbungsgesetze durch Kreuzung verschiedener Erbsensorten. Gemäß seiner Theorie sollte das Vorkommen von 4 Sorten im Verhältnis 9:3:3:1 stehen. Eine Stichprobe von 556 Erbsen ergab: 315:108:101:3 Sind die beobachteten Abweichungen signifikant? Observed Soll-Odds Soll-Rel Expected (Obs-Exp)^ (O-E)^/E ,565 31,75 5,065 0, , ,5 14,065 0, , ,5 10,565 0, ,065 34,75 7,565 0, ,4700 CHI(3;0,99) 11,345 Statistik für SoziologInnen 8

29 Hinweise Der Chi-Quadrat Wert liefert eine summarische Beurteilung der Abweichung einer empirischen Verteilung von einer theoretisch erwarteten Verteilung. Damit die Verteilung der Teststatistik approximativ Chi-Quadrat verteilt ist, müssen die erwarteten Häufigkeiten in jeder Klasse größer 5 sein. Ist dies nicht der Fall müssen einzelne Klassen aggregiert werden. Die Anzahl der Freiheitsgrade ist die Anzahl der Klassen minus eins. Falls zur Bestimmung der erwarteten Häufigkeiten auch Parameter geschätzt werden müssen, so sind die Freiheitsgrade zusätzlich um die Anzahl der Parameter zu reduzieren. Statistik für SoziologInnen 9

30 Anpassung empirischer Daten an theoretisches Modell Anzahl der Flügelschläge(x i ) OBS. Freq (f i ) x i *f i EXP. Prob Exp. Freq ,36 46, ,3 9, ,15 19, ,09 1, ,06 7, ,04 5, ,03 3, ,0, ,01 1, ,01 600, ,00 0, ,00 500,35 Summe Mittelwert,79 40 Schätzung für p: 0,36 (1/,79) P ( X pˆ n n i 1 k ) x i p(1 p) k 1 Anzahl der Flügelschläge(x i ) OBS. Freq (f i ) Anzahl beobachteter Vögel: 130 Anzahl beobachteter Flügelschläge: 363 Exp. Freq Chi²- Berechnung ,56 0, ,88 0, ,18 0, ,74 0, 0,34 p-value: 0,9515 Statistik für SoziologInnen Interpretation: OBS. Freq (fi) Exp. Freq Die geometrische Verteilung erlaubt eine gute Approximation der beobachteten Häufigkeiten.