Musterlösung zu Serie 8

Transkript

1 Prof. Dr. W. Stahel, Dr. J. Ernest Regression HS 2017 Musterlösung zu Serie 8 1. Im Data Frame sind die Ergebnisse einer Umfrage zum Umweltschutz gegeben. Es umfasst insgesamt 10 Variablen und 2038 Beobachtungen. Wir wollen uns hier auf die beiden Variablen Schule Beeintr Schulbildung (ungelernt, Lehre, ohne.abi, Abitur, Studium) persönliche Beeinträchtigung durch Umweltschadstoffe (nicht, etwas, ziemlich, sehr) beschränken. Wir wollen der Frage nachgehen, ob zwischen den Antworten dieser beiden Variablen ein Zusammenhang besteht. a) Stelle die Daten zuerst grafisch dar, z.b. durch mehrfache Säulendiagramme. Beurteile anhand der Säulendiagramme, ob die die Antworten der beiden Variablen unabhängig sind. R-Hinweise: R ordnet Faktorstufen alphabetisch. Dies ist hier nicht sinnvoll. Die Reihenfolge ändern kann man mit dem Befehl: umwelt$schule <- factor(umwelt$schule, levels = c("ungelernt", "Lehre", "ohne.abi", "Abitur", "Studium")) Kontigenztafeln und mehrfache Säulendiagramme erhält man durch folgenden R-Code: > tab.umwelt <- table(umwelt$schule, umwelt$beeintr) > barplot(t(prop.table(tab.umwelt, 1)), beside = TRUE) > umwelt <- read.table(" header = TRUE) > umwelt$schule <- factor(umwelt$schule, levels = c("ungelernt", "Lehre", "ohne.abi", "Abitur", "Studium")) > umwelt$beeintr <- factor(umwelt$beeintr, levels = c("nicht", "etwas", "ziemlich", "sehr")) > str(umwelt) > tab.umwelt <- table(umwelt$schule, umwelt$beeintr) > tab.umwelt ungelernt Lehre ohne.abi Abitur Studium Für die Kontingenztafel erhalten wir die folgenden Darstellungen mit Säulendiagrammen: > # nach Schule standardisiert (d.h. die Proportionen in den Zeilen ergänzen sich zu 1) > prop.umwelt.schule <- prop.table(tab.umwelt, 1) > prop.umwelt.schule ungelernt Lehre ohne.abi Abitur Studium > par(mfrow = c(1, 2)) > barplot(t(prop.umwelt.schule), beside = TRUE, col = c("orchid", "slateblue", "paleturquoise", "palegreen"), legend = levels(umwelt$beeintr), cex.names = 0.85) > barplot(prop.umwelt.schule, beside = TRUE, col = c("lightblue", "mistyrose", "lightcyan", "lavender", "seashell"), legend = levels(umwelt$schule))

2 nicht etwas ziemlich sehr ungelernt Lehre ohne.abi Abitur Studium ungelernt Lehre ohne.abi Abitur Studium Die bedingten Verteilungen der Variable Beeintr gegeben die Variable Schule (linker Plot) sehen verschieden aus. Je höher die Schulbildung, desto kleiner war der Anteil, welcher die Antwort nicht beeinträchtigt gewählt hat und desto grösser die Anteile für alle anderen Antwortmöglichkeiten. Man kann auch die bedingten Verteilungen der Variable Schule gegeben die Variable Beeintr betrachten: > ## nach Beeinträchtigung standardisiert: (d.h. die Proportionen in den Spalten ergänzen sich > prop.umwelt.beeintr <- prop.table(tab.umwelt, 2) > prop.umwelt.beeintr ungelernt Lehre ohne.abi Abitur Studium > par(mfrow = c(1, 2)) > barplot(prop.umwelt.beeintr, beside = TRUE, col = c("lightblue", "mistyrose", "lightcyan", "lavender", "seashell"), legend = levels(umwelt$schule),) > barplot(t(prop.umwelt.beeintr), beside = TRUE, col = c("orchid", "slateblue", "paleturquoise", "palegreen"), legend = levels(umwelt$beeintr), cex.names = 0.85)

3 ungelernt Lehre ohne.abi Abitur Studium nicht etwas ziemlich sehr ungelernt Lehre ohne.abi Abitur Studium b) Wir möchten nun den Chiquadrat-Test von Hand durchführen. Berechne dazu zuerst die erwarteten Anzahlen unter Unabhängigkeit und die standardisierten Residuen. > n <- sum(tab.umwelt) > # Randverteilungen bestimmen > t.s <- apply(tab.umwelt, 1, sum) > t.b <- apply(tab.umwelt, 2, sum) > # erwartete Anzahl unter Unabhängigkeit > (umw.e <- t.s%*%t(t.b) / n) [1,] [2,] [3,] [4,] [5,] > # standardisierte Residuen > (abw.st <- (tab.umwelt - umw.e) / sqrt(umw.e)) ungelernt Lehre ohne.abi Abitur Studium c) Bestimme nun den Wert der Quadratsumme der standardisierten Residuen und den kritischen Wert für das Signifikanzniveau α = 0.05 (qchisq()). Wie lautet der Testentscheid? > # Summe der quadrierten Abweichungen berechnen > sum(abw.st^2) [1] > qchisq(0.95, df = 3 * 4) # 95%-Quantil [1] Die Summe der quadrierten Abweichungen ist mit massiv grösser als der kritische Wert. Wir können also die Nullhypothese, dass die beiden Variablen Schule und Beeintr unabhängig sind, verwerfen.

4 4 d) Teste diese Frage auch direkt mit einem Chiquadrat-Test (chisq.test()). > chisq.test(tab.umwelt) Pearson's Chi-squared test data: tab.umwelt X-squared = , df = 12, p-value < 2.2e-16 Der Chiquadrat-Test verwirft die Nullhypothese der Unabhängigkeit deutlich. 2. Fisher s Exact Test Rosen und Jerdee (1974) führten verschiedene Experimente mit weissen, männlichen Abteilungsleitern durch. In einem Experiment erhielten die Abteilungsleiter eine Personalakte und mussten entscheiden, ob sie den Angestellten befördern (promote), oder die Akte zurückhalten (hold file) und zusätzliche Kandidaten interviewen wollten. 24 Abteilungsleiter erhielten eine Akte mit dem Hinweis, sie sei von einem männlichen Angestellten (male), 24 Abteilungsleiter eine Akte mit dem Hinweis, sie sei von einer weiblichen Angestellten (female). Die Akten waren ansonsten identisch. Die Resultate sahen folgendermassen aus: male female promote hold file 3 10 Untersuche, ob Frauen benachteiligt wurden oder ob dieser Unterschied auch rein zufällig auftreten könnte. a) Führe dazu den Fisher-Test durch (fisher.test()). > t.d <- matrix(c(21, 3, 14, 10), nrow = 2) > colnames(t.d) <- c("male", "female") > rownames(t.d) <- c("promote", "hold file") > t.d male female promote hold file 3 10 > fisher.test(t.d) Fisher's Exact Test for Count Data data: t.d p-value = alternative hypothesis: true odds ratio is not equal to 1 95 percent confidence interval: sample estimates: odds ratio Die Nullhypothese, dass die Beförderungswahrscheinlichkeit für männliche und weibliche Angestellte gleich ist, wird knapp verworfen. b) Führe den Test manuell durch, indem du den Verwerfungsbereich selber bestimmst. Benutze dazu die hypergeometrische Verteilungsfunktion (dhyper()). Die hypergeometrische Verteilung kann man sich als Urnenmodell vorstellen. Man hat insgesamt n + m Kugeln (= Anzahl Personen) in einer Urne von denen n Kugeln weiss (= Männer) und m Kugeln schwarz (= Frauen) sind. Nun zieht man von diesen n + m Kugeln zufällig k Kugeln heraus

5 5 (= Anzahl Beförderte) und kann nun die Wahrscheinlichkeit dafür berechnen, dass unter diesen k Kugeln x weisse Kugel (Männer) sind. Bei diesem Beispiel ist die Anzahl Männer 24, die Anzahl Frauen 24 und die Anzahl beförderte Personen 35. > mat <- matrix(0, nrow = 24, ncol = 2) > for (i in 1:17) { mat[i, ] <- c(i, sum(dhyper(1:i, n = 24, m = 24, k = 35))) } > # Hier rechnet man die Wahrscheinlichkeit aus, dass maximal i Männer befördert > # worden sind, unter der Bedingung, dass unter 24 Frauen und 24 Männern > # genau 35 befördert wurden. > > for (i in 18:24) { mat[i, ] <- c(i, sum(dhyper(i:24, n = 24, m = 24, k = 35))) } > # Hier rechnet man die Wahrscheinlichkeit aus, dass mindestens i Männer befördert > # worden sind, unter der Bedingung, dass unter 24 Frauen und 24 Männern > # genau 35 befördert wurden. > > mat [,1] [,2] [1,] [2,] [3,] [4,] [5,] [6,] [7,] [8,] [9,] [10,] [11,] [12,] [13,] [14,] [15,] [16,] [17,] [18,] [19,] [20,] [21,] [22,] [23,] [24,] Der zweiseitige Verwerfungsbereich bei einem Signifikanzniveau α = 0.05 besteht nun aus {0, 1, 2,..., 11, 12, 13, 14, 21, 22, 23, 24}. Die Beobachtung 21 Männer ist knapp im Verwerfungsbereich. Die Wahrscheinlichkeit, dass dieses oder ein noch extremeres Resultat zufällig auftritt liegt bei (= ). Wir können die Nullhypothese also verwerfen: Es gibt Hinweise auf eine Bevorzugung der Männer.