Empirische Softwaretechnik Datenanalyse mit R

Transkript

1 Empirische Softwaretechnik Dr. Victor Pankratius Andreas Höfer Wintersemester 2009/2010 IPD Tichy, Fakultät für Informatik KIT die Kooperation von Forschungszentrum Karlsruhe GmbH und Universität Karlsruhe (TH)

2 R

3 R ist vektororientiert c() verkettet Objekte zu Vektoren. Die Datentypen sind: Numerical > c(2, 0, 1) [1] Character > c("a", "b", "c") [1] "a" "b" "c" Logical > c(t, F, T) [1] TRUE FALSE TRUE So kann man auch Vektoren erzeugen: > 0:2 [1] > 2:0 [1] > seq(0, 1, 0.2) [1] > rep(0:1, 2) [1] > rep(0:1, length.out = 3) [1] > rep(0:1, each = 2) [1]

4 Verwendung von Vektoren R behandelt Vektoren wie andere Programmiersprachen einzelne Variablen. > v <- 0:5 > v [1] > v * 2 [1] > v * 0:1 [1] <- ist der Zuweisungsoperator. Mit eckigen Klammer kann man aus Vektoren (und Feldern, etc.) auswählen. Indizes beginnen bei 1. > v[1:3] [1] > v[-(1:3)] [1] > v[v > 3] [1] 4 5 > v[v < 2 v > 3] [1]

5 Felder und Matrizen Matrizen sind 2-dimensionale Felder. > m <- matrix(1:4, nrow = 2, ncol = 2) > m [,1] [,2] [1,] 1 3 [2,] 2 4 > m[1,] [1] 1 3 Um n-dimensionale Felder zu erhalten, gibt es die array- Funktion. > cube <- array(1:8, dim = c(2, 2, 2))

6 Listen und Datenbehälter Eine Liste ist eine Sammlung benannter Objekte. Auf die einzelnen Objekte kann über die $-Notation zugegriffen werden. > l <- list(x = 3:4, y = 8:9) > l$x [1] 3 4 > l$y [1] 8 9 Datenbehälter sind Listen aus Vektoren gleicher Länge. > as.data.frame(l) x y

7 Kontrollfluss Bedingte Ausführung Wiederholte Ausführung > if (a && b) { + [ ] + } else if (c d) { + [ ] + } else { + [ ] + } > for (i in 0:1) [ ] > j <- 0 > while (j <= 1) { + j <- j if (j <= 1) next + [ ] + } > k <- 2 > repeat { + k <- k 1 + [ ] + if (j < 1) break + }

8 Schleifen? Schleifen sind langsam besser vermeiden. Verwenden Sie vektor- und matrixorientierte Befehle. > x <- 1: > system.time(for (i in 1:length(x)) x[i] <- x[i] + 1) User System elapsed > system.time(x <- x + 1) User System elapsed Es gibt auch ein vektororientiertes if/else: > ifelse(1:4 > 2, c("ja", "yes", "oui", "si"), + c("nein", "no", "non", "no")) [1] "nein" "no" "oui" "si"

9 Daten lesen und schreiben Aus einer Datei lesen: > data <- read.table(file = "d:/file.csv", + sep = ";", header = T) > data <- read.csv(file = "d:/file.csv ) > data <- read.csv2(file = "d:/file.csv ) In eine Datei schreiben: > write.table(data, file = "d:/file.csv", + sep = ";", row.names = F) > write.csv(data, file ="d:/file.csv") > write.csv2(data, file ="d:/file.csv")

10 Zeichnungen speichern Zeichengerät erstellen, zeichnen, Zeichengerät schließen. > pdf(file = "C:/Users/myuser/Desktop/test.pdf") > plot(lakehuron) > dev.off() windows 2 Andere Zeichengeräte: postscript png, jpeg, tiff and bmp pictex, xfig Über zusätzliche Pakete auch: tikz svg

11 Eigene Funktionen definieren Funktionsparameter haben Namen und können vorbelegt werden. Sie werden der Reihenfolge oder dem Namen nach zugeordnet. > randmat <- function(rows = 1, cols = 1) { + matrix(runif(rows * cols), rows, cols) + } > randmat() [,1] [1,] > randmat(1, 2) [,1] [,2] [1,] > randmat(cols = 1, rows = 2) [,1] [1,] [2,]

12 Hilfe erhalten Mit dem Befehl > help("plot") öffnen Sie ein Hilfe-Dialog. Einfacher geht es so: >?plot Falls Sie nicht genau wissen, wie ein Befehl heißt, können Sie auch suchen: > help.search( + "plo") >??plo

13 Zentralitäts- und Streuungsmaße > v <- (1:10) ^2 > v [1] > mean(v) [1] 38.5 > median(v) [1] 30.5 > range(v) [1] > var(v) [1] > sd(v) [1]

14 Punktwolken Geben einen ersten Eindruck über den Zusammenhang zwischen zwei Variablen Abszisse: Unabhängige Variable Ordinate: Abhängige Variable > speed <- cars$speed * > dist <- cars$dist * > plot(speed, dist, + main = " ", xlab = " ", + ylab = " ")

15 Faustregel zur Korrelation C A D B Zählen der Datenpunkte in den durch die Mittelwerte von X und Y gebildeten Quadranten A + D >> B + C: erwarte starke positive Korrelation B + C >> A + D: erwarte starke negative Korrelation > abline(h = mean(dist), lty = 2) > abline(v = mean(speed), lty = 2)

16 Wiederholung: Kovarianz und Pearsons Korrelationskoeffizient Zu Erinnerung: Die Kovarianz ist wie folgt definiert: Die extremsten Werte sind ±s X s Y Pearsons Korrelationskoeffizient r normalisiert die Kovarianz mit s X s Y : r sxy s s X Y Bereich: -1 r 1 s XY (X X)(Y N 1 Y) > cov(speed, dist) [1] > p <- cor.test(speed, dist) > p$estimate cor > p$p.value [1] e

17 p-wert und Korrelation H 0 : der Korrelationskoeffizient der Population (ρ) aus der die Stichprobe entnommen wurde ist 0. ρ = 0 H A : ρ 0 Der p-wert drückt also die Wahrscheinlichkeit aus, in der Stichprobe eine Korrelation zw. X und Y der Größe r zu beobachten, obwohl X und Y in der Population nicht korreliert sind. Überprüfen des kritischen Werts für Korrelationskoeffizienten in Tabellen wie Tabelle E.2 in [Howell 1999] (oder mit R). Freiheitsgrade = N

18 Spearmans Rangkorrelationskoeffizient (r s ) Nicht parametrisch Die Stichproben müssen mindestens ordinal skaliert sein, d.h. Rangbildung muss möglich sein. Setzt keine Normalverteilung voraus Bei Intervall- und Verhältnisskala kommt es zum Informationsverlust Bereich: -1 r s 1 > s <- cor.test(speed, dist, method = "spearman") > s$estimate rho > s$p.value [1] e

19 Kendalls Rangkorrelationskoeffizient (τ) Nicht parametrisch Die Stichproben müssen mindestens ordinal skaliert sein, d.h. Rangbildung muss möglich sein. Setzt keine Normalverteilung voraus Zählt die Anzahl der konkordanten Paare Range: -1 τ 1 > k <- cor.test(speed, dist, method = "kendall") > k$estimate tau > k$p.value [1] e

20 Regressionsgerade mit R ~ hängt ab von Die lm-funktion berrechnet das lineare Modell > rg <- lm(dist ~ speed) > abline(rg)

21 Residuen Zur Erinnerung: Residuen sind die Unterschiede zwischen den gemessen Werten Y i und den vorausgesagten Werten Ŷ i. Einfärben der Datenpunkte gemäß ihrer Residuen: > res <- abs(resid(rg)) > sres <- (res-min(res))/(max(res)-min(res)) > colors <- grey(1 - sqrt(sres)) > plot(dist ~ speed, bg = colors, pch = 21, + main = " ", xlab = " ", ylab = " ") > abline(rg, col = " ")

22 Regression für zwei Variable > library(scatterplot3d) > attach(trees) > s3d <- scatterplot3d(girth, Height, Volume, + type = 'h', pch = 17, highlight.3d = T, + angle = 60, main = "Holz ") > s3d$plane3d(lm(volume ~ Girth + Height))

23 Anscombes Quartett Vorsicht bei der Interpretation von Korrelation und Regression!

24 Boxplots mit Zusatzinformationen versehen 1 Bei wenigen Datenpunkten: evtl. die Datenpunkte anzeigen. > v <- c(0, seq(2, 8, 0.1), 10, 15) > boxplot(v) > x <- jitter(rep(1, length(v)), factor = 5) > points(x, v, pch = 20, col = " ")

25 Boxplots mit Zusatzinformationen versehen 2 Auch denkbar: Mittelwert Standardabweichung Ausgangswert > m <- mean(v) > s <- sd(v) > arrows(1.15, m - s, 1.15, m + s, + code = 3, col = ) > points(1.15, m, pch = 15, col = ) > abline(h = 2, col =, lty = 5) > text(x = 0.7, y = 2, "Ausgangswert", + pos = 3, col = " ")

26 Übung: Boxplots Lesen Sie die Daten aus der Datei Coverage.csv ein. Zeichnen Sie Boxplots, welche die Gruppen A und B bezüglich der Testabdeckung vergleichen. Zeichnen Sie die Boxplots nochmal. Färben Sie nun den Umriss der Boxplots dunkelgrau und die Füllung hellgrau. Zeichnen Sie die Datenpunkte mit ein. Zeichnen Sie die ursprüngliche Testabdeckung als horizontale Linie ein

27 Die Normalverteilung f(x) σ 1 2π e (X μ) 2 2σ 2 > x <- seq(-5, 5, 0.05) > plot(x, dnorm(x, mean = 2, sd = 0.5), + type = "l", col = "orange")

28 Die Konfidenzintervalle der Normalverteilung

29 Übung: Der IQ Wie wahrscheinlich ist es, dass eine Person einen IQ zw. 115 und 130 hat? z X σ μ N(100, 15) z Größerer Teil Kleinerer Teil

30 Münzwurf Eine Münze wird 20 Mal geworfen. Ergebnis: 15 Mal Kopf. Wir nehmen an, die Münze sei fair balanciert, d.h. Kopf hat die Wahrscheinlichkeit p = 0,5. Wie wahrscheinlich ist unsere Beobachtung? Die Wahrscheinlichkeit von n Würfen k Mal Kopf zu beobachten, ist durch die Binomialverteilung gegeben. P(k) n k p k (1 p) n k

31 Münzwurf Eine Münze wird 20 Mal geworfen. Ergebnis: 15 Mal Kopf. Wir nehmen an, die Münze sei fair balanciert, d.h. Kopf hat die Wahrscheinlichkeit p = 0,5. Wie wahrscheinlich ist unsere Beobachtung? Die Wahrscheinlichkeit von n Würfen k Mal Kopf zu beobachten, ist durch die Binomialverteilung > x <- 0:20 gegeben. P(k) n k p k (1 p) n > y <- dbinom(x, size = 20, prob = 0.5) > plot(x, y, type = "o", pch = 16, main = k + "Binom ", xlab = "Num ", ylab = "Pro ")

32 Hypothesentest Münzwurf Wir nahmen an, dass die Wahrscheinlichkeit für Kopf 0,5 ist. (Nullhypothese H 0 ). Aber vielleicht ist die Wahrscheinlichkeit für Kopf ungleich 0,5 (Alternativhypothese H A ). Signifikanzniveau α = 0,05 Das bedeutet: Wenn bei unserem Versuch ein Ergebnis herauskommt, dessen Wahrscheinlichkeit kleiner gleich α ist, dann sind wir bereit, die Nullhypothese zugunsten der Alternativhypothese zu verwerfen, weil dann das, was man beobachtet hat, unwahrscheinlich ist ( α). Wenn wir eine Wahrscheinlichkeit kleiner oder gleich α erhalten, lehnen wir H 0 ab und nehmen H A an Trotzdem könnte es sein, dass die Münze fair ist. Die Irrtumswahrscheinlichkeit, oder die Wahrscheinlichkeit für einen Fehler erster Art ist α. Das bedeutet: wenn wir das Experiment mit 20 Würfen einer fairen Münze sehr oft durchführen würden, käme in 5% der Experimente ein Ergebnis heraus, dass so unwahrscheinlich ist, dass wir die Nullhypothese fälschlicherweise ablehnen würden

33 P-Wert im Münzwurf-Beispiel Nun führen wir 20 Würfe aus und stellen fest, dass 15 Mal Kopf erscheint. Wir rechnen aus, wie wahrscheinlich es ist, dass bei 20 Würfen 15 mal oder häufiger Kopf erscheint; ferner die Wahrscheinlichkeit, dass 15 mal oder häufiger Zahl erschienen wäre. Wir addieren diese beiden Wahrscheinlichkeiten, weil wir aufgrund der Alternativhypothese beide Fälle berücksichtigen müssen (zweiseitiger Test). Das Ergebnis ist der sog. p-wert.

34 Den p-wert berechnen Der p-wert ist nicht die Wahrscheinlichkeit eines Einzelereignisses (15 Mal Kopf). Der p-wert ist die Summe der Wahrscheinlichkeiten aller Ereignisse, die mind. so extrem sind wie 15 Mal Kopf (15 20 Mal). Dazu gehört auch 15 Mal Zahl (0 5 Mal Kopf)

35 Münzwurf-Beispiel Der p-wert ist nicht nur die Wahrscheinlichkeit eines einzelnen Ergebnisses (15 Mal Kopf), sondern die Summe der Wahrscheinlichkeiten aller Ergebnisse, die mindestens so extrem sind (also Mal Kopf), da die zusätzlichen Ergebnisse noch ungünstiger für die Nullhypothese sind. Das Gleiche für Mal Zahl, oder äquivalent 1-5 Mal Kopf. Wenn wir von vorne herein wissen, dass eine Münze nur in einer Richtung unfair sein könnte (z.b. q>0,5), dann genügt der einseitige Test.

36 Als Hypothesentest mit R > binom.test(15, 20, 0.5) Exact binomial test data: 15 and 20 number of successes = 15, number of trials = 20, p-value = alternative hypothesis: true probability of success is not equal to percent confidence interval: sample estimates: probability of success 0.75 Zweiseitiger Test, mit 95 % Konfidenz-intervall (Voreinstellung). Argumente: Anzahl Kopf, Anzahl der Würfe, angenommene Wahrscheinlichkeit für Kopf

37 Der Zentrale Grenzwertsatz Ziehen von n Stichproben der Größen N aus ein Population mit dem Mittelwert μ und der Varianz σ 2. Die Verteilung der Stichproben-Mittelwerte hat Einen Mittelwert μ X μ. 2 2 Eine Varianz σ σ N. X Ein Standardabweichung σ X σ N. Die Verteilung der Stichproben-Mittelwerte nähert sich der Normalverteilung an, wenn die Anzahl n der Stichproben steigt

38 Ein Beispiel: Würfeln Würfeln mit einem idealen Würfel erzeugt eine Gleichverteilung mit Mittelwert von 3,5 und einer Standardabweichung von 1,707. Nehmen wir an, wir würfeln mit 10 Würfeln unendlich oft und zeichnen die Verteilung der Stichproben-Mittelwerte. Theoretisch sollte der Mittelwert 3,5 sein und die Standardabweichung 1,707/ 10 = 0,

39 10000 Mal Würfeln mit 10 (100) Würfeln Voraussage: Mittelw. = 3,5 Std. abw. = 0,540 (= 1,707/ 10) Voraussage: Mittelw. = 3,5 Std. abw. = 0,171 (= 1,707/ 100)

40 Einstichproben-Test Varianz bekannt Auch Gauß-Test genannt Die Standardabweichung der Population ist bekannt. Die Formel für z bei Einzelbeobachtungen lässt sich wie folgt umschreiben: z X μ σ wird zu z X σ μ X X X μ σ N

41 Einstichproben-Test Varianz unbekannt Die Standardabweichung der Population ist unbekannt. Wir benutzen die Standardabweichung der Stichprobe s: z X σ μ X X X μ N wird zu t σ X s μ X X X μ N s

42 Verteilung der Stichproben-Varianz s

43 Warum brauchen wir die Student t-verteilung? Besonders für kleine Stichproben ist es wahrscheinlich, dass s 2 σ 2 unterschätzt. Das gilt auch für s und σ. Würden wir die Normalverteilung nehmen und den z-wert berechnen, erhielten wir mehr signifikante Ergebnisse als erwünscht. Ausweg: Wir berechnen den t-wert und verwenden die Student t-verteilung!

44 Eigenschaften der Student t-verteilung Hängt von den Freiheitsgraden ab. Nähert sich für große N der Standard-Normalverteilung N(0, 1) an

45 Die Student t-verteilung > x <- seq(-5, 5, 0.05) > plot(x, dt(x, df = 100), + type = "l", col = )

46 Einstichproben-t-Test mit R > cm <- women$height * 2.54 > cm [1] [9] > t.test(cm, mu = 165) One Sample t-test data: cm t = , df = 14, p-value = alternative hypothesis: true mean is not equal to percent confidence interval: sample estimates: mean of x

47 Zweistichproben-t-Test Abhängige Stichproben 1 Auch paarweiser t-test genannt Nur anwendbar für Datensätze von den gleichen Subjekten. Datensätze von verschiedenen Subjekten, die jedoch zusammen gehören und für die keine andere Zuordnung denkbar ist. Z.B.: Größe von Mutter und Kind. D bezeichnet die Differenz der beiden Datensätze X, Y. Teste H 0 : μ X = μ Y bzw. μ X μ Y = μ D =

48 Zweistichproben-t-Test Abhängige Stichproben 2 t war ursprünglich als Differenz der Mittelwerte der Stichprobe und der Gesamtpopulation, geteilt durch die Standardabweichung der Mittelwerts definiert. Jetzt besteht die Stichprobe selbst aus Differenzen, daher kann man die Formel für t nun wie folgt umformen: t D μ s D D D s D N

49 Beispiel: Vergleich zweier Schlafmittel

50 Paarweiser t-test mit R > t.test(sleep$extra ~ sleep$group, paired = T) Paired t-test data: sleep$extra by sleep$group t = , df = 9, p-value = alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: sample estimates: mean of the differences

51 Zweistichproben t-test Unabhängige Stichproben 1 s X Teste H 0 : μ X = μ Y bzw. μ X μ Y = μ D = 0 t X Y X Y Verwende die geschätzte gemeinsame Varianz, wenn die Homogenität der Varianz der Stichproben nicht verletzt ist: Y (X s 2 P Y) s 1 N X (μ 1 N Y μ ) mit X s s 2 P X Y Y (N X 1)s N X 2 X (N N Y Y 2 1)s 2 Y

52 Zweistichproben t-test Unabhängige Stichproben 2 Homogenität der Varianz bedeutet, dass die Stichproben aus Populationen mit den gleichen Varianzen stammen. Ist die Annahme der Homogenität der Varianz verletzt, wird die Varianz wie folgt geschätzt: s X Y s N 2 X X s N 2 Y Y Faustregel: Die Homogenität der Varianz ist verletzt, wenn 2 2 gilt: (oder umgekehrt). s X 4s Y

53 Übung zum t-test Laden sie den R-internen Datensatz women und prüfen Sie, ob die Frauen aus einer Population mit dem Durchschnittsgewicht 60 kg stammen könnten (1 lbs = 0,454 kg). Laden Sie die Datei Couples.csv (Quelle: [Howell 1999]). Darin finden Sie die sexuelle Zufriedenheit von verheirateten Paaren von 1 (sehr unzufrieden) bis 4 (sehr zufrieden). Testen Sie, ob es einen Unterschied zwischen Mann und Frau gibt. Welche Art von t-test verwenden Sie und warum? Lesen Sie die Daten aus der Datei Coverage.csv erneut ein. Testen Sie mit einem t-test, ob es einen Unterschied in der Testabdeckung der Gruppen A und B gibt. Argumentieren Sie: Wäre ein Wilcoxon-Test hier besser? Führen Sie diesen Test ebenfalls durch

54 Literatur [R Manuals], [Dalgaard 2003], Dalgaard, P.; Introductory Statistics with R, Springer, 2003 [Howell 1999], Howell, D. C.; Fundamental Statistics for the Behavioral Sciences, Brooks/Cole Publishing Company, 1999 [Büning Trenkler 1994] Büning, H. & Trenkler, G.; Nichtparametrische statistische Methoden, de Gruyter,