FoRt 2015/16: Übungsblatt 4 Fabian Scheipl

Transkript

1 FoRt 2015/16: Übungsblatt 4 Fabian Scheipl Aufgabe 1: Lektüre MREs oder Wie man aussichtsreich & zielgerichtet um Hilfe bittet Lesen Sie hier und hier was man beachten sollte wenn man auf Mailinglisten, bei Paketautoren oder auf Q&A-Seiten wie StackOverflow nach Unterstützung bei Programmierproblemen und Bugs sucht. Aufgabe 2: Scattered, but not hysterical Benutzen Sie für die folgenden Aufgaben als Ausgangsbasis den Code in scatterhist-start.r. Lassen Sie zunächst mal den folgenden Code laufen: source("scatterhist-start.r") set.seed( ) x <- cbind(x1=rexp(100), x2=rnorm(100)) plot_scatterhist(x) a) Benutzen Sie traceback() um rauszukriegen warum plot_scatterhist(trees) nicht funktioniert. Beschreiben Sie das Problem. b) Benutzen Sie debug() um bei dem Aufruf plot_scatterhist(x) Zeile für Zeile durch den Code zu gehen. Quadrieren Sie die Daten nachdem der Scatterplot gezeichnet wurde aber bevor die Histogramme gezeichnet werden. Das sollte dann völlig sinnloserweise so wie die untenstehende Grafik aussehen: c) Setzen Sie einen Breakpoint in plot_scatterhist() so, dass sie den interaktiven Debugger genau vor dem ersten Aufruf von plot() in plot_scatterhist() betreten. Hinweis: Bei a) bis c) sind nur Prosa-Antworten gefragt, sie müssen Ihre Lösung hier nicht mit Programmcode dokumentieren z.b. traceback() wird in einem.rmd file nicht den selben Output produzieren wie in einem normalen R-Skript... Lösung: 1

2 a) plot_scatterhist(trees) Error in plot.default(...) : formal argument "xlab" matched by multiple actual arguments traceback() 8: plot.default(...) 7: plot(...) 6: localplot(x[, j], x[, i], xlab = "", ylab = "", axes = FALSE, type = "n",..., log = l) 5: pairs.default(data.matrix(x),...) 4: pairs(data.matrix(x),...) 3: plot.data.frame(x, xlab = "", ylab = "",...) 2: plot(x, xlab = "", ylab = "",...) at scatterhist-start.r#5 1: plot_scatterhist(trees) Also ruft eine spezielle plot()-methode (S3!) für data.frames eine Funktion pairs() auf was macht die? plot(trees) Girth Height Volume plot(trees, xlab="") Error in plot.default(...): formal argument "xlab" matched by multiple actual arguments Ok, also ist das Problem dass die plot()-methode für data.frame die von uns übergebenen xlab/ylab- Argumente nicht akzeptiert weil sie eigene xlab/ylab definiert bzw. für data.frames mit > 2 Spalten (s. getanywhere("plot.data.frame")) pairs() aufruft. Die von uns übergebenen Argumente landen in den...-argumenten, und schlussendlich bekommt die Funktion plot.default() die von pairs() aufgerufen wird dann eben zwei xlab-argumente das eine von uns definierte was über die... -Argumente weitergereicht wird und das im Aufruf von localplot definierte xlab-argument. Außerdem produziert plot.data.frame bzw. pairs nicht den Scatterplot den wir hier erwartet haben s. Grafik oben. Details bitte nachlesen unter?plot.data.frame bzw.?pairs bzw. im Quellcode mit getanywhere("plot.data.frame"). 2

3 b) Entweder mit debugonce oder mit debug, dann muss man den Debugger aber mit undebug auch wieder ausschalten... debugonce(plot_scatterhist) scatterhist(x) #.. mach Dein Ding: # - <n> oder <Enter> um zur nächsten Zeile zu steppen # - Überblick über lokale Variablen mit ls.str() # - <x <- x^2> eingeben nachdem der Befehl <plot(x, xlab = "", ylab = "",...)> # ausgeführt wurde. c) Wenn Sie in der Aufgabe zuvor debug benutzt hatten sollten Sie erstmal mit undebug(plot_scatterhist) den Debugger wieder ausschalten (genauer: die Debug- Flagge von plot_scatterhist) entfernen. Dann haben Sie folgende Optionen: in RStudio öffnen Sie scatterhist_start.r und klicken auf den leeren grauen Bereich ganz links neben dem Code. Dort sollte ein roter Punkt erscheinen, das ist ihr breakpoint, an dem browser(), also der interaktive Debugger, aufgerufen wird. Der breakpoint wird aktiv sobald sie scatterhist_start.r mit source() neu laden. Das ist das selbe alswiewenn Sie an diese Stelle im Code browser() schreiben täten und dann das Skript mit source() nochmal lädeten. 1 obige Methode funktioniert nur mit (eigenem) Code für den die Quelldatei vorliegt. Wenn das nicht der Fall ist muss man trace() manuell benutzen. Auch hier gibt es wiederum 2 Möglichkeiten, je nachdem ob Sie interaktiv mit der Funktion arbeiten oder ob der trace-code programmatisch injiziert werden soll. Im interaktiven Fall rufen wir trace(plot_scatterhist, edit=true) auf und nehmen in dem neu geöffneten Fenster die gewünschten Änderungen an plot_scatterhist() vor. Um den trace-code programmatisch zu injizieren betrachten wir zunächst as.list(body(plot_scatterhist)) [[1]] `{` [[2]] layout(matrix(c(2, 1, 0, 3), nc = 2), widths = c(2, 1), heights = c(1, 2)) [[3]] par(mar = c(3, 3, 1, 1)) [[4]] plot(x, xlab = "", ylab = "",...) [[5]] y <- hist(x[, 1], breaks = xbreaks, plot = FALSE) [[6]] par(mar = c(0, 3, 2, 1)) 1 So einen in RStudio gesetzten Breakpoint entfernen Sie indem Sie nochmal auf den roten Punkt neben ihrem Quellcode klicken. 3

4 [[7]] barplot(y$counts, col = 0, space = 0) [[8]] y <- hist(x[, 2], breaks = ybreaks, plot = FALSE) [[9]] par(mar = c(3, 0, 1, 2)) [[10]] barplot(y$counts, col = 0, space = 0, horiz = TRUE) um nachzuvollziehen welcher Schritt im Rumpf der Funktion welchen Befehlen entspricht. 2 Der Output oben zeigt dass wir den Breakpoint mit dem Aufruf von browser() zwischen Schritt 3 und 4 setzen müssen, also: trace(plot_scatterhist, at = 4, tracer = browser) [1] "plot_scatterhist" check ob's passt: body(plot_scatterhist) { layout(matrix(c(2, 1, 0, 3), nc = 2), widths = c(2, 1), heights = c(1, 2)) par(mar = c(3, 3, 1, 1)) {.dotrace(browser(), "step 4") plot(x, xlab = "", ylab = "",...) y <- hist(x[, 1], breaks = xbreaks, plot = FALSE) par(mar = c(0, 3, 2, 1)) barplot(y$counts, col = 0, space = 0) y <- hist(x[, 2], breaks = ybreaks, plot = FALSE) par(mar = c(3, 0, 1, 2)) barplot(y$counts, col = 0, space = 0, horiz = TRUE)... passt. Um komplexeren Code zu injizieren der mehrere Ausdrücke umfasst muss man quote({ ) benutzen z.b. trace(plot_scatterhist, at=4, tracer=quote({ if(is.data.frame(x)){ message("well, that's gonna be a disaster...") message("i'll go ahead and just use the first two columns here.") x <- cbind(x[, 1], x[, 2]) )) 2... das ist hier latürnich pippi-einfach weil die Funktion so simpel ist, aber sehen Sie sich z.b. mal as.list(body(lm)), as.list(body(lm)[[18]]), as.list(body(lm)[[18]][[3]]) an um zu verstehen wie das bei komplexeren Funktionen aussehen kann wo man Code in einen tief verschachtelten Aufruf injizieren muss/möchte... 4

5 [1] "plot_scatterhist" plot_scatterhist(trees) Tracing plot_scatterhist(trees) step 4 Well, that's gonna be a disaster... I'll go ahead and just use the first two columns here Aufgabe 3: Funktional & flexibel a) Schreiben Sie eine verbesserte & kommentierte Version my_plot_scatterhist() die die in der Vorlesung besprochenen Prinzipien für saubere Programmkonzeption befolgt, mit allen Inputs die sich zu einer numerischen Matrix umwandeln lassen (z.b. data.frames mit (mindestens) 2 numerischen Spalten, Listen mit (mindestens) 2 numerischen Vektoren gleicher Länge,... ) funktioniert, alle in ihr geänderten Grafikparameter wieder auf ihre ursprünglichen Werte zurücksetzt, auch für nicht gleich breite Histogrammzellen das richtige tut, nicht die defaults von hist() für breaks mit eigenen defaults überschreibt, sondern die defaults von hist() für breaks benutzt falls User keine eigenen Bruchpunkte für die Histogramme definiert haben. Bonus: die anders als plot_scatterhist() wirklich korrekte Plots produziert. Stichwort: exakte Übereinstimmung der Achsen zwischen Histogrammen und Scatterplot... Ihre Funktion sollte also z.b. für my_plot_scatterhist(trees) eine Warnung ausgeben dass nur die ersten beiden Spalten verwendet werden und dann genau das richtige tun, nicht nur so ungefähr wie z.b. plot_scatterhist(cbind(trees[,1], trees[,2]), xbreaks=7, ybreaks=7). b) Schreiben Sie eine sauber konzipierte & kommentierte Funktion plot_scatterplus() die statt Histogrammen optional auch Boxplots oder Kerndichteschätzer über die Achsen plotten kann. Wie sollten die Optionen für solche Boxplots/KDEs übergeben werden? 5

6 Lösung: a) saubere Programmkonzeption: einzelne Schritte wo nötig in eigene Funktionen ausgelagert (coerce_to_matrix(), add_hist(), etc..) nicht äquidistante Zellen: Balkenhöhe durch density nicht counts gegeben ( = flächengleiche Histogramme, s. add_hist()) defaults von hist() nicht überschreiben: Benutze formals(hist.default)$breaks bzw. xbreaks = "Sturges" falls breaks nicht angegeben (s. add_hist()) Bonus: korrekte Achsen: Die Reihenfolge in der die Plots erzeugt werden wird hier umgedreht um wirklich korrekte Plots zu produzieren (fehlerhaft z.b. für plot_scatterhist(trees) auf der horizontalen Achse zwischen 17 und 20, s.u.), die Achsenabschnitte für das Streudiagramm ergeben sich korrekterweise aus den Klassengrenzen die hist() definiert, sonst passen die Achsen nicht genau zusammen. Genauer: die Achsenlimits von plot() ergeben sich aus den Ranges der Variablen im Streudiagramm. Das Achsenlimit von hist() ergibt sich dagegen aus den untersten und obersten Klassengrenzen für das Histogramm, diese sind normalerweise etwas außerhalb der beobachteteten range der Kovariablen. Wenn man dann das Histogramm mit dieser leicht unterschiedlichen Achse über die Achse des Streudiagramms zeichnet passt s nicht so ganz zusammen. Deswegen zeichnet my_plot_scatterhist() zuerst die Histogramme mittels add_hist() und bekommt von add_hist() die jeweiligen Achsenabschnitte zurück, die dann an das Streudiagramm übergeben werden. Alternativ könnte man auch explizit xlim = range(x[, 1], na.rm = TRUE) bzw. ylim = range(x[, 2], na.rm = TRUE) für die marginalen Plots angeben. Plot a scatterplot with histograms over the axes- inputs: x: a matrix, a list or a data.frame with at least two numeric columns x_breaks, y_breaks: breaks-arg for hist, defaults to NULL.... extra arguments for scatterplot, no xlim/ylim allowed. output: NULL, renders a plot my_plot_scatterhist <- function(x, x_breaks = NULL, y_breaks = NULL,...) { # clean up after plotting: restore original par$mar old_par <- par(no.readonly = TRUE) on.exit(par(old_par)) # note that the effect of layout() called below persists after the function # terminates -- there is no way to undo the layout except closing the device # (which would destroy the plot) or calling layout again (but we can't know # what the layout was before, so we don't know what to restore it to.) data <- coerce_to_matrix(x) # set up graphic device with first plot upper left, second lower right, third # lower left: layout(matrix(c(1, 3, 0, 2), ncol = 2), widths = c(2, 1), heights = c(1, 2)) par(mar = c(0, 3, 2, 1)) x_range <- add_hist(data[, 1], breaks = x_breaks, on_right = FALSE) par(mar = c(3, 0, 1, 2)) y_range <- add_hist(data[, 2], breaks = y_breaks, on_right = TRUE) par(mar = c(3, 3, 1, 1)) plot(data, xlab = "", ylab = "", xlim = x_range, ylim = y_range,...) invisible(null) 6

7 Check inputs for my_plot_scatterhist and reformat if possible. For informative warnings/errors we need to use deparse(substitute(x, env = parent.frame())) here so that the substitution of x happens inside the evaluation frame of plot_scatterhist (where x = trees) instead of inside the evaluation frame of coerce_to_matrix (where x = x, since the call is coerce_to_matrix(x)). The latter would occur if we simply used deparse(substitute(x)). The evaluation frame of plot_scatterhist is the frame from which coerce_to_matrix is called, so we can access it via parent.frame(). coerce_to_matrix <- function(x) { # is.list covers data.frames as well if(is.list(x)) { lengths <- vapply(x, length, numeric(1)) numeric_cols <- vapply(x, is.numeric, logical(1)) # same_length also FALSE if there are no numeric vectors at all same_length <- length(unique(lengths[numeric_cols])) == 1 # is there more than 1 numeric column and do they all have the same length? if(same_length & sum(numeric_cols) > 1) { if(sum(numeric_cols) > 2) { warning("only first two numeric entries/columns in ", deparse(substitute(x, env=parent.frame())), " used.") # convert: list of numeric_cols -> data.frame -> 2-column matrix x <- as.matrix(as.data.frame(x[numeric_cols])[,1:2]) else { stop(deparse(substitute(x, env=parent.frame())), " cannot be coerced to a 2-column numeric matrix.") else { if(!is.matrix(x)!is.numeric(x)){ stop(deparse(substitute(x, env=parent.frame())), " is not a (numeric) matrix.") x do histogram & return range of cells so scatterplot uses correct axis-limits add_hist <- function(data, breaks = NULL, on_right = TRUE) { if(is.null(breaks)){ breaks <- formals(hist.default)$breaks data_hist <- hist(data, breaks = breaks, plot = FALSE) if(data_hist$equidist){ barplot(height = data_hist$counts, horiz = on_right, col = 0, space = 0) else { barplot(height = data_hist$density, width = diff(data_hist$breaks), horiz = on_right, col = 0, space = 0) range(data_hist$breaks) 7

8 my_plot_scatterhist(trees) Warning in coerce_to_matrix(x): Only first two numeric entries/columns in trees used compare: trace(plot_scatterhist, at=4, tracer=quote({ if(is.data.frame(x)){ x <- cbind(x[, 1], x[, 2]) )) [1] "plot_scatterhist" plot_scatterhist(trees, xbreaks = 7, ybreaks = 7) Tracing plot_scatterhist(trees, xbreaks = 7, ybreaks = 7) step

9 untrace(plot_scatterhist) Histogramm ist offensichtlich falsch für horizontale Achse zwischen 17 und 20! b) Plot a scatterplot with marginal summary plots over the axes. inputs: x: a matrix, list or data.frame with at least two numeric columns plot_top, plot_hist: functions to put plots on the margins, must return their respective axis limits and accept boolean argument "on_right" (TRUE for y-axis) args_top, args_right: arguments for marginal plots...: additional args for scatterplot, no xlim/ylim allowed. output: NULL, renders a plot plot_scatterplus <- function(x, plot_top = add_hist, plot_right = add_hist, args_top = NULL, args_right = NULL,...) { # clean up after plotting: restore original par$mar old_par <- par(no.readonly = TRUE) on.exit(par(old_par)) data <- coerce_to_matrix(x) # set up graphic device with first plot upper left, second lower right, third # lower left: layout(matrix(c(1, 3, 0, 2), ncol = 2), widths = c(2, 1), heights = c(1, 2)) args_top <- append(list(data[, 1], on_right = FALSE), args_top) par(mar = c(0, 3, 2, 1)) x_range <- do.call(plot_top, args_top) args_right <- append(list(data[, 2], on_right = TRUE), args_right) par(mar = c(3, 0, 1, 2)) y_range <- do.call(plot_right, args_right) par(mar=c(3, 3, 1, 1)) plot(data, xlab = "", ylab = "", xlim = x_range, ylim = y_range,...) invisible(null) add_box <- function(x, on_right,...){ boxplot(x, horizontal =!on_right, xlab = "", ylab = "", bty = "n", axes = FALSE,...) range(x, na.rm = TRUE) add_kde <- function(x, on_right,...) { dens <- density(x, from = min(x, na.rm = TRUE), to = max(x, na.rm = TRUE)) if(on_right) { plot(dens$y, dens$x, bty = "n", type = "l", yaxt = "n",...) 9

10 else { plot(dens, main = "", xaxt = "n", bty = "n",...) range(x, na.rm = TRUE) plot_scatterplus(trees, plot_right=add_kde) Warning in coerce_to_matrix(x): Only first two numeric entries/columns in trees used dens$x plot_scatterplus(trees, plot_top=add_box) Warning in coerce_to_matrix(x): Only first two numeric entries/columns in trees used Alternativ könnte man hier natürlich auch character-argumente für plot_top und plot_right zulassen statt direkt die Funktionen zu übergeben wenn die Flexibilität der Funktion nicht so sehr im Vordergrund steht, also so etwas wie: 10

11 plot_scatterplus <- function(x, top = c("hist", "box", "kde"), right = c("hist", "box", "kde"), args_top = NULL, args_right = NULL,...) { top <- match_arg(top) right <- match_arg(bottom) plot_top <- switch(top, "hist" = add_hist, "box" = add_box, "kde" = add_kde) plot_right <- switch(right, "hist" = add_hist, "box" = add_box, "kde" = add_kde) #... rest wie oben 11