Wie man mit Statistik schlecht informiert: Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering

Größe: px

Ab Seite anzeigen:

Download "Wie man mit Statistik schlecht informiert: Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering"

Agnes Brandt
vor 8 Jahren
Abrufe

1 Wie man mit Statistik schlecht informiert: Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering Marcus Michalsky Institut für Informatik 28. Januar 2010

2 Inhalt Überblick Methodik Ergebnisse Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 2,

3 Kontrolliertes Experiment A x Behandlung Variablen messen y B Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 3

4 Ziel der Arbeit Praktiken der Ergebnisdarstellung von kontrollierten Experimenten unter drei Gesichtspunkten Verwendung beschreibender Statistiken Angabe der Ergebnisse statistischer Auswertungsverfahren Präsenz, Verfügbarkeit und Zustand von Rohdaten Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 4

statistischer Auswertungsverfahren Präsenz, Verfügbarkeit und Zustand von Rohdaten

5 Erfassung von Artikeln mit Experimenten Artikel der Zeitschriften: Empirical Software Engineering (EMSE) IEEE Transactions on Software Engineering (TSE) Artikel der Konferenz: International Conference on Software Engineering (ICSE) Suchverfahren: Titel, keywords abstract Artikel Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 5

International Conference on Software Engineering (ICSE) Suchverfahren: Titel, keywords

6 Speicherung der erfassten Merkmale (a) Experiment id... EMSE ICSE TSE (b) abh. Variablen id var... EMSE worktime... EMSE defectsn Tabelle CSV Statistiksoftware R Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 6

7 Ergebnisse: Menge von Experimenten # experiments EMSE ICSE TSE Abbildung: # Experimente je Zeitschrift/Konferenz pro Jahr year 36 / 490 (7%) untersuchten Artikeln enthalten 53 Experimente Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 7

year 36 / 490 (7%) untersuchten Artikeln enthalten 53 Experimente Praktiken der

8 Ergebnisse: beschreibende Statistiken % Mittelwert 71% Standardabweichung 56% Tabellen 71% Boxplots 48% Tabelle: Angabe von beschreibenden Statistiken Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 8

Angabe von beschreibenden Statistiken Praktiken der

9 beschreibende Statistiken - Beispiel Table 5 Descriptive statistics Task/method Time (min) F-Measure (%) Recal Median Mean Std. Dev. Median Mean Std. Dev. Media Exp I All MT AT T1 MT AT T2 MT AT Exp II All MT AT T1 MT AT T2 MT AT Task: T1 (tracing use cases onto code classes) or T2 (tracing interaction diagrams onto test cases) Method: MT (manual tracing) or AT (ADAMS Re-Trace) Abbildung: Beschreibende Statistiken aus EMSE09-57 Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 9

52 13.01 50.00 AT 87.50 87.50 25.85 71.93 69.10 16.58 62.66 Exp II All MT 142.00 138.90 14.58 75.46 71.59 14.50 64.19 AT 87.50 85.25 13.40 75.35 75.39 13.46 65.06 T1 MT 140.00 134.50 19.01 79.44 73.

10 beschreibende Statistiken - Beispiel Experiment 1 Experiment 2 M M MT MT N=20 N=12 M M AT AT N=20 N= TIME TIME Abbildung: Boxplots für EMSE09-57 Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 10

140 160 TIME Abbildung: Boxplots für EMSE09-57 Praktiken der

11 beschreibende Statistiken - Beispiel Density Experiment 1, AT group, TIME N = 20 Bandwidth = Abbildung: Dichteplot für EMSE09-57 Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 11

030 Experiment 1, AT group, TIME 60 80 100 120 N = 20 Bandwidth = 7.

12 Kontrolliertes Experiment (Wdh.) A x Behandlung Variablen messen y B Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 12

13 Reported p-values Ergebnisse: statistische Methoden (1) nicht angegeben 293 ( 42% ) angegeben 402 ( 58% ) Abbildung: Anteil an berichteten p-werten Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 13

Anteil an berichteten p-werten Praktiken der

14 Reported Confidence Intervals Ergebnisse: statistische Methoden (2) nicht angegeben 30 ( 83% ) angegeben 6 ( 17% ) Abbildung: Anteil an berichteten Konfidenzintervallen (je Artikel) Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 14

berichteten Konfidenzintervallen (je Artikel) Praktiken der

15 Ergebnisse: statistische Methoden (3) Experimente berichten p-werte von und Zeitlicher Unterschied vorhanden, aber wie groß? berechnete Konfidenzintervalle ergeben CI Exp1 = ( 61, 34) CI Exp2 = ( 65, 42) Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 15

berechnete Konfidenzintervalle ergeben CI Exp1 = ( 61, 34) CI Exp2 = ( 65, 42)

16 Ergebnisse: Rohdaten (1) Verfuegbarkeit von Rohdaten vorhanden 8 ( 22% ) nicht vorhanden 28 ( 78% ) Abbildung: Verfügbarkeit von Rohdaten Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 16

Verfügbarkeit von Rohdaten Praktiken der

17 Ergebnis der Rohdatenanfrage Ergebnisse: Rohdaten (2) Antwort 17 ( 61% ) nicht erreichbar 1 ( 4% ) keine Antwort 10 ( 36% ) Abbildung: Ergebnis der Rohdatenanfrage Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 17

Abbildung: Ergebnis der Rohdatenanfrage Praktiken der

18 Ergebnisse: Rohdaten (3) Erhalt von Daten Daten 7 ( 41% ) keine Daten 10 ( 59% ) Abbildung: Anteil positiver/negativer Antworten Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 18

19 Rohdaten - Beispiel Experiment 2 M UML N=28 CI out = (-0.02, 0.16) M CI = (0.01, 0.15) Conallen N= Precision Abbildung: Boxplot für ICSE Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 19,

8 Precision Abbildung: Boxplot für ICSE07-375 Praktiken der

20 Zusammenfassung Artikel mit kontrollierten Experimenten erfasst auf drei Aspekte der Ergebnisdarstellung hin untersucht Ergebnisse beschreibende Statistiken Auswertunsverfahren Rohdaten Anschauungsbeispiele Praktiken der Ergebnisdarstellung bei Experimenten im Software Engineering - Marcus Michalsky 20

Statistiken Auswertunsverfahren Rohdaten Anschauungsbeispiele Praktiken der

Ähnliche Dokumente

Analog zu Aufgabe 16.1 werden die Daten durch folgenden Befehl eingelesen: > kredit<-read.table("c:\\compaufg\\kredit.

$Analog zu Aufgabe 16.1 werden die Daten durch folgenden Befehl eingelesen: > kredit<-read.table(c:\\compaufg\\kredit.$ Lösung 16.3 Analog zu Aufgabe 16.1 werden die Daten durch folgenden Befehl eingelesen: > kredit