Empirische Softwaretechnik

Transkript

1 Empirische Softwaretechnik Prof. Dr. Walter F. Tichy Dr. Matthias Müller Sommersemester 2006

2 Zwei Experimente zum Vergleich von Paarprogrammierung und Durchsichten 2

3 Literatur Müller. Should we use programmer pairs or single developers for the next project? Technischer Bericht , Fakultät für Informatik, Universität Karlsruhe,

4 Paarprogrammierung Zwei Programmierer sitzen gemeinsam vor einem Rechner und entwickeln ein Programm Paarprogrammierung (PP) eine zentrale Technik von Extreme Programming 4

5 Durchsichten Gegenseitiges Korrekturlesen der Programme Gleichzusetzen mit Vorbereitungsphase von Inspektionen Durchsichten (Re) nicht so teuer wie Inspektionen 5

6 Versprechen und Kosten von PP Kürzere Entwicklungszeiten Höhere Produktqualität Lernen während der Arbeit Bessere Lösungen Aber: Paarprogrammierung hat fast doppelt so große Personalkosten wie konventionelle Entwicklung 6

7 Motivation für Experiment Gibt es eine Methode, die fast das Gleiche leistet wie PP aber mit geringeren Kosten? Wie verhalten sich Re gegenüber PP bezüglich Kosten und Korrektheit? 7

8 Hypothesen H Kosten : Die Kosten für Re sind höher verglichen mit PP. H Korrektheit : Die Korrektheit der mit Re erstellten Programme ist höher als wenn sie mit PP erstellt wurden. 8

9 Übersicht Experiment durchgeführt SS 2002 (Exp02) und SS 2003 (Exp03) Gegenbalancierter Experimententwurf Teilnehmer: Studenten des XP Praktikums Programmiersprache: Java Vorstellung von PP und Re 9

10 Aufgaben Lösen eines Schiebepuzzles (Shu) Berechnen der Nullstellen eines Polynoms 3. Grades (Pol) 10

11 Gruppen 11

12 Bilden der Gruppen Gleich gute Studenten in Gruppen der Größe 4 zusammengefasst Aufteilung der Subjekte einer Gruppe in unterschiedliche Experimentgruppen 12

13 Bilden der Paare Innerhalb einer Gruppe bester Student mit unerfahrenstem Student Danach zweitbester mit zweitunerfahrenstem und so fort 13

14 Datenpunkte 14

15 Datenpunkte (Forts.) In Exp02 wurden 3 Subjekte der Gruppen 2, 3 und 4 bei Re nicht fertig 2 Datenpunkte aus Gruppe 1 und ein Datenpunkt aus Gruppe 2 wurden wegen Gefahr des Experimentplans gelöscht 15

16 Experimentplan aushändigen Aufgabenbeschreibung Abgabe: Bin fertig! Programm erfüllt 95 % des Akzeptanztests 16

17 Aufgabe Qualitätssicherung Angleichen der Korrektheit der geschriebenen Programme Vergleich von gleich guten Programmen ermöglichen Programme vor Qualitätssicherung (QS) durch zusätzlichen Faktor Einstellung zum Testen beeinflusst 17

18 Gefahr Experimentplan In Exp02 konnten Subjekte vom fremden Programm lernen (gestrichelte Linie) 3 Studenten gaben an, etwas für eigene Implementierung benutzt zu haben 3 Datenpunkte gelöscht In Exp03 entwickelte von 2 Studenten nur einer und der andere führte die Re durch 18

19 Polynomtest Polynome aus zufälligen Nullstellen generiert Tests aus 7 Kategorien 3 mal mit drei, 2 mal mit genau zwei und 2 mal mit genau einer Nullstelle 19

20 Schiebepuzzletest Zufällig generiert durch Rückwärtsrechnen Größe: 2x2 bis 6x6 Anzahl Züge n: 3 bis 14 n Parameter für Lösung Testfälle aus 3 Kategorien Löse Puzzle mit n Zügen Löse Puzzle mit n+1 Zügen Löse Puzzle mit n-1 Zügen 20

21 Akzeptanztest Benutzt für Qualitätssicherung Zufällige Untermenge des großen Tests Einmal vor Experiment generiert 100 Tests für jedes Problem 21

22 Güte der Hypothesen-Tests Güte einseitiger t-test bei 81 Prozent Parameter: n =20,8; ES=0,8; α = 0,05 Aber Wilcoxon-Test benutzt ARE Wilcoxon: ARE = 0,864 Güte Wilcoxon also 13,6 Prozent geringer: etwa 70 Prozent Güte-Berechnung siehe Foliensatz Güte 22

23 Ergebnis Korrektheit 23

24 Berechnung der Korrektheit Hier: Korrektheit gleich Anzahl erfolgreich ausgeführter Test im Verhältnis zu allen Tests erfolgreiche Tests alle Tests Betrachtung der Ergebnisse des großen Tests 24

25 Ergebnis Korrektheit: Nach QA % erfolgreiche Tests 25

26 Korrektheit nach Implementierung % erfolgreiche Tests 26

27 Ergebnis Korrektheit Aufgabe QS erreicht: vergleichbare Korrektheit der Programme Programme der PP Gruppe nach Implementierung mit 29 Prozent mehr erfolgreichen Testfällen Unterschiede statistisch nicht signifikant 27

28 Ergebnis Kosten 28

29 Berechnung der Kosten Betrachte Zeiten T Read : Lesen der Aufgabenbeschreibung T Imp : Dauer Implementierungsphase T Rev : Dauer Durchsicht T QA : Dauer Qualitätssicherung Einheit: Mann-Minuten 29

30 Berechnung der Kosten (Forts.) Aufgabe Kosten(PP) = 2 x ( T Read + T Imp + T QA ) Kosten(Re) = T Read + T Imp + T Rev + T QA Implementierung (Imp) Kosten(PP, Imp) = 2 x ( T Read + T Imp ) Kosten(Re, Imp) = T Read + T Imp + T Rev 30

31 Ergebnis Kosten: Aufgabe Kosten [Mann-Minuten] 31

32 Kosten nach Implementierung Kosten [Mann-Minuten] 32

33 Ergebnis Kosten Aufgabe: Paare sind etwa 7 Prozent teurer bei vergleichbarer Korrektheit Implementierung: Paare sind etwa 13 Prozent teurer, entwickeln aber Programme, die 29 Prozent mehr Testfälle bestehen Unterschiede statistisch nicht signifikant 33

34 Fazit Keine Null-Hypothese kann abgelehnt werden Durchsichten scheinen tendenziell etwas billiger zu sein Paarprogrammierung und Durchsichten sind austauschbar 34

35 Einschränkungen Subjekte unerfahren in Paarprogrammierung und Durchsichten Algorithmische Aufgabenstellungen: komplexer als tägliche Aufgaben, aber kürzer 35