Testaufwandschätzung. Seminar: Software-Qualitätssicherung Yi Tan 08.Juli.2008

Transkript

1 Testaufwandschätzung Seminar: Software-Qualitätssicherung Yi Tan 08.Juli.2008

2 Übersicht 1. Einleitung 2. Grundprinzip 3. Methoden der Testaufwandschätzung 4. Vergleich der Methoden 5. Zusammenfassung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 2

3 Übersicht 1. Einleitung 2. Grundprinzip 3. Methoden der Testaufwandschätzung 4. Vergleich der Methoden 5. Zusammenfassung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 3

4 Motivation Qualität ist heute kein Zufall, sondern kann und muss genau geplant werden (Bundschuh und Fabry 2004, S. 69) Qualitätsplanung Testaufwandschätzung Aber Was soll geschätzt werden? Wie? Nur Empirismus? Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 4

5 Ziel des Vortrags Zielgruppe: Ziele: Projektmanager eines Softwareprojekts Qualitätsbeauftragter eines Softwareprojekts Vorstellung des Grundprinzips Vorstellung der Methoden Vergleich der Methoden Welche Methode Für welche Zwecke Wann Unter welchen Umständen - eingesetzt werden können Unterstützen der Qualitätsplanung des Projektmanagers Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 5

6 Übersicht 1. Einleitung 2. Grundprinzip 3. Methoden der Testaufwandschätzung 4. Vergleich der Methoden 5. Zusammenfassung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 6

7 Grundprinzip Einflussfaktor Erfahrung der Mitarbeiter Klarheit der Anforderungen Prozessreife Werkzeugeinsatz gut gut schlecht mittel Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 7

8 Übersicht 1. Einleitung 2. Grundprinzip 3. Methoden der Testaufwandschätzung 4. Vergleich der Methoden 5. Zusammenfassung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 8

9 Entwicklungshistorie Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 9

10 Übersicht 1. Einleitung 2. Grundprinzip 3. Methoden Use Case Points Methode nach Nageswaran Wert-basierte Softwarequalitätsmodell nach Huang und Boehm Produkt und Prozessmetriken für den Softwaretest nach Sneed und Jungmayr Testspezifikation-basierte Methode nach Aranha und Borba 4. Vergleich der Methoden 5. Zusammenfassung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 10

11 Entwicklungshistorie Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 11

12 Use Case Points Methode nach Nageswaran Zweck: Testaufwand in Person-Monaten (man-hours) zu schätzen Schätzobjekte: Use Cases Einflussfaktoren: 9 Einflussparametern Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 12

13 Use Case Points Methode nach Nageswaran Grundlagen: V-Modell Use Cases Test Cases Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 13

14 Use Case Points Methode nach Nageswaran 1. Ermittlung des unangepassten Akteur Gewicht in System (engl. The unadjusted actor weights): UAW Tbll Tabelle 1: 1At Acteur Gewicht iht(uaw) Beispiel: i Quelle: [Nageswaran2001], S. 5 Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 14

15 Use Case Points Methode nach Nageswaran 2. Ermittlung des unangepassten Use Case Gewicht in System: UUCW Beispiel: Use Case Type Factor Number of Use Cases Tbll Tabelle 2: Use-Case Gewicht (UUCW) Simple Weight Average Complex Total 55 Quelle: vgl. [Claim05] Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 15

16 Use Case Points Methode nach Nageswaran 3. Berechnung des unangepassten Use Case Points UUCP = UAW + UUCW (Beispiel: UUCP = = 119) 4. Berechnung des Technik und Umgebungsfaktors: TEF (Berechnungstabelle und Beispiel siehe nächste Folie) Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 16

17 Use Case Points Methode nach Nageswaran Tabelle 3: Technik und Umgebungsfaktor (TEF) Beispiel: TEF = 87 Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 17

18 Use Case Points Methode nach Nageswaran 5. Berechnung des angepassten UCP (engl. adjusted UCP): AUCP = UUCP * (0,65 + (0,01 * TEF)) Beispiel: AUCP = 119 *(0,65 +0,01* 87) = 180,88 6. Schätzung des Aufwands AUCP * Konvertierungsfaktor Unterschiedliche Konvertierungsfaktoren je nach Programmiersprache / Technik Ergebnis: Person-Stunden (man-hours) Beispiel: Testaufwand = AUCP * Konvertierungsfaktor für COM/DCOM Testen = 180,88 * 13 = 2351,44 (Person-Stunden) = 294 (Person- Tage) Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 18

19 Methoden 1. Einleitung 2. Grundprinzip 3. Methoden Use Case Points Methode nach Nageswaran Wert-basierte Softwarequalitätsmodell nach Huang und Boehm Produkt und Prozessmetriken für den Softwaretest nach Sneed und Jungmayr Testspezifikation-basierte Methode nach Aranha und Borba 4. Vergleich der Methoden 5. Zusammenfassung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 19

20 Entwicklungshistorie Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 20

21 Wert-basierte Softwarequalitätsmodell nach Huang und Boehm Zweck: Passende Qualitätsniveau für ein Projekt Testaufwand in Person-Monaten Testdauer Schätzobjekte: Tausend von Codezeilen (KLOC) Einflussfaktoren: 22 Parametern vom COCOMO II Modell Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 21

22 Wert-basierte Softwarequalitätsmodell nach Huang und Boehm COCOMO II (Constructive Cost Model): RELY-Parameter (required reliability) Softwarequalität Quelle: [HuangAndBoehm06], S. 90 Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 22

23 Wert-basierte Softwarequalitätsmodell nach Huang und Boehm COQULAMO (Constructive Quality Model): RELY-Niveau vs. Fehlerdichte (defect density) RELY Quelle: [HuangAndBoehm06], S. 90 Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 23

24 Wert-basierte Softwarequalitätsmodell nach Huang und Boehm Wert-basierte Modelle: Pareto-Verteilung von dem Wert des Tests Wertverlust vs. Systemablieferzeit Quelle: [HuangAndBoehm06], S. 92 Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 24

25 Wert-basierte Softwarequalitätsmodell nach Huang und Boehm Wert-basierte Softwarequalitätsmodell (VBSQM): RE: Risiko der Softwarequalitätsinvestition = P(L) * S(L) P(L): Verlustwahrscheinlichkeit S(L): Verlustgröße Quelle: [HuangAndBoehm06], S. 93 Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 25

26 Wert-basierte Softwarequalitätsmodell nach Huang und Boehm Ergebnis von VBSQM: 1. RELY-Wert für den COCOMO II 2. Testaufwand in Person- Monaten 3. Testdauer in Monaten Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 26

27 Übersicht 1. Einleitung 2. Grundprinzip 3. Methoden Use Case Points Methode nach Nageswaran Wert-basierte Softwarequalitätsmodell nach Huang und Boehm Produkt und Prozessmetriken für den Softwaretest nach Sneed und Jungmayr Testspezifikation-basierte Methode nach Aranha und Borba 4. Vergleich der Methoden 5. Zusammenfassung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 27

28 Entwicklungshistorie Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 28

29 Produkt und Prozessmetriken für den softwaretest Zweck: Testumfang durch zahlreichen Metriken zu messen Testaufwand in Person-Monaten zu schätzen Schätzobjekte: Verschiedene Objekte in unterschiedlichen Softwareentwicklungsphasen Use Cases, Benutzeroberfläche.. Komponente, Schnittstelle.. Code, Datenbanktabelle.. Testfälle, automatische Testfälle.. Einflussfaktoren: Inklusive in den Schätzobjekte Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 29

30 Produkt und Prozessmetriken für den softwaretest Hauptmetrik des Testaufwands: RF: #TestCases: Test_Productivity: TF: Anzahl Testwiederholungen Anzahl der erforderlichen Testfälle Produktivität der Tester (Wiederum ein Metrik) Testbarkeit der Software (Wiederum ein Metrik) (Metrik) TF = Unit_Testability t * Integration_Testability ti t * System_Testability t Ergebnis: Testaufwand in Person-Monaten Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 30

31 Übersicht 1. Einleitung 2. Grundprinzip 3. Methoden Use Case Points Methode nach Nageswaran Wert-basierte Softwarequalitätsmodell nach Huang und Boehm Produkt und Prozessmetriken für den Softwaretest nach Sneed und Jungmayr Testspezifikation-basierte Methode nach Aranha und Borba 4. Vergleich der Methoden 5. Zusammenfassung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 31

32 Testspezifikation-basierte Testaufwandschätzung (Die Methode ist noch in der Forschung) Zweck: Testaufwand für einzelnen Testfall Priorisierung der Durchführung dertestfälle Entscheidung von Einsatz der Testautomatisierung Priorisierung der Testfälle zur Testautomatisierung Schätzobjekte: Testfälle Einflussfaktoren: Noch nicht bekannt Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 32

33 Testspezifikation-basierte Testaufwandschätzung Grundlage: Kontrollierte Natural Sprache (CNL) Spezifizierung jedes Testfalls streng im Form: Ein Hauptverb und null bis beliebige viele Argumenten (Beispiel start the message center ) Vier Anwendungsfälle: (sieh nächsten Folien) Testaufwand für einzelnen Testfall Priorisierung der Durchführung dertestfälle Entscheidung von Einsatz der Testautomatisierung Priorisierung der Testfälle zur Testautomatisierung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 33

34 Übersicht 1. Einleitung 2. Grundprinzip 3. Methoden 4. Vergleich der Methoden 5. Zusammenfassung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 34

35 Vergleich der Methoden Methoden Vorbedingung Schätzobjekt Anzahl der Einflussfaktoren Ergebnis UCP nach Nageswaran VBSQM Metriken nach Sneed und Jungmayr Testspezifikation-basierte Schätzung Use Cases V-Modell (Use Case zu Test Case) Use Cases 9 Aufwand in Person-Stunden Vorpriorisieren KLOC 21 Parameter RELY Niveau der Testfälle von COCOMO II Aufwand Testdaur kein Testfälle durch CNL spezifiziert Verschiedene Objekt in der Softwareentwicklung Testfälle Inklusive in den Aufwand in Schätzobjekte te Person-Monaten o Noch nicht bekannt Aufwand der manuelle und automatische Test Aut. Test vs. man. Test Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 35

36 Vergleich der Methoden Methoden Einsatzzeitpunkt Aufwand Werkzeug Unterstützung Praxistauglicht -keit UCP nach Nageswaran Anforderungsanalyse Phase Niedrig Ja Hoch VBSQM Metriken nach Sneed und Jungmayr Nach dem Programmierung g -sphase Nach dem Programmierung -sphase Hoch ja Hoch Hoch Ja (Teilweise) Mittel Testspezifika- tion-basierte i t Schätzung Nach Testfälle- Definition iti unbekannt nein Niedrig Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 36

37 Übersicht 1. Einleitung 2. Grundprinzip 3. Methoden 4. Vergleich der Methoden 5. Zusammenfassung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 37

38 Zusammenfassung 1. Wiederholung Grundprinzip p Methoden der Testaufwandschätzung Vergleich der Methoden 2. Empirische Daten ist wichtig!!! 3. Siehe nächste Folie Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 38

39 Iterativer Prozess Kein Angst vor Schätzungsfehler Geschätzt ist besser als nichts. Testaufwandschätzung ist ein iterativer Prozess. Je mehr geschätzt desto genauer die Schätzung des nächsten Testprojekts. Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 39

40 Literatur [bundschuhandfabry2004] Axel Fabry, Manfred Bundschuh. Aufwandschtätzung von IT-Projekten. mitp-verlag, Bonn, 2 edition, [claim05] Claim Ray. Projekt Estimation with Use Case Points [huangandboehm06] h LiGuo Huang and Barry Boehm. How much software quality investment is enough: A value- based approach. IEEE Softw., 23(5): , [nageswaran2001] Suresh Nageswaran. Test effort estimation using use case points. In Quality Week 2001, Yi Tan 08.Juli

41 Testaufwandschätzung Danke für Ihre Aufmerksamkeit Frage? Yi Tan 08.Juli Seminar: Software-Qualitätssicherung 41

42 Testspezifikation-basierte Testaufwandschätzung 1. Aufwand für manuelle Testdurchführung 2. Testaufwand vs. Testabdeckung Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 42

43 Testspezifikation-basierte Testaufwandschätzung 1. Aufwand für den automatischen Test 2. Aufwand vom manuellen Test vs. Aufwand vom automatischen Test Einleitung Grundprinzip Testaufwandschätzungsmethoden Vergleich der Methoden Zusammenfassung 43