Testnutzen und -aufwand präzise schätzen: Methoden, Kennzahlen, Erfahrungswerte

Größe: px

Ab Seite anzeigen:

Download "Testnutzen und -aufwand präzise schätzen: Methoden, Kennzahlen, Erfahrungswerte"

Matilde Goldschmidt
vor 8 Jahren
Abrufe

1 Testnutzen und -aufwand präzise schätzen: Methoden, Kennzahlen, Erfahrungswerte Melanie Späth ATAMI 2010 Fraunhofer Institut FIRST, Berlin 15. Januar 2010

2 Capgemini sd&m steht für leistungsfähige Prozess- und Softwarelösungen, die die Wettbewerbsfähigkeit unserer Kunden erhöhen Leistungsangebot Prozess- und IT-Beratung Entwicklung individueller Softwarelösungen Implementierung und Roll-out von Standardsoftware Systemintegration Kunden Finanzdienstleistung Öffentlicher Bereich Energieversorgung 5 9 Telco & Medien Industrie & Technologie Logistik, Handel & Transport 1 Sonstige Dienstleister Automobil Standorte Unternehmensentwicklung Hamburg Düsseldorf Köln/Bonn Frankfurt Walldorf Stuttgart Zürich Hannover Berlin München Standorte Capgemini sd&m Weitere Standorte der Capgemini-Gruppe Nearshore Wroclaw Farshore Mumbai Bangalore SAP Business Solutions sd&m Capgemini sd&m 1 Anzahl Mitarbeiter im Geschäft inkl. Polen und zugeordnetes Team Indien 3

14 15 Logistik, Handel & Transport 1 Sonstige Dienstleister 24 22 Automobil Standorte Unternehmensentwicklung 1 1.035 1.

3 Eine scheinbar harmlose Frage Für das neue Angebot haben wir 2100 BT an Testaufwand geschätzt. Ist das plausibel? Woher soll ich das wissen? 5

4 Eine scheinbar harmlose Frage Für das neue Angebot haben wir 2100 BT an Testaufwand geschätzt. Ist das plausibel? Raten? Würfeln? 6

5 Eine scheinbar harmlose Frage Für das neue Angebot haben wir 2100 BT an Testaufwand geschätzt. Ist das plausibel? Gemeinsam bei einem Kaffee besprechen? 7

6 Eine scheinbar harmlose Frage Für das neue Angebot haben wir 2100 BT an Testaufwand geschätzt. Ist das plausibel? Mit Ansätzen aus der Literatur vergleichen? 8

7 Eine scheinbar harmlose Frage ohne klare Antwort Für das neue Angebot haben wir 2100 BT an Testaufwand geschätzt. Ist das plausibel? Mit anderen Schätzungen vergleichen? 9

8 Was brauchen wir, um den Testaufwand präzise zu schätzen? Top-Down Σ f (x) Posten für die Expertenschätzung: Welche Aufgaben fließen ein? Kennzahlen für die einzelnen Posten aus Erfahrungswerten: Wie lange dauert Aufgabe XY? Möglichkeiten zur Plausibilisierung: Ist der durch Expertenschätzung ermittelte Testaufwand plausibel? Berechnungshilfen: Wie kann im Projektkontext aus zugrunde liegenden Erfahrungswerten hochgerechnet werden? 11

Kennzahlen für die einzelnen Posten aus Erfahrungswerten: Wie lange dauert Aufgabe XY?

9 Übersicht gebräuchlicher Schätzmethoden Was davon nutzt Capgemini sd&m? Test Case Points Quelle: Stephan Frohnhoff, 2009: Use Case Points

10 Plausibilisierung von Expertenschätzungen mit dem Capgemini sd&m Aufwandsmodell Projekt PI SP KON In Releases UM Umsetzung REA INT 70-90% PI 100% = Netto 8-28% PI 9-25% UM 39-65% UM 18-40% UM 1-9% PI IB SP-IST KON-T REA-T INT-TVO IB-ABN SP-ALLG KON-A REA-A INT-SYS IB-EIN SP-THEMA KON-DB REA-DB INT-VBD IB-DOK SP-NACH KON-MIG REA-MIG INT-BUGFIX IB-SCHUL KON-ALLG INT-NFKT SP-QS KON-QS REA-QS INT-QS IB-QS PQ 20-45% PI PK 15-40% PI PT 3-10% PI PK-PL PK-PM PK-QK PT-TI PT-KM PK-CD PK-MTG PT-SEU PN PN PN-EIN PN-REISE PN-STORT 2-10% PI CR BERAT 13

IB-EIN SP-THEMA KON-DB REA-DB INT-VBD IB-DOK SP-NACH KON-MIG REA-MIG INT-BUGFIX IB-SCHUL KON-ALLG INT-NFKT SP-QS KON-QS REA-QS INT-QS

11 Plausibilisierung von Expertenschätzungen mit Use Case Points Aktoren klassifizieren Aufwand = Systemanforderungen A-Faktor x T-Faktor x Projekteinfluss M-Faktor x PF 2 Use Cases klassifizieren funktionale Anforderungen nicht funktionale Anforderungen Organisatorische Komplexität und Umfeld 3 T-Faktor ermitteln 4 M-Faktor ermitteln 5 Aufwand berechnen Quelle: Stephan Frohnhoff, 2009: Use Case Points

x PF 2 Use Cases klassifizieren funktionale Anforderungen nicht funktionale Anforderungen

12 Kann aus den vorgestellten Methoden auf den Testaufwand geschlossen werden? UCP 3.1 Keine Rückschlüsse aus Gesamt- auf Testaufwand möglich. Zu untersuchen: Auswirkung der ermittelten Einflussgrößen auf den Testaufwand. Capgemini sd&m Aufwandsmodell Aber: 18% - 40% ist eine große Spanne. Starke Varianz zwischen den Projekten. Wesentlicher Test- Einflussgrößen nicht abbildbar. 15

Zu untersuchen: Auswirkung der ermittelten Einflussgrößen auf den Testaufwand.

13 Aufwandstreiber im Test 1. bezogen auf die Testarten Nichtfunktionale Tests sind oft aufwändig. Einflussgrößen: Nichtfunktionale Anforderungen mit hohem Risiko. 17

14 Aufwandstreiber im Test 2. bezogen auf die Teststufen Wiederholung identischer Testfälle in verschiedenen Teststufen. Mehrfaches Testen gleicher Funktionalität (durch unterschiedliche Testfälle). Einflussgrößen: Güte der Gesamttest-Strategie. Abstimmung zwischen Beteiligten. 18

15 Aufwandstreiber im Test 3. bezogen auf den Testprozess Beginn Planung und Analyse Design in der Testdurchführung Durchführung der Testfälle Fehler-Nachtests Aufbau und Wartung der Testinfrastruktur Realisierung Durchführung Auswertung und Bericht Steuerung Wiederholung von Testfällen Abschluss Regressionstests Ende Capgemini sd&m Testprozess. Abgeleitet aus Spillner, A., Linz, T.: Basiswissen Softwaretest - Aus- und Weiterbildung zum Certified Tester dpunkt, 3. Auflage,

Fehler-Nachtests Aufbau und Wartung der Testinfrastruktur Realisierung Durchführung Auswertung und Bericht Steuerung

16 Aufwandstreiber im Test 3. bezogen auf den Testprozess Beginn in der Testrealisierung Erstellung von Testfällen Erstellung von Testdaten Migration von Echtdaten ggf. Automatisierung der Testdurchführung in der Testdurchführung Durchführung der Testfälle Fehler-Nachtests Wiederholung von Testfällen Regressionstests Aufbau und Wartung der Testinfrastruktur Planung und Analyse Design Realisierung Durchführung Auswertung und Bericht Abschluss Einflussgrößen: Fehler in der Software. Automatisierungsgrad. Ende Steuerung Capgemini sd&m Testprozess. Abgeleitet aus Spillner, A., Linz, T.: Basiswissen Softwaretest - Aus- und Weiterbildung zum Certified Tester dpunkt, 3. Auflage,

der Testinfrastruktur Planung und Analyse Design Realisierung Durchführung Auswertung und Bericht Abschluss Einflussgrößen: Fehler in der Software. Automatisierungsgrad.

17 Was brauchen wir, um den Testaufwand präzise zu schätzen? Top-Down Σ f (x) Posten für die Expertenschätzung: Welche Aufgaben fließen ein? Kennzahlen für die einzelnen Posten aus Erfahrungswerten: Wie lange dauert Aufgabe XY? Möglichkeiten zur Plausibilisierung: Ist der durch Expertenschätzung ermittelte Testaufwand plausibel? Berechnungshilfen: Wie kann im Projektkontext aus zugrunde liegenden Erfahrungswerten hochgerechnet werden? Anforderung: Rechnung muss test-spezifische Einflussgrößen berücksichtigen. 21

18 Ein kurzer Blick auf TCP (Test Case Points) 1 Use Cases bestimmen 2 Testfälle bestimmen TCP-Modelle für Testprojekte: 3 4 TCP für Testfall- Erstellung ermitteln TCP für Automatisierung ermitteln 5 TCP für manuelle Testdurchführung erm. 6 TCP für automat. Testdurchführung erm. Modell I Testfall-Erstellung Modell III Manuelle Testdurchführung Modell II Automatisierte Skriptgenerierung Modell IV Automatisierte Testdurchführung 7 Gesamt-TCP berechnen 23

Testdurchführung erm. 6 TCP für automat. Testdurchführung erm.

19 Mapping TCP gegen die ermittelten Einflussgrößen TCP Modell I Testfall-Erstellung Modell III Manuelle Testdurchführung Modell II Automatisierte Skriptgenerierung Modell IV Automatisierte Testdurchführung Nichtfunktionale Anforderungen mit hohem Risiko Güte der Teststrategie Abstimmung zwischen Beteiligten Fehler in der Software ( ) Automatisierungsgrad Automatisierte Testdurchführung Automatisierte Testfallerstellung Automatisierte Testdatenerstellung 24

Nichtfunktionale Anforderungen mit hohem Risiko Güte der Teststrategie Abstimmung zwischen Beteiligten Fehler in

20 Ausblick: Expertenschätzung unterstützen Σ Posten für die Expertenschätzung: Welche Aufgaben fließen ein?! Kennzahlen für die einzelnen Posten aus Erfahrungswerten: Wie lange dauert Aufgabe XY? ( ) Berechnungshilfen: Wie kann im Projektkontext aus zugrunde liegenden Erfahrungswerten hochgerechnet werden? 26

! Kennzahlen für die einzelnen Posten aus Erfahrungswerten: Wie lange dauert

21 Ausblick: Algorithmische Methode zur Plausibilisierung Top-Down Idee: ähnlich zu Aufwandsschätzung mit Use Case Points UCP-Einflussgrößen wo möglich weiter verwenden f (x) Möglichkeiten zur Plausibilisierung: Ist der durch Expertenschätzung ermittelte Testaufwand plausibel? Anforderung: Rechnung muss test-spezifische Einflussgrößen berücksichtigen. Nächste Schritte: Einflussgrößen zu Testaufwand ermitteln Abhängigkeiten zwischen den Einflussgrößen ermitteln Formeln ableiten Gewichtungen ermitteln Basis: Geschätzter und tatsächlicher Testaufwand in den Projekten (Aufwandsmodell), UCP-Daten der Projekte 27

22 Ausblick: Zusätzliche Plausibilisierung gegen den Testnutzen Top-Down Idee: Lohnt sich der Testaufwand? Fehler früh finden spart Kosten f (x) Einfache Annahmen zu Fehlerzahlen anhand Art und Größe des Systems Möglichkeiten zur Plausibilisierung: Ist der durch Expertenschätzung ermittelte Testaufwand plausibel? Anforderung: Rechnung muss test-spezifische Einflussgrößen berücksichtigen. Quelle: Liggesmeyer, P.: Software-Qualität: Testen, Analysieren und Verifizieren von Software Spektrum Akademischer Verlag, 2. Auflage,

23 Wie werden wir dann zukünftig den Testaufwand schätzen? Top-Down Expertenschätzung Expertenschätzung Algorithmische Algorithmische Methode Methode Testnutzen-Rechnung Testnutzen-Rechnung 29

24 Fragen? Diskussion!??!!?!!!????!?!??!! 31

25 Bei Fragen im Nachgang helfen wir gerne weiter: Melanie Späth Managing Consultant / Research Carl-Wery-Straße 42, München Phone: melanie.spaeth@capgemini-sdm.com 32

26 Gemeinsam. Energien freisetzen. 33

Ähnliche Dokumente

Testautomatisierung. Lessons Learned. qme Software. Gustav-Meyer-Allee 25 13355 Berlin. Telefon 030/46307-230 Telefax 030/46307-649

Testautomatisierung. Lessons Learned. qme Software. Gustav-Meyer-Allee 25 13355 Berlin. Telefon 030/46307-230 Telefax 030/46307-649 Testautomatisierung Lessons Learned qme Software GmbH Gustav-Meyer-Allee 25 13355 Berlin Telefon 030/46307-230 Telefax 030/46307-649 E-Mail qme Software info@qme-software.de GmbH Testautomatisierung Lessons