Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung Bertram Schütze SQS Software Quality Systems (Schweiz) AG
Agenda Motivation: Wozu frühe Fehlererkennung? Drei Methoden, ein Hintergrund: Die Anforderungen Qualitätssicherung der Anforderungen Systematische Testfallerstellung Systematische Aufwandschätzung Synergien und Nutzen der Methodik Beispielprojekt Zusammenfassaung REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 2
Motivation: Wofür frühe Fehlererkennung REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 3
Motivation: Wofür frühe Fehlererkennung Unzureichende Qualitätssicherung führt in großen IT- Projekten zu erheblichen Mehrkosten Aufgrund mangelhafter Qualitätssicherung in der IT gehen der US-Wirtschaft 22 66 Mrd. $ pro Jahr verloren (NIST-Bericht 2003) Die Beseitigung von Fehlern im Betrieb führt nicht nur zu hohen Kosten, sondern auch zu Geschäfts- und Image-Verlust Die Hauptkostentreiber sind: Falsche und unvollständige Anforderungsspezifikationen Mangelhafte Analyse und Design Unzureichende Tests REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 4
Motivation: Wofür frühe Fehlererkennung Fehler treten bereits in frühen Phasen des Entwicklungsprozesses auf, werden aber erst später entdeckt Typische Fehlerverteilung 45 40 40 40 Die meisten Fehler treten bereits in frühen Phasen des Softwareentwicklungsprozesses auf. 35 30 25 20 30 30 25 25 70% der Fehler entstehen während der Analyse- und Design-Phase, aber nur 10% Prozent werden in diesen Phasen entdeckt und beseitigt 15 10 5 0 5 5 Nur 30 % der Fehler entstehen in der Implementierungs-Phase Analyse Design Implementierung Testen/ Abnahme Betrieb Typische Verteilung der Fehlerquellen (in %) Typische Verteilung der entdeckten Fehler (in %) Quelle: SQS, empirische Daten aus 5.000 Projekten REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 5
Motivation: Wofür frühe Fehlererkennung Wird die Fehlerbehebung bis zur Inbetriebnahme verschoben, steigen die Kosten exponentiell Kostenfaktoren für Fehlerbehebung* Analyse Design 1.000 4.000 Kosten Überprüfung des Geschäftsprozesses/ Review/Diskussion Kostenfaktor Implementierung 12.000 Zusätzliche Implementierungskosten Testen/Abnahme 48.000 Zusätzliche Abnahmekosten/ zusätzliches Rollout Betrieb Ertragseinbußen/ Marken-/Imageschäden 90.000 Zeit * Quelle: SQS, empirische Daten aus 5.000 Projekten. Kosten/Fehler Je früher ein Fehler entdeckt wird, desto niedriger sind die Kosten für die damit verbundenen Korrekturen REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 6
Motivation: Wofür frühe Fehlererkennung Fehler und Folgefehler (Summationseffekt) Anforderungen Anforderungsdefinition, Fachspezifikation korrekte Anforderungen fehlerhafte Anforderungen Entwurf korrekter Systementwurf fehlerhafter Systementwurf Systementwurf für fehlerhafte Anforderungen Realisierung korrekte Programme fehlerhafte Programme Programme für fehlerhaften DV-Entwurf Programme für fehlerhafte Anforderungen Produktion korrekte Verarbeitung korrigierbare Fehler realisierte konzeptionelle Fehler verborgene Fehler Unzureichendes Software-Produkt REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 7
Qualitätssicherung der Anforderungen REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 8
Qualitätssicherung der Anforderungen Die Basis einer guten Softwareentwicklung Was ist systematische Qualitätssicherung von Anforderungen? Semantische Qualitätssicherung Review durch die Stakeholder Walkthrough mit den Stakeholdern Syntaktische Qualitätssicherung Äquivalenzklassenanalyse Grenzwertanalyse Analyse komplexer Regeln Ursache Wirkungs Analyse Korrektheit Mehrdeutigkeiten Inkonsistenzen Eindeutigkeit Vollständigkeit Konsistenz Testbarkeit Skalierbar entsprechend Risiko Komplexität Methoden werden gemäss einer ABC Analyse angewandt REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 9
Systematische Testfallerstellung REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 10
Systematische Testfallerstellung Für eine verlässliche Qualitätssicherung unabdingbar Warum systematisch Testfälle erstellen? Nur durch systematische Qualitätssicherung kann die Übereinstimmung der Tests mit den Anforderungen sichergestellt werden Es wird jede mögliche Konstellation ermittelt Warum nicht? Zu viel Aufwand Bisher ging es auch ohne Unsere Helden bekommen das auch so hin Deshalb ohne Helden: Tendenzen in der IT Steigende Komplexität der IT-Systeme Heterogene IT-Systeme Interdisziplinäre Abhängigkeiten Tendenz zur Echtzeit Räumliche und zeitliche Trennung von Entwicklungsteams Ressourcenpooling und Offshoring Keine Helden REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 11
Systematische Testfallerstellung Für eine verlässliche Qualitätssicherung unabdingbar Was ist systematische Testfallerstellung? Bei der systematischen Testfallerstellung werden die Vorteile von Model Based Testing auf nicht formalisierte Anforderungen angewandt Sie besteht aus drei Schritten 1. Aus dem Anforderungstext wird ein strukturiertes Modell aufgebaut - Dekomposition atomare Anforderungen Beim modellbasierten Testen werden aus Modellen eines Systems, die das Sollverhalten der Software beschreiben, Testfälle abgeleitet. [Wikipedia] - Initiales Testmodell (Objekte und ihre Zustände / Input und Output Daten) 2. Das anfängliche Modell wird mithilfe der Äquivalenzklassenanalyse um Ursache Wirkungsbeziehungen erweitert - Verbal - Als Entscheidungstabelle - Als Diagramm Hierbei werden Inkonsistenzen und unvollständige Anforderungen identifiziert 3. Mit diesem Modell werden Testfälle erzeugt. Daraus wird ein ausführbares Testmodell abgeleitet Im Fall von Entscheidungstabellen oder Diagrammen kann dies automatisiert geschehen REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 12
Systematische Testfallerstellung Beispiel für ein erweitertes Modell: Depotgebühren Die Anforderungen Depotgebühren sind mindestens 20 CHF Depotgebühren für Aktien betragen 0,2% Depotgebühren für Fonds betragen 0,1% Eigene Wertschriften sind gratis Sind nur Gratistitel enthalten, so liegt das Minimum bei CHF 0 Äquivalenzklassenanalyse Input TF 1 TF 2 Titelart Aktien Aktien Wert (CHF) < 10'000 >= 10'000 Outp ut Depotgebühr (CHF) 20 0,2% TF 3 TF 4 Fonds Fonds < 20'000 >= 20'000 20 0,1% TF 5 Eigene W S - 0 oder 0 20? Ergebnis Einen Widerspruch geklärt 5 Testfälle REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 13
Systematische Testfallerstellung Beispiel für ein erweitertes Modell "Unsere Kunden erhalten Rabatt" Die Anforderung konkreter Ab 100 CHF wird 5% Rabatt gewährt Ab 1000 CHF wird 10% Rabatt gewährt Der Betrag hat keine Nachkommastellen Es sind keine negativen Werte zulässig Die Eingabe ist 5 stellig numerisch Grenzwertanalyse: Was ist der nächste Wert unter 100? 99 oder 99,99? Nachkommastellen? Sind negative Werte möglich? Was ist der Maximalwert? Input in CHF TF 1 TF 2 TF 3 Rechnungsbetrag 50 500 5'000 Outp ut Rabatt in CHF 0 25 500 Ergebnis Drei neue Anforderungen identifiziert TF 4 TF 5 TF 6 TF 7 99 100 999 1'000 0 5 50 100 TF 10 TF 11 TF 12-1 100'000 A 10'000 Fehler Fehler Fehler Ohne sie hätte es leicht zu Fehlern in der Realisierung kommen können, die erst in der Abnahme oder im Betrieb entdeckt worden wären 12 Testfälle TF 8 0 0 TF 9 99'999 REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 14
Systematische Testfallerstellung Sonderfall: Anforderungen als Activity Diagram Vorgehen Kundenseite Jeder mögliche Durchlauf stellt eine Äquivalenzklasse dar [Auftrag zum Kauf/Verkauf existiert] Die Äquivalenzklassen werden auf die gleiche Weise wie bei verbalen Anforderungen in eine Entscheidungstabelle eingetragen und analysiert Vorteile - Händler - Asset Manager - Berater - ext. VV - Call Center Single Order erfassen 001 [Single Order] - Händler - Asset Manager - Berater - ext. VV - Call Center [Collective Order] Collective Order erfassen 002 [Bulk-Auftrag] - Händler - Asset Manager Bulk-Auftrag erfassen 003 [Auftrag änderbar] Direkter Übergang vom Business Process Modeling Technische/interne Validierung durchführen Durch die formale Darstellung sind einige Qualitätsmerkmale bereits sichergestellt [Validierung OK] [Validierung NOK] Hinweis bearbeiten 004 [Auftrag nicht änderbar] - Händler - Asset Manager - Berater - ext. VV - Call Center Die Anforderungen sind leichter verständlich Kundenauftrag abschliessen 005 Nächster Prozess-Schritt: Dynamische Business Rules validieren REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 15
Systematische Aufwandschätzung REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 16
Systematische Aufwandschätzung Eine stabile Basis für das Projektmanagement Vorteile der systematischen Aufwandschätzung? Aufwände werden mit objektiver und reproduzierbarer Methodik den Anforderungen zugewiesen Transparente Ergebnisse Schätzungen können kontinuierlich personenunabhängig verbessert werden Bei Abweichungen und Änderungen im Projekt können die Auswirkungen auf den Aufwand schnell und zuverlässig ermittelt werden Warum nicht? Zu viel Aufwand Bisher bin ich doch auch mit meinen freihändigen Schätzungen durch gekommen Helden REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 17
Systematische Aufwandschätzung Eine stabile Basis für das Projektmanagement 120 PT 100 PT 80 PT 60 PT 40 PT 20 PT 0 PT Zwei Methoden der systematischen Aufwandschätzung 1. Proportionalmethode (1/2) Der Testaufwand wird aufgrund der Anzahl der Testobjekte ermittelt Die Testobjekte werden nach Risiko und Komplexität bewertet Aus dem ermittelten Aufwand für funktionale Tests lässt sich der gesamte Testaufwand durch einen prozentualen Aufschlag ermitteln Aufw and für Funktionale Tests Aufwand für Funktionale Tests Funktionale Tests 50% Nicht funktionale Tests 30% Test Management 20% Aufwand entsprechend Risiko und Kom plexität Risikoklasse 250 PT 200 PT 150 PT 100 PT 50 PT 0 PT Komplexität PT 1 2 3 A 18 12 8 B 10 7 4 C 4 3 2 Test Management Nicht funktionale Tests Funktionale Tests REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 18
Systematische Aufwandschätzung Eine stabile Basis für das Projektmanagement Zwei Methoden der systematischen Aufwandschätzung 1. Proportionalmethode (2/2) Aus dem gesamten Testaufwand lässt sich durch nochmalige Anwendung der Proportionalmethode der gesamte Projektaufwand abschätzen 250 PT 200 PT 150 PT 100 PT 50 PT 0 PT Test Management Nicht funktionale Tests Funktionale Tests Aufwandverteilung Gesamtprojekt Requirements; 20% Gesamttestaufwand; 30% Projektmanagement; 15% Design & Analyse; 5% Implementierung; 25% Deployment; 5% 700 PT 600 PT 500 PT 400 PT 300 PT 200 PT 100 PT 0 PT Projekt Gesamtaufwand Projektmanagement Deployment Implementierung Design & Analyse Requirements Gesamttestaufwand 1 Die jeweiligen Prozentzahlen sind hier nur als Beispiel aufgeführt und müssen entsprechend dem Projekttyp und der jeweiligen Umgebung ermittelt werden REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 19
Systematische Aufwandschätzung Eine stabile Basis für das Projektmanagement Zwei Methoden der systematischen Aufwandschätzung 2. Function Points Im Rahmen der Prüfung der Anforderungen und der Erstellung der Testfälle lassen sich Function Points ermitteln Beim Durchlesen der Anforderungen wird die Anzahl der Masken, Inputund Output-Felder gezählt Die so ermittelten "unjustierten" Function Points werden entsprechend der Komplexität der Applikation, den nichtfunktionalen Anforderungen etc. bewertet (justiert) Basierend auf den Erfahrungen abgeschlossener Projekte sowie den Aufwänden früher Iterationen dieses Projekts kann so der Aufwand ermittelt werden Durch die Proportionalmethode kann der Aufwand für die einzelnen Disziplinen wie z.b. Testen ermittelt werden REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 20
Synergien und Nutzen der Methodik REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 21
Synergien und Nutzen der Methodik Drei Tätigkeiten mit vielen Gemeinsamkeiten Was haben Qualitätssicherung der Anforderungen, Testfallerstellung und Aufwandschätzung gemeinsam? Unbeliebt Oft als unproduktiver Overhead empfunden Nur als einzelne Tätigkeit gesehen Die Anforderungen müssen jeweils systematisch analysiert werden Damit lassen sich Synergien nutzen Aufgrund der Formalisierung kann die Methode auch von externen Spezialisten ausgeführt werden 1. Qualitätssicherung der Anforderungen verbale 2. Testfallerstellung Anforderungen Testfälle 3a. Aufwandschätzung durch Proportionalmethode 3b. Aufwandschätzung durch Function Point Aufwandschätzung REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 22
Synergien und Nutzen der Methodik Skalierbarkeit: Nicht immer alle Methoden einsetzen Die Methode kann an die Komplexität und das Risiko angepasst werden Da die Methoden teilweise recht aufwändig sind, ist es nicht sinnvoll alle Methoden immer vollständig einzusetzen Die Anforderungen können nach Komplexität und nach Risiko angepasst werden Möglichkeiten der Skalierung Testfallerstellung Äquivalenzklassenanalyse und Grenzwertanalyse bis intuitive Testfallerstellung Testdaten pro Äquivalenzklasse alle Grenzwerte und Werte in der Mitte sowie Negativfälle bis nur ein Wert pro Äquivalenzklasse, ohne Negativfälle Aufwandschätzung Function Point Methode bis einfache Delphi Methode REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 23
Synergien und Nutzen der Methodik Was haben Sie von dieser Methodik? Nutzen Fehler in den Anforderungen werden frühzeitig entdeckt Gemäss unseren Projekterfahrungen fallen so nur ein Bruchteil der späteren Fehlerkorrekturkosten an Testfälle stehen frühzeitig zur Verfügung Die Entwicklung kann sich an den Testfällen orientieren test driven development Das Projekt kann besser geplant und gemanagt werden Es steht eine fundierte und transparente Aufwandschätzung zur Verfügung Durch die Möglichkeit der Auslagerung der Methodik kann das Projekt schlank und agil gehalten werden REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 24
Beispielprojekt Containerlogistik REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 25
Beispielprojekt Containerlogistik Das Projekt Ausgangslage Inhalt: Implementierung eines neuen Container-Basissystems Bestehendes System: HOST-Altsystem Bestehende Anforderungen: 2'500 Seiten Spezifikation Ziel des SQS Einsatzes: Möglichst gute Spezifikation erstellen um straffen Zeitplan in der Implementierung einhalten zu können Grösse des Gesamtprojekts: 6'000 PT, davon 3'000 PT reine Entwicklung REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 26
Beispielprojekt Containerlogistik Das Vorgehen Folgendes Vorgehen wurde definiert: Übergabe FK Formale Prüfung TF-Basis erstellen (1-n TO) Abweichungen bearbeiten TF-Basis überarbeiten Legende Verteilung der Funktionen Abweichungen erfassen Überarbeitung FK TFe erstellen SQS- Labor Kunde (Autor) Freigabe FK + TFe REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 27
Beispielprojekt Containerlogistik Methode und Ergebnisse Folgende Methoden wurden angewandt Äquivalenzklassenanalyse Ursachen Wirkungsanalyse Grenzwertanalyse Ergebnisse Über 2'700 Abweichungen ermittelt 4'244 Testfälle erstellt Anforderungen überarbeitet Eine Projektvergabe mit den ursprünglichen Anforderungen hätte wahrscheinlich zu erheblichen Verzögerungen geführt, da in der Entwicklung viele Fragen aufgetaucht wären, die jetzt bereits geklärt waren. REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 28
Beispielprojekt Containerlogistik Konkreter Beitrag zum ROI Vorteile von Early Error Detection auf Basis einer ROI Berechnung Indikatoren: Review von Analyse- und Requirementdokumenten mit Gefundene Fehler aus der Analysephase Gefundene Fehler aus der Designphase 1'700 Seiten 1'000 Fehler 1'700 Fehler Kosten pro Fehler für Early Error Detection: 110 Kosten pro Fehler für Fehlerkorrektur in der Analysephase: 100 Kosten pro Fehler für Fehlerkorrektur in der Designphase: 400 Kosten für Identifikation von 2'700 Fehlern 280'000 Fehlerkorrekturkosten + 780'000 Total: 1,060,000 Kosten für spätere Fehlerkorrektur ca. 7'600'000 Eingesparte Kosten 6'540'000 REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 29
Zusammenfassung REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 30
Zusammenfassung Drei in eins: Damit lohnt sich systematisches Vorgehen Mit Early Error Detection lassen sich die Vorteile von Model Based Testing auf nicht formale, umgangssprachlich formulierte Anforderungen anwenden Durch Kombination von drei Projektaufgaben lassen sich erhebliche Synergien erzielen, die systematisches Vorgehen rentabel machen Qualitätssicherung der Anforderungen Systematische Testfallerstellung Systematische Aufwandschätzung Die Methode lässt sich entsprechend Risiko und Komplexität skalieren Es verbindet die Disziplin Requirements mit der Disziplin Test REConf Schweiz 2009 / Early Error Detection als Methode zur systematischen Anforderungsanalyse bei gleichzeitiger Testfallerstellung und Aufwandsschätzung / 24.09.2009 Seite 31
SQS Software Quality Systems (Schweiz) AG Siewerdtstrasse 95, 8050 Zürich Phone.: +41 43 210 93 00 Fax: +41 43 210 93 33 E-Mail: bertram.schuetze@sqs-group.ch Internet: www.sqs-group.ch Internet: www.sqs.de Danke für Ihre Aufmerksamkeit!