Management und Optimierung des Testprozesses

Transkript

1 Martin Pol Tim Koomen Andreas Spillner Management und Optimierung des Testprozesses Ein praktischer Leitfaden für erfolgreiches Testen von Software mittpf undtmap dpunkt.verlag

2 1 Einleitung Testmanagement und Testprozeß-Optimierung Aufbau des Buchs Zielgruppe Rückblick Dankwort 4 Teil I 7 2 Der Testrahmen Was ist Testen? Ziel des Testens Produkte Die Rolle des Testens innerhalb des Qualitätsmanagements Testen und Prüfen Teststufen und -techniken Zusammenhang zwischen Entwicklungs- und Testprozeß 18 3 Die Notwendigkeit zur Optimierung Probleme beim Testen Einfaches Testen Der heutige Stand der Dinge Neue Entwicklungen Optimierung des Testprozesses Der Rahmen der Testprozeßoptimierung Ein verbesserter Testprozeß 25 4 Ein Modell zur Optimierung des Testprozesses Die Optimierungsschritte Bezugsrahmen Modellanforderungen Verfügbare Modelle Modelle zur Softwareprozeßoptimierung Modelle zur Testprozeßoptimierung 30 5 DasTPI-Modell Allgemeine Beschreibung des Modells Positionierung des Modells TMap Prüfen 34

3 vi Inhaltsverzeichnis Prüfen, High-Level- und Low-Level-Tests DV-Unterstützung der Geschäftsprozesse Kernbereiche Ebenen Beschreibung der Ebenen Merkmale Entwicklungsmatrix Beschreibung Matrix Aufbau der Matrix." Erläuterung: Tools und Metriken Einsatz der Matrix Kontrollpunkte Optimierungsvorschläge Eigenschaften des TPI-Modells 52 6 Einsatz des TPI-Modells Änderungsprozeß Schaffung des Bewußtseins Bestimmung von Ziel, Betrachtungsbereich und Vorgehensweise Ausführung des Assessments Definition der Optimierungsmaßnahmen Aufstellen des Plans Implementierung von Optimierungsmaßnahmen Ausführung der Bewertung Quick-Scan Organisation des Änderungsprozesses Erforderliche Kenntnisse und Fähigkeiten Widerstände Kosten und Nutzen Kritische Faktoren Erfolgsfaktoren Mißerfolgsfaktoren 80 7 Ebenen je Kernbereich Kernbereich: Teststrategie Teststrategie, Ebene A: Strategie für einzelne High-Level-Tests Teststrategie, Ebene B: Strategie für High-Level-Tests Teststrategie, Ebene C: Strategie für High-Level-Tests und Low-Level-Tests oder Prüfungsstufen Teststrategie, Ebene D: Strategie für alle Test- und Prüfungsstufen Kernbereich: Einsatz des Phasenmodells Einsatz des Phasenmodells, Ebene A: Hauptphasen Planung, Spezifikation, Durchführung Einsatz des Phasenmodells, Ebene B: Vollständiges Phasenmodell Planung, Vorbereitung, Spezifikation, Durchführung und Abschluß Kernbereich: Zeitpunkt der Beteiligung Zeitpunkt der Beteiligung, Ebene A: Fertigstellung der Testbasis 99

4 7.3.2 Zeitpunkt der Beteiligung, Ebene B: Aufstellen der Testbasis Zeitpunkt der Beteiligung, Ebene C: Aufstellen der Anforderungen Zeitpunkt der Beteiligung, Ebene D: Beginn des Projekts Kernbereich: Kostenvoranschlag und Planung Kostenvoranschlag und Planung, Ebene A: Fundierter Kostenvoranschlag und Planung Kostenvoranschlag und Planung, Ebene B: Statistisch fundierter Kostenvoranschlag und Planung Kerngebiet: Test-Spezifikationstechniken Test-Spezifikationstechniken, Ebene A: Nicht formale Techniken Test-Spezifikationstechniken, Ebene B: Formale Techniken Kernbereich: Statische Testtechniken Statische Testtechniken, Ebene A: Detailüberprüfung Statische Testtechniken, Ebene B: Checklisten Kernbereich: Metriken Metriken, Ebene A: Projektmetriken (über Produkt) Metriken, Ebene B: Projektmetriken (über Prozeß) Metriken, Ebene C: Systemmetriken Metriken, Ebene D: Organisationsmetriken (>1 System) Kernbereich: Test-Tools Test-Tools, Ebene A: Planungs- und Verwaltungs-Tools Test-Tools, Ebene B: Durchführungs- und Analyse-Tools Test-Tools, Ebene C: Weitgehende Automatisierung des Testprozesses Kernbereich: Testumgebung Testumgebung, Ebene A: Kontrollierte Testumgebung Testumgebung, Ebene B: Testen in der geeignetsten Umgebung Testumgebung, Ebene C:»Umgebung auf Abruf« Kernbereich: Testarbeitsplatz Testarbeitsplatz, Ebene A: Adäquate und rechtzeitige Einrichtung der Testarbeitsplätze Kernbereich: Engagement und Motivation Engagement und Motivation, Ebene A: Zuweisung von Budget und Zeit Engagement und Motivation, Ebene B: Testen in Projektorganisation integriert Engagement und Motivation, Ebene C: Test-Engineering wird akzeptiert Kernbereich: Testfunktionen und Ausbildungen Testfunktionen und Ausbildungen, Ebene A: Testmanager und Tester Testfunktionen und Ausbildungen, Ebene B: (Formale) methodische, technische und funktionale Unterstützung, Management Testfunktionen und Ausbildungen, Ebene G* Formale interne Qualitätssicherung Kernbereich: Reichweite der Methodik Reichweite der Methodik, Ebene A: Projektspezifisch Reichweite der Methodik, Ebene B: Organisationsgenerisch Reichweite der Methodik, Ebene C: Organisationsoptimierend, F&E Aktivitäten Kernbereich: Kommunikation Kommunikation, Ebene A: Interne Testkommunikation 145

5 I viii Inhaltsverzeichnis Kommunikation, Ebene B: Projektkommunikation, Analyseforum, Änderungsüberwachung Kommunikation, Ebene C: Kommunikation über die Qualität der Testprozesse auf Organisationsebene Kernbereich: Berichterstattung Berichterstattung, Ebene A: Aufdecken der Abweichungen Berichterstattung, Ebene B: Fortschritt einschließlich Prioritätenzuweisung und Berichterstattung über Zeitaufwand und Testfortschritt Berichterstattung, Ebene C: Risiken und Empfehlungen anhand von Metriken Berichterstattung, Ebene D: Empfehlungen haben einen»software Process Improvement«-Charakter Kernbereich: Dokumentation der Abweichungen Dokumentation der Abweichungen, Ebene A: Interne Dokumentation der Abweichungen Dokumentation der Abweichungen, Ebene B: Umfangreiche Dokumentation der Abweichungen mit flexiblen Berichterstattungsmöglichkeiten Dokumentation der Abweichungen, Ebene C: Dokumentation der Abweichungen wird im gesamten Projekt eingesetzt Kernbereich: Testware-Management Testware-Management, Ebene A: Internes Testware-Management Testware-Management, Ebene B: Externes Management von Testbasis und Testobjekt Testware-Management, Ebene C: Übertragbare Testware Testware-Management, Ebene D: Rückverfolgbarkeit von Systemanforderungen bis Testfälle Kernbereich: Testprozeßmanagement Testprozeßmanagement, Ebene A: Planung und Durchführung Testprozeßmanagement, Ebene B: Planung, Durchführung, Überwachung und Anpassung Testprozeßmanagement, Ebene C: Überwachung und Anpassung ifrder Organisation Kernbereich: Prüfen Prüfen, Ebene A: Überprüfungstechniken Prüfen, Ebene B: Überprüfungsstrategie Kernbereich: Low-Level-Tests Low-Level-Tests, Ebene A: Phasenmodell für Low-Level-Tests (Planung, Spezifikation und Durchführung) Low-Level-Tests, Ebene B: White-Box-Techniken für Low-Level-Tests Low-Level-Tests, Ebene C: Strategie für Low-Level-Tests Übersicht über die Abhängigkeiten 178 Teil II Zusammenfassung TMap Testeinteilung in Phasen Die Phase Planung & Verwaltung Die Vorbereitungsphase Die Spezifikationsphase Die Testdurchführungsphase 187

6 8.1.5 Die Abschlußphase Techniken Strategiebestimmung Test-Spezifikationstechniken Checklisten Infrastruktur und Tools Testumgebung Test-Tools Büroeinrichtung Organisation Der betriebliche Testprozeß Die strukturelle Testorganisation Testmanagement Personal & Ausbildungen Phasenmodell für High-Level-Tests Einleitung Phase Planung &c Verwaltung Ziel Randbedingungen Arbeitsweise Aktivitäten Auftragsformulierung Allgemeine Überprüfung und Untersuchung Festschreibung der Systemdokumentation Bestimmung der Teststrategie Einrichtung der Organisation Einrichtung der Dokumentation Definition der Infrastruktur Einrichten der Verwaltung Bestimmung der Planung Festlegung des Testplans Aktualisierung des Testplans Durchführung der Verwaltung Berichterstattung Bestimmung der Detailplanung Vorbereitungsphase Ziel Randbedingungen Arbeitsweise Aktivitäten Detailüberprüfung der Testbasis Definition der Testeinheiten Zuweisung der Test-Spezifikationstechniken Spezifikation der Infrastruktur Spezifikationsphase Einleitung Randbedingungen 225

7 9.4.3 Arbeitsweise Aktivitäten Aufstellen der Testspezifikationen Definition der Ausgangsdateien Aufstellen von Testskripten Aufstellen eines Testablaufs Ermittlung der Überprüfung des Testobjekts/der Infrastruktur Realisierung der Infrastruktur Testdurchführungsphase Einleitung Randbedingungen Arbeitsweise Aktivitäten Überprüfung des Testobjekts/der Infrastruktur Füllen von Ausgangsdateien Durchführen von (erneuten) Tests Kontrollieren und Beurteilen der Testergebnisse Aktualisierung des Testablaufs Abschlußphase Einleitung Randbedingungen Arbeitsweise Aktivitäten Beurteilung des Testobjekts Beurteilung des Testprozesses Aufstellen des Abschlußberichts Konservieren der Testware Entlastung des Testteams Phasenmodell für Low-Level-Tests Einleitung Merkmale der Low-Level-Tests Mehr Struktur und Intensität bei den Low-Level-Tests? Phase Planung 8t Verwaltung Vorbereitungsphase Spezifikationsphase Durchführungsphase Abschlußphase Abstimmung der Low-Level-Tests Beschreibung der Vorgehensweise Mastertestplanung Einleitung Betrachtungsbereich Voraussetzungen Allgemeine Arbeitsweise Aktivitäten Auftragsformulierung 267

8 Orientierung Bestimmung der Teststrategie Definition der Organisation Definition der Infrastruktur Bestimmung der Planung Festlegung des Mastertestplans Qualitätsmerkmale Dynamische Qualitätsmerkmale Sicherheit Einsetzbarkeit Kontinuität Kontrollierbarkeit Funktionalität Benutzungsfreundlichkeit Externe Integrierbarkeit Leistung Sparsamkeit Statische Qualitätsmerkmale Verwaltungsfähigkeit Interne Integrierbarkeit (Eignung der) Infrastruktur Flexibilität Wiederverwendbarkeit Aktualisierbarkeit Portabilität : Testbarkeit Strategiebestimmung Einleitung Risikoeinschätzung Arbeitsweise Strategiebestimmung im Mastertestplan Bestimmung der Qualitätsmerkmale Bestimmung der relativen Bedeutung Zuweisung Qualitätsmerkmale zu Teststufen Strategiebestimmung für die Teststufen Bestimmung der Qualitätsmerkmale Bestimmung der relativen Bedeutung der Qualitätsmerkmale Unterteilung in Teilsysteme Bestimmung der relativen Bedeutung der Teilsysteme Detaillierung der Testbedeutung je Teilsystem und Qualitätsmerkmal Bestimmung der einzusetzenden Testtechniken Anpassung der Teststrategie während des Testens Strategiebestimmung in der Wartung 300

9 14 Testpunktanalyse Einleitung Philosophie Größe des IT-Systems Teststrategie Produktivität Allgemeine Funktion Ausgangspunkte TPA - die Technik im Detail Eingabe und Startbedingungen Dynamische Testpunkte Statische Testpunkte Gesamtanzahl Testpunkte Primäre Teststunden Gesamtanzahl Teststunden Verteilung über die Phasen TPA in einem frühen Stadium TPA - ein Rechenbeispiel Berechnung der direkten Testpunkte Berechnung statische Testpunkte (Qi) Berechnung der primären Teststunden Bestimmung des Zuschlags für Planung und Verwaltung Berechnung der Gesamtanzahl an Teststunden Test-Spezifikationstechniken Test-Spezifikationstechniken: Weshalb? Generische Beschreibung der Schritte Merkmale White-Box oder Black-Box Formal oder nicht formal Anwendungsbereiche Das Prinzip der Ableitung von Testfällen Einteilung der Test-Spezifikationstechniken Strukturtest Allgemein Arbeitsweise Testdurchführung und Beurteilung Entscheidungstabellentest Allgemein Arbeitsweise Testdurchführung und Beurteilung Datenkombinationstest Allgemein Arbeitsweise Testdurchführung und Beurteilung Elementarer Vergleichstest Allgemein Arbeitsweise 360

10 xiii I Testdurchführung Beurteilung Error Guessing Allgemein Arbeitsweise Testdurchführung Datenzyklustest Allgemein Arbeitsweise Erstellung von Testfällen je Entität Festlegung von Testaktionen und Kontrollen Erstellung eines Testskriptes Testdurchführung und Beurteilung Modul-Interface-Test Allgemein Allgemeine Funktion Arbeitsweise Testdurchführung und Beurteilung Geschäftsprozeßtest Allgemein Arbeitsweise Geschäftsprozeßtest mit Testmaß Arbeitsweise Geschäftsprozeßtest mit Testmaß Testdurchführung und Beurteilung Real-Life-Test Allgemein Arbeitsweise Testdurchführung und Beurteilung Semantischer Test Allgemein Arbeitsweise Testdurchführung und Beurteilung Syntaktischer Test Allgemein Arbeitsweise Testdurchführung und Beurteilung Ein alternative Arbeitsweise Syntaktische Kontrollen Detailüberprüfung der Testbasis Einleitung Arbeitsweise Bestimmung der relevanten Dokumentation Erstellung einer Checkliste Beurteilung der Dokumentation auf Testbarkeit Berichterstattung Checkliste»Testtechniken« Strukturtest Entscheidungstabellentest 403

11 Datenkombinationstest Elementarer Vergleichstest Error Guessing Datenzyklustest Modul-Interface-Test Geschäftsprozeßtest (Integrierbarkeit) Real-Life-Test (u.a. Leistung und Sparsamkeit) Semantischer Test (u.a. Sicherheit) Syntaktischer Test Checkliste»Black-Box-Test« Allgemein Logisches Datenmodell Logische Datenstruktur Einteilung in Teilsysteme und Schnittstellen Funktionsstruktur Beschreibung Bildschirmverlauf einschließlich Layout Spezifikation der erforderlichen Hard- und Software Qualitätsanforderungen Checkliste»White-Box-Test« Allgemein Entwurf der physischen Datenbank Systemschutz Systemskelett : Modulverteilung Modulbeschreibung Leistungsanforderungen Checklisten für Qualitätsmerkmale Einleitung Checkliste»Verwaltungsfähigkeit« Checkliste»Sicherheit« Checkliste»Integrierbarkeit« Checkliste»Kontinuität« Betriebssicherheit Robustheit Wiederherstellbarkeit Weiterarbeitsmöglichkeit Ausweichmöglichkeit Checkliste»Kontrollierbarkeit« Checkliste»Flexibilität« Checkliste»Benutzungsfreundlichkeit« Checkliste»Wiederverwendbarkeit« Checkliste»Eignung der Infrastruktur« Checkliste»Aktualisierbarkeit« Checkliste»Portabilität« Checkliste»Testbarkeit«435

12 18 Übrige Checklisten Einleitung Checkliste»Allgemeine Untersuchung des IT-Systems« Checkliste»Randbedingungen und Ausgangspunkte« Checkliste»Risiken Testprojekt« Checkliste»Testeinrichtungen« Checkliste»Testmetriken« Checkliste»Produktionsfreigabe« Inspektionen Einleitung Vorteile Arbeitsweise Prüfung Produkt an Eingangskriterien Organisation der Inspektion Kick-off (Start) Vorbereitung Fehlererfassungs-Meeting Diskussions-Meeting »Causal analysis«-meeting Ausführen der Überarbeitung Follow-up Prüfung an Ausgangskriterien Metriken Einleitung GQM-Methode für Testmanager in sechs Schritten Schritt 1: Definition von Zielen Schritt 2: Fragen stellen je Ziel (goal-tree) Schritt 3: Von den Fragen zu den Metriken Schritt 4: Datensammlung und Analyse Schritt 5: Präsentation und Verteilung der Meßdaten Schritt 6: Meßdaten zu den Fragen und Zielen in Beziehung setzen Hinweise und Tips Test-Tools Einleitung Test-Tools einmal näher betrachtet Vorteile Übersicht über Test-Tools Planungs- und Verwaltungsphase Vorbereitungsphase Spezifikationsphase Durchführungsphase Automatisierung der Testdurchführung Record & Playback TAKT - Testen, Automatisierung, Kenntnisse, Tools 473

13 I xvi Inhaltsverzeichnis 22 Testumgebungen Einleitung Komponenten der Testumgebung Allgemeine Anforderungen an Testumgebungen Arten von Testumgebungen Traditionelle Testumgebungen Variationen Entscheidungen und Überlegungen Qualitätsmerkmal, Testart, Testumgebung Einrichtungsfaktoren Einrichtungen für den Aufbau und Einsatz von Dateien Aufbau von Dateien Einsatz von Dateien Testfunktionen Die Funktion»Testen« Die Funktion»Testmanagement« Die Funktion»Methodische Unterstützung« Die Funktion»Technische Unterstützung« Die Funktion»Funktionale Unterstützung« Die Funktion»Verwaltung« Die Funktion»Koordination und Beratung« Die Funktion»Anwendungsintegrator« Die Funktion»TAKT-Architekt« Die Funktion»TAKT-Ingenieur« Organisationsstruktur Einleitung Strategisch Taktisch Operational Anmerkung Universelle Organisationsstruktur? Modelle und Überlegungen Operationales Testteam Beziehung zur Projektorganisation Bezug zur Linienorganisation 515 Literaturverzeichnis 519 Glossar 523 Anhang - TMap-Qualitätsmerkmale im Vergleich zu ISO Index 537 IQUIP Deutschland GmbH 544