Praxiswissen Softwaretest Test Analyst und Technical Test Analyst

Transkript

1 Graham Bath Judy McKay Praxiswissen Softwaretest Test Analyst und Technical Test Analyst Aus- und Weiterbildung zum Certified Tester - Advanced Level nach ISTQB-Standard 2., durchgesehene Auflage 2011 dpunkt.verlag

2 1 Einführung Anforderungen an dieses Buch Vollständigkeit Lesbarkeit Was bedeutet»advanced«? Was ist ein»test Analyst«? 6 2 Marathon - unsere Beispielanwendung Überblick über das Marathon-System Allgemeine Anforderungen Einsatz des Marathon-Systems Verfügbarkeit des Marathon-Systems Erweiterungen vorbehalten 14 3 Aspekte des Testmanagements Systemarten Multisysteme Sicherheitskritische Systeme Echtzeit- und eingebettete Systeme Testprozess Testplanung und Teststeuerung Testanalyse und Testentwurf Testrealisierung und Testdurchführung Testauswertung und Bericht /8 Abschluss der Testaktivitäten Lernkontrolle 28

3 xii Inhaltsverzeichnis 4 Spezifikationsorientierte Testverfahren Einführung Einzelne spezifikationsorientierte Testverfahren Äquivalenzklassenbildung Grenzwertanalyse Entscheidungstabellen und Ursache-Wirkungs-Graph-Analyse Zustandsbasiertes Testen Orthogonale Arrays und Paartabellen Klassifikationsbäume Anwendungsfallbasiertes Testen Auswahl eines spezifikationsorientierten Testverfahrens Blick in die Praxis Lernkontrolle 74 5 Strukturorientierte Testverfahren Nutzen Nachteile Anwendung von strukturorientierten Testverfahren Einzelne strukturorientierte Testverfahren Anweisungstests Entscheidungs-/Zweigtests Einfache Bedingungstests Mehrfachbedingungstests Definierte Bedingungstests Pfadtests LCSAJ (Schleifentest) Auswahl eines strukturorientierten Testverfahrens Lernkontrolle 99 6 Fehlerbasierte Testverfahren Einführung Taxonomien Blick in die Praxis Lernkontrolle 104

4 7 Erfahrungsbasierte Testverfahren Einführung Intuitive Testfallermittlung Checklistenbasiertes Testen Exploratives Testen Fehlerangriffe (Attacken) Stärken und Schwächen Blick in die Praxis Lemkontrolle Analysetechniken Statische Analyse Nutzen Grenzen Kontrollflussanalyse Datenflussanalyse Einhaltung von Codierungsstandards Ermittlung von Codemetriken Statische Analyse einer Webseite Aufrufgraphen Dynamische Analyse Nutzen Grenzen Speicherlecks Wilder Zeiger Analyse der Performanz Blick in die Praxis Lernkontrolle Testen der Softwareeigenschaften Qualitätsmerkmale Qualitätsmerkmale für den Test Analyst Qualitätsmerkmale für den Technical Test Analyst 140

5 10 Funktionales Testen Einführung Testen auf Richtigkeit Testen auf Angemessenheit Interoperabilitätstests Funktionale Sicherheitstests Blick in die Praxis Lernkontrolle Benutzbarkeits- und Zugänglichkeitstests Benutzbarkeitstests Effektivität Effizienz Zufriedenheit Zugänglichkeitstests Testprozess für Benutzbarkeits-und Zugänglichkeitstests Planungsfragen Testentwurf :'.. ; Testdurchführung Berichterstattung Blick in die Praxis Lernkontrolle Effizienztests Überblick Performanztests Lasttests Stresstests Skalierbarkeitstests Testen der Ressourcennutzung Messen der Effizienz 178

6 12.8 Planen von Effizienztests Risiken und typische Effizienzfehler Verschiedene Arten von Testobjekten Anforderungen für Effizienztests Vorgehensweisen für Effizienztests Bestanden-/Nicht-bestanden-Kriterien für Effizienztests Werkzeuge für Effizienztests Umgebungen Organisatorische Fragen Fragen zum Lebenszyklus Spezifikation von Effizienztests Durchführung von Effizienztests Berichterstattung von Effizienztests Werkzeuge für Effizienztests Blick in die Praxis Lernkontrolle Sicherheitstests Überblick über Sicherheitstests Definition von Sicherheit Planen von Sicherheitstests Typische Sicherheitsbedrohungen Vorgehensweise für Sicherheitstests Organisatorische Fragen Aspekte des Lebenszyklus Analyse und Entwurf von Sicherheitstests Softwareangriffe Weitere Entwurfstechniken für Sicherheitstests Durchführung von Sicherheitstests Berichterstattung von Sicherheitstests Werkzeuge für Sicherheitstests Blick in die Praxis Lernkontrolle 231

7 14 Zuverlässigkeitstests Überblick Planen von Zuverlässigkeitstests Bewertung des Risikos Festlegen von Zuverlässigkeitszielen Aspekte des Lebenszyklus Vorgehensweise für Zuverlässigkeitstests Vorgehensweise für das Messen des Zuverlässigkeitsgrads Vorgehensweise für das Messen der Fehlertoleranz Vorgehensweise für Failover-Tests Vorgehensweise für Backup- und Wiederherstellungstests Spezifikation von Zuverlässigkeitstests Testspezifikation für das Zuverlässigkeitswachstum Testspezifikation für die Fehlertoleranz Spezifikation von Failover-Tests Spezifikation von Backup- und Wiederherstellungstests Durchführung von Zuverlässigkeitstests Berichterstattung von Zuverlässigkeitstests Werkzeuge für Zuverlässigkeitstests Blick in die Praxis Lernkontrolle Wartbarkeitstests Überblick Definition von Wartungstests Definition von Wartbarkeit Warum hat die Wartbarkeit einen geringen Stellenwert? Planung von Wartbarkeitstests Grundlegende Wartbarkeitsrisiken Ursachen schlechter Wartbarkeit Erarbeitung einer Testvorgehensweise Blick in die Praxis Lemkontrolle 282

8 16 Portabilitätstests Anpassbarkeit Gründe für mangelnde Anpassbarkeit Anpassbarkeitstests Austauschbarkeit Fragen der Austauschbarkeit Austauschbarkeitstests Installierbarkeit Risikofaktoren der Installierbarkeit Installationstests Koexistenz Koexistenztests Blick in die Praxis Lernkontrolle Reviews Einführung Welche Arbeitsergebnisse können wir einem Review unterziehen? Wann sollten die Reviews durchgeführt werden? Welche Art von Review sollten wir durchführen? Informelles Review Walkthroughs '.4.3 Technische Reviews : Inspektionen Managementreviews Audits Vertragsreviews Anforderungsreviews Designreviews Akzeptanz-/Qualifikationsreviews Betriebsbereitschaftsreviews Fragen zum Review Wie können wir unser Review effektiv gestalten? Haben wir die richtigen Leute? Wir haben die Fehler gefunden - was nun? Wir haben keine Zeit für Reviews! Checkliste für den Erfolg Blick in die Praxis Lernkontrolle 322

9 xviii Inhaltsverzeichnis 18 Werkzeugkonzepte Was ist ein Testwerkzeug? Warum setzen wir Werkzeuge ein? Werkzeugarten Testmanagementwerkzeuge Fehlereinpflanzungswerkzeuge Simulations- und Emulationswerkzeuge Statische und dynamische Analysewerkzeuge Performanztestwerkzeuge Hyperlink-Werkzeuge Debugging- und Troubleshooting-Werkzeuge Wie kann ich wissen, ob die Software funktioniert? (Orakel und Komparatoren) : Werkzeuge zur Testausführung Sollte einfach ein Mitschnittwerkzeug eingesetzt werden? Datengetriebene Automatisierung Schlüsselwortgetriebene Automatisierung Nutzen von Automatisierungstechniken Integration von Werkzeugen Weitere Werkzeugklassifizierungen Sollten wir alle unsere Tests automatisieren? Bestimmung der Kosten von Testwerkzeugen Bestimmung der Nutzen von Testwerkzeugen Kaufen oder selbst erstellen? Pflege von Werkzeugen Blick in die Praxis Lernkontrolle Abweichungsmanagement Einführung Was ist ein Fehler? Fehlerklassifizierungsprozess Fehlerlebenszyklen Was sollte ein Fehlerbericht enthalten? 361

10 xix 19.6 Metriken und Berichterstattung Überwachung des Testfortschritts Analyse der Fehlerdichte Messungen gefundener versus behobener Fehler Konvergenzmetriken Möglichkeiten der Prozessverbesserung Informationen zur Einhaltung der Phasen Ist unsere Fehlerinformation objektiv? Blick in die Praxis Lernkontrolle Kommunikationsfähigkeiten Seine Rolle kennen Ich habe alles im Griff. Warum hört mir niemand zu? Effektiver Einsatz Ihrer Sprachfähigkeiten Ist unabhängiges Testen wünschenswert? Aktive Beteiligung Aus dem Leben gegriffen Lernkontrolle 380 A Glossar 383 B Quellenverzeichnis 401 C Zuordnung zum Advanced-Lehrplan 407 Index 409