Qualitätsreferenz für den Softwaretest: der Fundamentale Testprozess nach ISTQB

Transkript

1 Thema Qualitätsreferenz für den Softwaretest: der Fundamentale Testprozess nach ISTQB DGQ RK Köln/Bonn, am 16.Mai 2013 Referent: Achim Mertens Folie 1 von 36

2 Agenda Vorstellung Einführung Grundlagen des Testens Der Fundamentale Testprozess Folie 2 von 36

3 Referent Achim Mertens, Senior-Consultant imbus Rheinland GmbH Aufgaben: Leitung von Seminaren zu Test- und Qualitätsthemen, Qualitätsmanagement intern Berufliche Stationen: Kuka GmbH Augsburg, Softlab GmbH Köln, Andagon GmbH Frechen Qualifikationen: Diplomingenieur Nachrichtentechnik, Bankkaufmann, DGQ Auditor Qualität nach DGQ-Richtlinien Erfahrungen: Testen, Testmanagement (vorwiegend Software), Qualitätsmanagement (QMB), Interne Audits Interessen: Sport/Bewegung, Musik (aktiv und passiv), Sprachen, Qualitätsmanagement Folie 3 von 36

4 imbus Spezialisierter Lösungsanbieter für Software-Qualitätssicherung und Software-Test Innovativ seit 1992 Erfahrung und Know-how aus über erfolgreichen Projekten 200 Mitarbeiter an 5 Standorten in Deutschland und 1 Standort in China imbus AG Vorstand: Bernd Nossem, Tilo Linz, Thomas Roßner 2013 imbus AG Qualitätsreferenz für den Softwaretest: der Fundamentale Testprozess nach ISTQB Folie 4 von 36

5 Lösungen im Überblick Forschung Beratung Test-Services Training Tools Datenqualität Aus einer Hand! Für den gesamten Software-Lebenszyklus! 2013 imbus AG Folie 5 von 36

6 Referenzen und Projektbeispiele 2013 imbus AG Qualitätsreferenz für den Softwaretest: der Fundamentale Testprozess nach ISTQB Folie 6 von 36

7 Standorte imbus Nord Hamburg Rostock Bremen Berlin Hannover imbus Rheinland Magdeburg Köln Frankfurt Erfurt Dresden imbus Möhrendorf Deutschland 5 Standorte Hauptsitz Möhrendorf Standort München Standort Rhein-Main Standort Rheinland Standort Nord (Norderstedt) imbus Rhein-Main Erlangen imbus Shanghai Stuttgart München imbus München 2013 imbus AG Folie 7 von 36

8 Agenda Vorstellung Einführung Grundlagen des Testens Der Fundamentale Testprozess 2013 imbus AG Qualitätsreferenz für den Softwaretest: der Fundamentale Testprozess nach ISTQB Folie 8 von 36

9 Warum Testen? Komplexität der Software in unserem Alltag wird immer höher Risiken wachsen zur Minimierung/Beherrschung der Risiken: mehr Aufmerksamkeit auf die Qualitätssicherung und den Test der Software lenken Softwaretester wollen die wachsende Komplexität beherrschen. Anforderungen an den Beruf steigen Softwaretester suchen zur Unterstützung ihrer Arbeit nach klaren Strukturen, Vorgehensweisen und Methoden Folie 9 von 36

10 ISTQB Certified Tester Programm (I) Das GTB (German Testing Board) bietet dazu das ISTQB Certified-Tester Programm an. erfolgreiches Aus- und Weiterbildungsschema für Softwaretester. standardisiert weltweit anerkannt Verbreitung in ca. 70 Ländern der Erde, auf allen Kontinenten mehr als Zertifizierungen weltweit über Certified Tester allein in Deutschland Nationale Testing Boards auf Länderebene Folie 10 von 36

11 ISTQB Certified Tester Programm (II) Certified Tester Expert Level (in Vorbereitung) Test Manager (ca. 6 Tage) Test Analyst (ca. 6 Tage) Technical Test Analyst (ca. 6 Tage) Testmanager Test Analyst Technical Test Analyst Certified Tester Advanced Level (ca. 18 Tage) Mindestens 18 Monate Berufserfahrung Certified Tester Foundation Level (ca. 4 Tage) Folie 11 von 36

12 ISTQB Merkmale Dachverband für alle nationalen Testing Boards (in Deutschland: German Testing Board, GTB) unabhängige, übergeordnete Instanz Non-Profit Organisation Aufgaben Erstellung und Aktualisierung der Lehrinhalte und Lehrpläne Erstellung und Vereinheitlichung der Prüfungsfragen Festlegung der Verfahren und Prozesse Aufgaben werden im Rahmen Working Parties erarbeitet Informationen über Aufbau und Mitgliedschaft im ISTQB : Folie 12 von 36

13 Agenda Vorstellung Einführung Grundlagen des Testens Der Fundamentale Testprozess Folie 13 von 36

14 Testen: das übliche Vorgehen... (I) Freigabetest... ich sollte mein Programm mal testen nehmen wir mal x = alles klar, funktioniert... x = Absturz!... Hm... natürlich: line 1030 y = c/x;... gut, dann eben noch eine Abfrage rein und raus damit. V5.23 sollte schon längst fertig sein. Folie 14 von 36

15 Testen: das übliche Vorgehen... (II) Produktabnahme... na endlich V wurde auch Zeit... mal probieren Install... Datei Laden scheint zu funktionieren Allgemeine Schutzverletzung?!?... den werd ich gleich mal anrufen:... keine Ahnung was ich eingegeben habe, aber danach ist es abgestürzt!... Ad-hoc-Test Ist besser als nichts zu tun, aber ineffizient, weil unsystematisch, unvollständig und nicht dokumentiert. Folie 15 von 36

16 Anforderungen an SW-Tests Wirksame Tests müssen destruktiv sein und systematisch ablaufen Entwicklung und Test sollen unabhängig sein: zeitlich organisatorisch und personell Unabhängiges Testen - Nutzen der Unabhängigkeit: Finden anderer Fehler Verifizieren d. Annahmen eines anderen Unvoreingenommenheit anderes Hintergrundwissen Folie 16 von 36

17 Beispiele für Softwarefehler Fehler in der On-Board Software des Airbus: Absturz in Warschau Fehler in der Software der Postbank: Falsche Zinsberechnung Fehler in der Billingsoftware der Telekom: Fehlerhafte Berechnung der Telefongebühren Apple Hypercard wurde mit 500 (dem Hersteller) bekannten Fehlern ausgeliefert * Windows 3.1 wurde mit (dem Hersteller) bekannten Fehlern ausgeliefert * *(Quelle: Yourdon, Good enough Software) Folie 17 von 36

18 Gründe für Softwarefehler Wo kommen die Fehler nur her? Entwickler: mein Code ist sauber... Ich glaub nicht, dass da noch Bugs drin sind. Gründe für Fehler: Neue Techniken oder Tools Fehlende oder ungenaue Anforderungen Zu wenig Zeit Irgendwelche Ideen? Überzogene Erwartungen Missverständnisse Komplexe Aufgaben Menschliche Fehler Gehe davon aus, dass Deine Software Fehler enthält! Wenn Du sie finden willst oder musst: Teste Deine Software! Folie 18 von 36

19 Wert und Nutzen von Tests Testen erzeugt Information, indem es Fehlverhalten aufdeckt, Fehlerursachen eingrenzt, korrektes Verhalten nachweist Für bestimmte Aktionen, bestimmte Daten, unter bestimmten Umständen. Testen erlaubt damit auch, Qualität von Software zu messen. Ein Test ist Verschwendung, wenn keine neue Information gewonnen wird, wenn gewonnene Information nicht erfasst wird, wenn kein Risiko darin besteht, nicht zu testen. Folie 19 von 36

20 Definition Testen (I) Definition I Testen = der Prozess, ein Programm auf systematische Weise auszuführen, um Fehler zu finden. nach Myers, G.J.: Methodisches Testen von Programmen, 4. Auflage, Oldenbourg Verlag, München/Wien, 1991 Ein Tester ist dann erfolgreich, wenn er ein Fehlverhalten aufdeckt. Folie 20 von 36

21 Definition Testen (II) Definition II Testen = Jede (i. Allg. stichprobenartige) Ausführung des Prüfgegenstands unter spezifizierten Bedingungen zum Zwecke des Überprüfens der (beobachteten) Ergebnisse des Prüfgegenstandes im Hinblick auf gewisse gewünschte Eigenschaften (Testauswertung). Begriffsdefinitionen im Testbereich: GI-Fachgruppe TAV (Test, Analyse und Verifikation von Software) der Gesellschaft für Informatik (GI) Testen ist ein statistischer Prozess, ein vollständiger Test (erschöpfender Test) (engl. exhaustive testing) ist i.d.r. nicht möglich: Ein Test kann Fehlerfreiheit nicht garantieren oder nachweisen. Folie 21 von 36

22 Agenda Vorstellung Einführung Grundlagen des Testens Der Fundamentale Testprozess Folie 22 von 36

23 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Abschluss Ende Testkonzept/ Mastertestkonzept (engl. test plan), Testpläne Testspezifikationen Testspezifikationen, Testskripte, Testprotokolle,... Testabschlussbericht Auch wenn hier logisch sequentiell aufgelistet, können all diese Testprozessaktivitäten in der Praxis zeitlich überlappend oder parallel stattfinden. Die während des Testprozesses erstellten Dokumente sollen gereviewt werden. Gewöhnlich ist es nötig, Ausprägungen und Reihenfolge dieser Hauptaktivitäten jeweils dem zu testenden System oder dem Projekt anzupassen. Folie 23 von 36

24 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Testplanung Umsetzen der Testrichtlinie und/oder einer übergeordneten Teststrategie. Bestimmen des Umfangs und der Risiken des Testens und Identifikation der Testziele. Auswahl der zu testenden Softwarekomponenten. Definition einer Teststrategie / projektbezogenen Testvorgehensweise, die den wirtschaftlichen und organisatorischen Rahmenbedingungen & den Testzielen angemessen ist (Techniken, Testobjekte, Teams, Testüberdeckung, Testmittel). Abschluss Ende Folie 24 von 36

25 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Abschluss Ende Testplanung (Fortsetzung) Bestimmen und Einplanen benötigter Ressourcen (Mitarbeiter, Zeit, Testumgebung, Infrastruktur). Ggf. Vorsehen notwendiger Schulungsmaßnahmen. Definition der Testorganisation (Einbindung der Entwickler und Fachspezialisten, Testobjektübergabeverfahren, Fehlermeldeverfahren, Testmanagement). Zeitplanung über alle Aktivitäten von Planung bis Bericht. Definition von Eingangskriterien. Definition von Testmetriken zur projektbegleitenden Bewertung von Testfortschritt, Testumfang, Testtiefe etc. Bestimmen der Ausgangskriterien/Testendekriterien (risikoorientiert). Folie 25 von 36

26 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Abschluss Teststeuerung Messen und Analysieren der Testergebnisse mit Hilfe der zuvor festgelegten Metriken. Überwachen und Dokumentieren von Testaktivitäten Testfortschritt, Testüberdeckung/Testabdeckung Ausgangskriterien/Testendekriterien Planabweichungen. Anstoß von Korrekturmaßnahmen (bzgl. Prozess, Plan,...). Entscheiden über Planänderungen. Ende Folie 26 von 36

27 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Abschluss Ende Testanalyse & -entwurf (auf Basis der festgelegten Testziele) Review/Analyse der Testbasis (Anforderungen, Architektur, Design, Schnittstellen). Ggf. Sichten von Produktprototypen. Ggf. Interviews mit sachkundigen Personen (Entwickler, Anwender,...). Bewertung der Testbarkeit von Testbasis und Testobjekten. Identifikation und Priorisierung der Testthemen auf Grundlage der Testobjektanalyse, der Spezifikation, des Verhaltens und der Struktur des Testobjekts. Testentwurf, Erstellung von abstrakten Testfällen und Priorisierung. Identifizierung benötigter Testdaten, um die Definition von Testthemen und Testfällen zu unterstützen. Folie 27 von 36

28 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Testanalyse & -entwurf (Fortsetzung) Entwurf/Spezifikation der Testumgebung inkl. Festlegung benötigter Infrastruktur und Werkzeuge. Ggf. Verfeinern der Zeitplanung. Erzeugen (bzw. Sicherstellung) der Rückverfolgbarkeit zwischen Testbasis und Testfällen in beiden Richtungen. Bewertung von Ausgangskriterien & Bericht Abschluss Ende Folie 28 von 36

29 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Testrealisierung Endgültige Festlegung von Testfällen einschließlich Festlegung der Testdaten konkrete Testfälle Erstellung und Priorisierung der Testabläufe/ Testszenarien. Erstellen und Bereitstellen von Testdaten*. * Eingabe- und Zustandswerte für ein Testobjekt und die Sollwerte oder Istergebnisse nach Ausführung des betreffenden Testfalls. Bewertung von Ausgangskriterien & Bericht Abschluss Ende Folie 29 von 36

30 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Abschluss Ende Testrealisierung (Fortsetzung) Prüfen der Testumgebung/Testinfrastruktur, Sicherstellen der richtigen Konfiguration. Ggf. Aufbau von Testrahmen und Implementieren von Testautomatisierungsskripten. Implementieren von Testabläufen und Zusammenstellung von Testsuiten** (aus bereits vorhandenen Testabläufen) für eine möglichst effiziente Testdurchführung. ** Die Zusammenstellung (Aggregation) mehrerer Testfälle für den Test einer Komponente oder eines Systems, bei der Nachbedingungen des einen Tests als Vorbedingungen des folgenden Tests genutzt werden können. Überprüfung und Aktualisierung der Rückverfolgbarkeit zwischen Testbasis und Testfällen in beide Richtungen. Folie 30 von 36

31 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Abschluss Ende Testdurchführung Prüfen, ob die Voraussetzungen für die Durchführung der Tests gegeben sind: Testumgebung/Testinfrastruktur inkl. Testobjekt gemäß Definition aufgebaut und einsatzbereit Testprogramme, Testskripte,... vorhanden ggf. Test-Systemadministrator verfügbar Fehlermanagementtool zugriffsbereit Manuelles oder automatisiertes Durchführen der Testabläufe - strikt gemäß Testplanung und -spezifikation. Vergleich der tatsächlichen Ergebnisse mit den vorausgesagten (Soll/Ist-Vergleiche). Analyse der Ursachen von Soll/Ist-Abweichungen (Fehlerzustände im Testobjekt oder in Testmitteln). Folie 31 von 36

32 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Abschluss Ende Testdurchführung (Fortsetzung) Berichterstattung über alle Vorfälle, d.h. alle Ereignisse, die während eines Tests auftreten und weiterer Untersuchungen bedürfen [nach IEEE Std 1008]. Protokollierung (für jeden Testfall): Datum des Tests & Testperson verwendete Eingabedaten und Solldaten ID/Version von Testobjekten, Testwerkzeugen und Testmitteln Testergebnisse und Folgeaktionen daraus (z.b. Fehlerberichte, geänderter Testfall) evtl. Fehlerursachen Anmerkung von Besonderheiten Ergebnis ist das Testprotokoll als eine chronologische Aufzeichnung von Einzelheiten über die Testausführung [IEEE Std 829]. Folie 32 von 36

33 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Testdurchführung (Fortsetzung) Erstellung von Fehler- /Abweichungsmeldungen. Ggf. Unterstützung der Entwicklung bei der Fehlerursachenanalyse. Erweiterung der Tests, falls notwendig. Durchführen von Fehlernachtests & Regressionstests zur Bestätigung von Fehlerkorrekturen; oder auch Durchführen korrigierter Testfälle. Bewertung von Ausgangskriterien & Bericht Abschluss Ende Folie 33 von 36

34 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Bewertung von Ausgangskriterien & Bericht (empfohlen für jede Teststufe) Auswertung der Testprotokolle in Hinblick darauf, ob nach den im Testkonzept festgelegten Ausgangskriterien/Testendekriterien das Testende erreicht ist. Erst mit Erreichen der Ausgangskriterien soll das Testobjekt in die nächste Phase gebracht werden. Verfassen eines Testabschlussberichtes an Entscheidungsträger (Ein Dokument, das die Testaktivitäten und -ergebnisse zusammenfasst.) In der Praxis werden auch die Begriffe Test-, Teststatus- bzw. Testfortschrittsbericht verwendet - IEEE 829:2008 benennt auch den Testfortschritts- bzw. Interims Teststatusbericht. Abschluss Ende Folie 34 von 36

35 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Abschluss Ende Testabschluss Prüfen, inwiefern alle geplanten Arbeitsergebnisse erstellt und geliefert wurden. Abschluss von Fehler-/Abweichungsberichten. Ggf. Anstoßen von Änderungsanforderungen für weiter bestehende Fehler/Abweichungen. Dokumentation der Systemabnahme. Dokumentation & Archivieren der Testmittel (Testspezifikationen, Dateien, Testprotokolle, ) und der Testumgebung/Testinfrastruktur, so dass eine Wiederholung von Tests zu einem späteren Zeitpunkt mit den gleichen Daten und Randbedingungen problemlos möglich ist ( Konfigurationsmanagement). Übergabe d. Testmittel an die Wartungsorganisation. Ggf. Testmittel späteren Projekten mit ähnlicher Aufgabenstellung zur Verfügung stellen. Folie 35 von 36

36 Der Fundamentale Testprozess im Überblick Beginn Planung & Steuerung Analyse & Entwurf Realisierung & Durchführung Bewertung von Ausgangskriterien & Bericht Abschluss Ende Testabschluss (Forts.) Analyse und Dokumentation des Gelernten ( lessons learned ) aus allen Testprozessaktivitäten für spätere Releases und Projekte sowie zur Verbesserung der Testprozessfähigkeiten/ Testreife, u.a.: Analyse von Abweichungen zwischen Planung und Umsetzung der einzelnen Aktivitäten inkl. Ermittlung der (vermuteten) Gründe. Betrachtung erzielter Ergebnisse im Verhältnis zu erbrachtem Aufwand. Ein Testabschluss findet statt, wenn... eine Software in Betrieb genommen wird, ein Meilenstein erreicht wird oder ein Testprojekt abgeschlossen (o. abgebrochen) wird ein Wartungs-Release abgeschlossen ist. Folie 36 von 36

37 Haben Sie Fragen oder Anmerkungen? 2013 imbus AG