imbus TestBench Der komplette Testzyklus in einer WorkBench TestBench Januar 2009 TestBench_v1.6.1.ppt

Transkript

1 Der komplette Testzyklus in einer WorkBench TestBench Januar 2009 TestBench_v1.6.1.ppt

2 Probleme beim Softwaretest Können Sie sich auf Ihre Softwaretests verlassen? Oder ist Ihre Test-Suite einsturzgefährdet? Wer ist Ihr Softwaretest-Architekt? Folie 2 von 50

3 Die adressiert diese Herausforderungen! Mit intelligenter Unterstützung in jeder Testprozess-Phase Folie 3 von 50

4 Workflow mit der TestBench Fehler Fehler Management Anforderungs- Management Anforderungs-Trace System- und Produkt- Anforderungen Testspezifikationen Testpläne Testergebnisse Testauswertungen Archiv oder Konfigurations- Management.fdf.pdf Folie 4 von 50

5 Beispiel: Das Testobjekt Der Car Konfigurator als Testobjekt GUI mit mehreren Elementen und mehreren Masken Haupt-Anforderung: Korrekte Preisberechnung Weitere Anforderungen: Gute Bedienbarkeit Korrekte Rechtschreibung Demo-Applikation "Car Konfigurator" Folie 5 von 50

6 Beispiel: Das Testobjekt Der Car Konfigurator als Testobjekt: Beispiel für eine Testlogik Preisberechnung mit Rabatt Anwendung starten Fahrzeug wählen ( Rassant") Sondermodell wählen ( Luxus") Demo-Applikation "Car Konfigurator" Zubehör wählen ( Fußmatten, Beheizbare Außenspiegel") Händler gewährt 8% Rabatt Preis prüfen (18.357,11) Anwendung beenden Für manuellen Test oder automatisierten GUI-Test. Folie 6 von 50

7 Probleme Testplanung Keine Testplanung Wichtige Tests fehlen Tests nicht priorisiert Verantwortung unklar Tests nicht anforderungsbasiert! Festlegen, was zu testen ist Folie 7 von 50

8 Testprozess: Anforderungen Probleme wenn Anforderungen und Tests nicht verknüpft sind: Werden alle Anforderungen getestet? Wie priorisiere ich Tests gemäß der Kritikalität der Anforderungen? Welche Tests muss ich ändern wenn Anforderungen geändert werden? Der Testfortschritt ist nur quantitativ messbar. Folie 8 von 50

9 Testprozess: Anforderungen Anforderungen mit Tests verknüpft anforderungsbasiertes Testen: Abdeckung von Anforderungen durch Tests einfach überprüfbar. Testpriorisierung z.b. durch Filtern nach Anforderungskritikalität. Geänderte Anforderungen: gezielte Änderung einzelner Testelemente. Der Testfortschritt ist auch qualitativ und risikoorientiert als Anforderungsabdeckung messbar. Folie 9 von 50

10 Testprozess: Anforderungen Anforderungen verwenden mit der TestBench 1. Anforderungen erstellen mit Werkzeug der Wahl (CaliberRM, Excel, ) 2. TestBench: Anforderungen importieren 3. TestBench: Anforderungen n-zu-m mit Tests verknüpfen Anforderungen per Drag&Drop zuordnen Mehr müssen Sie zunächst nicht tun! 2008 imbus AG Der komplette Testzyklus in einer WorkBench Folie 10 von 50

11 Testprozess: Anforderungen Anforderungsbasiert Filtern.... und Aktivitäten planen Folie 11 von 50

12 Testprozess: Anforderungen Anforderungen verwenden mit der TestBench Mit Spezifikation beginnen sobald erste Anforderungen bereit stehen. Spezifikationsfortschritt (abgedeckte Anforderungen) einfach verfolgen. Keine Anforderung vergessen. Bei geänderten Anforderungen nur betroffene Elemente bearbeiten. Die Anforderungsverknüpfung bietet alle Voraussetzungen für anforderungsbasiertes Reporting imbus AG Der komplette Testzyklus in einer WorkBench Folie 12 von 50

13 Testprozess: Testplanung Aufgaben der Testplanung Zeitliche Planung Inhaltliche Planung Freigabe zur Bearbeitung Priorisierung Zuordnung zu Bearbeitern Ressourcenzuordnung (von z.b. Testlabor-Ressourcen) Separate Planung Testdesign / Durchführung Folie 13 von 50

14 Testprozess: Testplanung TestBench: Gezielte Bearbeitung der Planungselemente Testthemenbaum mit Testfallsätzen Selektiv (für einzelne Tests, für Teilbäume oder für gefilterte Teilmengen) einstellbar. Planungselemente in Design und Durchführung sind unabhängig voneinander. separate Planung Testdesign / Durchführung Unabhängigkeit Design / Durchführung 2008 imbus AG Der komplette Testzyklus in einer WorkBench Folie 14 von 50

15 Testprozess: Testplanung TestBench Testplanung: Statusmodell Status eines Testfallsatzes Unter anderem für Freigabe zur Bearbeitung mittels Status "nicht geplant" und "geplant". Statusmodell (Ausschnitt) Arbeitsplanung 2008 imbus AG Der komplette Testzyklus in einer WorkBench Folie 15 von 50

16 Testprozess: Testplanung TestBench Testplanung: Verwaltungsinformationen Verantwortlicher, Fälligkeit, Priorität, Status, Reviewer. Verwaltungsinformationen Testfallsatz Zeitliche Planung, Priorisierung, Zuordnung, Freigabeplanung 2008 imbus AG Der komplette Testzyklus in einer WorkBench Folie 16 von 50

17 Testprozess: Testplanung TestBench Testplanung: Keywords, benutzerdefinierte Felder Keywords, benutzerdefinierte Felder Keywords zum Beispiel für Zuordnung zu Ressourcen. Beispiel: Keyword "Client/Server". Benutzerdefinierte Felder zum Beispiel zur Planung von Milestones. Inhaltliche Planung, Ressourcenzuordnung u.v.m imbus AG Der komplette Testzyklus in einer WorkBench Folie 17 von 50

18 Testprozess: Testplanung Testthemenbaum mit Testfallsätzen TestBench: Bearbeitung Kapitel als hierarchische Baumstruktur Testfälle als Blattknoten Farbliche Markierungen für Sperrstatus Bearbeitungsstatus Durchführungsstatus Globale Operationen über (Teil-) Bäume Sperren / Entsperren Attribute setzen Filtern Berichten/Exportieren Folie 18 von 50

19 Probleme Testspezifikation Keine gemeinsame Sprache zwischen IT und Fachbereich Testlogik veraltet Testdaten fehlen Sollverhalten unklar Tests ungenau oder falsch Festlegen, wie die Tests auszuführen sind Folie 19 von 50

20 Anforderungsbasierter Testfallentwurf Anforderungsanalyse Testfallentwurf Formulierung Klassifikation Strukturierung Verfeinerung Terminierung Priorisierung frühzeitige Verifikation Req. Anforderungsbaum Testthemen Testfallsätze Frühzeitige Spezifikation Folie 20 von 50

21 Testprozess: Analyse und Testdesign Fahrzeugtyp konfigurieren auswählen Sondermodell (einschl. Zubehör) konfigurieren auswählen Beispiel für eine Testlogik: Preisberechnung ohne Rabatt Anwendung starten Fahrzeug wählen("minirolf") ") Sondermodell wählen("gomera") ") Zubehör r wählen("abs,klima") w Preis prüfen( ) Anwendung beenden Zubehör konfigurieren auswählen Rabatt gewähren Endpreis berechnen (und prüfen) Legende: <Datentyp> <Interaktion> Folie 21 von 50

22 TestBench Testspezifikation Textuelle Beschreibungen auf allen Ebenen der Tests und in allen Sichten: Folie 22 von 50

23 TestBench Testspezifikation Testdesign in der TestBench Leistungsfähiges und skalierbares Schema zum Design von Tests: Textblöcke als Testschritte Prosa-Testspezifikation Textblöcke als Testschritte Formal spezifizierte Testschritte: parametrierbare Interaktionen Test-Vorschau jederzeit möglich Formal spezifizierte Testschritte 2008 imbus AG Der komplette Testzyklus in einer WorkBench Folie 23 von 50

24 Testprozess: Analyse und Testdesign Preis berechnen ohne Rabatt: Anwendung starten Testthemen, -fälle, Fahrzeug wählen (Modell) Sondermodell -prioritäten, wählen -logik, (SonderMod) Zubehör -daten, wählen -ergebnisse, (Ausstatt_Lst).. Preis prüfen (PreisSoll) Anwendung beenden Testfallparameter Interaktion Modell SonderMod Ausstatt_Lst PreisSoll Anwendung_ Minigolf Anwendung_ usw. usw. starten() Minigolf beenden() Gomera ABS, Spiegel Prolo Mallorca Lenkrad Testautomatisierung Car Configurator Folie 24 von 50

25 TestBench Verwendung von Parametern Unterstützung zur Spezifikation von datengetriebenen Tests: Definition der Parameterschnittstelle: Festlegen der auszuführenden Testfälle als Parameterkombinationen: Folie 25 von 50

26 TestBench Testelemente Testdesign in der TestBench Testelemente-Repository, Äquivalenzklassen-Methode und datengetriebenes Testen: Testelemente-Repository und Interaktion Frei parametierbare Interaktionen Frei definierbare Datentypen Daten angelegt in Äquivalenzklassen Vor- und Nachbedingungen 2008 imbus AG Der komplette Testzyklus in einer WorkBench Folie 26 von 50

27 TestBench Tests simulieren Tests können innerhalb der Spezifikation aufgerufen werden. Der TestDesigner hat somit die Möglichkeit den spezifizierten Ablauf zu simulieren. Folie 27 von 50

28 Testprozess: Analyse und Testdesign Testdesign in der TestBench Fortgeschrittene Werkzeuge: Interaktionen Testlogik Abstrakte Datentypen Parametertabellen Testspezifikation auf unterschiedlichen Abstraktionsebenen Spezifikation mittels Drag&Drop Zusammengesetzte Interaktionen und Datentypen Daten-Tabellen für Schleifen über einen oder mehrere Testschritte Verwendungs-Nachweis zur Analyse der Folgen von Änderungen Optimale Voraussetzungen für eine wartbare Testautomatisierung 2008 imbus AG Der komplette Testzyklus in einer WorkBench Folie 28 von 50

29 TestBench Wiederverwenden von Testelementen Tests und Testelemente können wieder verwendet werden als Referenz Testelemente und logische Testfälle werden referenziert, d.h. es existiert nur eine Instanz, auf die verwiesen wird. Ändert sich die Instanz bedeutet das eine automatische Änderung aller ihrer Verwendungen Kopie (Duplikat) Testelemente und logische Testfälle werden kopiert Änderungen der Quelle verändern die Kopie nicht Initialisieren Spezialfall der Kopie, bedeutet, dass nur der äußere Rahmen der Quelle kopiert wird, nicht aber die innere Logik Folie 29 von 50

30 Testprozess: Analyse und Testdesign Testdesign in der TestBench Zusammenfassung: Tests in Sprache der Fachtester Tests exakt, ohne Interpretations-Spielraum beschrieben und jederzeit nachweisbar Vorab-Definition der für den Test verwendbaren Testdaten Tests einfach und personen-unabhängig wartbar Tests einfach automatisierbar Folie 30 von 50

31 Probleme Testautomatisierung Test-Scripte nicht lauffähig Hoher Anpassungs- aufwand bei neuer Testobjektversion Monolithische Test-Scripte Testautomatisierung unwirtschaftlich Programmierung der Tests für automatischen Ablauf Folie 31 von 50

32 TestBench Tests automatisieren Domainexperte Geschäftsobjekte Abstrakter Datentyp Geschäftsprozesse Interaktion Testlogik Parameter Testexperte Testautomatisierungsexperte Interaktionen und Treiber Testobjekt Folie 32 von 50

33 Probleme Testdurchführung Unklare Testanweisung Falsche Testdaten Ungenaue Testausführung Lückenhafte Protokollierung Tests und Fehler nicht reproduzierbar Ausführung der Tests, manuell oder rechnergesteuert Folie 33 von 50

34 Testprozess Testautomation starten Domainexperte Geschäftsobjekte Abstrakter Datentyp Geschäftsprozesse Interaktion Testlogik Parameter Test Execution Engine Logfile Testexperte Testautomatisierungsexperte Interaktionen und Treiber Testobjekt Folie 34 von 50

35 Testprozess Tests manuell ausführen Domainexperte Geschäftsobjekte Abstrakter Datentyp Geschäftsprozesse Interaktion Testlogik Parameter Testexperte Testdurchführungsassistent Test Execution Engine Logfile Manueller Tester Testobjekt Folie 35 von 50

36 TestBench Assistent itorx* Benutzer initiiert Durchführung Tester führt Tests durch Tester speichert Testergebnisse Testergebnisse werden von TestBench übernommen * imbus Testassistant for Online and Remote execution Folie 36 von 50

37 TestBench : Testdurchführung Testdurchführung mit itorx, itep und der TestBench itorx Hauptfenster und 3 Detailfenster (von derzeit 15) Integrierter Durchführungsassistent itorx Darstellung konfigurierbar für verschiedene Anwendungsszenarien Durchführungsassistent offline verwendbar Alternativ: Alle gängigen Testautomatisierungswerkzeuge anbindbar über itep 2008 imbus AG Der komplette Testzyklus in einer WorkBench Folie 37 von 50

38 TestBench itorx Starten Tests können nach ihrer Durchführung fortgesetzt oder schreibgeschützt betrachtet werden. Folie 38 von 50

39 TestBench Fehlermanagement Fehleranalyse Testdurchführung Fehler Testfälle durchführen Übertragung der Fehler Erfassen von Fehlern Status Priorität Klasse Folie 39 von 50

40 TestBench Fehlerbasierte Testplanung Fehleranalyse Testdurchführungsplanung Status Priorität Fehler Status Test durchzuführende Testthemen Fehlernachtests Testfälle Klasse Status DONE/FLOP Filterung Testfälle durchführen Aktualisierung des Status Folie 40 von 50

41 Probleme Testmanagement Testfortschritt unklar Verantwortlichkeit unklar Testprotokolle fehlen Testabdeckung unbekannt Unklare Testberichte Produktfreigabe aus dem Bauch heraus Steuerung von Tests und Testteam Folie 41 von 50

42 TestBench Abdeckungsanalyse Anforderungsanalyse Testfallanalyse Statusanalyse Req. Testdurchführungsstatus Abdeckungsanalyse Filterung und Reporting Folie 42 von 50

43 Testprozess: Testauswertung Aufgaben der Testauswertung Status-Auswertungen: Designstatus Durchführungsstatus Aktuelle Fehlerdichte Fortschritts-Berichte Anforderungsabdeckung Produktreife (gemessen in xxx) Folie 43 von 50

44 Testprozess: Testauswertung TestBench: Testauswertung Testfälle Testentwurfs-Verifikation Fehler 1.1 TFS TFS TFS TFS TFS TFS 6 Alle sichtbaren Elemente als möglicher Input für Reports XSLT Reporting-Engine mit offengelegter Schnittstelle Berichtsausgabe als PDF, XML, Excel oder HTML Mitgelieferte Berichtstemplates frei modifizierbar Flexible Filterung von Elementen vor der Berichtserstellung 2008 imbus AG Der komplette Testzyklus in einer WorkBench Folie 44 von 50

45 TestBench: Versionierung Testobjektversionen: Versionierung des Testdesigns entsprechend von Produktversionen Testdesign für neues Produktrelease ausgehend von Kopie des letzten Testdesigns erstellen Testzyklen: Versionierung der Testergebnisse entsprechend von Entwicklungsversionen Leeren Testzyklus erstellen z.b. für komplette Testwiederholung Testzyklus auf Basis des letzten Testzyklus, alle Tests mit Status durchgeführt & nicht PASS auf geplant für Fehlernachtest. Folie 45 von 50

46 TestBench: Versionierung Versionierung von Elementen Bei Ergebnisvergabe werden alle im Test verwendeten Elemente schreibgeschützt in der Datenbank versioniert vollständige Reproduzierbarkeit von Tests Bei Freigabe des Testdesigns alle im Test verwendeten Elemente schreibgeschützt in der Datenbank versioniert freigegebene Versionen sind stets 100% wiederherstellbar Jederzeit manuelle Versionierung von Testdesign oder Testdurchführung möglich Intelligente Referenztechnologie minimiert Speicherbedarf für Versionen in der Datenbank SOX-, Basel II oder FDA-konforme Prozesse leicht abbildbar Folie 46 von 50

47 Testprozess: Regression Regressions- und Nachtests Regressionstests Erneute vollständige oder teilweise Testdurchführung mit aktualisierter Software Testergebnisse unabhängig von bisherigen Ergebnissen verwalten Nachtests Erneute Durchführung bestimmter Tests, zum Beispiel "alle FAIL" Testergebnisse mit bisherigen Ergebnissen kombiniert auswerten Folie 47 von 50

48 Testprozess: Regression TestBench: Testobjektversion Testobjektversionen: Für Tests von Software-Versionen mit erweiterter oder geänderter Funktionalität Bestehende Testobjektversion incl. Testzyklus kopieren um Testdesign und letzten Teststand zu erhalten Testobjektversion incl. Testzyklus kopieren Designstatus gezielt ändern z.b. gemäß der Anforderungsaktualität Filter anwenden zur Selektion zu ändernder und erneut durchzuführender Tests 2008 imbus AG Der komplette Testzyklus in einer WorkBench Folie 48 von 50

49 TestBench - Highlights Zentrales objektorientiertes Testware-Repository Versionsmanagement und Statuskontrolle je Testfall Zugriffsschutz über Rechteund Rollenmodell Parametrierbare Filter Reportgenerator Formales Testdesign mit abstrakten Datentypen Testdatenspezifikation über Äquivalenzklassenzerlegung Interaktionsmethode unterstützt Workflow- bzw. Use-Case-basiertes Testen Unterstützt manuellen und automatisierten Test Lizenzfreier offline Testassistent Steuert alle marktgängigen Testroboter Integriert Fehlermanagement- Werkzeuge Integriert Anforderungsmanagement- Werkzeuge Java-basiert, plattformunabhängig, internetfähig Erstklassiges Preis- Leistungsverhältnis (Mietmodell) Einführungsunterstützung Folie 49 von 50

50 imbus AG Kleinseebacher Str Möhrendorf DEUTSCHLAND Tel Fax Geschäftsstellen: imbus AG Unter der Linde München DEUTSCHLAND Tel Fax imbus Rhein-Main GmbH Zanggasse Hofheim DEUTSCHLAND Tel Fax imbus Rheinland GmbH Volksgartenstr Köln DEUTSCHLAND Tel Fax info@imbus.de imbus AG Kontakt Folie 50 von 50

51 TestBench - für alle Testaktivitäten Releasepläne und Testobjekte verwalten Testthemen auflisten, priorisieren und Testobjekten zuordnen Testaufgaben im Team zuweisen Gewährleistet eine geplante Test- Architektur und Aufgabenverteilung. Beliebige Test-Teilmengen filtern und zu zielgerichteten Testläufen zusammenstellen Testläufe für manuellen oder automatisierten Test starten Testergebnisse erfassen und archivieren Nutzt die durchgängige Test- Architektur für effiziente Testläufe. Fortschritt der Testentwicklung verfolgen und Änderungsbedarf ermitteln Testergebnisse auswerten und anzeigen Testberichte generieren u. kommunizieren Nutzt die transparente Test-Architektur für lückenlose Fortschrittskontrolle. Testfälle durch Äquivalenzklassenzerlegung systematisch herleiten Testdaten formal definieren und kapseln (abstrakte Datentypen) Testfälle in Interaktionsschritte gliedern Geschäftsprozesse aus elementaren Interaktionsschritten modellieren Testfälle kontrolliert ändern (Versionsverwaltung) Gewährleistet robuste Test-Architektur. Robust gegen Veränderung des Testobjektes, von Testfällen o. Testdaten. Alle Testscripte in der TestBench verwalten, versionieren und Änderungen nachvollziehbar halten Testscripte modular erstellen und wiederverwenden 2009 imbus AG Externe Testroboter ansteuern Gewährleistet eine kostengünstige Test-Architektur mit niedrigem Wartungsaufwand. Der komplette Testzyklus in einer WorkBench Folie 50.1 von 50+3

52 Aktivitätsstatus Verdiktstatus Blockadestatus Testmanager entscheidet: Testfall soll durchgeführt werden Testmanaer weist Bearbeiter zu oder Bearbeiter trägt sich ein Bearbeiter beginnt die Testdurchführung Nicht geplant geplant zugewiesen automatisch Kann gesetzt werden undefiniert blockiert Testfall kann nicht beendet werden laufend Testfall vollständig durchgeführt abgebrochen durchgeführt Zu prüfen Nicht blockiert PASS FAIL Folie 50.2 von 50+3

53 TestBench Statusmodell Testmanager oder Testdesigner ordnet den Testfall einem Bearbeiter zu Bearbeiter ändert den Testfall erstmals Bearbeiter oder Testmanager hat vorher Reviewer zugeordnet UND Bearbeiter setzt Status manuell um nicht geplant Status können übersprungen werden Änderungen können auf Teilmengen angewendet werden (Filterung) geplant Testmanager oder Bearbeiter setzt manuell um in Bearbeitung Bearbeiter legt neue Version an in Review freigegeben Bearbeiter o. Reviewer setzt Status manuell Version wird automatisch eingecheckt Folie 50.3 von 50+3