TestBench 1.6.1 Januar 2009; Version für Vorlesung SEW adaptiert TestBench_v1.6.1.ppt Probleme beim Softwaretest Können Sie sich auf Ihre Softwaretests verlassen? Oder ist Ihre Test-Suite einsturzgefährdet? Wer ist Ihr Softwaretest-Architekt? Folie 2 von 54
Die adressiert diese Herausforderungen! Mit intelligenter Unterstützung in jeder Testprozess-Phase Folie 3 von 54 Workflow mit der TestBench Fehler Fehler Management Anforderungs-Trace System- und ProduktAnforderungen Testspezifikationen Testpläne Testergebnisse AnforderungsManagement Testauswertungen.pdf Archiv oder KonfigurationsManagement.fdf Folie 4 von 54
Beispiel: Das Testobjekt Der Car Konfigurator als Testobjekt GUI mit mehreren Elementen und mehreren Masken Haupt-Anforderung: Korrekte Preisberechnung Weitere Anforderungen: Gute Bedienbarkeit Korrekte Rechtschreibung Demo-Applikation "Car Konfigurator" Folie 5 von 54 Beispiel: Das Testobjekt Der Car Konfigurator als Testobjekt: Beispiel für eine Testlogik Preisberechnung mit Rabatt Anwendung starten Fahrzeug wählen ( Rassant") Demo-Applikation "Car Konfigurator" Sondermodell wählen ( Luxus") Zubehör wählen ( Fußmatten, Beheizbare Außenspiegel") Händler gewährt 8% Rabatt Preis prüfen (18.357,11) Anwendung beenden Für manuellen Test oder automatisierten GUI-Test. Folie 6 von 54
Probleme Testplanung Keine Testplanung Wichtige Tests fehlen Tests nicht priorisiert Verantwortung unklar Tests nicht anforderungsbasiert! Festlegen, was zu testen ist Folie 7 von 54 Testprozess: Anforderungen Probleme wenn Anforderungen und Tests nicht verknüpft sind: Werden alle Anforderungen getestet? Wie priorisiere ich Tests gemäß der Kritikalität der Anforderungen? Welche Tests muss ich ändern wenn Anforderungen geändert werden? Der Testfortschritt ist nur quantitativ messbar. Folie 8 von 54
Testprozess: Anforderungen Anforderungen mit Tests verknüpft anforderungsbasiertes Testen: Abdeckung von Anforderungen durch Tests einfach überprüfbar. Testpriorisierung z.b. durch Filtern nach Anforderungskritikalität. Geänderte Anforderungen: gezielte Änderung einzelner Testelemente. Der Testfortschritt ist auch qualitativ und risikoorientiert als Anforderungsabdeckung messbar. Folie 9 von 54 Testprozess: Anforderungen Anforderungen verwenden mit der TestBench 1. Anforderungen erstellen mit Werkzeug der Wahl (CaliberRM, Excel, ) 2. TestBench: Anforderungen importieren 3. TestBench: Anforderungen n-zu-m mit Tests verknüpfen Anforderungen per Drag&Drop zuordnen 2008 imbus AG Mehr müssen Sie zunächst nicht tun! Folie 10 von 54
Testprozess: Anforderungen Anforderungsbasiert Filtern.... und Aktivitäten planen Folie 11 von 54 Testprozess: Anforderungen Anforderungen verwenden mit der TestBench Mit Spezifikation beginnen sobald erste Anforderungen bereit stehen. Spezifikationsfortschritt (abgedeckte Anforderungen) einfach verfolgen. Keine Anforderung vergessen. Bei geänderten Anforderungen nur betroffene Elemente bearbeiten. Die Anforderungsverknüpfung bietet alle Voraussetzungen für anforderungsbasiertes Reporting. 2008 imbus AG Folie 12 von 54
Testprozess: Testplanung Aufgaben der Testplanung Zeitliche Planung Inhaltliche Planung Freigabe zur Bearbeitung Priorisierung Zuordnung zu Bearbeitern Ressourcenzuordnung (von z.b. Testlabor-Ressourcen) Separate Planung Testdesign / Durchführung Folie 13 von 54 Testprozess: Testplanung TestBench: Gezielte Bearbeitung der Planungselemente Testthemenbaum mit Testfallsätzen Selektiv (für einzelne Tests, für Teilbäume oder für gefilterte Teilmengen) einstellbar. Planungselemente in Design und Durchführung sind unabhängig voneinander. separate Planung Testdesign / Durchführung Unabhängigkeit Design / Durchführung 2008 imbus AG Folie 14 von 54
Testprozess: Testplanung TestBench Testplanung: Statusmodell Unter anderem für Freigabe zur Bearbeitung mittels Status "nicht geplant" und "geplant". Status eines Testfallsatzes Arbeitsplanung Statusmodell (Ausschnitt) 2008 imbus AG Folie 15 von 54 TestBench Statusmodell Bearbeiter ändert den Testfall erstmals Testmanager oder Testdesigner ordnet den Testfall einem Bearbeiter zu nicht geplant Status können übersprungen werden Änderungen können auf Teilmengen angewendet werden (Filterung) geplant Bearbeiter oder Testmanager hat vorher Reviewer zugeordnet UND Bearbeiter setzt Status manuell um in Bearbeitung in Review Bearbeiter o. Reviewer setzt Status manuell Testmanager oder Bearbeiter setzt manuell um Bearbeiter legt neue Version an Version wird automatisch eingecheckt freigegeben Folie 54.3 von 54+3
Aktivitätsstatus Verdiktstatus Blockadestatus Nicht geplant Testmanager entscheidet: Testfall soll durchgeführt werden Testmanaer weist Bearbeiter zu oder Bearbeiter trägt sich ein Kann gesetzt werden geplant blockiert undefiniert zugewiesen automatisch Bearbeiter beginnt die Testdurchführung laufend Testfall kann nicht beendet werden abgebrochen Testfall vollständig durchgeführt durchgeführt Zu prüfen PASS Nicht blockiert FAIL Folie 54.2 von 54+3 Testprozess: Testplanung TestBench Testplanung: Verwaltungsinformationen Verantwortlicher, Fälligkeit, Priorität, Status, Reviewer. Verwaltungsinformationen Testfallsatz Zeitliche Planung, Priorisierung, Zuordnung, Freigabeplanung 2008 imbus AG Folie 16 von 54
Testprozess: Testplanung TestBench Testplanung: Keywords, benutzerdefinierte Felder Keywords, benutzerdefinierte Felder Keywords zum Beispiel für Zuordnung zu Ressourcen. Beispiel: Keyword "Client/Server". Benutzerdefinierte Felder zum Beispiel zur Planung von Milestones. Inhaltliche Planung, Ressourcenzuordnung u.v.m. 2008 imbus AG Folie 17 von 54 Testprozess: Testplanung Testthemenbaum mit Testfallsätzen TestBench: Bearbeitung Kapitel als hierarchische Baumstruktur Testfälle als Blattknoten Farbliche Markierungen für Sperrstatus Bearbeitungsstatus Durchführungsstatus Globale Operationen über (Teil-) Bäume Sperren / Entsperren Attribute setzen Filtern Berichten/Exportieren Folie 18 von 54
Probleme Testspezifikation Keine gemeinsame Sprache zwischen IT und Fachbereich Testlogik veraltet Testdaten fehlen Sollverhalten unklar Tests ungenau oder falsch Festlegen, wie die Tests auszuführen sind Folie 19 von 54 Anforderungsbasierter Testfallentwurf Anforderungsanalyse Testfallentwurf Formulierung Klassifikation Strukturierung Verfeinerung Req. Testthemen AnforderungsTestfallsätze baum Terminierung Priorisierung frühzeitige Verifikation Frühzeitige Spezifikation Folie 20 von 54
Testprozess: Analyse und Testdesign Fahrzeugtyp Zubehör konfigurieren auswählen konfigurieren auswählen Rabatt gewähren Sondermodell (einschl. Zubehör) konfigurieren auswählen Endpreis berechnen (und prüfen) Beispiel für eine Testlogik: Preisberechnung ohne Rabatt Legende: Anwendung starten Fahrzeug wählen("minirolf") Sondermodell wählen("gomera") Zubehör wählen("abs,klima") Preis prüfen(15827.40) Anwendung beenden <Datentyp> <Interaktion> Folie 21 von 54 TestBench Testspezifikation Textuelle Beschreibungen auf allen Ebenen der Tests und in allen Sichten: Folie 22 von 54
TestBench Testspezifikation Testdesign in der TestBench Leistungsfähiges und skalierbares Schema zum Design von Tests: Textblöcke als Testschritte Prosa-Testspezifikation Textblöcke als Testschritte Formal spezifizierte Testschritte: parametrierbare Interaktionen Test-Vorschau jederzeit möglich Formal spezifizierte Testschritte 2008 imbus AG Folie 23 von 54 Testprozess: Analyse und Testdesign Preis berechnen ohne Rabatt: Anwendung starten Fahrzeug wählen (Modell) Sondermodell wählen (SonderMod) Zubehör wählen (Ausstatt_Lst) Preis prüfen (PreisSoll) Anwendung beenden Testthemen, -fälle, -prioritäten, -logik, -daten, -ergebnisse,.. Interaktion Modell Minigolf Minigolf Prolo Anwendung_ starten() Testfallparameter SonderMod Gomera Mallorca Anwendung_ beenden() Ausstatt_Lst PreisSoll 13349.00 ABS, Spiegel 15827.40 Lenkrad 9999.99 usw. usw. Testautomatisierung Car Configurator Folie 24 von 54
TestBench Verwendung von Parametern Unterstützung zur Spezifikation von datengetriebenen Tests: Definition der Parameterschnittstelle: Festlegen der auszuführenden Testfälle als Parameterkombinationen: Folie 25 von 54 TestBench Testelemente Testdesign in der TestBench Testelemente-Repository, Äquivalenzklassen-Methode und datengetriebenes Testen: Testelemente-Repository und Interaktion 2008 imbus AG Frei parametierbare Interaktionen Frei definierbare Datentypen Daten angelegt in Äquivalenzklassen Vor- und Nachbedingungen Folie 26 von 54
TestBench Tests simulieren Tests können innerhalb der Spezifikation aufgerufen werden. Der TestDesigner hat somit die Möglichkeit den spezifizierten Ablauf zu simulieren. Folie 27 von 54 Testprozess: Analyse und Testdesign Testdesign in der TestBench Fortgeschrittene Werkzeuge: Interaktionen Testlogik Abstrakte Datentypen Parametertabellen Testspezifikation auf unterschiedlichen Abstraktionsebenen 2008 imbus AG Spezifikation mittels Drag&Drop Zusammengesetzte Interaktionen und Datentypen Daten-Tabellen für Schleifen über einen oder mehrere Testschritte Verwendungs-Nachweis zur Analyse der Folgen von Änderungen Optimale Voraussetzungen für eine wartbare Testautomatisierung Folie 28 von 54
TestBench Wiederverwenden von Testelementen Tests und Testelemente können wieder verwendet werden als Referenz Testelemente und logische Testfälle werden referenziert, d.h. es existiert nur eine Instanz, auf die verwiesen wird. Ändert sich die Instanz bedeutet das eine automatische Änderung aller ihrer Verwendungen Kopie (Duplikat) Testelemente und logische Testfälle werden kopiert Änderungen der Quelle verändern die Kopie nicht Initialisieren Spezialfall der Kopie, bedeutet, dass nur der äußere Rahmen der Quelle kopiert wird, nicht aber die innere Logik Folie 29 von 54 Testprozess: Analyse und Testdesign Testdesign in der TestBench Zusammenfassung: Tests in Sprache der Fachtester Tests exakt, ohne Interpretations-Spielraum beschrieben und jederzeit nachweisbar Vorab-Definition der für den Test verwendbaren Testdaten Tests einfach und personen-unabhängig wartbar Tests einfach automatisierbar Folie 30 von 54
Probleme Testautomatisierung Test-Scripte nicht lauffähig Hoher Anpassungsaufwand bei neuer Testobjektversion Monolithische Test-Scripte Testautomatisierung unwirtschaftlich Programmierung der Tests für automatischen Ablauf Folie 31 von 54 TestBench Tests automatisieren Geschäftsobjekte Domainexperte Abstrakter Datentyp Testexperte Parameter Testlogik Geschäftsprozesse Interaktion Testautomatisierungsexperte Interaktionen und Treiber Testobjekt Folie 32 von 54
TestBench abstrakter Testautomat TestBench XML Export itep* oder eigner Konverter it EP XM L XML itep.dll Treiber itep Wrapper Test Roboter System unter Test Elementare Interaktionen/ Treiber z.b. Java/C++ API, TCP/IP, GUI System unter Test z.b. IBM Rational Robot, HP Winrunner/QuickTestPro Borland SilkTest, Visual Basic/COM NI TestStand, NI LabView, S.E.A. TestMaster,... * imbus Test Execution Plugin Folie 33 von 54 Probleme Testdurchführung Unklare Testanweisung Falsche Testdaten Ungenaue Testausführung Lückenhafte Protokollierung Tests und Fehler nicht reproduzierbar Ausführung der Tests, manuell oder rechnergesteuert Folie 34 von 54
Testprozess Testautomation starten Geschäftsobjekte Abstrakter Datentyp Domainexperte Testexperte Parameter Testlogik Geschäftsprozesse Interaktion Test Execution Engine Testautomatisierungsexperte Logfile Interaktionen und Treiber Testobjekt Folie 35 von 54 Testprozess Tests manuell ausführen Geschäftsobjekte Domainexperte Abstrakter Datentyp Testexperte Geschäftsprozesse Interaktion Testdurchführungsassistent Test Execution Engine Manueller Tester Parameter Testlogik Logfil e Testobjekt Folie 36 von 54
TestBench Assistent itorx* Benutzer initiiert Durchführung Tester führt Tests durch Tester speichert Testergebnisse Testergebnisse werden von TestBench übernommen * imbus Testassistant for Online and Remote execution Folie 37 von 54 TestBench : Testdurchführung Testdurchführung mit itorx, itep und der TestBench itorx Hauptfenster und 3 Detailfenster (von derzeit 15) 2008 imbus AG Integrierter Durchführungsassistent itorx Darstellung konfigurierbar für verschiedene Anwendungsszenarien Durchführungsassistent offline verwendbar Alternativ: Alle gängigen Testautomatisierungswerkzeuge anbindbar über itep Folie 38 von 54
TestBench itorx Starten Tests können nach ihrer Durchführung fortgesetzt oder schreibgeschützt betrachtet werden. Folie 39 von 54 TestBench Fehlermanagement Fehleranalyse Testdurchführung Fehler Testfälle durchführen Erfassen von Fehlern Übertragung der Fehler Status Priorität Klasse Folie 40 von 54
TestBench Fehlerbasierte Testplanung Testdurchführungsplanung Fehleranalyse Status Status Test durchzuführende Testthemen Fehlernachtests Testfälle Fehler Priorität Klasse Testfälle Filterung durchführen Status DONE/FLOP Aktualisierung des Status Folie 41 von 54 Probleme Testmanagement Testfortschritt unklar Verantwortlichkeit unklar Testprotokolle fehlen Testabdeckung unbekannt Unklare Testberichte Produktfreigabe aus dem Bauch heraus Steuerung von Tests und Testteam Folie 42 von 54
TestBench Abdeckungsanalyse Anforderungsanalyse Statusanalyse Testfallanalyse Req. AbdeckungsTestdurchführungsanalyse status Filterung und Reporting Folie 43 von 54 Testprozess: Testauswertung Aufgaben der Testauswertung Status-Auswertungen: Designstatus Durchführungsstatus Aktuelle Fehlerdichte Fortschritts-Berichte Anforderungsabdeckung Produktreife (gemessen in xxx) Folie 44 von 54
Testprozess: Testauswertung TestBench: Testauswertung Testentwurfs-Verifikation 30 1.2 Testfälle 25 20 15 1.1 1.3 1.6 10 1.5 1.4 5 0 0 1 2 3 4 5 6 1.4 TFS 4 1.5 TFS 5 1.6 TFS 6 Fehler 1.1 TFS 1 2008 imbus AG 1.2 TFS 2 1.3 TFS 3 7 Alle sichtbaren Elemente als möglicher Input für Reports XSLT Reporting-Engine mit offengelegter Schnittstelle Berichtsausgabe als PDF, XML, Excel oder HTML Mitgelieferte Berichtstemplates frei modifizierbar Flexible Filterung von Elementen vor der Berichtserstellung Folie 45 von 54 TestBench: Versionierung Testobjektversionen: Versionierung des Testdesigns entsprechend von Produktversionen Testdesign für neues Produktrelease ausgehend von Kopie des letzten Testdesigns erstellen Testzyklen: Versionierung der Testergebnisse entsprechend von Entwicklungsversionen Leeren Testzyklus erstellen z.b. für komplette Testwiederholung Testzyklus auf Basis des letzten Testzyklus, alle Tests mit Status durchgeführt & nicht PASS auf geplant für Fehlernachtest. Folie 46 von 54
TestBench: Versionierung Versionierung von Elementen Bei Ergebnisvergabe werden alle im Test verwendeten Elemente schreibgeschützt in der Datenbank versioniert vollständige Reproduzierbarkeit von Tests Bei Freigabe des Testdesigns alle im Test verwendeten Elemente schreibgeschützt in der Datenbank versioniert freigegebene Versionen sind stets 100% wiederherstellbar Jederzeit manuelle Versionierung von Testdesign oder Testdurchführung möglich Intelligente Referenztechnologie minimiert Speicherbedarf für Versionen in der Datenbank SOX-, Basel II oder FDA-konforme Prozesse leicht abbildbar Folie 47 von 54 Testprozess: Regression Regressions- und Nachtests Regressionstests Erneute vollständige oder teilweise Testdurchführung mit aktualisierter Software Testergebnisse unabhängig von bisherigen Ergebnissen verwalten Nachtests Erneute Durchführung bestimmter Tests, zum Beispiel "alle FAIL" Testergebnisse mit bisherigen Ergebnissen kombiniert auswerten Folie 48 von 54
Testprozess: Regression TestBench: Testobjektversion Testobjektversionen: Für Tests von Software-Versionen mit erweiterter oder geänderter Funktionalität Bestehende Testobjektversion incl. Testzyklus kopieren um Testdesign und letzten Teststand zu erhalten Designstatus gezielt ändern z.b. gemäß der Anforderungsaktualität Filter anwenden zur Selektion zu ändernder und erneut durchzuführender Tests Testobjektversion incl. Testzyklus kopieren 2008 imbus AG Folie 49 von 54 TestBench - Versionsmanagement innere Versionierung äußere Versionierung Fortentwicklung des Systems unter Test Neue Version Testobjekt-Version Testobjekt-Version Testzyklus TestSpezifikation Vers. 1.1 Testzyklus TestErgebnis V1.1 TestErgebnis V1.1.1 Patch-Nachtest TestSpezifikation Vers. 1.2 TestErgebnis V1.3 TestSpezifikation Vers. 2.1 TestErgebnis V2.1 Folie 50 von 54
TestBench - skalierbare Architektur RMI S c anner Gener at or L MX X ML Des i g ner Java Rich Client F i l t er ung T es t Manag er B ug Manag er Req. Manag er T es t TestBench Container Spezifische Konverter Testversionsmanagement itep eigner Doku/ Reports EJB Server Q M S ys te m. Ro l le n. imb u si a ner Rel. DBMS G S L e it e r Te a ml e i te r 1.. * 1 1 1.. * 1 G e s c ha e f ts s t e ll e T eam 1.. * P r oje k tte a m 1.. * API/ Embedded Test Component Test 1.. * 1 Pr oj e k tmi ta rb e i te r P roj e k tle it e r 1.. * GUI Test Folie 51 von 54 TestBench - Highlights Zentrales objektorientiertes Testware-Repository Versionsmanagement und Statuskontrolle je Testfall Zugriffsschutz über Rechteund Rollenmodell Parametrierbare Filter Reportgenerator Formales Testdesign mit abstrakten Datentypen Testdatenspezifikation über Äquivalenzklassenzerlegung Interaktionsmethode unterstützt Workflow- bzw. Use-Case-basiertes Testen Unterstützt manuellen und automatisierten Test Lizenzfreier offline Testassistent Steuert alle marktgängigen Testroboter Integriert FehlermanagementWerkzeuge Integriert AnforderungsmanagementWerkzeuge Java-basiert, plattformunabhängig, internetfähig Erstklassiges PreisLeistungsverhältnis (Mietmodell) Einführungsunterstützung Folie 52 von 54
TestBench - für alle Testaktivitäten Releasepläne und Testobjekte verwalten Testthemen auflisten, priorisieren und Testobjekten zuordnen Testaufgaben im Team zuweisen Gewährleistet eine geplante TestArchitektur und Aufgabenverteilung. Beliebige Test-Teilmengen filtern und zu zielgerichteten Testläufen zusammenstellen Testläufe für manuellen oder automatisierten Test starten Testergebnisse erfassen und archivieren Fortschritt der Testentwicklung verfolgen und Änderungsbedarf ermitteln Testergebnisse auswerten und anzeigen Testberichte generieren u. kommunizieren Nutzt die durchgängige TestArchitektur für effiziente Testläufe. Nutzt die transparente Test-Architektur für lückenlose Fortschrittskontrolle. Testfälle durch Äquivalenzklassenzerlegung systematisch herleiten Testdaten formal definieren und kapseln (abstrakte Datentypen) Testfälle in Interaktionsschritte gliedern Geschäftsprozesse aus elementaren Interaktionsschritten modellieren Testfälle kontrolliert ändern (Versionsverwaltung) Gewährleistet robuste Test-Architektur. Robust gegen Veränderung des Testobjektes, von Testfällen o. Testdaten. Alle Testscripte in der TestBench verwalten, versionieren und Änderungen nachvollziehbar halten Testscripte modular erstellen und wiederverwenden Externe Testroboter ansteuern Gewährleistet eine kostengünstige Test-Architektur mit niedrigem Wartungsaufwand. Folie 54.1 von 54+3 TestBench - Stimmen von Anwendern Die deckt die Aktivitäten im Testprozess von ServiceForce GmbH bestmöglich ab und bietet ein Framework für die strukturierte Entwicklung von Automatisierungstestfällen. Mit der wird insbesondere die ServiceForceStrategie zur wirtschaftlichen Entwicklung von datengetriebenen Testfällen unterstützt. Ulrich Pohle, Geschäftsleitung Technik Ausschlaggebend für den Einsatz der bei Sage war insbesondere die durchgängig Prozeßorientierung: beginnend mit dem Fachtester über den Testautomatisierer bis hin zum manuellen Tester unterstützt die den gesamten Prozeß ohne Redundanzen und Medienbrüche. Und dabei hat der Testmanager stets die nötige Kontrolle und Transparenz über sein Testprojekt hinsichtlich Status und Fortschritt. Petra Schneider, Head of Quality Assurance & Testing Folie 53 von 54
imbus AG Kleinseebacher Str. 9 91096 Möhrendorf DEUTSCHLAND Tel. +49 9131 7518-0 Fax +49 9131 7518-50 Geschäftsstellen: imbus AG Unter der Linde 16 80939 München DEUTSCHLAND Tel. +49 89 3219909-0 Fax +49 89 3219909-50 www.testbench.info testbench@imbus.de imbus Rhein-Main GmbH Zanggasse 6 65719 Hofheim DEUTSCHLAND Tel. +49 6192 92192-0 Fax +49 6192 92192-50 imbus Rheinland GmbH Volksgartenstr. 36 50677 Köln DEUTSCHLAND Tel. +49 221 998788-0 Fax +49 221 998788-50 info@imbus.de 2008 imbus AG Kontakt Folie 54 von 54