Testmanagement mit Tosca im agilen Entwicklungsumfeld Stefan Obertanner und Dirk Mayer

Transkript

1 Testmanagement mit Tosca im agilen Entwicklungsumfeld Stefan Obertanner und Dirk Mayer Wien,

2 Vorstellung Fragen & Antworten Agenda Test Management Tosca Setup

3 Vorstellung Agenda

4 Loyalty Partner Solutions (LPS) - Zahlen und Fakten Gründung 2008 Gesellschafter Tochterunternehmen von American Express Geschäftsführung Alexander Glück Standort München Kerngeschäft IT und Prozessmanagement für intelligente Kundenmanagement- Lösungen Website

5 Connectivity Layer LPS Portfolio Consulting Design IT Solutions Plan Build Run Business Process Mgmt Operate & Optimize Programmerfahrung Design neuer Programme Optimierung bestehender Programme Branchenkenntnis Retail Airline Railway Prozess Know-how Standalone Programme Multipartner Programme Business Analyse Architektur System Design Siebel CRM & Loyalty Software Entwicklung Customization Integration Loyalty Management Suite (LMS) CRM / CDM, Prämienshop, Mobile Loyalty App, Kampagnenmgmt/ Ad Space Marketing Tool IT Operations Maintenance Customer Insight Tools: Segmentierung, Reporting, Enterprise Backbone Portal CSC Shop BI CDM BI Loyalty Management Base Batch/File handling Handling Business Process Management Business Logic Logic Framework AQS Analytics DWH Adapters Transformers Online interfaces Interfaces LMS Core Collection Program Redemption Partner Member/Alias Clearing Account & TRX Mgmt. Letter Module ETL Legacy Accounting Payment Fulfillment Dienstleistersteuerung Service Desk Data Center Adress Mgmt. Payment Monitoring Accounting Kreativleistung Kartenprodukt. Lettershop Call Center Kampagnen Online/Mobile Partner Mgmt. Customer Insight Services Consulting & Projektmanagement

6 LPS Produkt Loyalty Management Suite (LMS Core) LMS CORE im Standard enthalten (Multi-) Programm- Mgmt Clearing Mgmt Partner- Mgmt Konten & Transaktions -Mgmt Prämien- Mgmt Kunden- Mgmt Kampagnen- Mgmt Partner-Management: Anlage und Verwaltung der Programmpartner Konten & Transaktions- Management: Verwaltung der Konten- und Transaktionsbuchungen Prämien-Management: Definition und Verwaltung der Prämieneinlöseprozesse Programm-Management: Definition und Pflege der zentralen Programmparameter Kunden-Management: Verwaltung der Mitglieder- Konto-Karte-Zusammenhänge Clearing Management: Verwaltung und Abrechnung zwischen Partnern und Programmbetreibern Kampagnen-Management: Definition und Ausführung personalisierter Standardkampagnen

7 LPS Produkt Loyalty Management Suite (LMS Module) LMS CORE Optional buchbar CRM/ Call Center CMR/ Call Center Modul: CC-Applikation zur Abwicklung von Kundenanliegen (Inbound/Outbound) Rewards Shop Customer Web Portal Customer Web Portal Modul: Internetauftritt zur Programmdarstellung und Kundeninteraktion Rewards Shop Modul: Multifunktionaler Webauftritt zur Prämieneinlösung Campaign Mgmt Campaign Management Modul: Zur Durchführung segmentspezifischer Marketingkampagnen zur optimalen Kundenansprache BI Reporting Mobile App Mobile App Modul: Zur Durchführung von Marketingaktionen über mobile Endgeräte bspw. ecoupons BI Reporting Modul: Zur Erstellung individueller Datenanalysen

8 Agenda Test Management

9 Test Management Aktivitäten Testprozess Test Manager Test Analyst Testplanung Testanalyse Testentwurf Testrealisierung Testdurchführung Bewertung von Endekriterien und Bericht Abschluss der Testaktivitäten Testüberwachung und -steuerung

10 Test Management - Disziplinen Teststeuerung Anforderungsmanagement Change Management Testplanung Release Management Test Management Defect Management Testüberwachung Reporting/ Testmetriken

11 Test Management Tosca Abdeckung Testplanung Teststeuerung Anforderungsmanagement Testüberwachung Change Management Defect Management Release Management Reporting/ Testmetriken Requirements Test Case Design Test Cases Execution Lists

12 Agenda Tosca Setup

13 Tosca Setup Übersicht Bereiche Test Case Design Requirements Test Cases Execution Lists

14 Tosca Setup Requirements Bereich ("gelber Bereich") Requirements

15 Tosca Setup Folder Struktur Abbildung 1: Folder Struktur im Requirements Modul

16 Tosca Setup Properties Requirement (1) Abbildung 2: Standard- und Customized-Properties eines Requirement

17 Tosca Setup Properties Requirement (2) Weight: - Wert muss eine ganze Zahl aufweisen - Gewichtung einer Anforderung im Vergleich zu allen anderen Anforderungen desselben Requirement Sets DamageClass: - Repräsentiert den Schaden eines Events - Wert zwischen 0 und 10, 10 steht für den höchsten Schaden FrequencyClass: - Repräsentiert die Häufigkeit eines Events - Wert zwischen 0 und 10, 10 steht für die größte Häufigkeit RequiredTestCases: - Anzahl notwendiger Testfälle zur Abdeckung der Anforderung

18 Tosca Setup Quality Metriken (1) Testabdeckung und Ausführungsstatus Abbildung 3: Trend Chart zur Testabdeckung und Ausführungsstatus

19 Tosca Setup Quality Metriken (2) Coverage Specified (%): - Berechnet sich aus "Weight" und "Work State" ("PLANNED", "IN_WORK", "COMPLETED") Execution State (%): - Berechnet sich aus "Weight" und "Processing State" ("PASSED", "FAILED","NO RESULT")

20 Tosca Setup Test Case Design Bereich ("roter Bereich") Test Case Design

21 Tosca Setup Folder Struktur Abbildung 4: Folder Struktur im Test Case Design Modul

22 Tosca Setup Properties Test Case Design Instance Abbildung 5: Properties einer Test Case Design Instanz

23 Tosca Setup Metriken Keine dedizierten Quality-Metriken -> Test Cases basieren auf TCD Sheets, Vollständigkeit implizit gegeben -> Semantische Metriken aufwendig aufzusetzen

24 Tosca Setup Test Cases Modul ("blauer Bereich") Test Cases

25 Tosca Setup Folder Struktur Abbildung 6: Folder Struktur im Test Case Modul

26 Tosca Setup Properties Test Cases Abbildung 7: Standard- und Customized-Properties eines Test Cases

27 Tosca Setup Quality Metriken (1) Status Testfallerstellung TQL Query zur Ermittlung nicht abgeschlossener Testfälle: ->SUBPARTS:TestCase[TestCaseWorkState!="COMPLETED"]

28 Tosca Setup Quality Metriken (2) Testfälle mit Bugs TQL Query zur Ermittlung der Testfälle mit dokumentiertem Bug: =>SUBPARTS:TestCase[(Bug!="")]

29 Tosca Setup Quality Metriken (3) Automatisierungsgrad automatisiertetestfälle automatisiertetestfälle manuelletestfälle TQL Query zur Ermittlung der Anzahl automatisierter Testfälle: =>SUBPARTS:TestCase[(Name=?"") AND (TestCaseWorkState=="COMPLETED") AND (ExecutionType=="Automated") AND (IsTemplate=="False")]

30 Tosca Setup Execution Lists Bereich ("grüner Bereich") Execution Lists

31 Tosca Setup Folder Struktur Abbildung 8: Folder Struktur im Execution List Modul

32 Tosca Setup Properties Execution Entry Abbildung 9: Standard- und Customized-Properties eines Execution Entries

33 Tosca Setup Metriken: Ausführungsstatus (1) Abbildung 10: Auswahlmöglichkeiten im Suchfilter

34 Tosca Setup Metriken: Ausführungsstatus (2) Abbildung 11: Ausführungsergebnis verschiedener Testfälle

35 Tosca Setup Metriken: Ausführungszeiten Abbildung 12: Übersicht Testausführungszeiten

36 Tosca Setup Reporting Testreport kann mit Hilfe des Tosca Report Designer generiert werden:

37 Tosca Setup Project

38 Tosca Setup Release Management Releases können über Workspaces abgebildet werden, z.b.: Release 1.0 (Trunk) -> ProjectX_1_0.tws Release 1.1 (Branch) -> ProjectX_1_1.tws

39 Tosca Setup Configuration Management Konfigurationen können über Skripte geladen werden: - Admin-Skripte für Ansteuerung unterschiedlicher Testumgebungen - Admin-Skripte um Konfigurationsdaten zu laden, z.b. "Bonus-Währungen": Buffer Kürzel AWD Award STA Status HON HON Circle EVO FRQ Frequency Buffer Kürzel SM QM AS UC FP felxipoints Konfiguration 1 Konfiguration 2

40 Tosca Setup Change Management Beispiel für eine unterstützende Funktion beim Change Management: Abbildung 13: Suche nach Modulaufrufen

41 Tosca Setup Hilfreiche Metriken Housekeeping Metriken: Fehlende Verlinkung zwischen Requirement und Test Case Fehlende Verlinkung zwischen Requirement und Execution Entry Fehlende Verlinkung zwischen Testmandat und Execution List Test Case keinem Testmandat zugewiesen

42 Tosca Setup First Steps Quality Metriken Empfehlungen -> Zum Start begrenzte Anzahl Metriken aufsetzen (4-5 Metriken) -> Metriken regelmäßig auswerten -> Auswertungen mit Stakeholdern regelmäßig besprechen und Maßnahmen ableiten

43 Fragen & Antworten Agenda

44 Fragen & Antworten

45 Dankeschön! Stefan Obertanner und Dirk Mayer Loyalty Partner Solutions GmbH Theresienhöhe München Tel +49 (0)