Aufbau eines Testlabs mit HPE ALM/UFT/BPT

Transkript

1 Aufbau eines Testlabs mit HPE ALM/UFT/BPT Vivit TQA User Group Treffen "Testen & Test-Management mit HPE ALM/QC" Berlin,

2 Vortragsbeschreibung Der Vortrag berichtet aus der Anwendersicht über die technischen und organisatorischen Herausforderungen beim Aufbau eines Testlabs und zentralen Testansatzes bei einer Direktbank. Dabei werden die Produkte HPE ALM/Quality Center, HPE Unified Functional Testing (UFT) und HPE Business Process Testing (BPT) eingesetzt. Der Vortrag behandelt die folgenden Fragen: Welche Stakeholder gibt es? Wie arbeiten diese im Projekt? Welche Herausforderungen galt es zu behandeln? Welche Testfälle werden umgesetzt? Wie wurde automatisiert? Welche Projektstruktur hat sich bewährt? Wie etabliere ich ein Framework zur Testautomatisierung mit Ausrichtung auf Wartbarkeit, Wiederverwendbarkeit und Automatisierung aller Routinearbeitsschritte?

3 Ansprechpartner Bernhard Kühnel Telefon: +49 (0) Web:

4 Agenda 1. Organisatorische Aspekte 2. Technische Herausforderungen 3. Auswahl und Strukturierung der Testfälle 4. Aufbau eines Automatisierungsframeworks 5. Eingesetzte Technologien 6. Offene Diskussion im Teilnehmerkreis

5 Organisatorische Aspekte

6 Kurzvorstellung des Kunden Direktbank Entwicklung über dynamische, effiziente Einzelprojekte getrieben Fokus/Konzentration auf neue Entwicklungen Wartung & Pflege bestehender Funktionalitäten soll möglichst effizient ablaufen Kosten (hier betrachtet: Regressionstest) Zeit: kurze Releasezyklen (Gelegenheit zur Fehlerbehebung)

7 Stakeholder Sponsoren (Testautomatisierung) Projektleiter Fachbereiche Tester phasenweise extern Entwickler Releasemanagement Testdatenmanagement Testumgebungen Operating/IT Testautomatisierungs-Infrastruktur Networking Security, Compliance

8 Testorganisation Planung (Release- und Testumfang, -zeitraum) durch Releasemanagement-Team Erstellung und Anpassung von manuellen Testfällen, Identifikation von Testdaten durch Fachexperten Erstellung und Anpassung von automatisierten Testfällen teils projektintern (neue Funktionen, Sprints), teils durch zentrales Automatisierungsteam (Regression) projektübergreifend Ausführung der automatisierten Tests und Auswertung der Ergebnisse durch zentrales Automatisierungsteam Manuelle Ausführung der übrigen Tests durch separat beauftragte Testkräfte, Abnahmetests durch Fachexperten

9 Organisatorische Herausforderungen Testautomatisierung erklären Welche Form & Größenordnung von Nutzen/ROI ist zu erwarten? Anlaufzeit mit wenigen Resultaten, danach großer & weiter wachsender Nutzen Wann sinnvoll? Besondere Anforderungen Testfälle und daten (spezifisch, wiederholbar ) Infrastruktur (Berechtigungen, Sizing) Einstellung auf hochgradig dynamisches Umfeld Verfügbarkeit von Testumgebungen und daten (gemeinsam genutzt) Implementierung: Änderungen und Entscheidungen bis kurz vor Testausführung Wahrgenommener Nutzen der TA im Haus bzw. in den Projekten Aufbereitung, Publizierung von Ergebnissen Transparenz, Planbarkeit, Skalierbarkeit der Kosten

10 Technische Herausforderungen

11 System-Landschaft Website Mobile App Rich Clients Kunden-Betreuung Middleware Admin-Frontend Core banking Börsenanbindung

12 Aufbau einer Infrastruktur für die TA Bereitstellung von Testrechnern Evaluierung von Automatisierungs-Software (z.b. für neue Projekte Mobile oder Versions-Updates) Entwicklung von Testskripten Ausführung (Skalierbarkeit) Einrichtung von Automatisierungswerkzeugen Bedarfsermittlung & Evaluierung Dokumentation von technischen Voraussetzungen für Paketierung Analyse & Behebung technischer Probleme mit den TA-Werkzeugen (Ursachen z.b. Group Policies) Umgang mit Updates, Kompatibilität (Browser-Versionen) regeln Herausforderungen durch Gemeinsame Nutzung von Testwerkzeugen mit anderen Stakeholdern HP ALM Mobile Endgeräte

13 Auswahl und Strukturierung der Testfälle

14 Aufbau der manuellen Testfälle Typische Teststufe: Systemtest / Multi-Systemtest / Abnahmetest Ende-zu-Ende-Test von Geschäftsvorfällen inkl. Validierung in Drittsystemen Fokus auf Korrektheit der angezeigten Daten & Informationen Große Anzahl fachlicher Sonderfälle und Varianten

15 Testautomatisierungs-Prozess 1. Vorlage: Ansammlung konkreter Testfälle und Varianten 2. Initiale Prüfung der Testfälle auf Automatisierbarkeit Enthält nicht automatisierbare Schritte? (Ausdruck prüfen, Captcha-Eingabe) Aufwendig automatisierbar / entspricht nicht dem üblichen Muster? 3. Prüfung der manuellen Ausführbarkeit / Review auf Klarheit 4. Überarbeitung der Vorlagen zu logischen, parametrisierten & modularisierten (manuellen) Testfällen Implizit, d.h. nicht zwingend mit Ergebnisdokument für diesen Zwischenschritt 5. Abbildung des (logischen) Test-Flows mittels bereits automatisierten bzw. noch zu automatisierenden Modulen 6. Bereitstellung von konkreten Testdaten in Zusammenarbeit mit den Fachexperten 7. Automatisierung der noch fehlenden Module 8. Probelauf der Module und aller (datengetriebenn) Testfallvarianten

16 Nutzung von Business Process Testing Business Component Maske in der Anwendung Standardisierter Aufbau Formularfelder Dateneingabe Werteprüfung Aktionen Steuerung über Parameter Struktur & Verwendung ALM-Ordnerstruktur (BC) Menüstruktur in der AUT Snapshot ( bin ich hier richtig? ) Parameter-Descriptions (Effekt, mögliche Werte, Format ) Automatisierung mittels Code-Generator

17 Aufbau eines Automatisierungsframeworks

18 Testfall-Lebenszyklus Auswahl Anpassung Automatisierung Auswertung Ausführung

19 Gründe für ein Framework Wartbarkeit by Design Modularisierung so nutzen, dass typische Anpassungsbedarfe einfach global umsetzbar sind Standardisierung Effizienz in der Testfallerstellung Arbeitsteilung, Übergabeaufwände Transparenz Zustand der Testfälle (Auswirkung einzelner Fehler auf das Gesamtportfolio) Aufwandsschätzungen für Erstellung und Wartung Identifikation von Quick Wins bei der Testauswahl

20 zu welchem Preis? Anlaufzeit Framework im Detail abstimmen auf: Verwendete Tools Spezifika der AUT und der Testfälle Sinnvoll bei bestimmter Struktur der AUT (und der Testfälle) Maskenbasierte Workflows Verschiedene Abläufe auf wiederkehrenden Masken Varianz über Testdaten Erfordert Disziplin Module werden von unterschiedlichen Testfällen & Automatisierern genutzt, teils große Hebelwirkung Wesentliches dokumentieren & dokumentiertes einhalten (Parameterverwendung, Vor- und Nachbedingungen) Versionskontrolle dringend empfehlenswert Vergleich z.b. mit Capture&Replay: Sportwagen vs. Logistikunternehmen

21 Strukturierung der TA Wiederverwendung statt Wiederholung Maximale Modularisierung Zwischen den Ebenen bestehen n:m-beziehungen Gleichen Workflow mit verschiedenen Datensätzen testen (klassische Iterationen) Gleichen Datensatz mit verschiedenen Workflows benutzen (bei Positivtestfall Daten für Fehleingabe und -Meldung einfach nicht verwenden) Selber Parameter (Mandantennummer) unterschiedlich verwendbar (Eingabe, Prüfung) Maske in verschiedenen Workflows (Login), aber auch mehrfach im gleichen Test (z.b. bei Nutzung des Zurück-Buttons), mit jeweils unterschiedlichen Daten/Aktionen! Daten Abläufe Einsehen positiv Masken Login Mandant öffnen Login Aktionen Daten eingeben Stammdaten prüfen Annahmen über die Anwendung masken-/formularorientierte Struktur Anzeigen oder Abfragen von Daten Auslösen von Aktionen Abläufe und grundlegende Formularelemente relativ statisch Typische Änderungen (Prognose) Neue Elemente auf bestehenden Masken (Hinweistext, Eingabefeld) Bestimmte Datensätze lösen andere Systemreaktion aus (z.b. Workflow darf durch geänderte Voraussetzungen nicht mehr möglich sein) Mandant 1 Bearbeiten negativ Mandant öffnen Mandant bearbeiten Fehler Mandant bearbeiten Mandant öffnen Stammdaten initial korrekt Ungültigen Wert eingeben Meldung prüfen Neuen, gültigen Wert Neuen Wert prüfen

22 Wartbarkeit steigern wie? Modularisierung auf verschiedenen Ebenen Dokumentation in situ Faktorisierung von Testfällen Testautomatisierungsautomatisierung

23 Eingesetzte Technologien

24 Testmanagement, manuelle Tests HP ALM Version Einzelne, große ALM-Projekte übergreifend für viele Fachabteilungen/Teilprojekte Testfälle Import aus Excel Erstellung & Pflege direkt in ALM Keine Nutzung von BPT Testprotokolle Defects (Import von Requirements) Reporting über Releasestatus Atlassian Jira & Confluence

25 Technische Tests Last- und Performance HP PC Jenkins Funktionale Testautomatisierung HP UFT Versionen 12.02, Add-Ins: Web, Mobile (Experitest), API Cross-Browser-Testing Separates ALM-Projekt Versionierung Lab Extension Experitest UFT Add-on SeeTest Cloud Jenkins In Verbindung mit dem ALM Lab Service

26 Offene Diskussion im Teilnehmerkreis

27 Weiterführende Informationen Webinare: April HPE UFT WHAT'S NEW? 26. April Performance Testing mit Open Source- und Enterprise Tools 12. Mai HPE LoadRunner Best Practice 14. Juni SAP-Testing mit HPE-Tools